第７期 马培娇等．高速大容量存储系统的关键技术实现 高速大容量存储系统的关键技术实现 马培娇 张宇光 姚永兴 徐鹏飞 焦新泉 任勇峰 （中北大学ａ．电子测试技术重点实验室；ｂ．仪器科学与动态测试教育部重点实验室，太原０３００５１） 摘要介绍了一种高速大容量存储系统的实现方案，该系统以７５ＭＢ／ｓ的速度实时存储容量为６４ ＧＢ 的图像数据，并可通过扩展Ｆｌａｓｈ阵列满足更高速度和更大容量的存储要求。 关键词 高速大容量存储器 无效块管理 固态存储 中图分类号ＴＰ２７７ 文献标识码 Ａ 文章编号 １０００－３９３２（２０１１）０７－０８６９－０４ 目前高速存储系统在雷达、图像处理、语音识 页的写入时间为（２００＋５０） ｓ一（７００＋５０） ｓ，写 别、声纳和通信等领域应用得非常广泛。随着雷 人速度为５．４～１６．４ＭＢ／ｓ。因此可以看出影响 达成像技术的成熟，采样率和分辨率都有大幅度 写入速度的最大因素就是编程时间，而时下流行 的提高，这就要求能实时保存下海量的数据信息。 的多级流水线和双平面同时编程技术可有效地避 此时，高速大容量的存储系统就显得尤为重要。 开编程时间，明显地提升其存储速度。 ＮＡＮＤ型ＦＬＡＳＨ芯片的记忆载体为半导体，比传 １．２ Ｆｌａｓｈ阵列并行 统的存储设备具备更高的可靠性，更小的体积及 本设计采用４×４ Ｆｌａｓｈ阵列的形式，以每４ 重量，日渐成为了主流存储器。但Ｆｌａｓｈ存储器 片Ｋ９ＷＢＧ０８Ｕ１Ｍ组成一个８位宽的闪存子模 也有十分明显的缺点：写入速度慢，单片容量小， 块。它们共用相同的控制命令，因此可以将这子 制约了数据的写入速度和容量。 模块看作一个整体。整个阵列可看做由４个存储 现需要设计一双通道高速大容量的固态存储 容量为１６ＧＢｙｔｅ的闪存组成，该技术为实现大容 器，要求能实时存储速度为７５ＭＢ／ｓ的Ｉ、Ｑ两路 量存储提供了可能。 图像数据，且单路存储容量要达到６４ＧＢ，而现有 １．３流水线 的Ｆｌａｓｈ存储器达不到以上要求。笔者将探讨用 通过对Ｆｌａｓｈ页面编程工作原理的研究，发 以克服Ｆｌａｓｈ存储器缺点的一些关键技术，并将 现芯片内部的自动编程过程由芯片自动完成。尽 给出该存储器的具体实现方案。 管这段时间不能接收新的写入命令，但也不需要 １ 关键技术 外部干预。于是就可以利用这一段空闲的时间， １．１ 存储器 借鉴流水线技术，使多片Ｆｌａｓｈ读写操作进行流 存储系统的一个重要指标就是存储组件的访 水线运作 Ｊ。这样在任一时间片上，总有若干操 问速度。目前主流闪存分为ＮＯＲ和ＮＡＮＤ两种 作在同时进行，实现了时间在片上的复用，从而整 架构类型，ＮＡＮＤ型闪存写入和擦除速度比ＮＯＲ 体读写Ｆｌａｓｈ的速度得到了很大的提高。 型快，单元存储容量大，且成本比ＮＯＲ型低，因此 １．４双平面同时编程 ＮＡＮＤ型闪存在大容量高速图像数据存储上比 对于有些新出的Ｎａｎｄ Ｆｌａｓｈ，支持同时对多 ＮＯＲ型更具有优势¨ 。 个平面（Ｐｌａｎｅ）进行编程。Ｋ９ＷＢＧ０８Ｕ１Ｍ支持同 ＳＡＭＳＵＭＧ公司 ＮＡＮＤ 闪存芯片 时对２个Ｐｌａｎｅ进行编程。本设计采用的这种编 Ｋ９ＷＢＧＯ８Ｕ１Ｍ由１６ ３８４个Ｂｌｏｃｋ组成，每个 Ｂｌｏｃｋ分为６４Ｐａｇｅ，每Ｐａｇｅ有４ ０９６Ｂ写人区和 程技术为待两页的数据都写入到Ｆｌａｓｈ的缓存区 后，再同时将缓存区的数据编程存入到Ｆｌａｓｈ里。 １２８Ｂ备用区，单片芯片容量仅为４ＧＢ，达不到该 存储器的容量要求。采用Ｆｌａｓｈ阵列总线并行技 可以看出，每写入两页的数据，就可以节省出一个 术，可有效地解决这一矛盾。而该闪存芯片的典 型编程时间为２００ｉｘｓ，最大编程时间为７００１ｘｓ，最 收稿１５ｔ期：２０１１－０４－ｌ５（修改稿） 基金项目：国家自然科学基金——微小型高速运动体的激光 快页寄存器写入时间为５０１ｘｓ。由此可以算出一 主动制导与探测技术研究（６０８７１０４１） ８７Ｏ 化工自动化及仪表 第３８卷 编程时间，极大地提高了写入的速度。不过要注 意的是，只能对Ｐｌａｎｅ０和Ｐｌａｎｅｌ或者Ｐｌａｎｅ２和 接口控制、Ｆｉｆｏ缓存、Ｆｌａｓｈ控制和无效块信息管 理４个模块。整个ＦＰＧＡ会根据上位机给出的命 令，对外部的Ｆｌａｓｈ阵列进行读、写及擦除等相应 的操作。 Ｐｌａｎｅ３同时编程，而不支持Ｐｌａｎｅ０和Ｐｌａｎｅ２同时 编程。 １．５坏块信息列表 Ｎａｎｄ Ｆｌａｓｈ中，一个块中含有１个或多个位 是坏的，就称其为坏块。坏块的稳定性是无法保 证的，不能保证写入的数据是对的，或者写入对 了，读出来也不一定对。而正常的块，肯定是写入 读出都是正常的。考虑到要保证存储数据的完整 和正确，而识别出坏块并且跳过坏块来进行读写 擦除操作就非常必要。为了提高存储速度，在 ＦＰＧＡ内部建立ＲＡＭ来专门用于存储校验出来 的坏块的地址列表。在进行读写擦除操作时只需 将当前块地址与ＲＡＭ内部的地址信息进行对比， 如果相同就跳过该块。这样就能大大提高效率。 ２系统方案设计 ２．１ 系统原理 根据该存储器的设计要求，要求实现对图１ 中所示的Ｉ、Ｑ两路图像数据能以７５ＭＢ／ｓ的写入 速度存人记录器，并且每路的存储容量为６４ＧＢ。 基于以上提出的关键技术，设计了该存储系统的 原理图。从图１看出，本设计采用了３２片 Ｋ９ＷＢＧ０８Ｕ１Ｍ搭建成２个４×４的Ｆｌａｓｈ阵列，来 分别存储两路图像数据。在每个Ｆｌａｓｈ阵列里， 每４片组成一组８位宽的闪存子模块，它们共用 相同的控制命令，而在４组子模块之间又采用４ 级流水来完成流水线操作。 图１ 系统原理 图２为ＦＰＧＡ内部原理的一个示意图，包含 口 控籼 图２ ＦＰＧＡ内部原理 ２．２接口控制模块 该模块主要是控制ＦＰＧＡ外部的Ｄｓ９２ＬＶＩ８ 芯片，将其输入的１８位数据转换成１６位，并存人 缓存Ｆｉｆｏ；或是将从缓存Ｆｉｆｏ里读出来的８位数 据转换成１８位的数据输出给外部的ＤＳ９２ＬＶ１８ 芯片。另外，该模块还对从外部进入ＦＰＧＡ的控 制命令，如擦除命令和读写命令等信号进行消抖， 再将消抖后的控制信号发送给Ｆｌａｓｈ控制模块， 以避免Ｆｌａｓｈ出现误操作现象。与此同时，接口 控制模块会产生一个计数信号来控制４组Ｆｌａｓｈ 进行有条不紊的流水线操作。 ２．３ ｎｆ０缓存模块 该模块由８个异步Ｆｉｆｏ缓存组成。图２中， 每个Ｆｌａｓｈ控制模块各对应一个深度为２ＫＢ和 ４ＫＢ的Ｆｉｆｏ缓存。其中４ＫＢ的Ｆｉｆｏ用于缓存写 入Ｆｌａｓｈ的数据信息，位宽为１６位；而位宽为８ 位、深度为２ＫＢ的Ｆｉｆｏ则作为读取Ｆｌａｓｈ的数据 缓存。该模块配合接口控制模块能实现对高速数 据进行分流降速，为流水线操作Ｆｌａｓｈ阵列做好 了准备。 ２．４ Ｆｌａｓｈ控制模块 Ｆｌａｓｈ控制模块主要实现功能：存储器一上 电，该模块内部就开始检查对应Ｆｌａｓｈ的无效块， 并建立无效块地址信息列表。在接收到由接口控 制模块发出的读、写和擦除Ｆｌａｓｈ控制命令后，通 过运行该模块内相应的进程，实现对Ｆｌａｓｈ的操 作。该模块内部状态的具体流程可详见图３。 第７期 马培娇等．高速大容量存储系统的关键技术实现 ８７ｌ 图３ Ｆｌａｓｈ控制模块内部状态流程 ２．５无效块信息管理模块 Ｋ９ＷＢＧ０８Ｕ１ Ｍ芯片一页由４ ０９６Ｂ的主区间 本设计中采用ＲＡＭ来存取Ｆｌａｓｈ的无效块 及１２８Ｂ的备用区间构成。如果把两页的数据写 地址信息列表，如图２所示。该模块由４个１ＫＢ 入一组Ｆｌａｓｈ，则需要的时间是８ １９２Ｂ÷／１８．７５ 大小的ＲＡＭ构成，并且各对应一组Ｆｌａｓｈ。在每 ＭＢ／ｓ＝４３６．９１Ｉｘｓ。那４组Ｆｌａｓｈ写完一遍的时 次设备上电时，先进行无效块校验，并将无效块的 间就为４３６．９１×４＝１ ７４７．６４ｐｔｓ，远远大于最大的 块地址信息存入该组Ｆｌａｓｈ对应的ＲＡＭ。在擦 的页编程时间７００／ｘｓ，也就是说在４组Ｆｌａｓｈ写完 除、读和写Ｆｌａｓｈ时，先将当前块地址与ＲＡＭ中 一遍后，第一组的自动编程已经完成，可以持续不 的无效块地址进行比对，如果地址一样，则跳到下 断地进行下一轮存储。 一块，再将ＲＡＭ中的下一个地址与之进行比对， ３实验结果及分析 如果不一样，则对该块进行读、写或擦除等相应操 图４是采用ＩＳＥ７．１中Ｃｈｉｐｓｃｏｐｅ获取的硬件 作。采用这个方法，不仅能有效地避开无效块，而 且可以大大缩短各种操作的时间，从而提高整体 实际运行结果的截图。图中有４个信号，其中信 的工作效率。 号ＬＶＤＳＤＡＴＡ对应从高速数据总线进入ＦＰＧＡ１ ２．６对方案的可行性分析 的Ｉ路数据，而ｗｒｃｌｋ是Ｉ路数据的时钟信号，频 该方案主要实现的目标是完成将两路７５ 率为４４ＭＨｚ；信号ＦＬＡＳＨＤＡＴＡ对应为ＬＶＤＳＤＡ— ＭＢ／ｓ的图像数据顺利地写入Ｆｌａｓｈ。由于采取了 ＴＡ在４级流水分流降速后写入阵列中某组Ｆｌａｓｈ ４ Ｘ ４的Ｆｌａｓｈ阵列和４级流水的操作模式，因此 的数据，ｒｄｃｌｋ则是ＦＬＡＳＨＤＡＴＡ的匹配时钟信 写入每组Ｆｌａｓｈ的速度就分流降速到１８．７５ＭＢ／ｓ。 号，频率为１１ＭＨｚ。从图中可以看出，每来一个 但从前面可以知道，如果用普通的页编程方式，写 ｗｒｃｌｋ时钟信号，就从高速数据总线进入ＦＰＧＡ１ 一入速度最高只能达到１６．４０ＭＢ／ｓ，无法满足需要。 个字的图像数据，即写入速度达到了８８ＭＢ／ｓ。 方案中采取了双平面的编程方式，即连续写入两 同理，图中阵列里某组Ｆｌａｓｈ的写入速度也达到 页数据才进行一次真正的页编程，这样就可以节 了２２ＭＢ／ｓ。测试结果表明，该系统能很好地满足 约一次的编程时间（２００～７００ｐ￣ｓ）。 本设计的要求。 ８７２ 化工自动化及仪表 第３８卷 嬲燃 魈 ％；藕 《螽女《 女藏 ４结束语 Ｉ Ｉ ｅ ｉｉ Ｉ＿ ０ ０ ｝ ， ．｝ ｊ｝ ｌ ・ ｊ 』 】 Ｊ 笔者所采用的方案实现了对Ｆｌａｓｈ写入速度 ………… …… 蹦瞰■ 的技术突破和存储容量的扩展，以及对无效块的 【Ｌ．．一 ．． Ｌ ＿＿Ｌ．．＿＿ －－ 管理，实现了对高速图像数据的存储，现已成功应 ｍ ｉ Ｍ ｍ Ｉ 用于某高速大容量固态存储装置。 晰 厂－］＿－１厂＿１ ｎ ｒ＿］厂＿］ｎ ｒ－１ ■厂 自】 Ｉ 参考文献 Ⅵ １ 一ｒ］厂］ 厂 ＷＩ嘲 Ｉ ［１］ 高怡祯．基于闪存的星载大容量存储器的研究和实 埘 辩 ●－＿●＿●Ｈ＿－●－＿－＿＿＿＿＿＿＿●●●－－＿＿＿—— 现［Ｊ］．电子技术应用，２００３，２９（８）：７５—７８． ｍ Ｉ 蚰ｔ＊Ｉ ４ ［２］Ｆｉｓｈｅｌｌ Ｗ Ｇ．Ｓｏｌｉｄ Ｓｔａｔｅ Ｍｅｍｏｒｙ ｉｎ Ｒｅｃｃｅ Ｓｙｓｔｅｍ［Ｃ］． ‘ ＳＰＩＥ，１９９５，２５５５：１８３～１９４． Ｉ Ｉ ㈣ｌ ｋ Ｕ ｌＩ ［３］ 韩茜，罗丰，吴顺君．高速大容量固态存储系统的设 ｔ 蕊 ｒ㈣ 计［Ｊ］．雷达科学与技术，２００５，３（２）：１１０—１１４． 图４ 系统实际运行结果示意图 Ｈ ｉｇｈ Ｓｐｅｅｄ ａｎｄ Ｌａｒｇｅ Ｓｔｏｒａｇｅ Ｓｙｓｔｅｍ ＭＡ Ｐｅｉ－ｊｉａｏ ，ＺＨＡＮＧ Ｙｕ—ｇｕａｎｇ ，ＹＡＯ Ｙｏｎｇ—ｘｉｎｇ ，ＸＵ Ｐｅｎｇ－ｆｅｉ ， ＪＩＡＯ Ｘｉｎ－ｑｕａｎ。，ＲＥＮ Ｙｏｎｇ－ｆｅｎｇ ｆａ．Ｎａｔｉｏｎａｌ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙｆｏｒ Ｅｌｅｃｔｒｏｎｉｃ Ｍｅａｓｕｒｅｍｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ；ｂ．Ｋｅｙ ａＬｂｏｒａｔｏｒｙ ｏｆ［ｎｓｔｒｕｍｅｎｔａｔｏｉｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｄｙｎａｍｉｃ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆＭｉｎｉｓｔｒｙ ｆｏＥｄｕｃａｔｉｏｎ，Ｎｏｒｔｈ Ｕｎｉｖｅｒｓｉｔｙ ｆｏＣｈｉａｎ，Ｔａｉｙｕａｎ ０３００５１，Ｃｈｉａｎ） Ａｂｓｔｒａｃｔ Ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｈｉｇｈ－ｓｐｅｅｄ ｌａｒｇｅ ｓｔｏｒａｇｅ ｓｙｓｔｅｍ ｗａｓ ｉｎｔｒｏｄｕｃｅｄ，ｉｎｃｌｕｄｉｎｇ ｔｈｅ ｓｔｏｒａｇｅ ｏｆ ６４ＧＢ ｉｍａｇｅｓ ａｔ ａ ７５ ＭＢ／ｓ ｓｐｅｅｄ．Ｔｈｅ ｓｔｏｒａｇｅ ａｔ ｈｉｇｈｅｒ ｓｐｅｅｄ ａｎｄ ｗｉｔｈ ｌａｒｇｅｒ ｃａｐａｃｉｔｙ ｃａｎ ｂｅ ｍｅｔ ｂｙ ｅｘｔｅｎｄｉｎｇ ｔｈｅ Ｆｌａｓｈ ａｒｒａｙ． Ｋｅｙ ｗｏｒｄｓ Ｆｌａｓｈ ｍｅｍｏｒｙ，ｉｎｖａｌｉｄ ｂｌｏｃｋ ｍａｎａｇｅｍｅｎｔ，ｓｏｌｉｄ ｓｔａｔｅ ｓｔｏｒａｇｅ （上接第８６８页） 作员和技术工程师的操作权限。 少了施工工作量，降低了工程投资。 ３结束语 Ｃ．提高了系统的扩展性。通过交换机和总 该污水处理厂于２０１０年５月投产运行，试运 线可方便地连接随设备配套的控制系统，或增加 行两个月后各项指标达到国家有关标准，并通过 新设备的控制，更适合中小型污水处理厂的需要。 了２０１１年１月份国家环保部组织的核查。其中 该工程中的配药和加药系统，就是把设备厂配套 自控系统为生产的稳定运行提供了可靠保障，控 的ＰＬＣ就近接人鼓风机房系统的交换机，实现了 制效果显著，达到了设计要求。由于该套自控系 集中监控。 统具有设计简单、投资少、控制效果好及易维护等 ｄ．开放性。可通过中控室连接，进行远 优点，受到用户及其主管部门的好评。另外，该套 程控制。 自控系统很适于在同类中小型污水处理厂工程中 ｅ．分级控制。通过网络权限设定，以确定操 推广应用。 Ａｕｔｏｍａｔｉｃ ＣｏｎｔｒｏＩ Ｓｙｓｔｅｍ Ｄｅｓｉｇｎ ｆｏｒ Ｓｅｗａｇｅ Ｗｏｒｋｓ ＲＵ Ｒｏｎｇ－ｊｉａｏ ．ＣＡＩ Ｌｕ．ｘｉｕ ．ＸＩＡ Ｃｈｅｎ （１．ＮＯＲ１ＮＤＡＲ Ｉｎｔｅｒｎａｔｉｏｎａｌ，Ｓｈｉｉｆａｚｈｕａｎｇ ０５００１１，Ｃｈｉｎａ；２．ＳＩＮＯＳＴＥＥＬ Ｅｎｇｉｎｅｅｒｉｎｇ Ｄｅｓｉｇｎ Ｉｎｓｔｉｔｕｔｅ，Ｓｈｉｉｆａｚｈｕａｎｇ ０５００２１，Ｃｈｉｎａ；３．Ｈｅｂｅｉ Ｃｏｌｌｅｇｅ ｆｏＩｄｎｕｓｔｒｙ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｓｈｉｊｉａｚｈｕａｎｇ ０５００９１，Ｃｈｉａｎ） Ａｂｓｔｒａｃｔ Ｔｈｅ ｄｅｓｉｇｎ ｏｆ ａｎ ａｕｔｏｍａｔｉｃ ｃｏｎｔｒｏｌ ｓｙｓｔｅｍ ｆｏｒ ｓｅｗａｇｅ ｗｏｒｋｓ ｗａｓ ｐｒｏｐｏｓｅｄ，ｉｎｃｌｕｄｉｎｇ ｔｈｅ ｄｅｔａｉｌｓ ｏｆ ｉｔｓ ｅ． １ｅｃｔｒｉｃａｌ ｃｏｎｔｒｏｌ，ｔｈｅ ｓｕｐｐｏｒｔｉｎｇ ｉｎｓｔｒｕｍｅｎｔｓ ａｎｄ ＰＬＣ ｓｙｓｔｅｍ，ａｎｄ ｔｈｅ ａｎａｌｙｓｉｓ ｏｆ ｉｔｓ ｓｕｐｅｒｉｏｒｉｔｉｅｓ ｆｏｒ ｓｉｍｉｌａｒ ｐｒｏｊｅｃｔｓ． Ｋｅｙ ｗｏｒｄｓ ｓｅｗａｇｅ ｔｒｅａｔｍｅｎｔ．ＰＬＣ，ｉｎｄｕｓｔｒｉａｌ Ｅｔｈｅｍｅｔ
