论文部分内容阅读
数据去重是一种冗余数据消除技术,可以有效缩小数据的存储规模,节省存储空间,降低能耗。其中指纹检索环节通过查找指纹是否存在于索引中来判断对应的数据块是否重复,是数据去重过程中的关键步骤之一。现有的指纹检索方案主要通过挖掘数据的特性设计新型索引访问策略、使用高性能存储设备存放索引等技术来加快检索速度,然而这些方案都在传统的计算机体系结构中进行,面临着如下问题:索引访问在内存中进行,检索指纹时,指纹需要通过总线在CPU和内存之间移动,导致大量的时间开销和能耗。此外,传统内存的带宽限制进一步影响了指纹的检索速度。针对上述问题,设计并实现了一种新的指纹检索方案IMCI(In-Memory Chunk Identification)来提高重复数据块的识别速度。IMCI使用新型存储技术3D堆叠内存来存储数据块指纹,3D堆叠内存具有高容量、高带宽和低能耗的特点,并配备一个可以集成内存控制器和计算单元的逻辑层。根据指纹的分布规律,IMCI方案设计了指纹在DRAM层的存储方式,并将指纹的查找逻辑迁移到逻辑层的处理单元中,利用其物理结构的优势快速访问存储层。此外,IMCI还为逻辑层设计了路由转发机制,将逻辑层的通信开销最小化。IMCI方案通过应用“内存中处理”的思想使指纹检索(逻辑处理)过程靠近其存储位置,减少了数据移动开销。仿真实验表明,与基于DDR3的传统方案相比,IMCI方案将数据块指纹检索的吞吐率提高了12.24%至26.64%,并平均降低了22.95%的访存能耗。