【摘 要】
：
随着大数据的快速发展,互联网上的信息爆炸性增长,而资料显示网络上大部分数据都是小文件数据。传统文件系统缺乏对小文件元数据存储的优化,而基于日志结构合并树(LSM-Tree)的键值存储系统能够整合文件元数据,极大地提高小文件存储的效率,然而也会给系统的随机读和范围读操作带来一定程度的读放大,产生性能损耗。为了解决基于键值存储的文件系统的以上性能问题,本文提出了一种基于键值存储的新型文件系统KVFS(
论文部分内容阅读
随着大数据的快速发展,互联网上的信息爆炸性增长,而资料显示网络上大部分数据都是小文件数据。传统文件系统缺乏对小文件元数据存储的优化,而基于日志结构合并树(LSM-Tree)的键值存储系统能够整合文件元数据,极大地提高小文件存储的效率,然而也会给系统的随机读和范围读操作带来一定程度的读放大,产生性能损耗。为了解决基于键值存储的文件系统的以上性能问题,本文提出了一种基于键值存储的新型文件系统KVFS(Key Value File System)。KVFS采用键值存储系统存储文件系统的元数据和小文件,保留大文件的数据在本地文件系统中。针对KVFS文件系统基于目录访问的特点,本文设计了新型扁平结构键值存储系统FlatDB,用于存储文件系统元数据组成的键值对;FlatDB采用按照目录哈希的策略来组织键值数据,将最近访问的目录组织成一个扁平的键值层DTable(Dir Table),DTable采用基于目录的局部有序策略,同一个目录内部是严格排序的,不同目录之间采用无序的哈希进行组织,以减少系统的排序开销,且利用哈希快速查询;为了提升对DTable的访问性能,FlatDB采用新型存储器件NVM(Non-Volatile Memory)来存储DTable,并采用追加写的方式将随机写操作转变为顺序写操作,提升DTable的写性能,同时利用哈希映射key和数据偏移量的方式来进行数据索引,加速数据查找;FlatDB采用了基于目录划分的单层SSTable文件结构来存储数据,这种结构将所有的SSTable文件按照目录排序组织,避免了传统键值系统多层数据中进行查找和合并的开销,提高读随机读和范围读的效率,且减少了系统的写放大。基于开源的TableFS和RocksDB实现了KVFS。并对KVFS、TableFS进行了大量的测试,测试表明:在同等条件下,KVFS比TableFS在整体性能上要高出60.2%,同时在读范围操作的性能上比TableFS快一倍;在存储空间上,KVFS的使用量是TableFS的14%至50%。
其他文献
在数据库驱动的认知无线电网络中,白频谱数据库为二级用户(Secondary User,SU)提供了一种既可靠又高效的方法来获取可用频谱可用信息。但是,恶意用户同样也可以利用白频谱数
双边投资协定(Bilateral Investment Treaty,简称BIT)是指两国之间订立的专门用于鼓励、促进以及保护双边投资的国际协定。作为调整双边投资活动的重要法律手段,BIT的目标目
近年来,我国企业紧紧跟随“一带一路”伟大战略,积极推进工程总承包业务从国内市场转向国际市场。由于国内工程企业多缺乏海外施工经验,中西方文化之间也存在诸多差异,导致许多“一带一路”沿线国家的建设工程项目面临着与国内大不相同的风险。国际EPC工程总承包项目建设工期长、建设规模大、合同采用固定合同计价,需要配套系统的风险管理体系,以防发生经济和声誉损失,对保护中国在“一带一路”沿线国家甚至全球市场的形象
近年来,由于互联网的高速发展,人们可以获取的信息也更加多元化。音频与视频作为一种比文字、图片等更加生动的信息传递媒介逐渐成为人们日常生活与娱乐中不可或缺的信息获取和交流的方式。随着宽带资费的下降和CDN技术的发展,视频直播这类即时视频服务也开始为人们所接受。视频直播相对于普通剪辑与整理过视频的资源,所承载的信息并不密集,但高实时性的特点通常可以使观众在观看过程中更具有参与感。视频直播由于实时性较高
全球供应链网络迅速发展,合作共赢而非对抗竞争的观点深入人心。在这个复杂多元、竞争激烈的市场环境下,企业如何获取新的客户资源以及保持老客户的黏性,对于企业的长远发展至关重要。而内部控制作为一种有效的管理制度,随着中国企业现代化转型升级,变得愈发重要。关于供应链关系和内部控制两大专题,过去几十年来无论在学术界还是实务界,都对此进行了丰富而深入的研究和实践。本文基于前人的研究,试图寻求上市公司的内部控制
农村居民大多居住在我国偏远贫困农村地区。虽然有的农村地区资源丰富,但长期与外界隔绝,城乡信息极其不对称。农村社会治理需要调动农村居民的主体性,让处于弱势地位的农村居民在社会发展中积极行使表达权,提高他们对于社区公共治理活动的参与度,培养和普及权利意识,使其在媒介社会中主动介入到农村自身的建设中来。毋庸置疑,这是一个赋权的过程。在这个阶段中,农村居民媒介素养水平的高低决定了赋权过程的顺利与否。因此,
随着城市化进程的不断加速,基层社会结构由传统的单位制、街居制向社区制转变,社区在城市社会治理中的作用日益突显。在利益需求的多元化,非公有制经济组织、社会组织等大量
背景:长期腹膜透析（腹透）患者有发生腹膜超滤衰竭导致患者退出腹透和发生心血管疾病（cardiovascular disease,CVD）导致患者死亡的风险。内皮细胞与腹膜血管新生从而导致腹膜超滤
随着人工智能、深度学习、计算机技术的快速发展,目标跟踪作为计算机视觉领域的热门研究问题,国内外其他的目标跟踪算法层出不穷。但由于目标跟踪背景的复杂性和目标本身的多变性,比如:背景杂波、目标形变、遮挡等因素,使得设计一种全面、鲁棒的目标跟踪算法仍然是巨大的挑战。其中,基于相关滤波的目标跟踪算法一被提出就备受研究学者的关注,其跟踪速度和精度远远超过其他目标跟踪算法。本文针对相关滤波算法进行深入研究,并
运动目标检测指检测并提取视频中运动目标,是处理视频监控问题的关键。传统的运动目标检测算法难以适应背景中存在的动态变化,如光照、树叶随风而动等,导致提取的前景目标存在大量噪声。而视觉背景提取器(Visual Background Extractor,ViBe)算法采用样本模型能够快速准确的提取前景目标,但是存在提取目标不完整的问题。此外,提取出的前景图像如行人等,涉及到不同视角下图像之间匹配的情况,