一种大数据流内存B+树构建方法

来源 :计算机科学 | 被引量 : 0次 | 上传用户:mybestlove_nx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
面向具有时间维度的大数据流,基于二级B+树索引结构,提出了一种高效的面向时间窗口、采用批量装载技术的内存B+树构建方法。该方法对时间窗口进行分片,通过分离出可以并行处理的操作来加速构建过程,将排序操作与数据流接收并行,B+树骨架的构建与排序并行;采用基于排序的批量装载技术以及优化的构建顺序,能够避免多线程之间不必要的加锁、同步开销,有效提高构建效率。提出的多次微批量排序单次批量装载(MBSortSBLoad)B+树构建方法的构建速度快,能承载的最大流速大。实验验证了所提方法的有效性。
其他文献
针对随机早期检测RED存在的网络带宽分配不公平现象,提出了一种主动队列管理算法,该算法是基于对高带宽流的抑制而实现网络带宽分配公平性的;通过对路由器丢包历史的分析,检测出
本刊讯:2011年10月20日,安捷伦科技公司(NYSE:A)宣布推出67GHzPNA—X非线性矢量网络分析仪,进一步扩展了其屡获殊荣的PNA-X系列。全新的67-GHz相位参考校准标准件也已上市,可配置为
为了提高嵌入式平台配置远程证明方案的效率,在基于Merkle哈希树存储结构的基础上,结合程序的局部性原理,考虑平台下程序验证的时间特性,对存储程序模块完整性度量值的数据结
介绍了一种飞控系统快速控制原型软硬件设计方案,该方案兼顾了数学仿真和半实物仿真两大功能;通过RT-LAB软件和通用硬件平台(工控机和数据采集板卡等)实现了将基于Matlab/Simulink
随着无线网络技术和移动智能终端的快速发展和普及,对群智感知的研究受到越来越多相关科研工作者的关注。群智感知利用众包的思想,将任务分配给拥有移动设备的用户(即感知任务
针对数字图像的版权保护问题,提出一种基于Fibonacci置乱的小波域数字图像盲水印方案。将原图像中的感兴趣区域(ROI)作为水印来源,以此提高水印的隐蔽性。在水印嵌入过程中,将原图像进行分块,对每个块进行Fibonacci置乱和离散小波变换(DWT),选择出低频子带,用于水印嵌入。同时,对水印也执行DWT,选择出低频子带,通过Fibonacci置乱得到置乱矩阵,将水印的置乱矩阵嵌入到主图像的块中
是自然语言处理领域中一项重要的研究内容,根据实现方式的不同其分为摘录式和理解式,其中理解式文摘是基于不同的形式对原始文档的中心内容和概念的重新表示,生成的文摘中的
DP(Clustering by Fast Search and Find of Density Peaks)是一种新提出的基于局部密度和距离的聚类算法,具有能够发现任意形状的类簇、易于理解并且可以高效划分数据的优点
在工业控制环境下,计算机中经常需要提供CAN总线接口,基于CPCI总线的智能CAN模块用于扩展ComapctPCI计算机系统的CAN总线接口;该模块通过CPCI总线与主机通讯,通过CAN总线与外
此软件针对辽河油田测井公司引进的俄罗斯过套管测井仪器而特别编制的数据预处理软件,软件突出发挥了C#语言的编程优势,综合了GDI+绘图、文件读写操作和数据库的读写操作等数据