基于MongoDB的大亚湾离线数据处理框架研究

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:wpaghq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大亚湾反应堆中微子物理实验离线分析软件原使用Gaudi框架为核心。经过一段时间对Gaudi的使用后,发现用于对撞机物理的Gaudi框架并不适用于反应堆物理。主要问题是:运行效率低、使用困难、实现物理模块代码量大。我们发现Gaudi支持的功能很少--主要是缺少增、删、改、查功能,以及不能很好的支持面向对象思想。于是,我们着手研究开发新的物理分析软件框架,将它用于反应堆物理实验分析和暗物质物理实验分析。测试表明,新框架可以胜任这些要求。   新型分析框架的核心是持久层框架。为了找到合适的持久层框架,我们曾经尝试了两种方法:使用传统数据库,或使用ORM(object relationship-table mapping)框架。但是这两种方法也不能满足我们的需求。其中,ORM框架比Gaudi和传统数据库都要好,基本符合需求,但是它不能适用于海量数据处理。而大亚湾反应堆中微子物理离线分析软件需要处理TB级的数据量。故ORM框架和传统数据库也不合用。   最终,我们决定开发新型的通用持久层框架。以云存储为底层,用ORM思想,和对象序列化接口,三者的优点相结合。开发出首个“对象/键-值对存储池映射”框架,即OPM(objectkey-value pair mapping)。经过测试,OPM在功能、速度、易用性、和总容量四方面均大大胜过工业界通用软件hibernate。   本文前半部分以大亚湾离线分析软件系统工作为例,说明OPM框架的使用方法,比较了OPM框架和Gaudi框架以及hibernate框架。本文后半部分讲解了OPM的部分实现细节。  
其他文献
光学相控阵技术是一种新型的任意方向光束指向控制技术,具有不受机械传动影响、分辨率高、扫描速度快、体积小、抗干扰和保密性强等优点,在光束精确控制和扫描领域具有广阔的应
近几十年来,人类活动导致了大气中温室气体和污染气体浓度的急剧增加,而温室气体,特别是CO2的大量增加,会对全球气候产生重要影响。在大气CO2浓度的多种探测方式中,由于主动式差分
本文首先介绍了大NC极限下的QCD和QCD的手征对称性,接下来介绍了低能区域的有效理论--手征微扰理论和共振态手征理论以及它们在大NC极限下的推广。  本文的第一个工作是把描
无序势或光晶格中的玻色-爱因斯坦凝聚体(BEC),揭示了很多引人入胜的新物理内容,吸引了大量的研究人员为之奋斗。  本论文研究空间涨落对物质波干涉特性的影响,第一次用色
在惯性约束聚变及相关的单项物理实验研究中对高功率激光靶面辐照的均匀性提出了苛刻的要求。实现靶面均匀辐照是实验成败的关键因素,也是当前该领域中前沿性课题,具有重要的学
最近几年,纳米技术快速发展,表面等离子体逐渐展露出它在纳米光学领域的突出优势,在生物,医疗等众多领域内都得到了很多的应用。同时,随着信息容量的增大和对计算速度的要求
随着现代大型医疗成像系统的发展,新的成像方法也不断涌现,这些设备提供的医学图像可以从不同方面提供医学信息,如解剖信息、功能信息等;另一方面同一模态图像在不同时间、不同模
稀土具有独特的物理化学性能,在国民经济和现代高新技术方面都有着重要的研究和应用价值。近些年有关对金,银,铜与其他元素构成的合金团簇方面的研究,已经取得了很大进展。因此,对
水下目标识别是水声信息处理与信息对抗领域的关键技术,对于水下探测装备智能化具有十分重要的价值。实际应用中,通常需要针对复杂的海洋环境实现远距离探测和自动识别,目标特性
对于粲偶素辐射衰变到一个轻赝标量介子(π0,η以及η')过程的研究可以为多种唯象模型提供重要判据,例如:Vector dominance model(VDM),双胶子与q-q耦合,η-η'混合以及轻味夸