【摘 要】
：
商立方体是一种数据立方体的压缩技术。因为等价类中所有元组的聚集值相等,所以商立方体通过计算并保存等价类的上下界来达到压缩的目的。然而大数据环境下,传统单机数据库无
论文部分内容阅读
商立方体是一种数据立方体的压缩技术。因为等价类中所有元组的聚集值相等,所以商立方体通过计算并保存等价类的上下界来达到压缩的目的。然而大数据环境下,传统单机数据库无法满足对于历史数据查询、分析、管理的需求。因此本文利用商立方体等价类的上下界,提出了等价区间的模型。同时,基于区间结构端点可扩展的灵活性以及元组和等价区间之间的位置关系,定义了包含、相异、扩展三种关系,并通过这三种关系对区间结构进行维护。在提出了等价区间的概念之后,利用Spark分布式计算框架,定义了商立方体查询模型,并提出分布式环境下的商立方体OLAP查询算法。利用分布式系统的特性将查询并行化来提升算法性能。在验证了商立方体查询在分布式环境下的优异性能之后,本文又基于商立方体的分布式OLAP静态查询算法以及等价区间的概念,建立了商立方体缓存模型。基于该模型,提出了一种分布式商立方体动态OLAP缓存算法。它的优势在于,无需在每次历史数据更新后重新对商立方体进行计算和物化,而是可以通过查询来驱动商立方体的动态生成。最后通过对查询单元数量、层数以及数据倾斜度等参数,多角度分析了该算法在不同条件下的性能。
其他文献
天文望远镜每天产生的海量数据给天文数据处理系统的快速处理能力提出了很高的要求。随着分布式技术的快速发展,分布望远镜信息系统,模块化设计以及分布调用与集成的概念得到
2000年,IETF工作组制定了流控制传输协议(Stream Control Transfer protocol,SCTP)。IP网络的大部分业务的数据传输都是通过人们所熟知的TCP或者UDP来完成的,但是TCP和UDP已
磁感应磁声成像(Magneto-acoustic Tomography with Magnetic Induction,MAT-MI)是一种结合超声成像和电阻抗成像的生物组织成像新技术,能检测生物组织内部电阻抗的变化,重建
在计算机技术飞速发展的今天,随着分布式计算方式的兴起和云计算技术的普遍使用,作为支撑这些平台基础的虚拟化技术因其节约硬件成本,能够提升系统安全性,便于管理维护等特性
云环境下,随着用户请求的动态变化,虚拟机的资源利用率出现过高或过低问题。当虚拟机资源利用率过高,系统崩溃的概率增加,稳定性差,易出现死机等问题。当资源利用率过低,如虚
优化问题普遍存在于工程设计、信息技术、工业生产等科学领域,因而解决优化问题是具有一定的理论意义和实践价值。智能优化算法是源自于生物进化规律的搜索方法,它具有简单、
机器视觉是机械制造及其自动化领域的研究热点,将机器视觉应用在工业机器人上,实现对运动目标检测、分割、跟踪等任务是智能制造的发展趋势。其中,目标分割是将图像或视频帧
随着电子商务,视频会议这些应用的出现,人们对网络稳定性的要求越来越高。各个公司也希望稳定的网络服务给公司带来更多的客户和创造更多的价值。互联网服务提供商(ISPs)为了
应用需求驱动着网络技术的发展,当今的互联网业务对网络提出了越来越高的性能要求。随着OpenFlow技术的诞生和发展,从学术界到工业界,已经有越来越多的组织关注到这一有可能
SDN(Software-defined Networking)是一种新型的网络技术,它最重要的设计理念是解耦合控制平面与数据平面,通过开放接口的方式实现交换机的可编程。本文通过对现有SDN与EPC(E