基于改进DPhyp算法的Impala查询优化

来源 :中国计算机学会第一届CCF大数据学术会议 | 被引量 : 0次 | 上传用户:z46810560
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对目前基于动态规划查询超图(dynamic programming hypergraphs,DPhyp)优化SQL查询算法产生指数运行时间、传统代价模型难以直接适用于Impala大数据实时查询系统等问题,提出基于改进DPhyp算法的Impala查询优化方法.首先,构建满足左线性树的搜索策略,缩小整个执行计划的搜索空间;接着,综合考虑数据移动代价及Hash join算法运行等关键因索,结合提出的代价模型,生成最佳的join顺序;最后,在生成的join顺序基础上构建执行计划,执行后返回最终查询结果.大量实验结果表明,改进的DPhyp算法与DPhyp生成的join顺序一致,且前者算法运行效率比后者要快近一倍.另外,改进的DPhyp算法结合提出的代价模型,比原始的Impala查询响应时间平均减少67%~80%.
其他文献
本文以丰南区农村公路建设为例,在分析其农村公路建设取得的成就的基础上,研究了其存在质量意识淡薄、资金缺口大、技术力量缺乏等问题,指出加强我国农村公路建设需要增强思想
目的:针对耳鼻喉科护理管理中所涉及的不安全因素加以防范并提出相关的解决对策;方法:选取2019年7月到2020年7月本课题组所在医院耳鼻喉科收治的60例患者,针对患者进行常规护
随着社会网络数据规模的急剧上升,传统的社会网络社团挖掘方法无法有效应对大数据社会网络场景.基于MapReduce并行计算框架,提出了一种针对大数据社会网络的社团挖掘方法.储
会议
1.用含黑索金的饲料饲养大白鼠,观察其中毒12周内的一般状态、死亡率、外周血象和病理学变化,并与同浓度TNT、黑索金TNT复合中毒时的中毒效果进行比较。2.黑索金浓度为1.0和0
目的:对于个性化护理与奥美拉唑配合进行胃炎胃溃疡治疗患者在临床上的效果进行分析.方法:选择2018年10月-2019年10月入院治疗的患有胃炎胃溃疡患者共计88例,依照随机分组的
目的:围手术期护理干预方法使用在卵巢囊肿患者采用腹腔镜手术治疗的护理中,观察该种护理方法的效果.方法:将我院收治的腹腔镜治疗的卵巢囊肿患者作为观察对象,观察时间段为2
提出并研究了针对海量多版本文档的加权持久性top-k检索问题.加权持久性top-k检索能够返回在一个限定时间区间内与查询关键词组持续相关的k个结果,并且考虑不同时间区间有不同
会议
启动农村消费市场潜力巨大1.农村市场集中了我国最大的消费群体。在我国13亿人口中,有9亿在农村,如农村居民每实现1000亿元的最终消费,将对整个国民经济产生2356亿元的消费需求,从而带动工业部
目的:探究妇科护理中个体化健康教育的应用效果.方法:采用随机数表法将患者分为观察组与对照组每组各50名患者.观察组采用个体化健康教育模式进行护理干预,对照组采用常规健
目的:肺癌患者的生活质量会受到严重影响,进行治疗时一般会应用放疗的方式,为提高患者临床效果,本文分析此类患者的健康教育以及相关护理措施,让患者疾病的治疗得以促进.方法