Spark SQL优化与硬件选型

来源 :2017中国数据库技术大会 | 被引量 : 0次 | 上传用户:yx2207
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
首先简要介绍了Spark的相关知识,然后对Spark SQL进行基准测试并对性能进行比较分析,最后推荐硬件选型。
其他文献
首先介绍了存储系统的现状,其次分析了Kudu的设计目标、数据模型、整体架构等内容,最后论述了Kudu在小米的应用。
首先分析了金融业对数据库的需求,然后介绍了互联网金融系统的建设,最后阐述了分布式架构设计的建议,以实现数据可靠、系统可用、用户体验、容量增长等功能。
首先介绍了数据库的核心参数,然后阐述了缓存池的工作机制,包括缓存池中的列表,访问数据页的流程,访问数据页的源码以及缓存池所涉及的参数,最后论述了缓存池源码解析。
会议
首先介绍了互联网广告发展史,认为O2O+广告,应根据业务特性,设计系统架构,提前预估流量变化,线下全链路、引流压测,线上优雅降级,实现性能、可用、数据一致优化。
首先介绍了饿了么O2O搜索推荐业务,然后阐述了饿了么O2O搜索推荐的特殊挑战,最后论述了饿了么在工程和算法上的实践。
提出了在云时代,OceanBase为应对挑战可以实现自动容错、无共享集群、Paxos强同步、新存储引擎等功能。
首先分析了要升级到12c的原因,其次介绍了Oracle 12c的新特性,然后阐述了Oracle12c的升级与迁移,最后论述了一些关于12c的数据库参数。
首先介绍了PGXZ的架构和背景,其次分析了PGXZ的数据分布(Data Sharding),然后阐述了PGXZ的数据在线迁移,最后论述了PGXZ的表分区(Table Partition)。
Power BI三大组成部分包含Power BI桌面应用、Power BI在线应用以及Power BI移动应用,功能强大,满足工作所有需求,在线分享,数据实时同步更新,移动办公,随时随地监测跟进。