论文部分内容阅读
在众多大数据处理平台中,Spark以其运算速度快,操作方便等特有的优势脱颖而出。然而在实际应用中,Spark还存在一定的优化空间。针对Spark的参数配置优化,基于随机森林回归算法提出一种可行性较高的Spark性能预测的方法,并将该方法应用到电信数据处理任务中。实验证实,该性能预测方法不仅易于实现,且通过该方法得到的参数配置对于Spark任务性能有较好的提升。