【摘 要】
：
偏最小二乘（PLS）算法是常用的光谱建模算法,然而对于海量光谱处理情形,在单台计算机上建模及优化时间开销很大。基于MapReduce编程模式,提出了并行MapReduce PLS回归算法,包括
【机 构】
：
桂林电子科技大学电子工程与自动化学院,桂林电子科技大学计算机科学与工程学院,清华大学分析中心
论文部分内容阅读
偏最小二乘（PLS）算法是常用的光谱建模算法,然而对于海量光谱处理情形,在单台计算机上建模及优化时间开销很大。基于MapReduce编程模式,提出了并行MapReduce PLS回归算法,包括并行数据标准化和并行主成分提取两个过程。在多台普通计算机上搭建Hadoop云计算集群平台,以近红外光谱处理为例,开展了算法验证实验。实验结果表明,基于MapReduce编程模式的并行PLS算法对海量近红外光谱数据集进行回归建模时,能有效提高建模速度,随计算机台数的增多可得到接近线性的加速比,并具有良好的扩展性。
其他文献
针对目前能量管理系统（EMS）与广域测量系统（WAMS）之间没有一个统一的信息模型,不能集中动态监视与控制日益复杂的电力系统的现状,对IEC61970标准的公共信息模型CIM进行了深入研究
以酿酒酵母为载体,常温下利用仿生法成功合成了CdS量子点。荧光发射光谱、紫外吸收光谱以及荧光显微镜照片证明,该方法合成的CdS量子点的荧光发射峰位置在443nm,在紫外灯下能
应用红外光谱研究微生物对黑土添加麦秸后腐殖质结构特征变化的影响。结果表明：（1）土壤水溶性物质（WSS）的结构和官能团数量受微生物影响较大。细菌有利于提高WSS中脂肪族烷烃类物
本文提出了复杂构造地区的目标导向观测系统的设计方法.使用波动方程正演模拟来指导并在二维声波方程的一阶速度-应力方程中应用交错网格有限差分法实现.使用了四阶精度的差分算子和完全匹配层吸收边界条件.通过分析理论模型的模拟结果,展示了如何将地面地震响应与地下目标构造匹配.通过分析桥口地区实际地质模型的模拟结果,指出波动方程正演模拟在小断块、小背斜增生的复杂地区中相对于传统方法更精确,图像更清晰,更利于分
激励性评价是指教师应在课堂中对学生采用随机的、激励性的评价,通过语言、情感和其他恰当的方式,不失时机地从不同角度给不同层次的学生以充分的肯定、鼓励和赞扬.如何在新
采用直接缩聚的方法，通过调节磺化单体与非磺化单体的比例合成出一系列含有1，3，4-噁二唑的聚芳醚砜聚合物。并且通过红外光谱，核磁共振谱，热失重分析仪对其结构进行验证。红外光谱
并网逆变器正广泛应用于太阳能和风能等新能源发电领域。在建立单相隔离并网逆变器数学模型的基础上，使用无源阻尼抑制谐振，并采用带电网电压前馈的电流双闭环控制策略。分析了
本文主要结合疑难病例对B超鉴别肝区肿块的关键问题加以探讨。病例报告[例1]男,55岁,主诉B超诊断为肝癌液化,本次B超初查确似肝内占位性病灶(图1),但经反复多切面探测,即发现
我们现在正在进入一个关键的历史时期,能源日益短缺。因此,我们需要一个可持续性更长久的解决办法。目前,技术可以解决这个困扰。但是能源问题一旦与气候变化和可持续性纠结