论文部分内容阅读
分位回归作为一种与均值回归互补的统计工具，能够揭示回归模型中响应变量的条件分位数与协变量之间的关系。由于条件分位数含有概率信息，因此分位回归能够通过估计响应变量的一系列条件分位数来全面地刻画其条件分布。此外，分位回归无需对回归模型中的随机项所服从的分布进行假设，并且对异常值的鲁棒性强。基于上述优点，分位回归在学术界与产业界均获得了广泛而深入的研究。文献中绝大多数已有的工作均基于中心化的场景对分位回归问题进行研究，并发展相应的集中式分位回归算法。然而，随着传感器技术、嵌入式技术与移动通信技术的迅猛发展和大数据时代的到来，现实中的许多应用是基于去中心化的网络化场景，如无线传感器网络、物联网以及分布式计算系统等。在这种情况下，分布式信息处理成为了研究热点，其主要研究数据分布在网络中不同节点上，难以收集到一起的情况下的完全去中心化的信息挖掘方法。已有的集中式分位回归算法因其高度中心化的特点，并不适用于解决网络上的分位回归问题。因此，研究和发展完全分布式的分位回归算法具有重大意义。本文主要关注线性与非线性分位回归问题，考虑分布式网络中的诸多限制性因素，系统地发展了几种具有网络全局意义的分布式分位回归算法。类似的研究工作在已有文献中十分罕有。本文主要的研究内容和创新点概括如下：
第一，针对无线传感器网络上的线性分位回归问题，基于次梯度方法与扩散式合作策略提出两种分布式算法，即非稀疏的与稀疏的分布式线性分位回归算法。其中，后者的提出是为了利用回归模型的稀疏性，使得算法在在稀疏模型上获得更优的性能。另外，对所提出的算法的收敛性进行了分析。数值仿真实验结果表明所提出的分布式算法能够取得与相应的集中式算法十分接近的性能，并且稀疏的算法相比非稀疏的算法在稀疏模型上的性能更具优势。
第二，针对网络上基于量化通信的在线线性分位回归问题，利用一个编码-解码系统，并基于在线次梯度法以及一致性合作策略提出非稀疏的与稀疏的基于量化通信的分布式在线线性分位回归算法，并且分析了所提出算法的收敛性。在理论上证明了所提出的算法能使各节点处的局部估计量一致收敛于无量化误差的真实参数向量，并且给出了所要满足的条件。数值仿真实验结果表明所提出的算法最终能消除量化误差，获得与相应的非量化的集中式算法以及非量化的分布式算法十分接近的性能。另外，对于稀疏模型，稀疏的算法相比非稀疏的算法能够获得更优越的性能。
第三，研究网络上的非线性分位回归问题。已有的非线性分位回归算法，如核分位回归算法与分位回归神经网络算法均为集中式算法，并且难以直接进行分布式扩展。另外，这些算法的计算复杂度较高，尤其对于较大规模问题的求解效率低下。为了解决这些问题，基于核随机特征逼近法与ADMM算法框架，提出了分布式分位随机特征核学习机算法，并对所提出的算法进行了收敛性分析。基于合成数据与真实风电数据的仿真实验验证了所提出的算法不仅能获得与上述两种集中式非线性回归算法相当甚至更优的精确度，同时能够实现显著更高的计算效率。
第一，针对无线传感器网络上的线性分位回归问题，基于次梯度方法与扩散式合作策略提出两种分布式算法，即非稀疏的与稀疏的分布式线性分位回归算法。其中，后者的提出是为了利用回归模型的稀疏性，使得算法在在稀疏模型上获得更优的性能。另外，对所提出的算法的收敛性进行了分析。数值仿真实验结果表明所提出的分布式算法能够取得与相应的集中式算法十分接近的性能，并且稀疏的算法相比非稀疏的算法在稀疏模型上的性能更具优势。
第二，针对网络上基于量化通信的在线线性分位回归问题，利用一个编码-解码系统，并基于在线次梯度法以及一致性合作策略提出非稀疏的与稀疏的基于量化通信的分布式在线线性分位回归算法，并且分析了所提出算法的收敛性。在理论上证明了所提出的算法能使各节点处的局部估计量一致收敛于无量化误差的真实参数向量，并且给出了所要满足的条件。数值仿真实验结果表明所提出的算法最终能消除量化误差，获得与相应的非量化的集中式算法以及非量化的分布式算法十分接近的性能。另外，对于稀疏模型，稀疏的算法相比非稀疏的算法能够获得更优越的性能。
第三，研究网络上的非线性分位回归问题。已有的非线性分位回归算法，如核分位回归算法与分位回归神经网络算法均为集中式算法，并且难以直接进行分布式扩展。另外，这些算法的计算复杂度较高，尤其对于较大规模问题的求解效率低下。为了解决这些问题，基于核随机特征逼近法与ADMM算法框架，提出了分布式分位随机特征核学习机算法，并对所提出的算法进行了收敛性分析。基于合成数据与真实风电数据的仿真实验验证了所提出的算法不仅能获得与上述两种集中式非线性回归算法相当甚至更优的精确度，同时能够实现显著更高的计算效率。