论文部分内容阅读
分类问题是机器学习领域中的一个基本问题,对分类器的设计和改进等研究工作层出不穷并且日益出新。当前的分类算法主要以概率统计方法为理论工具,在模式识别、数据挖掘等领域的很多应用中取得了巨大的成功,但也暴露出统计学习方法中诸如参数过多、经典统计分布与数据真实分布不一致等问题。近年来出现的正则化方法使人们开始从新的角度理解模式识别的算法设计。在正则化框架下如何从有限的样本点出发设计泛化能力强而又性能鲁棒的分类器依旧是一个很有挑战性的课题。
另外,多数分类方法都是基于一个离散的框架,直接在数据点上进行求解。近些年,在图像处理领域,出现了一些用现代数学方法建立的图像处理模型,如使用变分法、偏微分方程、小波、随机方法等进行图像去噪、去模糊、图像修补、图像分割等应用。这些方法在工程应用上取得的成功及其良好的理论基础使得它们取代了传统图像处理方法而成为图像处理领域的主流方法之一。在这些方法中,变分法与偏微分方程成为了主要的求解工具。
本文主要目标是探索在连续的框架下求解高维空间中的分类问题,通过变分法将分类函数与偏微分方程联系起来,并将高维全变差引入分类模型的正则项,设计出适合高维空间中求解的鲁棒的分类算法。
从正则化方法和图像处理中的全变差模型出发,我们对分类问题采取以下策略:
●从函数学习的角度理解分类问题,在适当的函数空间中,建立能量泛函,引入梯度有关的正则项,通过变分法将泛函极值和偏微分方程联系起来。
●将高维全变差正则项用在分类模型中以提高算法的稳定性。
这个工作的重点主要在于,第一,探索用非概率的连续框架来求解分类问题。对于这一点我们主要是通过找到图像去噪模型和分类问题的内在联系,借鉴图像处理的连续框架和模型来实现。第二,针对机器学习问题的高维数据设计合理的算法。由于图像处理中的问题在连续框架下转化为二维PDE的求解,很容易利用现有的数值求解技术(如有限差分或有限元)来推导算法,但是这一点对于高维数据并不适用。我们使用了函数近似的思想设计了对于高维数据适用的求解算法。实验表明,全变差算法在所有数据集上的整体表现略好于其它方法,并且在稳定性上表现出一定优势,验证了我们的框架和算法的正确性和合理性。