论文部分内容阅读
弱监督判别学习针对传统判别学习参数独立性假设造成的判别模型在无标记样本上无学习能力的问题,主要研究如何通过导入先验知识或者合理假设在给定少量标记样本或者无标记样本的情况下恢复其学习能力。修改传统的判别算法,使得判别算法优点能够迁移至弱监督学习场景逐渐成为了机器学习中重要课题之一。本文首先简要给出了弱监督判别学习问题的定义并回顾了研究现状。根据弱监督学习目标以及学习场景设定,针对现有弱监督判别学习的不足,本文主要贡献包括三个方面:
1.半监督分类算法研究。半监督支持向量机仅仅使用边界点信息构成其分类面而丢弃非边界点中包含的整体几何信息。本文针对这一缺点,提出了紧密性假设。根据此假设实现了紧密边界机(Compact Margin Machine(CMM))将非边界点(非标记数据以及标记数据)中包含的整体信息引入目标函数,使用凹凸规划(Constrained Convex-Concave Procedare(CCCP))求解目标函数。实验证明,算法在实际数据中表现优越。
2.判别聚类算法研究。本文将半监督学习中的低密度分割假设迁移至聚类问题。使用信息理论和贝叶斯非参数技术来实现这一假设。相关贡献包括:利用最小化后验条件熵对大部分现存的判别学习算法给出了信息论解释。从而提供了新的分析视角。
从这一信息论聚类框架出发,提出了多种新型判别聚类算法,包括Logistics聚类,非监督条件随机场以及最大相对边界聚类(Maximum Relative Margin Clustering(MRMC))。并且针对其中最大相对边界聚类算法进行了加速。
将监督条件下的贝叶斯非参数技术——高斯过程推广至非监督情况,并且将边界定义引入该模型。从而使得模型能够充分地利用Universum指导聚类。
在人工和实际数据集上证明了本文提出的部分算法的特点以及优异性。
3.半监督距离度量学习算法研究。过去大部分距离度量算法仅仅利用“mustlink”和“cannot-link”样本点对来学习度量矩阵。本文首次将最大熵原则引入度量矩阵学习,并利用后验稀疏假设拓展模型学习能力至未标记样本点对。实验证明,当缺乏监督信息时,这一算法显著优于现存距离度量算法。