论文部分内容阅读
由于现今时代处于信息爆炸时期,机器学习也因此获得了重大的发展,尤其在聚类、分类和回归等领域获得了阶级式的跨越。分类仍旧是现今机器学习中最重要的研究领域之一,其在语义分析、图像识别、人脸识别等实际应用场景中发挥着重要的作用。然而,随着社会的不断发展和进步以及计算机领域的革新,数据量不断增大,很多新兴数据的应用场景不断被扩充,也因此带来了很多传统机器学习方法所无法适应的新问题:收集的数据形式多种多样,且其内在关系结构较为复杂;收集到的有标记数据的数量十分有限。这些可能会造成经典的分类方法应用于这些场景时无法适应,因而面临更加严酷的挑战:一方面数据多样性增加,已有的经典分类方法会忽略各种形式的数据的内在关系,进而导致此类方法在处理这种数据时无法得到满意的效果;另一方面由于可收集的有标记样本的严重缺乏,使得传统分类方法对此类数据直接进行处理建模时无法获得较好的泛化能力,效果较差。因此,本课题主要解决在新兴数据的挑战下,如何将经典的机器学习分类算法进行拓展,以期能够应对新兴数据应用场景中出现的上述问题,最终得到更好的分类性能。为了解决经典的分类方法在上述提到的新兴数据应用场景中所需应对的挑战,本课题主要聚焦于多视角学习和迁移学习两个应用场景,通过对传统分类方法的扩展和改进,以应对新兴数据挑战。具体如下:(1)第一部分为第2、3章节,主要研究了基于多视角学习的分类方法及其应用。首先在第2章节提出了一种基于隐空间概率密度一致的新型多视角SVM,以应对由于不同视角的样本之间差异导致多视角分类效果差的挑战,分析了其相关理论,并以多视角人脸识别为应用场景进行了大量实验。该方法不直接计算不同视角样本之间的差异,而是基于隐空间中的概率密度一致性,利用原始空间和公共隐空间得到扩展空间,并在扩展空间中引入支持向量机巧妙地解决了问题。此外,一种基于束方法的新优化方法被用于有效且快速地优化所提问题。所提出的方法成功地用于各种复杂场景下,特别是在不同视角的同类样本之间的差异大于来自相同视角的不同类的样本之间的差异这一特殊场景中的多视角人脸识别,具有良好的实用性和有效性。其次,在第3章节部分提出了一种新颖的多视角局部线性k近邻方法,并对该方法进行了理论分析,以多视角图像检测为应用场景进行实验分析。它是在两个可靠且理论上可证明的假设下开发的,利用稀疏的判别性质进行分类而没有任何用于多视角学习的明确预测模型,可以廉价地使用现有的FISTA和KNN来实现对多视角测试样本的有效预测。此外,已经证明了该方法还具有其他有趣的特性,可以增强同一类中的样本之间的相关性以及贝叶斯决策规则的联系。(2)第二部分为第4、5章节,主要研究了基于迁移学习的分类技术及其应用。在第4章节,针对当前场景训练数据严重不足造成分类性能下降,提出了一种基于DLSR归纳式迁移学习算法,用于多类分类任务。该算法基于归纳式迁移学习算法的框架提出来,但是,它不同于其他的归纳式迁移学习算法直接利用源域的数据或特征,而是利用了一种知识杠杆机制,即从源域中迁移某种知识用于目标域,而这能够很好地保护源域数据的安全性,而且能够同时利用目标域的数据以及源域的知识,从而性能更好。该算法很好地继承了DLSR的通过扩大不同类别之间的间隔以更好适用于多类分类场景的特性,并将其拓展成具有一定迁移学习能力的新型方法,从源域迁移了知识,从而保证了其学习的模型能够更加合理有效。其次,在第5章节部分提出了一种基于知识和标签空间迁移的新型归纳式迁移学习方法,并应用于多类癫痫EEG信号的识别。该算法不仅使用提出的γ-LSR来扩大相应标签空间中不同类别标签的间隔,从而有效地对多类样本进行分类;并且通过归纳迁移学习机制,充分利用源域知识和标签空间信息,提高目标域数据不足时的分类性能。由于该算法是在线性模型上进行设计的,因此所得的预测函数可以在有理论保证的情况下清楚地解释/说明特征的相关性,具有较好的可解释性。实验表明,所提出的方法能够有效应用于当样本不足时的多类癫痫EEG信号识别。