论文部分内容阅读
随着科学技术的不断发展,在真实世界中存在很多高维度的数据,例如生物信息学中的基因序列、时间序列以及高光谱遥感数据等。虽然高维数据比低维数据拥有更多的数据量,但是对于某个特定的识别任务来说,高维数据中的很多特征都是冗余的且与当前任务无法产生联系的无效特征,还有很多冗余的与任务不相关的无效特征,甚至是影响分类精度的噪声特征。因此,如果直接对这些高维数据操作会面临很多的困难,最直接的表现就是维数灾难问题。此外,在实际应用中,如果直接操作高维数据,大多数的学习算法的计算开销以及时间开销会随着特征维数的增高而不断增加,模型也会越复杂,算法的推广能力自然也会下降。为了解决高维数据所面临的问题,特征选择技术随之产生。特征选择的含义是,为实现降低特征空间维数的目的,从原始特征数据集中选出那些与识别任务相关的、有代表性的特征的过程,它是模式识别中的关键的数据预处理步骤,同时也是提高学习算法性能的有效手段。迄今为止,研究群体为了从高维特征中挑选出相关的、有代表性的特征,提出了大量的特征选择方法。如Lasso方法,Adaptive Lasso方法,全局冗余最小化(GRM)方法,等等。近年来,多标签学习在各种实际应用场景中也得到了广泛的使用,重点研究了一个样本同时属于多个类别或者是多个标签的问题。对于多标签数据呈现出来的大量特征,研究者们也从不同的方面提出了大量的特征选择方法,如Lin等人提出了一种基于最大依赖和最小冗余(mRMR)的多标签特征选择方法,Liu等人提出了一种在线多标签组特征选择算法,等等。基于前人的研究成果,本文提出了一个不一样的特征选择方法,并在文中给出了合理有效的迭代求解算法。本文的主要研究内容如下:(1)基于传统Lasso以及扩展的Lasso特征选择方法所存在的缺陷,选择将样本特征与类别之间的相关性作为约束,在传统Adaptive Lasso模型中加入权重约束,提出了扩展的自适应Lasso(EALasso)特征选择方法,该方法不仅可以处理两类样本的特征选择问题,还可以处理繁杂的多类别多标签特征选择问题。在优化目标函数的过程中,对回归系数加权,当权重确定后,在/2.1-norm的约束下,为了尽可能达到行稀疏,权重矩阵中值比较大的元素所对应的稀疏系数矩阵中的值就会被压缩为0,所以那些回归系数被估计为0的特征就会被自动删除,从而达到特征选择的目的。对于EALasso,文章中还提供了有效的迭代求解算法以及相对应的收敛性证明。在这一部分,分别在多类别单标签数据集上以及多类别多标签数据集上以不同的判别方式证明了本章所提出方法的有效性。(2)基于考虑到数据之间的固灯联系和局部结构信息对数据本身的直接影响,这一部分,将EALasso方法做了进一步地扩展,提出了基于流形规整的自适应Lasso(MrALasso)特征选择方法,在这一部分中,在目标函数中添加了图规整项是希望原空间中相近的样本点在低维空间中也尽可能相近,同时也增加了数据之间的固有联系和局部结构信息,并提出了有效的迭代求解算法以及相应的收敛性证明。在多个相关基因数据集上的实验结果表明,本文提出的算法的效果要优于其他相同领域的特征选择算法。然而,MrALasso只能解决包含两类样本的特征选择问题。(3)这一部分,进一步将MrALasso从两类别的情况扩展到了多类别的情况,提出了扩展的基于流形规整的自适应Lasso(EMrALasso)的多类别选择方法,并提供了有效的迭代求解算法以及相应的收敛性证明。实验结果在多个多类别数据集上证实了EMrALasso方法的有效性。