【摘 要】
：
近年来的研究表明,对抗训练是一种有效的防御对抗样本攻击的方法.然而,现有的对抗训练策略在提升模型鲁棒性的同时会造成模型的泛化能力下降.现阶段主流的对抗训练方法通常都是独立地处理每个训练样本,而忽略了样本之间的关系,这使得模型无法充分挖掘样本间的几何关系来学习更鲁棒的模型,以便更好地防御对抗攻击.因此,重点研究如何在对抗训练过程中保持样本间的几何结构稳定性,达到提升模型鲁棒性的目的.具体而言,在对抗训练中,设计了一种新的几何结构约束方法,其目的是保持自然样本与对抗样本的特征空间分布一致性.此外,提出了一种基
【机 构】
：
厦门大学 信息学院 人工智能系 媒体分析与计算实验室, 福建 厦门 361005;National Institute of Informatics, Tokyo 101-8430, Japan;Pi
论文部分内容阅读
近年来的研究表明,对抗训练是一种有效的防御对抗样本攻击的方法.然而,现有的对抗训练策略在提升模型鲁棒性的同时会造成模型的泛化能力下降.现阶段主流的对抗训练方法通常都是独立地处理每个训练样本,而忽略了样本之间的关系,这使得模型无法充分挖掘样本间的几何关系来学习更鲁棒的模型,以便更好地防御对抗攻击.因此,重点研究如何在对抗训练过程中保持样本间的几何结构稳定性,达到提升模型鲁棒性的目的.具体而言,在对抗训练中,设计了一种新的几何结构约束方法,其目的是保持自然样本与对抗样本的特征空间分布一致性.此外,提出了一种基于双标签的监督学习方法,该方法同时采用自然样本和对抗样本的标签对模型进行联合监督训练.最后,分析了双标签监督学习方法的特性,试图从理论上解释对抗样本的工作机理.多个基准数据集上的实验结果表明:相比于已有方法,该方法有效地提升了模型的鲁棒性且保持了较好的泛化精度.相关代码已经开源:https://github.com/SkyKuang/DGCAT.
其他文献
驻波谐振腔是基于直线加速器的束流注入器的基本构造元件,其大功率微波馈入一般选用矩形波导耦合器,但它会引起场不对称和谐振频率的漂移,也难以针对不同流强的束流灵活调节耦合度.建立了带有调配杆的耦合器的等效电路模型,在理论分析的基础上,给出了杆的最佳位置.此外,在耦合器的对称方向插入调谐杆用于补偿结构改变及加工安装等外部因素造成的频率漂移,并使用CST MICROWAVE STUDIO的三维电磁仿真给出了两个杆的尺寸和调整范围.联合调整的仿真结果表明,在谐振频率保持稳定的情况下,不同流强的束流均达到临界耦合状态
传统监督学习需要训练样本的真实标记信息,而在很多情况下,真实标记并不容易收集.与之对比,众包学习从多个可能犯错的非专家收集标注,通过某种融合方式估计样本的真实标记.注意到现有深度众包学习工作对标注者相关性建模不足,而非深度众包学习方面的工作表明,标注者相关性建模利用有助于改善学习效果.提出一种深度生成式众包学习方法,以结合深度神经网络优势及利用标注者相关性.该模型由深度神经网络分类器先验和标注生成过程组成,其中,标注生成过程通过引入各类别内标注者能力的混合模型以建模标注者相关性.为自适应地匹配数据及模型复
针对电动汽车锂离子电池组各单体间往往存在电量不一致而导致电池组的可利用容量降低,并大大缩短了电池组使用寿命的问题,提出了一种基于反激式变压器的P-C-C-P均衡器.它结构简单、易于控制,采用反激式变压器在电池组中进行能量传输,提升了均衡效果;在电池组充、放电和静置过程中,可根据情况在3种均衡策略,即P-C、C-C和C-P中自由选择,每种均衡策略都只需对一个MOSFET进行PWM控制,能量损耗小.本文中详细介绍了均衡器的基本原理和控制方法,并搭建实验平台进行均衡实验,结果验证了该均衡器的可行性.
与研究固定特征空间的传统在线学习相比,特征演化学习通常假设特征不会以任意方式消失或出现,而是随着收集数据特征的硬件设备更换旧特征消失、新特征出现.然而,已有的特征演化学习方法仅利用数据流的一阶信息,而忽略可以挖掘特征之间相关性和显著提高分类性能的二阶信息.提出了一种特征演化的置信-加权学习算法来解决上述问题:首先,引入二阶置信-加权来更新数据流的预测模型;接着,为了充分利用已学习的模型,在重叠时期学习线性映射来恢复旧特征;随后,用恢复的旧特征更新已有模型;同时,用新特征学习新的预测模型;继而,运用两种集成
无监督域自适应是解决训练集(源域)和测试集(目标域)分布不一致的有效途径之一.现有的无监督域自适应的理论和方法在相对封闭、静态的环境下取得了一定成功,但面向开放动态任务环境时,在隐私保护、数据孤岛等限制条件下,源域数据往往不可直接获取,现有无监督域自适应方法的鲁棒性将面临严峻的挑战.鉴于此,研究了一个更具挑战性却又未被充分探索的问题:源域无关的无监督域自适应,目标是仅依据预训练的源域模型和无标签目标域数据,实现源域向目标域的正向迁移.提出一种基于伪标签不确定性估计的源域无关鲁棒域自适应的方法PLUE-SF
在多标记学习(MLL)问题中,每个示例都与一组标记相关联.为了实现对未见示例的高效预测,挖掘和利用标记之间的关系是至关重要的.大多数已有的研究都将关系简化为标记之间的相关性,而相关性又通常基于标记的共现性.揭示了因果关系对于描述一个标记在学习过程中如何帮助另一个标记更为重要.基于这一观察,提出了两种策略来从标记因果有向无环图(DAG)中生成标记的因果顺序,同时使得生成的因果顺序都遵循因标记应该在果标记之前的准则.第1种策略的主要思想是对随机顺序进行排序,使其满足DAG中的因果关系.而第2种策略的主要思想是
针对基于信息增益与皮尔森相关系数的特征选择算法FSIP(feature selection based on information gain and Pearson correlation coefficient)存在的特征子集选取需要人工参与的问题,提出基于可辨识矩阵的完全自适应2D特征选择算法DFSIP(discernibility based FSIP).DFSIP算法完全自适应地发现特征子集,每次选择当前特征中最重要的一个特征,并以此特征约简可辨识矩阵,剔除冗余特征,最终自适应地获得最优特征子集
随着互联网信息的爆炸式增长,标签(由用户指定用来描述项目的关键词)在互联网信息检索领域中变得越来越重要.为在线内容赋予合适的标签,有利于更高效的内容组织和内容消费.而标签推荐通过辅助用户进行打标签的操作,极大地提升了标签的质量,标签推荐也因此受到了研究者们的广泛关注.总结出标签推荐任务的三大特性,即项目内容的多样性、标签之间的相关性以及用户偏好的差异性.根据这些特性,将标签推荐方法划分为3个类别,分别是基于内容的方法、基于标签相关性的方法以及基于用户偏好的方法.之后,针对这3个类别下的对应方法进行了梳理和
特征学习是机器学习中的一项重要技术,研究从原始数据中学习后置任务所需的数据表示.目前,多数特征学习算法侧重于学习原始数据中的拓扑结构,忽略了数据中的判别信息.基于此,提出了基于随机近邻嵌入的判别性特征学习模型.该模型将对判别信息的学习与对拓扑结构的学习融合在一起,通过迭代求解的方式,同时完成对这两者的学习,从而得到原始数据具有判别性的特征表示,可以显著提升机器学习算法的性能.多个公开数据集上的实验结果验证了该模型的有效性.
在实际应用中,聚类多视图数据是一项重要的数据挖掘任务.样本缺失所导致的多视图不完整给聚类任务带来了巨大的挑战.大部分已有的不完整多视图聚类方法主要基于浅层图结构信息,易受到噪声及缺失数据的影响,且难以准确刻画并兼容所有视图的潜在结构,从而降低了聚类性能.为此,提出了一种更为鲁棒和灵活的基于多阶近邻扩散融合的不完整多视图聚类算法.该算法在利用多阶相似性学习不完整视图潜在结构的基础上,通过跨视图交叉扩散的方式,将不同阶的深层结构信息进行非线性融合,以此挖掘视图间更全面的结构信息,从而降低了缺失样本所导致的视图