【摘 要】
：
逻辑回归是多标签分类以及排名任务中最常用的损失形式,但逻辑回归下的Sigmoid交叉熵损失函数受类别不平衡的影响极其严重。这种不平衡主要来自两方面,一是单个类别正例样本与负例样本比例的不均衡,二是各个类别之间样本数量上的巨大差别。这篇文章首先指出了这两种不平衡能通过对分类器输入随机生成的噪声样本来量化,即使噪声样本不能提供任何有助于分类的信息,分类器对噪声样本给出的预测值在各个类之间仍然有显著且稳
论文部分内容阅读
逻辑回归是多标签分类以及排名任务中最常用的损失形式,但逻辑回归下的Sigmoid交叉熵损失函数受类别不平衡的影响极其严重。这种不平衡主要来自两方面,一是单个类别正例样本与负例样本比例的不均衡,二是各个类别之间样本数量上的巨大差别。这篇文章首先指出了这两种不平衡能通过对分类器输入随机生成的噪声样本来量化,即使噪声样本不能提供任何有助于分类的信息,分类器对噪声样本给出的预测值在各个类之间仍然有显著且稳定的差异。这篇文章认为这些不依赖样本信息的预测差异反映了分类器的推断倾向,并足以作为在类别不平衡学习中校正分类器的依据。传统的类别不平衡学习主要面临两个问题,一是对类别不平衡影响最终预测的深层机制只有定性讨论,缺乏定量分析;二是没有度量模型受类别不平衡影响程度的定量指标。以上两点导致对类别不平衡问题的解决方案大多停留在启发式的加权策略上,缺乏系统的理论依据。这篇文章以图片多标签分类为基准任务,详细地讨论了多标签分类任务下类别不平衡问题的成因,揭示了类别不平衡与推断倾向之间的联系,并提出了用于定量测量推断倾向的噪声统计方案,并在此基础上提出两项Sigmoid交叉熵的改进方案,期望极值平移(ES)和噪声样本约束(NC),进而展示了如何通过降低推断倾向的影响来缓解类别不平衡问题。最后,在三个公开数据集Microsoft COCO,NUS-WIDE和DeepFashion上,通过对比试验和可视化论证了推断倾向与类别不平衡间的关系,以及两种改进方案的有效性。
其他文献
保护耕地是实现粮食安全的必要条件。为此,我国出台了一系列耕地保护政策,但总体而言耕地保护政策实施效果欠佳。除缺乏健全的监管机制外,更重要的是现行耕地保护机制对耕地
在高端制造领域,数控机床的战略价值不言而喻,航空航天、高端汽车、大型旋转机械和精密加工等重要领域都无法离开数控机床。角度头是安装在数控机床上的一种加工附件,可以在
随着制造业向智能化方向的发展,工业机器人在工业生产中得到日益广泛的应用,但是工业机器人领域的人才缺口巨大,重要原因之一是缺乏有效的教学体系。工业机器人领域的人才培养离不开实验教学,虽然众多高校和职业学校都开设了工业机器人实验课程,但是由于教学条件的限制,存在实验效率低下、教学效果不佳的问题。为提升实验教学的效率效果,响应“新工科”实践的号召,本文设计了网络化工业机器人认知与操作虚拟仿真实验平台,主
信息时代人们对信息获取的需求日益增加,尤其从图像中获取有用信息的需求在各个邻域都变得非常重要。图像中目标的边缘信息获取是图像信息获取的重要研究方向之一,也是图像分析的基础。本文围绕灰度图像中目标的边缘检测展开了研究,对已有的边缘检测算法进行了改进,主要工作如下:一、提出了改进的多方向结构元素边缘检测算法。在介绍形态学边缘检测算子的基础上,分析了多方向结构元素对边缘检测结果的影响,对传统的多方向结构
随着智能终端设备的普及,消费者倾向于通过网上购买商品,这催生了电子商务的繁荣。由于电子商务虚拟环境普遍存在着信息不对称性,消费者无法准确获得商品质量信息,因此更多地借助历史评论衡量商品的好坏。然而,有些不法商家抓住机制的漏洞,雇佣网络水军撰写不实的言论以提高自身声誉,吸引消费者购买。评论大数据的产生使得人们很难用肉眼辨别出哪些是虚假评论。传统的虚假评论检测模型取得了一定的研究成果。但是,由于这些模
随着移动互联网的飞速发展,基于位置数据的应用层出不穷,为人们的生活带来极大方便的同时也使得用户的隐私受到巨大的威胁。位置隐私泄露场景以及保护方法是研究的重点,已有的研究仅从位置、轨迹的角度考虑隐私泄露场景,但是位置数据的位置特征也能够暴露用户的隐私信息。针对位置特征会暴露用户隐私的问题,提出基于特征安全的位置隐私保护模型。模型将位置特征划分为发布特征和扰动特征,定义特征相似社区和特征?-多样性,根
种群模型在数学生态学领域是众多学者研究的对象,人们将自然生态中的问题抽象成数学模型,进而解释说明生态系统中的现象.随着种群生态学的发展,我们所研究的模型也更加具有实际意义,其中一类重要的研究方向是对时滞种群模型的研究.时滞是自然生态中一种常见的现象,例如在捕食模型里我们往往假定幼年种群不具备捕食能力,从幼年期到成熟期有一个生长期,这就是一种时滞现象.因此,本文研究的第一类问题就是在已有的互惠模型基
随着信息技术的发展,智能制造成为制造业的必然发展趋势。在汽车制造领域,为满足多样化的市场需求,多品种、小批量的柔性生产方式被广泛使用。在涂装车间内,漆后车身有较大概
随机微分方程的理论被广泛应用于金融、系统科学、工程科学等领域.例如:在金融领域可用于解决期权定价问题,在生物领域可用于揭示疾病的发生规律,在物理领域,可用于研究布朗粒子的逃逸与跃迁问题等.由于现实中动力系统的发展变化除了受随机因素的影响,不仅与当前的状态和过去的状态有关,还与过去状态的变化率有关,同时系统内外部变化亦导致系统在有限状态间转换,而Markov调制的中立型随机延迟微分方程模型能很好地描
连词“无论”是无条件复句的重要标志。本文重点考察“无论”在单句、复句中的使用情况,并对与“无论”高频搭配的副词“都”组成的“无论……都……”进行句法、语义层面的