二分类机器学习模型中变量加权方法的研究

来源 :太原理工大学 | 被引量 : 0次 | 上传用户:Kitten
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对机器学习方法中分类模型的有关分类变量的研究,现有的研究大多集中在变量选择上。作为高维统计建模的基础,变量选择在大规模高维度数据处理问题上的重要性和必要性毋庸置疑。然而,针对低维数据,当可用于分析的变量总数并不多时,变量选择可能会导致关于总体分类有效信息的缺失,从而影响分类精度。同时,现有的二分类机器学习算法通常都会假定各分类变量对类别变量具有完全相同的影响,即在不考虑分类变量对类别变量可能存在不同程度的影响的情况下构建分类模型,这往往与现实情况不符。基于这些问题,本文将研究重点放在变量的加权方法上,主要研究机器学习二分类模型中的变量加权问题。即赋予模型各变量相应权重,以提高分类精度。
  (1)本文提出了一种基于互信息的变量加权方法,并将该方法应用于朴素贝叶斯分类器、k近邻、决策树以及随机森林这四种经典的机器学习分类算法,提出各方法相应的加权模型。
  (2)通过在UCI机器学习数据库中的威斯康星乳腺癌数据集和台湾新竹市输血服务中心提供的输血信息数据集上进行实验来测试各加权分类器的性能。实验结果表明,针对二分类任务,对于朴素贝叶斯,k近邻算法和决策树分类器,本文的加权方法的性能与传统方法相同或比传统方法表现更好。
  (3)通过实验,本文验证了基于互信息的加权方法用于机器学习模型的有效性。这种方法有以下优点:首先,该方法以信息论为基础,权重的度量结果可信赖;其次,该方法不会对自身稳健的分类器造成负面影响,且本文的加权方法可以用于多种分类器模型,因此具有一定普适性;最后,该方法可以提高多种传统分类器的分类准确率,从而可以在实际应用中发挥重要作用。
其他文献
不平衡数据的分类问题在实际的很多领域中经常出现,对于该类不平衡的数据集,由于类别间样本分布的非均衡性,经常导致模型在训练过程中不能学习到有效信息,致使模型的分类预测效果往往并不理想,且通常会偏向于多数类样本,对少数类样本难以识别。除了类别间的不平衡率,不平衡数据集复杂的结构特征也是影响模型分类效果的关键因素,例如类别重叠导致决策边界的难以确定、稀有样本与噪音样本的识别,以及类内不平衡等问题,尤其是
古典经济学将自由竞争的市场视为“看不见的手”,支配着社会经济活动,认为通过分工与交换可以实现资源的自由流动与配置,最终促进经济的发展。但对市场的过度强调导致其忽视了资源的组织过程,忽略了生产经营、组织交换、管理决策的重要性,没有重视企业家在微观经济发展中的积极作用。正如德鲁克所言,这些研究致力于经济变量均衡点的寻找,忽略了经济实践中均衡点的实现过程。实质上,经济发展循环的启动过程,以及社会进步的升
2008年国际金融危机席卷全球,世界各国金融业受到重创,实体经济严重受损。危机促进了金融监管的反思和变革,2010年巴塞尔委员会修订形成了《巴塞尔协议Ⅲ》,其中重要的一项改进就是引入商业银行杠杆率监管,以此来有效弥补单一资本充足率监管指标的不足。受金融危机影响,中国同样也面临了经济衰退和金融风险的严峻考验。2011年中国银监会出台《商业银行杠杆率管理办法》,将商业银行杠杆率监管作为重要的逆周期宏观
学位
经济新常态时期,中国经济正在由低成本驱动转向创新驱动,而高技术产业是科技创新活动密度最高的产业,引领国家走向科技创新发展前沿。高技术产业在创新研发、技术成果转化、产品生产各个阶段均需要金融业为其提供大量资金支持其发展,金融业也不断通过高技术产业的科技创新提高自身产品和服务的质量。因此,金融业与高技术产业协调发展对于中国经济高质量发展具有重要意义,需要深入研究目前金融业与高技术产业发展的互动效应和耦
学位
城市群作为区域的一个重要单元,对社会经济的发展起着关键性的作用。目前中国正处于改革创新、促进城市群一体化发展的重要阶段。作为中国综合实力领先、工业化进程较快的城市群,长三角在其发展建设过程中,科技创新发展不平衡的问题也日益凸显。因此,破解长三角城市群创新发展的不均衡现象,将对于其制定合理长远的科技发展战略、促进城市群协调发展具有一定的指导意义,使得长三角城市群真正成为引领区域经济发展的标杆,同时,
作为世界上最大的发展中国家,改革开放四十年以来,中国经济发展取得了举世瞩目的成就,工业化和新型城镇化进程日益加快。与此同时,资源消费日益加大,资源需求压力巨大。资源的安全已经成为事关中国全局性的重大战略问题。然而,在中国资源型地区,经济发展往往比较缓慢并有下降的趋势。虽然中国资源储备较为丰富,但却并未将资源优势转变为经济发展优势。资源开发与生态环境问题,往上追溯都是经济发展模式问题——即对物质资源
日新月异的互联网使得文本类数据与日俱增,过载的文本信息增加了检索、归类等任务的难度。传统的文本分类已难满足人类的需求,自动文本分类技术弥补了传统文本分类的不足,其能够自动完成文本分类任务,使得信息检索、分类等任务变得更加简洁高效。  机器学习作为一种数据挖掘技术,能够从大量数据中通过学习而获得人们所需要的信息。朴素贝叶斯算法作为机器学习中一种重要的分类技术,因结构简单、理论扎实及高效准确的特点,被
学位
随着遥感成像技术和计算机硬件的迅猛发展,产生了大量的高分辨率遥感图像。遥感图像已在多个领域广泛应用,从遥感图像检测城市建筑是目前的研究重点之一。由于城市是高密度建筑区域,即在较小范围内有大量结构相似的建筑紧密分布,经典的神经网络和分割算法很难在该场景中准确检测建筑实例。为了解决城市密集场景中的建筑实例分割问题,本文基于传统的分割算法和边缘检测的神经网络,提出了一种强化边界精度的建筑检测新方案。该方
学位
肿瘤治疗因其治愈率低,破坏性强,成为医学界难以攻克的课题。肿瘤细胞的生长演化机制与内在生长规律以及肿瘤细胞的生存性分析特征都为肿瘤治疗提供了强有力的理论支撑。值得指出的是随机微分方程领域的理论研究对肿瘤治疗的临床实践产生重要影响。为更好的研究探讨免疫监视条件下肿瘤演化机制与肿瘤治疗的新思路,本文基于随机微分方程理论和肿瘤免疫模型,系统研究了环境波动,周期治疗方法和随机切换对肿瘤细胞的生存性分析特征
在机器学习的许多领域中,都有高维数据存在,通过挖掘高维数据的结构来找到数据的紧表示对于以最小的存储空间来理解数据是非常关键的。近年来的研究表明,许多高维数据被看作是来自于多个低维线性子空间的并集的样本。本文研究了子空间聚类算法,提出了基于块对角表示的改进子空间聚类算法(New Subspace Clustering by Block Diagonal Representation,NBDR)并且在