【摘 要】
：
随机森林是由很多决策树组成,而各棵决策树之间没有关联,每棵决策树训练产生基分类器,根据最后决策树投票结果决定分类模型.随机森林算法比一般的单分类器具有更高的分类准确度和更低的泛化误差,因此被广泛应用于各方面.但是随机森林算法在处理不平衡数据上存在分类准确率下降等问题,分类结果更偏向于多数类.针对上述问题,提出了一种基于混合采样的改进随机森林算法(hybrid sampling random forest,HSRF).首先采用随机欠采样和SMOTE算法相结合的方法对不平衡数据集进行预处理,同时结合聚类算法对
【机 构】
：
南京邮电大学 通信与信息工程学院,江苏 南京 210003
论文部分内容阅读
随机森林是由很多决策树组成,而各棵决策树之间没有关联,每棵决策树训练产生基分类器,根据最后决策树投票结果决定分类模型.随机森林算法比一般的单分类器具有更高的分类准确度和更低的泛化误差,因此被广泛应用于各方面.但是随机森林算法在处理不平衡数据上存在分类准确率下降等问题,分类结果更偏向于多数类.针对上述问题,提出了一种基于混合采样的改进随机森林算法(hybrid sampling random forest,HSRF).首先采用随机欠采样和SMOTE算法相结合的方法对不平衡数据集进行预处理,同时结合聚类算法对SMOTE算法进行改进,以增强对于少数类样本的处理能力;然后用平衡后的数据集训练决策树;最后采用加权投票的方法进一步增强算法的分类性能,构造出最后的随机森林分类模型.实验结果显示,改进的算法相比于原算法在不平衡数据的处理上各评价指标更高,证明了HSRF算法通过对不平衡数据集中的多数类欠采样,同时对少数类过采样的混合采样来均衡数据有明显的效果.
其他文献
近年来,气象信息技术发展迅速,气象观测站点信息更新频繁,数据库选型多样化.为保证台站信息准确性和一致性,利用ETL同步工具,制定了各个数据库之间同步作业.当台站信息发生添加、修改和删除请求时,可以保证各数据库的台站信息同步,从而为各业务系统提供准确完整的台站信息.
对西安台PET重力仪记录的原始观测数据进行预处理,并扣除重力固体潮后,得到重力非潮汐分量.在此基础上,提取重力仪记录的同震信号.选取2018-01-23阿拉斯加湾8.0级地震作为研究对象,并以西安台CTS地震仪记录的地震信号作为对比组,分析重力仪记录的5个地震的波形特征,并从频谱分析角度,对重力仪记录地震的能力进行分析,研究其频谱特征和可靠性.
针对目前智能问答系统采用单层网络模型理解用户意图,未能准确关注用户语句中的细节特征的问题,提出了一种基于关键词分离的双层网络模型用户意图识别方法.第一层使用双向长短时记忆网络和条件随机场模型对用户语句中的关键词及问题句式进行识别,第二层将识别出的关键词作为细节特征,采用融合注意力机制的双层双向长短时记忆网络进行问题类型的识别,两层识别的结果为用户意图.实验证明,该方法的准确率和召回率平均提升了6％.针对用户数据较少时智能问答系统仍要扩展的需求,提出基于自适应扩展的智能问答系统优化方法.该方法使用基于句法结
随着计算机技术的发展,大数据技术发展日新月异,给人们的日常生活带来了巨大的冲击.建设具有中国特色的智库发展是时代的需求,也是大国发展的必要条件.将大数据技术与中国特色智库建设融合在一起,不仅是一种技术上的创新方法,同时也激发了智库建设的创新力.通过研究大数据背景下的中国特色智库建设,分析大数据和相关技术具备的优势,并给出建议,从而为提升我国智库的国际影响力发挥一定的作用.
由于网络流特征会随时间和网络环境的变化而发生概念漂移,不同类别应用的流发生漂移情况不同,导致基于机器学习的流量分类方法精度明显降低.同时,随着互联网网络技术的不断提高,使得过去采集并做好标签的大量视频流样本数据会发生很大变化,导致可用的训练集较少,需要实时采集和标注大量的新数据.针对上述问题,提出一种结合Jensen-Shannon距离、MultiTrAdaBoost和RandomForest算法的分类方法.该方法的核心思想是:度量新老视频数据流之间的相似性,根据度量结果判断采用何种模型进行分类,其中的迁
软件缺陷预测研究中,研究人员通常使用有标记的数据进行预测模型的构建.但是在实际应用中往往会存在有标记样本不足的情况,为了应对这种状况,专家学者引入了半监督学习.尽管近年来不断有学者提出项目内的半监督缺陷预测方法,这些方法的预测准确度还有很大的提升空间.该文提出了一种新的半监督极限学习机软件缺陷预测方法,即基于改进SMOTE的半监督极限学习机方法.首先提出了一个改进的SMOTE采样方法来缓解类不平衡问题,其次使用了栈式去噪自动编码器来保留和获得更好的特征表示,最后为了提高模型的学习速率,获得更好的泛化性能,
政府公文内容多,涉及范围广,从中挖掘出有价值的信息,可减轻政府工作人员的压力,比如应用实体关系抽取技术挖掘人事信息.采用远程监督的关系抽取方法可以减少人工标注成本,提高关系抽取效率,进而保证了获取重要信息的质量和实效性.该文提出一种ALBERT预训练语言模型和胶囊网络相结合的远程监督实体关系抽取方法,抽取公文中的人名职务关系.ALBERT通过字嵌入和位置嵌入的方式,提取文本中深层的语义信息,胶囊网络通过传输低层到高层的特征,提高关系分类效果.实验结果表明,提出的关系抽取模型的准确率、召回率、F1值均高于基
联邦学习(FL)是一种分布式的机器学习方法,它通过中心服务器汇总各个移动终端在本地训练的机器学习模型,使得多个参与方能够协作进行高效率的机器学习.同时,FL不需要将终端的私人数据发送至中心服务器,从而保护了数据隐私.但是与普通的训练数据集不同,终端系统中的数据分布不平衡,这将导致FL的通信效率下降.针对该问题,提出了一种基于数据分布加权聚合的FL算法.通过计算参与方的本地数据集与平衡数据集之间的海林格距离对本地数据集的平衡程度进行了量化,并据此调整了参与方在聚合时的权重,以减少算法收敛或达到目标准确率所需
深度神经网络由于其良好的非线性逼近能力与泛化能力而被应用于物联网数据的分类和预测.智能家居作为典型的物联网应用场景,通常将家庭中采集的数据传输到云端,使用深度神经网络单智能体集中处理.以云计算中心的数据处理方案会导致较长的网络延迟以及用户隐私数据的泄露.文中将采用多智能体模型,在深度神经网络模型上添加分支结构,利用分支点将神经网络分为可以部署在不同智能体的浅层部分和深层部分,设计了基于多智能体协同的深度神经网络的数据分类算法;基于边缘计算模型,在边缘设备上部署浅层神经网络智能体,云服务器设备上部署深层神经
在大数据背景下,企业管理思维和营销思维发生转变,企业为促进自身发展,重视产品进退与市场营销结合带来的影响,若能准确地把握产品在市场上的投放或退出,有助于提高企业整体营销思想,能够为企业带来良好的经济效益,但产品进退与市场营销的结合蕴含着潜在的市场风险,因此在企业产品管理中还需讲究一定的科学策略.基于此背景,该文主要针对如何运用产品进退将企业管理与市场营销相结合,根据影响产品进退的多维指标:上柜率、再购率、同价类销量比、商业存销比、订足率、销售年限、是否进入衰退期,提出在大数据环境下多维指标结合改进BP神经