基于改进CHI和TF-IDF的短文本分类的研究

来源 :计算机与现代化 | 被引量 : 0次 | 上传用户：shengfusky

【摘要】

：

为提高对数据量较少的短文本分类效果,有效降低特征空间的特征维度,本文针对传统CHI统计方法和TF-IDF权重计算方法的缺点,提出一种新的类词因子改进特征选择方法,用来提高分类准确性。对于传统CHI统计方法对低频词敏感、TF-IDF权重计算方法忽略特征项在类别间和类别内分布情况,通过引入类词因子来改进传统CHI统计方法和TF-IDF权重计算方法,并将两者结合使用,减少低频词带来的干扰。同时考虑类内和类间特征词分布的特殊情况,使用XGBoost分类算法将提出方法用在数据量少且文本短的话题文本分类实验中,实验结

【作者】

：

代继鹏邵峰晶孙仁诚

【机构】

：

青岛大学计算机科学技术学院

【出处】

：

计算机与现代化

【发表日期】

：

2021年6期

【关键词】

：

文本分类特征选择 XGBoost 卡方统计量 TF-IDF

【基金项目】

：

国家自然科学青年基金资助项目(41706198)。

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

其他文献

数学形态学在数字图像处理中的应用研究

传统边缘检测算法由于对噪声敏感,难以准确提取图像边缘,导致图像处理效果不佳。基于传统数学形态学算法中结构算子的方向性和尺寸几何的基础上进行算法改进。针对抗噪型碰撞腐蚀形态学边缘检测算子结构元素特征,采用不同大小结构元素组合来提取边缘特征,有效保证了图像细节的同时去掉较大噪声点。根据结构元素的方向性,利用同向结构元素图像的匹配来检测各边缘信息,确保不同向边缘信息的完整度。通过比较文本改进算法与传统的

期刊

数学形态学边缘检测结构元素抗噪性

一种配电网投资项目的综合评价与优选排序方法

關键词：项目优选;指标体系;灰色关联度;投资成效

期刊

项目优选指标体系灰色关联度投资成效

基于Fabric区块链技术的电力企业人资信息化系统研究

关键词：区块链;人资信息化系统;Fabric;加密算法;椭圆曲线函数;共享能力　　常规技术中，企业人事管理主要依赖人工方式，由于电力企业人资信息原始数据庞大，在管理过程中很容易产生新的数据，在管理这些庞大数据时，人力资源和时间浪费，还容易潜在错误和信息遗失的风险。因此，现有的管理方法很难适应现代电力企业快速发展。具有去中心化、去信任化、防篡改和信息可追溯等特性区块链起源于比特币，是构建比特币区块链

期刊

区块链人资信息化系统FABRIC加密算法椭圆曲线函数共享能力

基于MATLAB的双极型矩阵变换器的无差拍控制算法实现

关键词：双极型矩阵变换器;无差拍控制;电源电流;矢量調制

期刊

双极型矩阵变换器无差拍控制电源电流矢量调制

新能源并网发电对配电网电能质量的影响研究

关键词：新能源并網发电;电能质量;配电网;电压偏差;谐波

期刊

新能源并网发电电能质量配电网电压偏差谐波

基于BIM技术的公路征地拆迁中扬尘实时监测方法设计

关键词：BIM技术;公路征地拆迁;扬尘监测;BIM信息库;谱特征量　　公路征地拆迁中扬尘对大气环境具有很大的负面影响，因此，需对其展开实时监测，从而提高对公路征地拆迁中扬尘的治理和实时监管能力，保障公路征地拆迁的环境生态安全。可以说，研究公路征地拆迁中扬尘的实时监测方法，在公路环境污染治理和保护中具有重要意义。因此，相关公路征地拆迁中扬尘实时监测方法的研究成果也受到相关领域的极大关注。　　一般来说

期刊

BIM技术公路征地拆迁扬尘监测BIM信息库谱特征量

基于Keras手写数字识别模型的改进

针对结构设计不合理的卷积神经网络导致MNIST识别的准确率低、收敛速度慢和训练参数多等问题,提出卷积神经网络结构的改进模型。改进的模型采用2次卷积、2次池化和3次全连接、采用Relu激活函数和Softmax回顾函数相结合,加入Dropout层防止过拟合,加入Flatten层优化结构。为了缩减代码量,采用API功能强大的Keras模型替代Tensorflow。对MNIST的训练集和测试集数据的准确率

期刊

Keras卷积神经网络MNIST数据集

智能变电站过程层网络流量分析及网络优化研究

關键词：流量分析;网络优化;流量控制;交换机;过程层;智能变电站　　随着智能变电站的推广应用，大量的变电站采用过程层网络进行SV（采样值，Sampled Value）、GOOSE（面向通用对象的变电站事件，GenericObject Oriented Substation Event）报文传输，过程层网络架构如图1所示。　　间隔层设备保护装置和测控装置通过过程层交换机与过程层设备合并单元和智能终端

期刊

流量分析网络优化流量控制交换机过程层智能变电站

基于改进鲸鱼优化算法的多无人机围捕

无人机围捕是一项具有挑战性和现实意义的任务,为使无人机可以成功有效地围捕移动目标,提出一种基于动态预测围捕点和改进鲸鱼优化算法的多无人机围捕算法。在环境未知,目标运动轨迹未知的情况下,首先利用多项式拟合预测目标运动轨迹,通过动态预测步数得到预测点,在其周围设置围捕点,然后使用双向协商法为无人机合理分配各个目标点。针对鲸鱼优化算法容易陷入局部最优的缺点,提出基于自适应权重和改变螺旋线位置更新的方法,

期刊

动态预测目标围捕双向协商鲸鱼优化算法

监督与半监督学习下的数据流集成分类综述

在监督或半监督学习的条件下对数据流集成分类进行研究是一个很有意义的方向。从基分类器、关键技术、集成策略等三个方面进行介绍,其中,基分类器主要介绍了决策树、神经网络、支持向量机等;关键技术从增量、在线等方面介绍;集成策略主要介绍了boosting、stacking等。对不同集成方法的优缺点、对比算法和实验数据集进行了总结与分析。最后给出了进一步研究方向,包括监督和半监督学习下对于概念漂移的处理、对于

期刊

数据流集成学习监督学习半监督学习

基于改进CHI和TF-IDF的短文本分类的研究

其他学术论文