论文部分内容阅读
随着各种网络社交平台的兴起，文本作为这些平台的主要信息载体，数据量每天都在高速增长，如何正确处理这些海量的文本信息，即，将文本分类管理和应用，已经成为一项重要研究课题。近年来，文本分类的深度学习方法获得快速发展，可以快速准确的对大规模文本数据进行处理，具有广阔的应用前景。因此，本论文瞄准文本分类的深度学习方法，在下面两个方面取得研究进展：
(1)提出基于改进的ClusterGCN的文本分类方法。首先针对文本分类过程中可能因为训练数据不足而造成的过拟合问题，本论文提出对邻接矩阵A采用Dropedge进行训练，达到了输入模型的数据在不影响原有特征的情况下得到不同的随机变形的目的，实现了数据增强的效果。然后针对文本分类中经典的GCN模型存在保存每个节点的嵌入到内存会导致内存消耗过大，对硬件条件要求过高的问题，将原本针对图分类的ClusterGCN应用到文本分类中，通过增加邻接矩阵的对角线权重，增强本身特征。进一步，通过对文本图即邻接矩阵A中的词和文档节点构造分区，使相同区内的文档和词节点之间的连接比不同区之间的连接更多。最后，在邻域搜索过程中只对相同区内的节点进行采样，达到降低内存消耗，提高了计算效率。
(2)提出基于改进的FastGCN的文本分类方法。首先针对One-hot编码只反映词是否出现，无法反映词的重要程度，也无法表示不同词之间的关系的缺点，采用Glove模型构建文本特征，使文本特征包含全局统计信息和局部上下文信息，提高了分类效果。然后针对文本分类中经典的GCN模型是直推式的，无法对新加入的文本数据进行分类，本论文将FastGCN应用于文本分类，将GCN中原本的图卷积看作是一种概率测度下嵌入函数的积分变换，摆脱了对测试数据的依赖。最后采用Focal Loss来衡量简单易分类样本与难分类样本的损失分别对总损失的贡献程度，增加难分类样本损失的重要性，提高了最终分类效果。
(1)提出基于改进的ClusterGCN的文本分类方法。首先针对文本分类过程中可能因为训练数据不足而造成的过拟合问题，本论文提出对邻接矩阵A采用Dropedge进行训练，达到了输入模型的数据在不影响原有特征的情况下得到不同的随机变形的目的，实现了数据增强的效果。然后针对文本分类中经典的GCN模型存在保存每个节点的嵌入到内存会导致内存消耗过大，对硬件条件要求过高的问题，将原本针对图分类的ClusterGCN应用到文本分类中，通过增加邻接矩阵的对角线权重，增强本身特征。进一步，通过对文本图即邻接矩阵A中的词和文档节点构造分区，使相同区内的文档和词节点之间的连接比不同区之间的连接更多。最后，在邻域搜索过程中只对相同区内的节点进行采样，达到降低内存消耗，提高了计算效率。
(2)提出基于改进的FastGCN的文本分类方法。首先针对One-hot编码只反映词是否出现，无法反映词的重要程度，也无法表示不同词之间的关系的缺点，采用Glove模型构建文本特征，使文本特征包含全局统计信息和局部上下文信息，提高了分类效果。然后针对文本分类中经典的GCN模型是直推式的，无法对新加入的文本数据进行分类，本论文将FastGCN应用于文本分类，将GCN中原本的图卷积看作是一种概率测度下嵌入函数的积分变换，摆脱了对测试数据的依赖。最后采用Focal Loss来衡量简单易分类样本与难分类样本的损失分别对总损失的贡献程度，增加难分类样本损失的重要性，提高了最终分类效果。