论文部分内容阅读
摘 要： 随着人工智能研究领域的迅速发展，各种人工智能相关的行业也以大爆炸的趋势迅猛兴起，随着人工智能行业的迅猛兴起，也导致越来越多的行业都希望能够以人工智能来取代人工工作。本文提出一种改进卷积神经网络模型，在传统的卷积神经网络模型中增加一层循环隐含层，并应用在语义情感识别领域，经验证，在识别准确度方面取得较好的成绩。
关键词： 语义;情感识别;卷积神经网络;人工智能
【Abstract】： With rapid development of research field of artificial intelligence， various industries related to artificial intelligence have been booming with big bang trend. With rapid rise of the artificial intelligence industry， more industries try to replace artificial work with artificial intelligence. The article proposes an improved convolutional neural network model， which adds a circular hidden layer to traditional convolutional neural network model， and is applied in semantic emotion recognition field. Practice has proved that it has achieved good results in recognition accuracy.
【Key words】： Semantics; Emotion recognition; Convolutional neural network; Artificial intelligence
0 引言
目前，最大化匹配方法常常被用在语义识别中[1]。鉴于汉语的复杂性和表达语义的能力远高于其他语言，不同语用和语境中同一个次的含义可表达出完全不同的含义[2]。导致使用最大化匹配法实现语义识别效果并不理想[3]。
随着人工智能技术的飞速发展，近年也有学者将卷积神经网络和递归神经网络及误差反向传播神经网络模型用于语义识别技术，这些专家和学者在应用神经网络实现语义情感识别的领域取得了不错的成绩，但鉴于汉语表达情感的复杂程度导致在识别速度和准确度方面也存在不尽如人意的方面。基于以上背景，本文提出一种改进的卷积神经网络模型用以语义识别，该模型在传统卷积神经网络模型中增加一层循环隐含层，该循环隐含层实现在同等数量的訓练样本集前提下实现对网络模型的过渡训练的功能，大大提高网络模型的识别准确度[4]。
1 语义识别
1.1 语义的表示
自然语言可通过分布语义，框架语义，模型论语义等三种主要途径进行表示[5]。随着人工智能技术发展衍生出的智能语音表示途径为自然语言的一种衍生表示形式。使用领域（domain）、意图（intent）、词槽（slot）等三种形式来表示语义[6]。
领域（domain）：通常按语言数据来源来划分领域，统一行业背景或专业范围内的语言数据划分为统一领域，如医疗、交通等。领域在语法中可看作句子的主语。
意图（intent）：意图类似语法中的谓语，是指对语义领域内的数据进行的动作或操作，比如查找交通等。
词槽（slot）：指语义领域的属性，可看作语法中的宾语，如交通类型。
1.2 语义识别的三个层次
（1）应用层：应用层是指语义的使用层面，如行业应用等。
（2）NLP技术层：是指对自然语言经过技术手段进行加工、处理转化成机器语言或将机器语言合成自然语言。
（3）底层数据层：底层数据层是指语义的领域来源。
2 卷积神经网络模型
2.1 卷积神经网络介绍
卷积神经网络模型包含输入层、隐含层及输出层。其中输入层输入的为原始数据，模型将输入层输入的原始数据通过隐含层的卷积操作将原始数据逐层提取出目标函数[7]。其中逐层抽取的过程被称之为前向反馈操作[8]。
当得到目标函数后，网络模型通过计算预测值和目标值之间的误差，通过反向传播算法逐层从最后一层向前反馈误差[9]。次过程被称之为后向反馈操作。
卷积神经网络基本模型如图1所示。
2.2 改进卷积神经网络模型研究
2.3 网络模型训练
2.3.1 卷积神经网络训练
卷积神经网络通过前向传播和反向传播两个阶段完成。其中前向传播是数据从低层网络层向高层网络层的传播，反向传播是误差从高层网络层向低层网络层的传播。
具体训练过程为：① 网络进行权值的初始化;② 输入层输入原始数据;③ 隐含层进行卷积运算、采样、全连接层向高层网络层前向传播;④ 循环隐含层通过循环计算网络的输出值与目标值之间的误差;⑤ 如果计算出误差大于目标期望值时，将误差反向传播回网络模型，并且顺序获得全连接层和采样层及卷积层的误差。如果最终得出的误差小于或等于期望值误差值，结束训练;⑥ 根据三次循环求得误差平均值进行权值更新。
2.3.2 卷积层的前向传播过程
网络模型的卷积层的卷积操作被称作卷积层的前向传播过程。卷积层采用特定步长的卷积运算方式，先获取初始运算函数，并与该出事运算函数进行卷积运算（针对语义情感识别即权值矩阵与文字情感的特征值进行加权和再加上一个偏置量），然后通过激活函数得到该层的输出[10]。 2.3.3 采样层的前向传播过程
从卷积层获取的特征数据作为输入传输到采样层，并通过下采样层的池化操作来对输入数据进行降维操作，以此来避免过拟合情况。最大化池方法是拾取语义情感峰值的过程。均值池化方法是拾取语义情感均值的过程。随机池化方法是拾取所有情感特征在所有特征中出现的概率，然后从所有特征中随机选取一种作为该语义情感特征值，其中概率越大的特征最终被选取得概率也越大。
2.3.4 全连接层的前向传播过程
从卷积层和采样层获取到情感特征后，將提取出来的情感特征输入到模型中的全连接层。并对所提取的情感特征进行分类，从而获得分类模型，并得到输出矩阵。然后经过激励函数f（y）的激活，传入下一层[11]。
3 实验结果及分析
3.1 数据
3.3 分析
从实验结果可以看出，在传统卷积神经网络模型中增加一层循环隐含层在识别的准确度却有较大的提高。因模型针对特定的流程进行优化，所以针对识别准确度的效果提高较明显。
4 结论
本文在传统的卷积神经网络模型中增加一层循环隐含层，提出一种改进卷积神经网络模型，并将其应用在语义情感识别领域，经验证，取得了较高的识别率。与传统的方法相比，CNN无监督式提取特征应用于不同的数据均取得了较好的准确率，但在网络复杂度上还需继续改进。
参考文献
T. Berners-Lee， J. Hendler， and O. Lassila， “The Semantic Web， ” Scientific American， May 2001， pp. 34-43.
P. Patel-Schneider， P. Hayes and I. Horrocks， “OWL web ontology language AbstractSyntax and Semantics”， W 3C Rec om mendation， http：//www.w3.org/TR/owl-semantics/2004.
P. Mika， “Flink： Semantic Web Technology for the Extraction and Analysis of Social Networks， ” Journal of Web Semantics， vol. 3， no. 2， 2005， pp. 211-223
H. Stuckenschmidt and M. Klein， “Structure-based partitioning of large class hierarchies”， In Proceedings of Third International Semantic Web Conference （ISWC 2004）， volume 3298 of Lecture Notes in Computer Science， pages 289-303， Springer， 2004.
W. Hu， Y. Zhao and Y. Qu， “Partition Based Block Matching of Large Class Hierarchies”， In Proceedings of the 1st Annual Asian Semantic Web Conference. （ASWC2006）， Springer-Verlag Berlin Heidelberg. LNCS 4185， pp： 72-83.
X. Zhang， G. Cheng and Y. Qu， “Ontology Summarization Based on RDF Sentence Graph”， In Proceedings of the 16th International World Wide Web Conference （WWW2007）， ACM Press， pp： 707-715， 2006.
韩英杰. 基于综合调度关键路径的多核任务调度研究[D]. 哈尔滨理工大学. 2014.
苏赛军. 网络化多智能体系统的协调控制及一致性问题研究[D]. 中南大学， 2011.
郭文忠， 陈国龙， 陈庆良， 等. 基于粒子群优化算法和相关性分析的特征子集选择[J]. 计算机科学， 2008（2）： 144-146.
刘腾飞， 于双元， 张洪涛， 等. 基于循环和卷积神经网络的文本分类研究[J]. 软件， 2018， 39（01）： 64-69.
吴亚熙， 岑峰. 基于卷积神经网络的多层级目标检测方法[J]. 软件， 2018， 39（4）： 164-169.
关键词： 语义;情感识别;卷积神经网络;人工智能
【Abstract】： With rapid development of research field of artificial intelligence， various industries related to artificial intelligence have been booming with big bang trend. With rapid rise of the artificial intelligence industry， more industries try to replace artificial work with artificial intelligence. The article proposes an improved convolutional neural network model， which adds a circular hidden layer to traditional convolutional neural network model， and is applied in semantic emotion recognition field. Practice has proved that it has achieved good results in recognition accuracy.
【Key words】： Semantics; Emotion recognition; Convolutional neural network; Artificial intelligence
0 引言
目前，最大化匹配方法常常被用在语义识别中[1]。鉴于汉语的复杂性和表达语义的能力远高于其他语言，不同语用和语境中同一个次的含义可表达出完全不同的含义[2]。导致使用最大化匹配法实现语义识别效果并不理想[3]。
随着人工智能技术的飞速发展，近年也有学者将卷积神经网络和递归神经网络及误差反向传播神经网络模型用于语义识别技术，这些专家和学者在应用神经网络实现语义情感识别的领域取得了不错的成绩，但鉴于汉语表达情感的复杂程度导致在识别速度和准确度方面也存在不尽如人意的方面。基于以上背景，本文提出一种改进的卷积神经网络模型用以语义识别，该模型在传统卷积神经网络模型中增加一层循环隐含层，该循环隐含层实现在同等数量的訓练样本集前提下实现对网络模型的过渡训练的功能，大大提高网络模型的识别准确度[4]。
1 语义识别
1.1 语义的表示
自然语言可通过分布语义，框架语义，模型论语义等三种主要途径进行表示[5]。随着人工智能技术发展衍生出的智能语音表示途径为自然语言的一种衍生表示形式。使用领域（domain）、意图（intent）、词槽（slot）等三种形式来表示语义[6]。
领域（domain）：通常按语言数据来源来划分领域，统一行业背景或专业范围内的语言数据划分为统一领域，如医疗、交通等。领域在语法中可看作句子的主语。
意图（intent）：意图类似语法中的谓语，是指对语义领域内的数据进行的动作或操作，比如查找交通等。
词槽（slot）：指语义领域的属性，可看作语法中的宾语，如交通类型。
1.2 语义识别的三个层次
（1）应用层：应用层是指语义的使用层面，如行业应用等。
（2）NLP技术层：是指对自然语言经过技术手段进行加工、处理转化成机器语言或将机器语言合成自然语言。
（3）底层数据层：底层数据层是指语义的领域来源。
2 卷积神经网络模型
2.1 卷积神经网络介绍
卷积神经网络模型包含输入层、隐含层及输出层。其中输入层输入的为原始数据，模型将输入层输入的原始数据通过隐含层的卷积操作将原始数据逐层提取出目标函数[7]。其中逐层抽取的过程被称之为前向反馈操作[8]。
当得到目标函数后，网络模型通过计算预测值和目标值之间的误差，通过反向传播算法逐层从最后一层向前反馈误差[9]。次过程被称之为后向反馈操作。
卷积神经网络基本模型如图1所示。
2.2 改进卷积神经网络模型研究
2.3 网络模型训练
2.3.1 卷积神经网络训练
卷积神经网络通过前向传播和反向传播两个阶段完成。其中前向传播是数据从低层网络层向高层网络层的传播，反向传播是误差从高层网络层向低层网络层的传播。
具体训练过程为：① 网络进行权值的初始化;② 输入层输入原始数据;③ 隐含层进行卷积运算、采样、全连接层向高层网络层前向传播;④ 循环隐含层通过循环计算网络的输出值与目标值之间的误差;⑤ 如果计算出误差大于目标期望值时，将误差反向传播回网络模型，并且顺序获得全连接层和采样层及卷积层的误差。如果最终得出的误差小于或等于期望值误差值，结束训练;⑥ 根据三次循环求得误差平均值进行权值更新。
2.3.2 卷积层的前向传播过程
网络模型的卷积层的卷积操作被称作卷积层的前向传播过程。卷积层采用特定步长的卷积运算方式，先获取初始运算函数，并与该出事运算函数进行卷积运算（针对语义情感识别即权值矩阵与文字情感的特征值进行加权和再加上一个偏置量），然后通过激活函数得到该层的输出[10]。 2.3.3 采样层的前向传播过程
从卷积层获取的特征数据作为输入传输到采样层，并通过下采样层的池化操作来对输入数据进行降维操作，以此来避免过拟合情况。最大化池方法是拾取语义情感峰值的过程。均值池化方法是拾取语义情感均值的过程。随机池化方法是拾取所有情感特征在所有特征中出现的概率，然后从所有特征中随机选取一种作为该语义情感特征值，其中概率越大的特征最终被选取得概率也越大。
2.3.4 全连接层的前向传播过程
从卷积层和采样层获取到情感特征后，將提取出来的情感特征输入到模型中的全连接层。并对所提取的情感特征进行分类，从而获得分类模型，并得到输出矩阵。然后经过激励函数f（y）的激活，传入下一层[11]。
3 实验结果及分析
3.1 数据
3.3 分析
从实验结果可以看出，在传统卷积神经网络模型中增加一层循环隐含层在识别的准确度却有较大的提高。因模型针对特定的流程进行优化，所以针对识别准确度的效果提高较明显。
4 结论
本文在传统的卷积神经网络模型中增加一层循环隐含层，提出一种改进卷积神经网络模型，并将其应用在语义情感识别领域，经验证，取得了较高的识别率。与传统的方法相比，CNN无监督式提取特征应用于不同的数据均取得了较好的准确率，但在网络复杂度上还需继续改进。
参考文献
T. Berners-Lee， J. Hendler， and O. Lassila， “The Semantic Web， ” Scientific American， May 2001， pp. 34-43.
P. Patel-Schneider， P. Hayes and I. Horrocks， “OWL web ontology language AbstractSyntax and Semantics”， W 3C Rec om mendation， http：//www.w3.org/TR/owl-semantics/2004.
P. Mika， “Flink： Semantic Web Technology for the Extraction and Analysis of Social Networks， ” Journal of Web Semantics， vol. 3， no. 2， 2005， pp. 211-223
H. Stuckenschmidt and M. Klein， “Structure-based partitioning of large class hierarchies”， In Proceedings of Third International Semantic Web Conference （ISWC 2004）， volume 3298 of Lecture Notes in Computer Science， pages 289-303， Springer， 2004.
W. Hu， Y. Zhao and Y. Qu， “Partition Based Block Matching of Large Class Hierarchies”， In Proceedings of the 1st Annual Asian Semantic Web Conference. （ASWC2006）， Springer-Verlag Berlin Heidelberg. LNCS 4185， pp： 72-83.
X. Zhang， G. Cheng and Y. Qu， “Ontology Summarization Based on RDF Sentence Graph”， In Proceedings of the 16th International World Wide Web Conference （WWW2007）， ACM Press， pp： 707-715， 2006.
韩英杰. 基于综合调度关键路径的多核任务调度研究[D]. 哈尔滨理工大学. 2014.
苏赛军. 网络化多智能体系统的协调控制及一致性问题研究[D]. 中南大学， 2011.
郭文忠， 陈国龙， 陈庆良， 等. 基于粒子群优化算法和相关性分析的特征子集选择[J]. 计算机科学， 2008（2）： 144-146.
刘腾飞， 于双元， 张洪涛， 等. 基于循环和卷积神经网络的文本分类研究[J]. 软件， 2018， 39（01）： 64-69.
吴亚熙， 岑峰. 基于卷积神经网络的多层级目标检测方法[J]. 软件， 2018， 39（4）： 164-169.