基于ALBERT-SABL模型的文本情感分析的研究

来源 :沈阳师范大学 | 被引量 : 0次 | 上传用户:liongliong601
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来互联网飞速发展,大数据时代来临,人们越来越习惯于使用网络平台来获取想要的信息。用户在浏览信息的同时,也会在平台上表达自己的个人观点,比如对事件的看法或对产品的使用评价等。通过分析这些主观性评论可以挖掘到大众的情绪反应和意见。因此,情感分析被广泛应用在电商评论和网络舆情领域,具有重要研究价值。本文梳理了文本情感分析研究的主要技术,发现常用的方法是采用词典与深度学习技术结合的框架,能够在基线任务中表现良好。但随着时间的推移,该方法不能很好的联系上下文语义信息,从而产生梯度消失问题。随着数据量的增大,神经网络的层数和参数量也会成倍增长,导致模型结构更加复杂,严重影响了训练速度。针对上诉问题,本文提出了基于ALBERT-SABL模型的文本情感分析方法,具体的研究内容概括如下:对于梯度消失的问题,本文研究了传统的注意力机制算法,在此基础上进行改进,提出一个改进的混合自注意力机制算法,该算法采用软、硬注意力相结合的方式,构建出双向信息增强的混合矩阵,以增加重要信息的权重。在训练效果方面,提出使用参数量较少的ALBERT预训练模型,在原有基础上修改了BERT的Masked LM任务,使其与文本情感分类任务更兼容,更有效的学习句子表示。将以上两个创新点整合到Bi LSTM模型中,形成ALBERT-SABL模型。该方法首先使用ALBERT模型训练原始数据作为词嵌入层,训练输入的词向量;然后利用隐藏层的双向神经元构建关于上下文之间的语义层级结构,提取文本的数据特征;再传递给混合自注意力机制层,计算内部词语间的依赖关系;最后在Restaurant、Laptop、Twitter数据集上进行实验。结果表明ALBERT-SABL模型比其他传统模型有更佳的表现,证明了本模型在情感分析领域具有一定的研究意义和应用价值。
其他文献
在我国的《基础教育课程改革纲要》中,明确提出了要“整体设置九年一贯制的义务教育课程”的做法,这条新的政策对于语文教学来说,也是一项不小的变革,这项新提出的要求也被许多教育者们所重视了。但是长期以来,在实际教学实施过程中,因为在小学与初高中的教学内容、教学方法等方面都出现了很大差别,所以不少学校并没有很成功、稳定的完成学段之间的良好过渡。这些差异在语文学科体现的十分突出,因为教学过渡不顺畅,有不少学
学位
量子隐私增强计算技术伴随量子计算的成熟发展,可以在敏感数据的获取、分析以及查询等过程中,保护和增强敏感数据的隐私安全。作为新颖、实用的敏感数据保护手段,量子隐私增强计算技术在数据存储以及查询保护中具有独特的优势,比传统的量子私有数据查询技术在实际应用方面更有意义。在数据安全保护建设中,量子密码学作为一种重要的信息技术手段不仅可以保证敏感数据传输的安全性,同时也衍生出量子身份认证、量子签名、量子密钥
学位
随着时代的不断发展与进步,越来越多的数字信息出现在人们的视野中,这对数学阅读提出了新的要求。随着我国课程改革的不断深入,数学学习评价开始发生变化,主要体现在加强了对于学生数学阅读的考查。通过分析已有的研究成果,可以发现不同地区、不同学校的数学阅读现状不尽相同,因此有必要针对沈阳市初中生数学阅读情况进行深入调查。此次研究以沈阳市Y初中为调查对象,通过问卷、访谈等研究方法对该校学生的数学阅读现状进行调
学位
随着国际交往、文化交流日益加深,英语教育也在不断发展,义务教育阶段开设的英语课程受到广泛关注。为此,本文将定位于小学阶段的英语课程,以小学英语教师作为主要研究对象,重点研究教师对小学生文化意识的培养。本研究主要从以下方面展开:首先,基于2011年版英语课程标准中有关文化意识目标的内容及要求,并参考高中英语学科核心素养对培养学生文化意识的新要求,运用文献法搜集资料,撰写理论部分;其次,通过问卷调查法
学位
“加快数字化发展,建设数字中国”是我国在“十四五”规划中提出的国家战略,为我国构建新发展格局指明了数字化转型发展方向。在新型基础设施建设的不断发展和完善的过程中,数字技术取得了新的创新突破,中国互联网由高速发展阶段开始转为高质量发展阶段。网民规模的稳步增长,农村及老年群体加速融入网络社会,人均上网时长保持增长,上网终端设备使用更加多元化,社交媒体逐渐丰富。越来越多的用户群借助大量的不同类型的上网终
学位
近些年,我国城市马拉松赛事的发展愈加迅猛,过快的发展也导致赛事开展过程中的组织与运行缺乏有效的理论指导。因此本研究以辽宁省城市马拉松赛事的组织与运行影响因素为出发点,以促进辽宁省城市马拉松赛事向更高水平发展为主要目的。本研究通过采用文献资料法、专家访谈法、问卷调查法、实地考察法、数理统计法、SWOT分析法,对辽宁省城市马拉松赛事的发展历程、赛事组织、赛事运行、赛事医疗、赛事时间、赛事竞技水平、赛事
学位
小学数学复习课是通过对知识进行系统的梳理,巩固已学的知识和技能的课型。目前六年级数学复习课面临教学方法枯燥、学生状态不佳和思维发展受抑制等问题。长此以往,对学生的发展是十分不利的。而思维导图凭借自身结构上的优势,将其引入六年级数学复习课,有望改善当前复习课存在的问题。本研究共分为六个部分。第一部分,阐述思维导图在小学六年级数学复习课中应用的理论需要和实践意义,提出研究中的核心概念以及梳理分析前人在
学位
美术课程资源的开发与利用在课程改革中逐渐成为教育者研究的重要领域,我国具有民族多、地域文化差异大等特点,以往的国家统一设置课程无法完全适应地方学校的教学目标,因此发掘当地的优秀地域文化,恰当选用融合地域文化资源为课程的开发提供了新思路。在保证完成教学目标的同时,如何灵活应用地域文化资源的自适应性,最大程度开发教育者的潜能,发挥教育者最大的主观能动性,是教育者开展课程的过程中不可忽视的问题。《义务教
学位
幼儿自语作为外部言语,将幼儿内心所思所想通过语言、动作等细致展现出来,对于幼儿成长发展具有重要影响意义。幼儿自语在区域游戏情境中较为常见,区域游戏作为幼儿喜爱的游戏类型之一,为幼儿自语提供良好物质载体。本研究以观察法为主,访谈法为辅对3-6岁幼儿区域游戏中自语表现进行研究,进而归纳出特点。选取S市某公办幼儿园为研究场所,随机选取小、中、大各两个班的幼儿为观察对象,并从每个班级中选取两名幼儿教师作为
学位
在小学英语词汇的课堂上,学生们经常会出现对词汇不感兴趣,学习情绪低落,注意力不集中等现象。这些现象的出现,也常常导致学生们学习词汇的结果并不理想。游戏教学法在教学中具有先天优势。因为学生们对游戏的喜爱是与生俱来的,爱玩的天性往往能够激发学生们更多的兴趣,给予更充沛的学习动力从而让学生们调整到最佳的学习状态。本文则从多元智能理论角度出发,应用游戏教学法主要研究三个问题:1.游戏教学法对学生识读词汇产
学位