论文部分内容阅读
在线教育因为其突破了传统教育模式时间、空间、授课人数的限制,并且其教育资源丰富、门槛低,成为了越来越多的人接受教育的方式。然而在线教育是一种单向教学过程,缺乏学习者与老师之间的交流互动,“情感缺失”现象严重。通过实时检测学习者情感状态并为其提供个性化辅助能有效缓解“情感缺失”问题。因此,基于多模态情感识别的自适应教学系统的研究具有重要研究意义和应用指导价值。目前在线学习领域中的情感识别研究还存在一些问题:一是视频学习作为在线教育中的一个重要环节承担着知识传授的主要责任,却很少被关注。二是在学习者观看视频学习的过程中,学习者的面部人像数据以及视频交互行为数据能够通过计算机技术获取,但是目前鲜有研究将学习者的实时交互行为考虑在学习情感模型之中,并且绝大部分研究未将视频交互行为数据与人像数据结合考虑。三是目前的研究仅仅停留于理论层面,无法体现实际应用价值。针对上述问题,本文以学习者视频学习过程中的情感识别为主线,提出了基于多模态情感识别的自适应教学系统。本文研究的主要成果总结如下:(1)针对视频学习过程,提出使用多模态模型即视频交互行为特征及学习者人像特征作为实时情感识别的特征数据。人像数据通过摄像头获取并提取出相应特征数据,视频交互行为特征数据由教育系统定义和提取。针对数据中存在的不合法数据及不平衡问题,本文首先对数据进行预清洗操作,随后使用Borderline-SMOTE1过采样方法结合Tomek Link Removal欠采样方法生成平衡数据集。(2)实时学习情感模型。本研究在总结现有情感模型研究工作的基础上提出了多模态情感模型,使用自主设计研发的客户端采集数据,通过机器学习算法训练得到基于多模态的情感分类器。本研究关注的学习情感有:高兴、困惑、专注、分心、惊讶、思考、正常及未知共八个种类。除上述情感类别外,本研究还包含了笔记行为的识别。(3)本研究设计了自适应教学系统框架并实现了基于多模态情感识别的自适应教学原型系统。针对目前情感识别仅停留于理论层面的缺陷,本研究提出了通用系统框架并将实时情感识别应用于实际系统之中,设计了个性化辅助手段以突显情感识别的应用价值。本文首先介绍基于多模态情感识别的自适应教学系统的研究意义和价值,然后介绍多模态情感识别及学习者行为分析的研究现状和存在的问题,并提出了本文的研究路线。接着,本文对学习者进行行为建模,并对特征提取、情感分类模型、数据不平衡、自适应教学系统框架设计等关键技术进行了介绍。之后是本文模型的实验验证及原型系统的设计与实现。最后是工作总结和展望。