基于图像分析的在线学习状态识别研究

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:doublepay2000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
“互联网+教育”背景下教育与信息技术的不断融合,为在线教育的迅速发展奠定了基础。在线教育也因其跨越时间、空间的优势受到越来越多人的关注,新冠疫情的爆发更是加速推动了在线教育的发展。与传统教育相比,在线教育的教师无法实时监督学生的学习状态,师生之间缺少必要的交互与情感交流,导致学习效果无法得到保证。因此,开展在线学习状态识别研究对于完善在线教学系统的监督手段、提高教学质量具有积极的社会价值。论文提出了一种基于图像分析的在线学习状态识别方法,从人脸检测、人脸识别、头部姿态估计、疲劳检测等方面对在线学习状态进行研究。主要工作如下:(1)提出了基于改进的MTCNN人脸检测算法。通过分析MTCNN的结构与工作原理,利用深度可分离卷积优化网络卷积层,以减少模型参数;利用Focal Loss损失函数代替面部分类的交叉熵损失函数,以改善正负样本类别不平衡而导致的模型性能退化问题;分析在线学习状态检测的应用场景,增加中值滤波以降低噪声影响,微调模型参数以提高检测准确率。(2)基于ResNet模型提取人脸特征向量,通过欧氏距离匹配实现人脸识别。为提高人脸识别效率,设计了一种基于质心跟踪的人脸跟踪算法,利用相同人脸在相邻帧中质心位移最小的原则,获取目标人脸在连续帧中的变化轨迹,对于同一个目标只对初始帧进行特征描述算子提取,后续帧只进行人脸检测工作,仿真分析了该方法的可行性。(3)基于二维与三维人脸特征点的提取实现学习者头部姿态估计。首先利用ERT算法定位人脸二维特征点,而后使用深度相机采集学习者人脸彩色图与深度图,将其对齐融合以获取人脸三维特征点,将获取的二维与三维特征点作为EPNP算法的输入以获取学习者头部姿态。最后提出了一种基于学习者头部姿态估计的学习者分心状态判别方法,实验验证了方法可行。(4)基于眼部与嘴部疲劳特征参数的提取实现学习者疲劳状态的判别与预警。通过计算眼睛与嘴巴的纵横比值,判定眼睛与嘴巴状态,进而提取眼部与嘴部疲劳参数PERCLOS值、眨眼频率、哈欠次数。最终通过特征融合的方式判定学习者是否疲劳。(5)构建了在线学习状态监测系统。系统由面向学生的学习端与面向教师的云端两部分组成,将学习者状态分为正常、用户未授权、脱离学习座位、多人、分心、疲劳6种情况。学习端实现待测视频的获取、异常状态的检测、预警与异常状态信息的上传等功能,云端同步学习端异常状态数据并显示。在实验室范围内采集在线学习场景的实时视频,进行了系统功能测试与分析,测试结果表明系统可行。基于图像分析的在线学习状态识别,可有效监测学生学习过程中的异常状态,提高学生在线学习效率,同时为教师提供必要的学生状态信息支持,弥补在线学习环境存在的缺陷,促进在线教学质量的提高。
其他文献
化学概念学习是化学教育研究的核心领域。在当前国际教育改革不断推进的背景下,我国充分借鉴国际先进改革成果,结合本国国情开始了新一轮的基础教育课程改革。新的课程标准提倡开展素养为本的教学,以学科大概念为核心建构结构化的课程内容是其表现之一。只有形成正确的核心概念才能促进学科大概念的形成,如电化学核心概念的形成对氧化还原反应这一大概念的形成至关重要。开展迷思概念探查及转变的研究是促进学生科学概念形成的重
学位
“化学平衡”是高中化学的重要学习内容,在新高考改革的背景下,本研究采用文献分析、文本研究、统计分析等方法,选取2020年高考全国卷Ⅰ、Ⅱ、Ⅲ、浙江卷、北京卷、山东卷、天津卷、海南卷、江苏卷的化学平衡类试题为研究对象,从试卷基本情况、考查视角、试题分析三个方面,对化学平衡类试题进行比较研究。研究结果显示:(1)化学平衡类试题在2020年高考试题中所占比重较大,试题的结构和比例相对一致,考查内容更侧重
学位
X射线偏振卫星是天文物理的重要研究手段。低能X射线偏振卫星的探测系统包括两部分,微结构气体探测器和具有传感与读出功能的硅像素芯片。华中师范大学研发的Topmetal硅像素芯片是低能X射线偏振卫星的备选芯片之一。目前,国内外有许多针对硅像素传感器的读出电子学方案,有用于大型实验的通用数据读出系统,也有针对小型实验的专用读出系统。大部分读出方案都是读出所有数据然后进行离线数据处理。但是空间X射线偏振卫
学位
信息技术目前已经成为高中数学课堂中常见的教学手段之一,具有十分重要的教学价值。在数学课堂中科学合理的应用信息技术,能充分调动学生的学习积极性,提升课堂教学效果。然而信息技术在高中数学课堂教学中的应用效果,受到多种因素的综合影响,如:学生需求差异化、传统教学模式惯性思维、对信息技术应用的重视程度不足等。本文立足于宜春市第九中学的实际教学情况,分析信息技术在高中数学课堂应用中存在的问题和成因,并提出一
学位
普通高中物理课程标准充分关注物理学科对提高学生核心素养的独特作用,强调对学生科学思维能力的培养。思维导图是一种能够将思维可视化表达与呈现的工具,运用大脑的联想、发散性思维等方式,思维导图可以有效地提高工作和学习的效率,已被越来越多的人所接受和应用。鉴于此,笔者尝试将思维导图引入高中物理教学,并以一些多媒体技术将物理课堂进行可视化地呈现,希望能够运用基于思维导图的方式,逐步提高学生的科学思维能力,同
学位
随着社会发展与生活水平的逐步提高,超重和肥胖已经成为全球性问题,由肥胖引起的脂肪肝、癌症以及代谢类疾病已经严重威胁人类健康。为了对人体肥胖及其程度进行精准的定量研究和综合分析,人体全身脂肪组织和肝脏图像分割就尤为重要。然而,目前大多数全身脂肪和肝脏图像分割算法存在分割效率较低及分割效果较差的缺陷。因此针对此类分割算法存在的问题,本文以全身脂肪及肝脏磁共振(Magnetic Resonance,MR
学位
用户群中的关系影响用户的情绪,是广泛存在于社交网络情绪传播中的现象,研究用户群的情感倾向有利于从影响情绪传播、情绪感染的几个节点切入,可以帮助调控网络空间的健康发展,也可以帮助减少负面情绪的大规模聚集,减少社会突发性事件的发生。因此,本文从以下几个方面展开研究:第一,针对现有的文本情感倾向性分析中存在着用户群关系逻辑的整体缺位以及被忽略的情况,本文通过提出用户群的社交可供性概念,即可连接性——用户
学位
医学药物名识别是药物相关任务中关系抽取,事件抽取等的基础工作,在生物医学领域具有重要的研究意义。现有的药物识别方法大多是基于有指导的机器学习方法,该方法往往需要大量人工标注的数据作为训练数据,但由于人工标注数据有限,新药层出不穷,从而制约了药物名识别模型的性能。本文针对性地分析了药物名的构成特点,提出了基于字符嵌入和药物名前后缀嵌入的神经网络模型来提高药物名的语义表达,同时利用远程监督、部分标注学
学位
为了追求更高质量的精神生活,选择收听歌曲成为大部分人群释放心理压力和享受舒缓生活的一种方式。现在各种音乐在线网站和手机软件层出不穷,基本能满足用户的心理需求,在音乐个性化推荐部分也能给用户带来惊喜感。搜索引擎和推荐模块的相互融合推动了个性化音乐推荐系统的快速发展,随着推荐算法的逐步改进和优化,推荐的结果可以跟随用户的行为动态地更新,方便用户在信息过载的环境中快速找到符合要求的歌曲。当下有许多关于推
学位
随着大数据时代的到来,互联网上数据以指数形式增长,其中大部分都是无结构化数据。信息抽取能够将无结构化数据转换为人们易于理解的结构化数据,其中关系抽取是信息抽取比较重要的一环,它也是机器翻译、机器阅读理解等任务的基础工作,具有重要意义。针对一些复杂的文本,目前的关系抽取模型的性能仍然不高,主要原因在于,人工标注可以使用除文本之外的外部知识(如常识或经验),然而传统的关系抽取只利用了文本信息,无法解决
学位