论文部分内容阅读
课堂环境下的学生行为检测作为目标检测技术重要的应用领域之一，融合了分类任务和定位任务，反映了学生对课堂教学的参与度，在推动教育教学信息化发展上发挥着重要作用。传统的目标检测算法应用于学生行为目标检测时，在检测效率、大数据处理、多元智能化等方面已难以满足要求。21世纪初，随着人工智能的发展，基于卷积神经网络的目标检测算法应用越来越广泛，检测效果超过了传统目标检测算法，进而成为了主流热点。本文基于卷积神经网络的目标检测算法，重点研究了课堂场景下学生的写字、听讲、举手、睡觉、回答问题等5类行为目标的检测方法，重点对课堂学生行为目标检测的多尺度问题和类内遮挡问题进行深入探索，主要研究工作如下：
(1)针对课堂场景下前排与后排学生尺寸相差较大的多尺度问题，本文从网络结构和候选框尺寸重建两个方面进行重点研究。对于多尺度问题下的网络结构，本文基于SSD算法设计了一种多尺度检测网络：一方面将基础特征提取网络设计为级联的多扩张率卷积结构，采用多尺度感受野替代原网络的单一感受野，同时引入残差单元，增加相邻特征层间的关联性；另一方面针对特征金字塔的深层特征图缺乏浅层的细节信息这一缺点设计了具有对称结构的金字塔检测网络(SYM-FPN)，6个尺寸的预测特征图经自顶向下和自底向上结构后再进行多尺度特征融合，使得每一个预测特征图都包含了其他5个尺寸特征图的细节信息和语义信息。
此外，通用目标检测数据集与自制课堂学生行为数据集在候选框尺寸的真实分布上存在较大偏差，因此本文针对多尺度问题下的候选框尺寸重建设计了一种基于改进K-means聚类的候选框重建算法来获得数据集真实分布的宽高尺寸。该算法采用交并比距离作为相似度衡量标准，并设计了基于交并比距离的适应度函数，利用遗传算法对聚类的初始中心点进行全局寻优，根据寻找到的最优中心点，对数据集所有样本的宽高进行K-means聚类从而得到符合数据集真实分布的宽高尺寸。采用聚类后的候选框设置进行检测，能够为检测加入良好的先验信息，增大预测框与真实框的匹配度，一定程度上提升检测效果。
(2)针对拥挤课堂场景下学生行为的类内遮挡问题，本文提出了一种基于中心距和罚函数的候选框综合筛选算法来改善遮挡问题并完成学生行为的检测定位。当两个候选框重叠面积大于一定阈值时，采用两框的中心距来判断候选框是针对不同行为的遮挡框还是针对同一行为的冗余框，进而决定对遮挡框的置信度进行指数权重惩罚还是对冗余框进行抑制。该算法很好地解决了非极大值抑制算法中受遮挡学生行为容易因与其他学生重叠面积较大被抑制从而漏检的问题。此外，采用FocalLoss分类损失函数，控制学生行为数据集中的正负样本比例，减少易分类样本的相对损失，让网络能够着重训练困难样本，来进一步提高整体模型对受遮挡学生行为的检测性能。
实验结果表明，本文设计的算法能够有效提升五类学生行为的检测准确率，并且能够满足实时性要求，在自制课堂学生行为数据集上检测准确率达到86.5%，检测速度为37FPS；此外，本文设计的多尺度检测网络和改进遮挡算法在PascalVOC数据集上也有着很好的泛化能力，检测精度达到80.7%，优于其他对比方法。
(1)针对课堂场景下前排与后排学生尺寸相差较大的多尺度问题，本文从网络结构和候选框尺寸重建两个方面进行重点研究。对于多尺度问题下的网络结构，本文基于SSD算法设计了一种多尺度检测网络：一方面将基础特征提取网络设计为级联的多扩张率卷积结构，采用多尺度感受野替代原网络的单一感受野，同时引入残差单元，增加相邻特征层间的关联性；另一方面针对特征金字塔的深层特征图缺乏浅层的细节信息这一缺点设计了具有对称结构的金字塔检测网络(SYM-FPN)，6个尺寸的预测特征图经自顶向下和自底向上结构后再进行多尺度特征融合，使得每一个预测特征图都包含了其他5个尺寸特征图的细节信息和语义信息。
此外，通用目标检测数据集与自制课堂学生行为数据集在候选框尺寸的真实分布上存在较大偏差，因此本文针对多尺度问题下的候选框尺寸重建设计了一种基于改进K-means聚类的候选框重建算法来获得数据集真实分布的宽高尺寸。该算法采用交并比距离作为相似度衡量标准，并设计了基于交并比距离的适应度函数，利用遗传算法对聚类的初始中心点进行全局寻优，根据寻找到的最优中心点，对数据集所有样本的宽高进行K-means聚类从而得到符合数据集真实分布的宽高尺寸。采用聚类后的候选框设置进行检测，能够为检测加入良好的先验信息，增大预测框与真实框的匹配度，一定程度上提升检测效果。
(2)针对拥挤课堂场景下学生行为的类内遮挡问题，本文提出了一种基于中心距和罚函数的候选框综合筛选算法来改善遮挡问题并完成学生行为的检测定位。当两个候选框重叠面积大于一定阈值时，采用两框的中心距来判断候选框是针对不同行为的遮挡框还是针对同一行为的冗余框，进而决定对遮挡框的置信度进行指数权重惩罚还是对冗余框进行抑制。该算法很好地解决了非极大值抑制算法中受遮挡学生行为容易因与其他学生重叠面积较大被抑制从而漏检的问题。此外，采用FocalLoss分类损失函数，控制学生行为数据集中的正负样本比例，减少易分类样本的相对损失，让网络能够着重训练困难样本，来进一步提高整体模型对受遮挡学生行为的检测性能。
实验结果表明，本文设计的算法能够有效提升五类学生行为的检测准确率，并且能够满足实时性要求，在自制课堂学生行为数据集上检测准确率达到86.5%，检测速度为37FPS；此外，本文设计的多尺度检测网络和改进遮挡算法在PascalVOC数据集上也有着很好的泛化能力，检测精度达到80.7%，优于其他对比方法。