论文部分内容阅读
课堂教学是教学的基本形式，是学生获取信息、提高技能和形成思想观念的主渠道。师、生课堂教、学行为对受教育者的影响极大，这些行为数据可以用来客观评价学生，预测学生未来的学习成绩，规划职业，也可以评价教师的教学水平，促进教师反思并改进教学。因此识别师、生的课堂的教、学行为有着非常广泛的应用，值得深入研究。
目前针对课堂环境这一复杂背景下行为识别的研究刚刚开展，本文研究了数字图像处理识别课堂背景的起立、举手的行为。论文的主要工作如下：
(1)运动目标检测算法在课堂场景的实现与应用。将典型运动目标检测算法，包括运动历史图、高斯混合模型、Vibe、光流法应用于课堂，并对实验结果进行了分析，由于这些算法前景提取的不足，针对课堂行为检测仍然存在的难点，确定了一种先检测行为主体(脸、手)，再判断主体运动趋势的行为识别的研究思路。
(2)基于感兴趣区域的起立识别。为了避免人物背景杂乱的影响，结合主运动发生在图像上半部分的特点，利用二分法确定裁剪位置，进行了图像裁剪，获取感兴趣区域，再根据是否有举手干扰，选择了不同的阈值分割算法，识别了不同分割背景下的起立行为。
(3)基于人脸跟踪的起立识别。为了能对行为目标进行定位和特写，利用Viola-Jones人脸检测算法检测出了人脸，对其框定，提出了一种基于位置和面积的框图继承算法，该算法利用运动目标在帧之间的相对位置最近和面积大小基本不变原则，通过新旧两帧的双向选择，确定了帧之间的人脸对应关系，完成了人脸跟踪，通过分析其坐标变化，判断出人脸的运动趋势，实现了起立行为的识别。
(4)基于肤色检测和手部跟踪的举手识别。针对手的颜色，通过实验找到了肤色在RGB空间和HSI空间的阈值，利用肤色检测算法进行了大部分非肤色区域的去除，为了去掉人脸干扰，利用五官在脸中形成的孔洞，提出了一种扫描线种子清除算法，去除了所有包含孔洞的连通域，即去除了人脸，再利用边界跟踪算法找出了手部轮廓，利用轮廓的极点信息框定手的位置，同样通过相应的框图继承算法实现了举手行为的识别。
目前针对课堂环境这一复杂背景下行为识别的研究刚刚开展，本文研究了数字图像处理识别课堂背景的起立、举手的行为。论文的主要工作如下：
(1)运动目标检测算法在课堂场景的实现与应用。将典型运动目标检测算法，包括运动历史图、高斯混合模型、Vibe、光流法应用于课堂，并对实验结果进行了分析，由于这些算法前景提取的不足，针对课堂行为检测仍然存在的难点，确定了一种先检测行为主体(脸、手)，再判断主体运动趋势的行为识别的研究思路。
(2)基于感兴趣区域的起立识别。为了避免人物背景杂乱的影响，结合主运动发生在图像上半部分的特点，利用二分法确定裁剪位置，进行了图像裁剪，获取感兴趣区域，再根据是否有举手干扰，选择了不同的阈值分割算法，识别了不同分割背景下的起立行为。
(3)基于人脸跟踪的起立识别。为了能对行为目标进行定位和特写，利用Viola-Jones人脸检测算法检测出了人脸，对其框定，提出了一种基于位置和面积的框图继承算法，该算法利用运动目标在帧之间的相对位置最近和面积大小基本不变原则，通过新旧两帧的双向选择，确定了帧之间的人脸对应关系，完成了人脸跟踪，通过分析其坐标变化，判断出人脸的运动趋势，实现了起立行为的识别。
(4)基于肤色检测和手部跟踪的举手识别。针对手的颜色，通过实验找到了肤色在RGB空间和HSI空间的阈值，利用肤色检测算法进行了大部分非肤色区域的去除，为了去掉人脸干扰，利用五官在脸中形成的孔洞，提出了一种扫描线种子清除算法，去除了所有包含孔洞的连通域，即去除了人脸，再利用边界跟踪算法找出了手部轮廓，利用轮廓的极点信息框定手的位置，同样通过相应的框图继承算法实现了举手行为的识别。