基于HMM与深度学习的唇读识别研究

• 作 者: 宋文明
• 出 处: 大连理工大学
• 发表日期: 2017年期
• 关键词: 唇读 隐马尔可夫模型 深度学习 特征提取

随着科技的进步,人们的生活水平逐渐提高,电子设备已经融入到日常生活的方方面面,随之而来的是人们对于电子设备的各种需求也在不断提高,唇读识别技术应运而生。语音识别技术在嘈杂环境下效果不理想,语言障碍患者与人交流始终存在巨大的阻碍,现有的基于密码以及指纹的隐私保护方法安全性越来越低,这些问题都可以通过唇读识别得到很好的解决。甚至在军事以及国土安全等领域,唇语识别同样可以帮助获取犯罪信息,有效的打击恐怖犯罪行为。然而唇读识别作为一项新兴技术,尽管其涵盖的各个领域拥有各种各样的研究方法,但整体上较低的识别精度以及其局限性仍使得该项技术仅停留在理论研究阶段,而不能应用于实际。针对这一现状,本文从人脸检测、唇部定位、特征提取、唇动识别等方面做简要分析,并在此基础上提出一种基于HMM和深度学习的唇读识别系统以及一种应用于电子设备上的唇语解锁方法。本文所述的唇读识别系统通过对唇形特征建立HMM模型,经训练后与待识别特征进行相似度计算而实现唇读识别。该方法所使用的特征包括外唇高度、内唇高度和唇宽度以及三者关于时间的一阶导数;在完成脸部关键点检测后这六个特征均可通过计算得到。在此基础上,本文分别使用高斯混合模型和深度置信网络模型对视素进行拟合。类似的,唇语解锁方法使用外唇高度、内唇高度和唇宽度三个特征,并通过高斯混合模型对视素进行拟合。实验结果表明,本文所提出的唇读识别方法是可行的,其识别精度能够满足需求;唇语解锁方法有效的降低密码盗用的可能性,相比于传统的密码机制以及指纹识别等具有更高的安全性。