三维人机交互系统中的若干关键技术研究

• 作 者: 李扬
• 机 构: 浙江大学
• 出 处: 浙江大学
• 发表日期: 2011年期
• 关键词: 增强现实注册 自然交互 自然手跟踪 3D重建

作为一种最自然的人机交互方式,3D自然交互越来越得到研究者的关注。与传统交互设备相比,3D自然交互方式具有交互能力强、用户沉浸感高的特点。本文对三维人机交互系统中的两个关键技术,基于自然特征的增强现实注册技术与自然手人机交互技术进行了深入的研究。在基于自然特征的增强现实平面标识注册方面,提出了一种基于自然特征的增强现实并行注册方法。基于双核CPU双通道的注册策略,一个线程利用KLT算法进行跟踪注册,另一个线程使用Surf特征匹配算法进行宽基线注册校正。延迟单应阵概念的提出,解决了特征跟踪与匹配的线程同步问题。同时,提出特征关键帧的思想,提高了并行注册的准确性与稳定性。实验结果表明,该方法在实时的情况下,有效地解决了基于特征跟踪方法的误差累积问题,是一种准确、稳定有效的自然特征注册方法。在自然手人机交互方面,分为面向用户的单个摄像头交互与面向操作台的双目交互两个部分,在单摄像头条件下,提出了一种鲁棒实时的手跟踪算法。该方法首先采用基于轮廓与曲率的算法检测手掌,自动初始化跟踪区域；并提出了权值特征流的概念,结合贝叶斯肤色模型,采用多线索的跟踪策略,从而实现了面向用户人机交互环境下手的实时跟踪。实验结果表明,该方法可以在复杂背景下实现对手快速、准确的跟踪,能够满足基于视觉的面向用户的人机交互的需求。在双目摄像头情况下,通过对指点,指向,掌平面等特征提取与3D重建,定义了点、线、面的交互方式,并结合场景分层对增强现实场景进行遮挡处理,建立了一种空间统一的自然手交互方式。