论文部分内容阅读
人类前置的双眼从不同角度观看同一场景,双眼图像存在微小的差异,即视差。这种由双眼引起的视差经大脑处理而形成具有深度感知的立体视觉,使人类可以准确判断出场景中物体的纵深分布。通过将适当的图像提供给适当的眼睛观看,即把一对从不同角度拍摄的平面图像分别独自提供给左右眼观看,那么人们也可以观看到立体图像。并且,通过扩大两个拍摄点之间的距离,可以增强这种虚拟的立体图像的深度感觉。如果某一特殊的显示器可以做到将同一场景的左右图像分别显示给左右眼睛独立观看,那么人们会在显示器上看到立体的图像,这就是立体显示器,或称作3D显示器。为了确保观看者能舒适地观看到立体图像,显示器必须满足另外一些条件,其中最主要的是限制立体图像的视差范围,从而避免出现会聚(Convergence)与调节(Accommodation)的冲突。自由立体显示器无需任何辅助装置,可以为用户提供立体的视觉享受,用户可以在显示器前方任意移动,并总是能观看到立体图像。
目前,已有多种途径实现自由立体显示器,但是所有这些立体显示器必须要同时显示3幅以上甚至多达30副的图像才能实现宽视角立体显示。我们研发了一种新型结构的立体显示器,称作多用户自由立体显示(Multi-user AutostereoseopicDisplay-MUAD)。该显示系统采用LCD面板作为基本图像组件,在显示器前方成对地输出显示窗口,该对窗口显示的是一对立体图像,当观看者的眼睛处于对应的窗口时,每一只眼睛可以观看到不同的图像,从而形成立体图像而无需任何辅助工具。MUAD只需要在显示器上显示一对图像,同时可以为多人(用户)提供立体显示。为了扩展立体显示器的视角,我们运用了人眼跟踪技术用以探测和跟踪用户双眼的位置,显示器根据用户眼睛位置的变化,相应地调整图像投影显示的窗口位置。因此,在MUAD中,为了能够精确而流畅地显示立体图像,人眼根总是极其重要的关键技术之一。我们开发了一套新的摄像装置,该装置使用两组红外照明光源,分别置于相机镜头的近轴和远轴。当近轴光源照明时,眼睛瞳孔的在图像中的表现是异常的亮,称作“亮瞳效应”。本文对亮瞳效应进行了详细的理论和实验分析,发现其形成的原因主要源自眼睛光学系统(包括透镜、晶状体)的色散。由于不同波长的光具有不同的折射率,红外光会因此而被眼睛成像并在视网膜上形成一个模糊的光斑。这个光斑被视网膜反射并经眼睛的光学系统再次成像,经瞳孔出射形成发散的光锥,从而照相机可以记录到来在瞳孔的光束,而得到明亮的瞳孔图像。红外装置中两组光源依次照明,从而得到眼睛瞳孔的亮瞳和暗瞳图像。
本文研究了鲁棒性极高的多用户人眼三维位置探测与跟踪算法,并在MUAD中得到了很好的应用,算法包含三个主要部分：⑴红外照明灯照明人脸,产生亮瞳效应的图像以及暗瞳图像。两幅相邻图像相减得到差分图像,再选取适当的阈值,对差分图像进行二值化。这样,可以快速剔除图像中非人脸的区域,得到人脸的候选区域。⑵对于每一候选区域,运用Adaboost算法进行分类判别。Adaboost算法有若干弱分类器构成一个强分类器,利用候选区域信息,Adaboost不需要在满帧图像的范围内漫无目的地搜索,可以用最小的计算成本,快速高效地搜索出图像中人脸的位置。Adaboost是一种基于简单特性的分类器,这些简单特性是基于Haar的基本函数的,是覆盖样本窗口的矩形特征的结合。矩形特征可用积分图的方法快速地计算出来,积分图中的任意一点(x,y)的值等于原图像中原点(左上角)至(x,y)点的矩形区域的像素值之和。在图像搜索过程中,大量的Haar恃征的计算可以使用积分图来完成,可以只需要四个参数的计算就可以求得任意矩形框内的像素值之和。给定一组特征以及人眼的正负样本,Adaboost就可以进行分类函数的学习训练。通过组合弱分类器函数来构成强分类器函数,Adaboost学习机用以推进简单学习机的性能,最终的强分类器包含了感知器的形式、弱分类器在某一阈值下的权重系数。⑶在已经搜索到的人连区域内,利用级联支持向量机(SVM)精确地检测人眼的位置。假设眼睛窗口的图像共有n个像素,可以将其展开成n维空间的一维向量,对于非人眼样本也是如此。观察人眼和非人眼两组样本,SVM将在n维空间构建一个超平面,这个超平面距两组样本边界的距离最小。超平面两侧构建两个平行的正、负平面,用以标注隔离人眼和非人眼的位置。正、负平面之间的距离越大,分类器的分类误差越小,因此,需要研究合适的超平面以达到最佳的分类质量。在本论文人眼检测场合,人眼的矢量空间构件的超平面是非线性的,因此,重要的研究工作之一是研究、选择合适的和函数来线性化表达高维空间变换。由于检测区域限制在一定有人眼睛的人脸区域内,所以SVM分类器可以具有更强更精确的人眼位置检测能力,所以可以快速地检测多用户人眼位置。
为了探测瞳孔的深度,使用了两只跨200mm左右的不同角度的摄像机同时记录视频图像,这与机器立体视觉中常用的双目立体视觉机构相似。在极线约束条件下,利用Adboost分类器沿着极线周围检索每幅图像中人眼的大致位置,再通过相关匹配算法精确定位人眼的同名点(Corresponding point)。根据同名点的视差,利用三角测距的方法计算出人眼的纵向距离。为了加速探测用户位置的速度,分类器算法中嵌入了卡尔曼预测器(Kalmanpredictor)。预测器包含状态方程和测量方程两部分,状态方程描述用户的状态空间特性,本论文描述了用户的匀加速度运动模型;测量方程通过测量方差的递归迭代运算,消除测量误差。卡尔曼预测器可以预测下一时刻(下一帧)用户可能的运动位置,从而减小分类器的搜索范围,提高用户探测速度。在卡尔曼预测器的协助下,预搜索潜在人眼位置的办法,加速了人眼探测的速度和精度。试验表明采用主动式红外光照明与Adaboost算法相结合,构成主动模式的Adaboost算法,表现出了极精度和高速地对人眼位置定位的能力,可以每秒钟处理30帧图像的速度,探测和跟踪人眼位置。在高性能人眼位置探测的辅助下,多用户立体显示器表现出了优越的立体显示性能。