论文部分内容阅读
立体视觉及三维重建技术日益受到各行业的关注和重视,尤其是虚拟现实、增强现实及混合现实技术发展得如火如茶,立体匹配作为立体视差法三维重建技术的关键有着重要的研究价值。目前从基本的局部SAD及NCC相似性度量到全局能量的置信传播及图割方法衍生的立体匹配算法层出不穷,但对于遮挡问题及非子模能量函数的优化仍是一项重大的挑战。本文采用3D标签来描述各个像素的空间特征,在已有的马尔可夫随机场最大后验(MRF-MAP)能量代价模型下,采用3D标签的法向及切平面特征来建立二阶先验的立体曲面。二阶先验平滑项放松了前向平行平面的约束使得满足斜向切平面先验时也不受到惩罚,使得水平及垂直方向邻域的各像素可以相互关联。针对遮挡及多重团簇的非子模性难题,本文改造了非对称图模型来控制团簇大小,通过增加可见性节点将所有可能的遮挡信息呈现在图中,并将可见性节点的关联边整合到能量函数的数据项中。同时本文改进了伪布尔函数多项式优化(QPBO),为每个像素节点创立与之对立的非节点,使得非子模的边也可用mincut/max flow方法进行分割,改进的QPBOI-R方案能在不增加能量代价的情况下合理地更新不可标记节点,经过多次迭代可得到近似最小代价的解。本文最主要的贡献是提出了多尺度超像素候选标签图(Multi-scale Super-pixel basedProposals,MSP)结构及其更新方法,已有的候选图更新方法有基于图像分割的或随机生成的。MSP通过随机选取已修正的标签来更新超像素图像的候选标签,主要是利用了多个尺度的超像素图像可以在多种特征层面下更新标签而不影响边缘处的视差突变。另外,将多个超像素候选与两个棋盘格候选相结合构成完整的候选标签图,超像素候选表征着区域的特征信息而棋盘格保留了像素级别的特征信息,实验证明了 MSP结构下的视差图在均匀无纹理区域呈现平滑特性,而在边缘处又呈现了深度不连续特性。