论文部分内容阅读
深度估计是指估算拍摄场景到相机平面的距离，其在机器人学、三维重建、目标追踪等领域都发挥着重要作用。传统相机能记录到达传感器上每个像素的光线能量总和，但是不能记录这些光线的角度信息，从而造成了严重的信息损失，使得深度估计在遮挡、弱纹理、重复纹理等不适定区域仍面临着挑战。而光场相机同时记录下了光线空间域和角度域的信息。角度信息的引入，让光场图像具有独特的重聚焦特性以及能够生成蕴含视差信息的极平面图像，这些特性有利于提高深度估计的精度。因此，本文分别从传统方法和深度学习方法两个角度对提高深度估计不适定区域的精度问题进行了研究。主要内容包括:
1.提出了一种抗遮挡的光场深度估计模型。该模型采用基于随机森林的遮挡点判断方法，能更准确地判断出遮挡点;然后利用匹配线索和散焦线索估计光场图像的初始深度图;针对深度图边缘区域的噪声问题，设计了一个自适应权重的马尔科夫能量模型，通过降低对边缘位置连续性的要求，提高深度图优化的准确性。实验结果表明，该算法在遮挡区域、边缘区域能得到更平滑的深度值。
2.从利用环境信息以及上下文信息的思路出发，提出了一种融合金字塔池化和堆叠沙漏模块的光场深度估计方法。该方法在特征提取模块融入金字塔池化结构，通过多尺度的卷积池化，让网络提取多尺度和多位置的特征，通过学习到的丰富的环境信息来帮助视差信息地匹配;然后聚合四个方向的特征图后，通过堆叠沙漏模块来聚合浅层信息和深层信息，使得一些不适定区域得到更准确的深度值。实验结果表明，该算法在弱纹理、无纹理区域以及边缘区域能得到更精确的深度值。
综上所述，本文的研究对提高光场图像深度估计的准确性有一定的理论贡献，在自由视点视频、三维重建相关领域存在潜在的应用前景。
1.提出了一种抗遮挡的光场深度估计模型。该模型采用基于随机森林的遮挡点判断方法，能更准确地判断出遮挡点;然后利用匹配线索和散焦线索估计光场图像的初始深度图;针对深度图边缘区域的噪声问题，设计了一个自适应权重的马尔科夫能量模型，通过降低对边缘位置连续性的要求，提高深度图优化的准确性。实验结果表明，该算法在遮挡区域、边缘区域能得到更平滑的深度值。
2.从利用环境信息以及上下文信息的思路出发，提出了一种融合金字塔池化和堆叠沙漏模块的光场深度估计方法。该方法在特征提取模块融入金字塔池化结构，通过多尺度的卷积池化，让网络提取多尺度和多位置的特征，通过学习到的丰富的环境信息来帮助视差信息地匹配;然后聚合四个方向的特征图后，通过堆叠沙漏模块来聚合浅层信息和深层信息，使得一些不适定区域得到更准确的深度值。实验结果表明，该算法在弱纹理、无纹理区域以及边缘区域能得到更精确的深度值。
综上所述，本文的研究对提高光场图像深度估计的准确性有一定的理论贡献，在自由视点视频、三维重建相关领域存在潜在的应用前景。