基于卷积神经网络的抗高光光场深度估计研究

• 作 者: 王程
• 出 处: 合肥工业大学
• 发表日期: 2004年期
• 关键词: 光场 深度估计 高光 点、线一致性 上下文信息 卷积神经网络

光场相机作为一种新型的多视角成像设备,通过一次成像同时记录场景的空间信息和角度信息,能够获取多视角图像和重聚焦图像,提供了丰富的场景几何信息,在深度估计任务中具有独特优势。高光是光场深度估计中的难点问题之一。现有方法通常假设场景中的物体处于朗伯表面或者均匀反射系数表面,当场景中存在反射高光或非朗伯表面时,这些方法往往不能获得精确的深度信息。因此,研究高光影响下的深度估计,需要探索图像高光现象的特性。目前针对图像高光现象的研究中,皆需已知或者预估场景的光照情况,忽略了图像上下文信息对图像高光的影响。启发于光场图像的多视角和重聚焦特性与高光现象的联系,本文围绕光场图像深度估计中的高光问题展开算法研究与探讨,论文主要研究工作如下:(1)阐述了光场深度估计、高光问题和深度卷积神经网络的背景及国内外研究现状,分析了本文研究课题的意义,并介绍了光场的定义及参数化表示方法、光场图像表征和深度提取等相关知识理论。(2)针对光场图像高光检测和去除问题,通过基于双色反射模型的理论分析,定义了不同反射光场景类型。结合光场多视角特性和数字重聚焦特性,构建点、线一致性测量标准,分别针对漫反射像素和高光像素进行检测,最后利用图像置信度准则进行高光像素去除处理,从而实现了一种基于点、线一致性的光场图像高光检测和去除算法,有效缓解了高光对图像纹理的损害,较好地保留了原图的色彩分布,并通过对比实验验证了高光去除对深度估计任务性能的提升。(3)在前述研究中发现,高光现象在不同的场景表面、不同的观察视角和不同图像范围的上下文信息中,表现不同。因此,针对抗高光光场深度估计任务,基于上述特性,设计并实现了一种抗高光光场深度估计网络模型。一方面,根据图像中高光区域随视角改变而改变的原理,构建多视角分支路输入,获取高光区域在不同视角下的深度信息。另一方面,利用空洞卷积的形式扩大网络感受野,获取了更大范围的图像上下文信息。网络通过学习到更大范围的多角度的特征信息,有效缓解了图像高光现象在深度估计的影响。此外,设计了一种多尺度特征融合方法,串联多膨胀率空洞卷积特征与多卷积核普通卷积特征,进一步提高了深度估计结果的精度和平滑度。实验验证了所提出的深度估计网络模型能够有效估计图像深度信息。特别地,高光区域深度信息恢复精度高,物体边缘区域平滑,能够较好地保留图像细节信息。