论文部分内容阅读
随着计算机技术和多媒体技术的发展,视频实时拼接技术的应用也越来越广泛,如智能监控、辅助驾驶、视频会议等。视频拼接是图像拼接在时间维度上的扩展,因此,视频拼接技术基于图像拼接,但又不同于图像拼接。本文首先介绍了图像拼接的流程,包括图像采集、图像预处理、图像配准和图像融合四个步骤。但是视频拼接有实时性要求,因此,每一帧视频图像的拼接速度必须足够快。此外,视频中存在运动物体,这对视频图像的配准和融合算法提出了更高的要求,如何保证视频中的运动物体清晰无重影非常关键。本文选择SURF作为视频配准中的特征提取算法,并对其进行了改进。将视频重叠区域划分为多个子区域,分别对子区域进行特征检测和匹配,提高了特征匹配速度,同时使特征点分布更加均匀。根据摄像头位置关系,本文在特征匹配中引入了横纵坐标约束,从而有效剔除了大量异常匹配,加速了 RANSAC算法。由于摄像头固定不动,本文的视频配准只在视频拼接的初始阶段进行,根据变换矩阵计算出坐标变换关系,并存储到查找表中;之后每次视频图像变换只需查表即可,无需再次计算。本文采用了基于最佳缝合线的偏差补偿算法对视频进行融合。最佳缝合线算法能有效地消除多摄像头之间的视差问题,避免视频融合出现重影。本文提出了基于最佳缝合线组的更新策略,首先在拼接初始阶段查找一组最佳缝合线,拼接过程中逐帧检测视频中的运动物体,当物体穿过缝合线,则优先从最佳缝合线组中进行更新。进一步地,本文提出了基于查表法的偏差补偿算法对视频进行快速融合,有效地消除了缝合线两侧的曝光和色彩差异,使得融合视频无明显拼缝且过渡更加自然。本文介绍了 H.264视频编解码,并将运动矢量、宏块类型等解码信息用于加速视频实时拼接。在视频配准和缝合线偏差补偿的查表法实现中,引入运动矢量和宏块类型可以加速查表。在最佳缝合线查找中,引入宏块类型可使最佳缝合线穿过更平坦的区域,从而避开前景物体;同时,运动矢量可直接用于描述运动物体的大小、位置及速度,极大地加速了运动物体的检测。最后,本文搭建了以海思Hi3518E为核心的双路摄像头平台,并在Visual Studio 2015环境下完成了视频拼接软件的设计。拼接软件采用了模块化、多线程、流水线的设计思路,充分利用了 CPU资源,加速了视频实时拼接。基于上述软硬件平台,本文进行了室内室外场景的双路视频实时拼接实验,实验结果达到预期的拼接速度和效果。