基于多核处理器的实时视频处理系统研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:ligang_nc2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着硬件技术的发展、通信能力的提高以及人工智能研究的深入,视频监控技术在实际应用中弥补了人眼观测无法 24 小时持续工作、易疲劳等诸多缺点,在国土安全、犯罪预防、交通控制、事故预测和检测等方面均有广泛应用。尤其在中大型安防系统中,视频监控常常需要覆盖多个节点,汇总多个节点信息进行处理控制,对准确性和实时性有较高要求。因此,设计一个硬件、算法、软件相互配合的稳定实时系统具有较大挑战性和实际应用价值。本文以大规模视频监控系统为背景,基于多核处理器的硬件平台,着重研究实时多任务系统的任务拆分与模块化设计,对模块进行具体实现,并从各个方面考虑优化,以达到实时性和稳定性要求。
  本文首先结合DARTS、NRL设计方法对系统进行并行任务拆分、模块化设计,发挥多核处理器性能,达到实时性目标。自顶而下构建层次化模型,采用流水线设计将顺序任务并行化,使用缓冲区解决流水线中数据冲突、处理速度不匹配的问题。最后使用有限状态机保证子系统的状态闭环。
  模块化的设计使得系统具有可重用性。本文根据模块低耦合、高内聚的特性,划分为视频采集模块、图像处理模块、网络通信模块与显示交互模块。采用高效的前沿算法实现目标检测与跟踪,并针对算法在当前应用场景下的问题进行改进。采用较为健壮且具有一定并发处理能力的通信框架,并对TCP协议进行应用层再封装,以保证通信的可靠性。在显示交互模块建立功能-线程对应模型,根据时间分离的特点最终以两个上位机软件完成显示交互功能。
  实时系统的优化可自上而下划分为三个层次。首先是架构优化,针对当前系统的性能瓶颈——带宽问题,更改数据流向,使得带宽压力分散,选择效率更高的I/O复用模型,提高系统的并发能力。为了进一步提高运行效率,设计多级缓存结构并优化数据同步方式。其次是算法优化,选择复杂度较低的算法结合当前背景进行改进,替换复杂度较高的算法,另一方面从逻辑上进行策略优化,减少操作次数。在代码层面上对代码进行梳理,利用技巧提升代码的容错与速度。
  系统测试是检验系统是否满足预定需求及性能水平的关键环节。根据软件测试分类,分别对本文的实时系统进行功能测试和性能测试。根据系统需求列出测试项目,在真实场景下逐一进行测试。测试证明本系统能够保证20FPS的帧率处理视频序列,在单个监控点下对200m范围的运动目标进行实时告警和主动跟踪,并汇总多个节点信息到上位机软件进行显示和交互,实测接入五十个站点后稳定运行7×24小时,告警响应时间与控制响应时间均在120ms内,使得主观上无滞后感受。在模拟每秒20次告警,并发3000个站点的高压情况下无滞后反应,有较好的并发处理能力。是一个实时性的、具有良好并发处理能力的、可以稳定运行的系统。
其他文献
雷达伺服系统作为雷达系统的重要子系统,其性能的好坏直接影响了雷达系统运行精度的高低。雷达伺服系统在运行的过程中会出现各种类型的故障,快速准确的进行雷达伺服系统的故障诊断是保障其稳定运行的基础。现阶段的雷达伺服系统故障诊断通常由人工或传统的机理模型完成,故障诊断的效率及精确性难以得到保证。雷达伺服系统的历史故障数据中存在着故障的产生规律,基于数据进行故障诊断研究有助于提升故障诊断的效率和精确性,具有
学位
苹果作为我国生产量最高的水果,深受广大消费者的喜爱,但其采摘后缺陷果的分拣过程需投入大量人力,致使苹果分级效率低精度差,因此苹果表面缺陷自动检测技术对于解放劳动力、提高我国苹果市场竞争力意义重大。本文以红苹果作为研究对象,采用图像处理技术对其表面缺陷进行检测,主要工作归纳如下:  (1)图像的采集和预处理。图像采集是实现自动化检测技术的第一步,文中图像采集系统包括密闭纸箱、白色背景纸、对称白色LE
学位
近年来,随着计算机、传感器以及控制理论技术的发展,轮式移动机器人产业发展迅猛,被广泛地应用于各行各业,其控制问题已成为国内外学者研究的热点之一。本文针对轮式移动机器人的轨迹跟踪问题,将反步法、自适应控制以及滑模控制等方法相结合,分别对运动学外环和动力学内环进行控制器设计,使系统的跟踪误差达到渐近稳定。本文的研究内容分为以下三部分:  (1)研究了具有扰动的轮式移动机器人自适应滑模轨迹跟踪控制问题,
水下机器人技术正受到越来越多的关注,在诸如堤坝检测、管道铺设、水下救援、鱼群探测、生态监测和考古调查等领域应用广泛,显现着越来越重要的作用。然而,当前水下机器人研究主要以面向深海应用的大型作业级机器人为主,随着该领域的不断发展,浅水应用环境下的低成本、高精度ROV(Remote Operated Vehicle,即遥控水下机器人)需求与日俱增,研发适用于浅水环境的观察级ROV及其配套仿真系统与水下
排爆机器人能够在危险环境下代替排爆人员对可疑的爆炸物进行检查、抓取、搬运和销毁,可作为搜爆、排爆作业的专业装备,是当前特种机器人研究的热点之一。本文针对多机器人的协同作业过程,重点研究远程操控、机械臂半自主抓取和多机器人协作等技术,设计并实现了基于排爆机器人的半自主多机协作系统。  本文在调研排爆机器人及其关键技术研究现状的基础上,针对现实排爆过程中出现的两个主要问题:(1)单台机器人操作不便或无
人脸识别技术为人民生活带来了众多便利,并且为社会安全做出了很大的贡献。在很多应用场景中人脸识别技术需要运行在嵌入式设备上,并且由于嵌入式平台的发展,更高性能的人脸识别算法可以在嵌入式平台上得以实现。因此本文对基于嵌入式平台的人脸识别技术进行了深入的研究,研究内容如下:  (1)人脸检测算法研究。为了实现嵌入式平台实时人脸检测,设计了一种基于级联架构的人脸检测算法。该检测算法核心为3层级联的卷积神经
学位
高分辨率图像在很多场景中都有广泛需求。但在现实图像获取过程中,成像环境和成像硬件设备的限制以及各种噪声干扰导致获取的图分辨率有限。人们常助图像超分辨率(Super-resolution, SR)技术提高获取图像的分辨率,得到重建的高分辨率图像。着深度学习的出现,基于深度学习的图像超分辨率方法成为国内外研究的热点。图像超分辨率重建技术是指用信号处理和图像处理的方法,通过软件算法的方式从已有的低分辨率
学位
人机共融导航是服务机器人研究领域的核心技术之一。行人建模和路径规划的结合是服务机器人人机共融导航目前发展的重要趋势。本文针对室内服务机器人的工作环境,设计具有良好扩展性与稳定性的服务机器人人机共融导航系统框架,对涉及的相关技术展开深入研究,并对系统各模块进行软件设计与实现。  论文综述了服务机器人人机共融导航相关技术的研究现状,分析系统设计与实现存在的技术难点,在此基础上进行了需求分析,基于机器人
人脸遮挡判别技术是计算机视觉领域中一项重要的技术,具有广泛的应用前景。三维人脸识别技术突破了二维人脸识别技术的瓶颈,对光照、姿态等外部干扰具有较高的鲁棒性,成为国内外的研究热点。与基于曲线、模型和多模态等方法的三维人脸遮挡判别算法不同,仅基于三维点云突变边缘、法向量、形状结构等原始特征的三维人脸遮挡判别算法能够实现更高效的遮挡判别。本文在对三维人脸遮挡深入分析的基础上,针对基于特征的三维人脸遮挡判
学位
近年来随着汽车产量的不断增加,汽车轮毂行业不断发展壮大,将自动化生产技术引入生产线的需求也在不断提升。汽车轮毂的种类日益繁多,多达上百种,并且不断有新轮型面世。传统的通过人工分类识别汽车轮毂类型的方法准确率不高,且长期观测容易引起疲劳,对人眼有损伤,已经无法满足工厂的生产需求。本论文采用计算机视觉相关技术,实现了轮毂分类和钢套检测算法,并开发了一套轮毂生产管理系统。主要研究工作如下:  (1)从轮
学位