论文部分内容阅读
摘 要：以具有专业航测性能的專业无人机为载体进行等高等距视频图像采集，结合视频图像机器视觉自动检测算法，从桥梁裂缝检测入手，实现基于无人机+机器视觉技术的桥梁裂缝检测发现和量化测量的技术方法，逐步代替人工巡查传统作业方式，为智能化检测在桥梁结构监测应用中做出探索研究。
关键词：机器视觉;无人机;裂缝;模型
中图分类号：U446 文献标识码：A
0 引言
随着我国交通基础设施的日益完善，桥梁、道路等各类基础设施存在长期运营的现状，疲劳荷载、腐蚀效应、材料老化以及养护维修的不及时都使其在使用期内出现损伤累积、抗力衰退的问题，影响了结构寿命，增加了事故的发生率。目前桥梁管理相关的结构工程、病害机理等基础理论较为落后，检测手段仍采用人工或半自动的方式，且多为事后被动式管理，无法对桥梁病害快速评定。本文从桥梁裂缝检测入手，探索基于计算机视觉自动检测和量化定级的实用技术。研究机器视觉桥梁裂缝检测的关键算法，实现基于无人机+机器视觉技术的桥梁裂缝病害检测与预警，辅助公路养护及管理决策，加强机器视觉技术的高效利用与易用性。
1 基于无人机巡检机器视觉技术实现方法
专业无人机按预先设定的线路、高度、角度等飞行参数进行稳定航测，按预先设定的飞行计划自动执行巡检任务，飞抵桥梁底部、河道上方、塔顶等一些不易于达到的位置，既保障了巡查安全，又可获得大量的有效数据。
将无人机采集的图像归为桥梁桥面、桥梁上部、桥梁下部三类，为不同点位的裂缝病害分析提供场景依据。通过计算机视觉分析算法将裂缝病害特征进行提取和量化评级，从而获得具有实际管理价值的检测结果，将不同周期的检测结果进行同比与环比分析，得到各特征病害的变化趋势，为养护决策管理提供准确数据。
2 机器视觉病害检测算法研究
2.1 模型检测算法
本文主要采用卷积神经网络做模型训练检测，对基于目标检测的卷积网络做浅探和导入，以桥梁外观病害检测实际应用为事实依据，通过实践的方式确定需要使用的模型算法。
通过对传统的faster-rcnn进行修改，把特征提取网络替换掉，使用深度可分离卷积的mobileNet做卷积，降低网路模型参数量，提高计算速度。基于3*3的kernel，参数量可以减少8～9倍。因此，在研究实践中根据实际场景训练学习，持续调优该模型，并在轻量化和执行精度上找到最佳平衡。
2.2 病害量化计算
病害量化计算遵循科学原则，从实际出发，桥梁裂缝宽度量化算例如下：
（1）裂缝的检测与定位。以深度学习模型附加平台分类器对图像域执行二元分类。对于每一个输入图像（图像像素满足1 920×1 080），分类自动执行，用于检测肉眼难以辨别的桥梁裂缝。
（2）裂缝宽度的计算。使用基于Zernike矩（ZM）方法的深度学习方法来实现目标对象宽度的测量。
基于Zernike矩的线宽求解方法假设一条线对象的两条边是理想的阶梯型边缘，如图1所示，ψ是正交方向的夹角和x轴，g为背景灰度值;h为步骤的灰度值;线的宽度是l1+l2。图（b）是通过对图（a）进行角ψ的旋转。然后用y轴将直线分成两部分，左边的宽度为l1，右边的宽度为l2。我们进一步将图（b）分成不同对称宽度（2×l1和2×l2）的两个对称的图形。
（3）裂纹识别步骤。如图2所示，基于Zernike矩的裂缝宽度量化计算步骤如下：
步骤1：利用形态学算子生成单个像素范围的二值骨架图像，进一步细化深度学习过程的二值裂缝图。从原始灰度图像中剪裁出骨架附近13×13像素的图像像素，然后进行第一个预处理操作（PP1）：将图像中的所有元素都减去1，然后保存图像的最大值。
步骤2：旋转图像，使裂纹骨架平行于y轴。在每个中心点附近区域的大小7×9像素，将灰度值累积最高的列定义为中心列。通过镜像操作得到两个大小为7×9的对称像素，然后在垂直方向对两个图片使用平滑滤波器操作。
步骤3：确定对称图像是否超过5个像素的边界。例如，有一幅裂纹图像经过旋转后的实际宽度为5像素，我们通过镜像操作得到两幅图像。随后，其中一个对称图像的实际宽度可能大于超过边界的5个像素。为了避免这种情况，步骤3给出了一些简单的限制性条件，如果满足这些限制性条件，则删除中间列和左边列，并将“Mark”变量的值赋值为2。否则，我们令它等于0。此外，进行预处理操作2（PP2）：保存在中心点附近7×7像素内的对称图像的最小值;通过减去这个最小值可以得到一个新的对称图像。
步骤4：利用上述提出的Zernike矩法计算两张对称图像的裂缝宽度。并考虑错误修正。“Mark”的值将在两次更正后添加到每个计算中。最终的裂缝宽度将通过对对称图像的两个计算宽度进行平均来计算。图3是使用Zernike矩（ZM）方法对每个裂缝图像自动计算裂缝宽度的结果。
2.3 模型检测效果
以无锡342示范桥梁为工程依托开展了深入的调研和技术研发工作。
以无人机搭载可变焦摄像头上路采集大量的应用场景和训练素材，调测适合桥梁病害场景的图形分析模型组件，进行实训对比，优化训练模型，实际检测效果如图4所示。
作为进一步研究，系统可根据机器视觉深度学习的量化结果定义裂缝、凹坑、拥包、车辙等典型桥梁外观病害损坏等级，如一级、二级、三级、四级或特级。一级为轻度损坏，用于统计;二级为中级损坏，进行统计并标记;三级为重度损坏，进行统计并预警，通知相关工作人员进行维修;四级或特级为损坏程度极其严重，进行统计并告警，告知相关领导实时安排人员到指定地点实施维修。
3 结论
（1）促进行业新科技应用。将无人机+AI机器视觉技术应用于桥梁病害检测工作，从技术手段上改变依据人员巡查评价传统作业方式。新技术措施的应用将人工检查转变为机器自动检查，大大提高监督管理效率，提高病害检测与评价的实时性和精准性，有效避免人工检查主观因素影响，有力促进桥梁外观病害巡检工作实质性提升。
（2）促进社会经济效益增长。示范成果取得成功，势必形成基于无人机+AI机器视觉进行桥梁病害巡检的崭新技术手段，率先引领行业应用并形成高价值管理示范作用，助于提高干线公路病害管理信息化和智能化水平，实现养护决策的可视化、智慧化，极大程度节约人力巡查成本、降低人为评价主观影响，获得更高效的养护资源供给，合理规划干线高速公路巡查频率布局，指导改善路段养护评级，整体提升干线公路安全及路容建设，延长公路桥梁使用寿命。为行业应用及广泛推广打下坚实基础，无人机+AI机器视觉桥梁病害检测技术应用范围越广泛，公路桥梁健康管理效率提升越明显，降本增效效果越显著。
参考文献：
[1]付洪成，邢婕怡.浅谈市政桥梁结构裂缝分析及加固技术处理[J].中国室内装饰装修天地，2019（9）：210.
[2]彭智.智能交通系统中基于机器视觉的交通流量统计研究[D].电子科技大学，2016.
[3]胡云栋.浅谈桥梁施工裂缝产生的原因[J].黑龙江交通科技，2019（8）：137+139.
关键词：机器视觉;无人机;裂缝;模型
中图分类号：U446 文献标识码：A
0 引言
随着我国交通基础设施的日益完善，桥梁、道路等各类基础设施存在长期运营的现状，疲劳荷载、腐蚀效应、材料老化以及养护维修的不及时都使其在使用期内出现损伤累积、抗力衰退的问题，影响了结构寿命，增加了事故的发生率。目前桥梁管理相关的结构工程、病害机理等基础理论较为落后，检测手段仍采用人工或半自动的方式，且多为事后被动式管理，无法对桥梁病害快速评定。本文从桥梁裂缝检测入手，探索基于计算机视觉自动检测和量化定级的实用技术。研究机器视觉桥梁裂缝检测的关键算法，实现基于无人机+机器视觉技术的桥梁裂缝病害检测与预警，辅助公路养护及管理决策，加强机器视觉技术的高效利用与易用性。
1 基于无人机巡检机器视觉技术实现方法
专业无人机按预先设定的线路、高度、角度等飞行参数进行稳定航测，按预先设定的飞行计划自动执行巡检任务，飞抵桥梁底部、河道上方、塔顶等一些不易于达到的位置，既保障了巡查安全，又可获得大量的有效数据。
将无人机采集的图像归为桥梁桥面、桥梁上部、桥梁下部三类，为不同点位的裂缝病害分析提供场景依据。通过计算机视觉分析算法将裂缝病害特征进行提取和量化评级，从而获得具有实际管理价值的检测结果，将不同周期的检测结果进行同比与环比分析，得到各特征病害的变化趋势，为养护决策管理提供准确数据。
2 机器视觉病害检测算法研究
2.1 模型检测算法
本文主要采用卷积神经网络做模型训练检测，对基于目标检测的卷积网络做浅探和导入，以桥梁外观病害检测实际应用为事实依据，通过实践的方式确定需要使用的模型算法。
通过对传统的faster-rcnn进行修改，把特征提取网络替换掉，使用深度可分离卷积的mobileNet做卷积，降低网路模型参数量，提高计算速度。基于3*3的kernel，参数量可以减少8～9倍。因此，在研究实践中根据实际场景训练学习，持续调优该模型，并在轻量化和执行精度上找到最佳平衡。
2.2 病害量化计算
病害量化计算遵循科学原则，从实际出发，桥梁裂缝宽度量化算例如下：
（1）裂缝的检测与定位。以深度学习模型附加平台分类器对图像域执行二元分类。对于每一个输入图像（图像像素满足1 920×1 080），分类自动执行，用于检测肉眼难以辨别的桥梁裂缝。
（2）裂缝宽度的计算。使用基于Zernike矩（ZM）方法的深度学习方法来实现目标对象宽度的测量。
基于Zernike矩的线宽求解方法假设一条线对象的两条边是理想的阶梯型边缘，如图1所示，ψ是正交方向的夹角和x轴，g为背景灰度值;h为步骤的灰度值;线的宽度是l1+l2。图（b）是通过对图（a）进行角ψ的旋转。然后用y轴将直线分成两部分，左边的宽度为l1，右边的宽度为l2。我们进一步将图（b）分成不同对称宽度（2×l1和2×l2）的两个对称的图形。
（3）裂纹识别步骤。如图2所示，基于Zernike矩的裂缝宽度量化计算步骤如下：
步骤1：利用形态学算子生成单个像素范围的二值骨架图像，进一步细化深度学习过程的二值裂缝图。从原始灰度图像中剪裁出骨架附近13×13像素的图像像素，然后进行第一个预处理操作（PP1）：将图像中的所有元素都减去1，然后保存图像的最大值。
步骤2：旋转图像，使裂纹骨架平行于y轴。在每个中心点附近区域的大小7×9像素，将灰度值累积最高的列定义为中心列。通过镜像操作得到两个大小为7×9的对称像素，然后在垂直方向对两个图片使用平滑滤波器操作。
步骤3：确定对称图像是否超过5个像素的边界。例如，有一幅裂纹图像经过旋转后的实际宽度为5像素，我们通过镜像操作得到两幅图像。随后，其中一个对称图像的实际宽度可能大于超过边界的5个像素。为了避免这种情况，步骤3给出了一些简单的限制性条件，如果满足这些限制性条件，则删除中间列和左边列，并将“Mark”变量的值赋值为2。否则，我们令它等于0。此外，进行预处理操作2（PP2）：保存在中心点附近7×7像素内的对称图像的最小值;通过减去这个最小值可以得到一个新的对称图像。
步骤4：利用上述提出的Zernike矩法计算两张对称图像的裂缝宽度。并考虑错误修正。“Mark”的值将在两次更正后添加到每个计算中。最终的裂缝宽度将通过对对称图像的两个计算宽度进行平均来计算。图3是使用Zernike矩（ZM）方法对每个裂缝图像自动计算裂缝宽度的结果。
2.3 模型检测效果
以无锡342示范桥梁为工程依托开展了深入的调研和技术研发工作。
以无人机搭载可变焦摄像头上路采集大量的应用场景和训练素材，调测适合桥梁病害场景的图形分析模型组件，进行实训对比，优化训练模型，实际检测效果如图4所示。
作为进一步研究，系统可根据机器视觉深度学习的量化结果定义裂缝、凹坑、拥包、车辙等典型桥梁外观病害损坏等级，如一级、二级、三级、四级或特级。一级为轻度损坏，用于统计;二级为中级损坏，进行统计并标记;三级为重度损坏，进行统计并预警，通知相关工作人员进行维修;四级或特级为损坏程度极其严重，进行统计并告警，告知相关领导实时安排人员到指定地点实施维修。
3 结论
（1）促进行业新科技应用。将无人机+AI机器视觉技术应用于桥梁病害检测工作，从技术手段上改变依据人员巡查评价传统作业方式。新技术措施的应用将人工检查转变为机器自动检查，大大提高监督管理效率，提高病害检测与评价的实时性和精准性，有效避免人工检查主观因素影响，有力促进桥梁外观病害巡检工作实质性提升。
（2）促进社会经济效益增长。示范成果取得成功，势必形成基于无人机+AI机器视觉进行桥梁病害巡检的崭新技术手段，率先引领行业应用并形成高价值管理示范作用，助于提高干线公路病害管理信息化和智能化水平，实现养护决策的可视化、智慧化，极大程度节约人力巡查成本、降低人为评价主观影响，获得更高效的养护资源供给，合理规划干线高速公路巡查频率布局，指导改善路段养护评级，整体提升干线公路安全及路容建设，延长公路桥梁使用寿命。为行业应用及广泛推广打下坚实基础，无人机+AI机器视觉桥梁病害检测技术应用范围越广泛，公路桥梁健康管理效率提升越明显，降本增效效果越显著。
参考文献：
[1]付洪成，邢婕怡.浅谈市政桥梁结构裂缝分析及加固技术处理[J].中国室内装饰装修天地，2019（9）：210.
[2]彭智.智能交通系统中基于机器视觉的交通流量统计研究[D].电子科技大学，2016.
[3]胡云栋.浅谈桥梁施工裂缝产生的原因[J].黑龙江交通科技，2019（8）：137+139.