内蒙古公交投钰晨数字信息技术有限公司
一、无人机在桥梁巡检应用的背景
根据统计局发布的报告来看，我国高速公路总公里数已稳居世界第一。随着中国高速公路的不断建设，在跨越河流、沟壑处建设了越来越多的桥梁，桥梁已经成为了交通系统中不可或缺的组成部分，桥梁的安全性对于出行有巨大影响。随着工业的不断发展，车辆的载重量也越来越大，有的桥梁受到车辆超载、超限、超速和老化等影响使得桥梁存在一些安全隐患，因此对桥梁进行安全性检查是一项重要的任务。其中，对于桥梁安全性检查主要是对桥梁的裂缝进行检测，根据裂缝的长度和宽度等信息综合判断桥梁是否存在安全隐患。
二、无人机在桥梁巡检应用的意义
（一）原有人工检测存在的弊端
桥梁的裂缝检测关乎人民群众的人身财产安全，桥梁检测在桥梁早期找到危害与有效弥补结构损害中有不可忽视的作用。而近几年来看，对于桥梁底面的裂缝检测主要还是以人工检测为主，存在的弊端如下：
1. 相关观测人员的要求较高、耗时耗力
现有人工检测手段主要有两种，一种是通过使用望远镜远距离观测桥底的裂缝，另一种是通过在桥底搭建的平台近距离观察桥底的裂缝，这对于观测人员的实践经验要求较高，很难达到当今对于桥梁安全检测的全覆盖、高精准等要求。
2. 无法精确评估桥梁质量
由于是需要通过望远镜远距离观察桥梁裂缝，这样无法准确的检测出桥梁裂缝的信息，因此无法准确对桥梁质量进行评估。
3. 成本高、安全性低
在桥底搭建观察平台近距离检测桥梁裂缝的方法，需要搭建专门的安全架成本高，检测人员在桥梁检测车的桁架臂上行走，对桥梁底面裂缝进行检测，安全性较低，人工检测速度慢、效率低，并且对于检测人员的人身安全存在着较大的隐患。
（二）采用无人机进行桥梁巡检的意义
为了有效的解决对于桥梁裂缝检测耗时耗力、准确率不高和保障检测人员自身安全等问题，内蒙古众宇路通科技有限公司联合内蒙古交科路桥建设有限公司
共同研发了基于无人机数据采集分析技术的桥梁裂缝检测系统。这一系统运用的意义有：
1. 快捷高效地获取数据
将无人机系统运用到桥梁裂缝检测中，无人机因为其轻巧灵活、便于携带和容易操作目前已经应用到了许多领域当中，在本系统中将图像采集设备安装于无人机上，能够快速便捷的进行原始数据的获取，并且与人工采集相比，使用无人机能够在一些空间狭小的地方进行数据采集，这对于建立多样性的原始数据集有重要作用。
2. 提高准确率
将图像分割应用于桥梁裂缝的检测，与传统的人工识别方式相比，基于图像分割的方式有着更高的准确率，更快的处理速度。将感兴趣的区域进行分割提取，能够减少周围背景环境的干扰，在一定程度上能提升检测人员的检测效率。图像分割目前已经应用在了很多领域，比如无人驾驶、三维重建、手术模拟等方面。与此同时，将桥梁剪切力数据信息运用到数据采集系统中，桥梁剪切力数据信息给了无人机一个相对小的数据采集范围，不使用桥梁剪切力数据表作为参考，那么进行数据采集时就很难准确定位到裂缝容易发生的位置，相反，使用桥梁剪切力数据信息表能够准确快速的进行定位和数据获取。将最终网络识别的结果和人工检查的结果进行结合，综合判断桥梁的安全性能，将两者进行结合有更好的识别效果，仅仅依靠人工进行识别不仅效率低，而且准确率也不高。结合机器判断的结果再进行裂缝的识别，不仅效率会提高，而且也有更高的精度。
3. 提高实操安全性
无人机可以承受一定人体不能承受的环境因素，而且避免了人工的高空作业，降低了安全隐患，在实际操作过程中也能实现更加普遍高效的使用率。
三、无人机桥梁巡检技术的具体内容
我公司设计了一种桥梁裂缝检测系统，该桥梁裂缝检测系统包括四大部分：无人机系统、图像采集装置、数据传输装置和数据处理装置，图像采集装置设置于无人机系统上，并根据无人机系统的指令或预设的程序对桥梁的底面进行图像采集，数据处理装置用于对图像采集装置采集的图像进行处理，确定图像对应的桥梁底面裂缝的信息，数据传输装置用于图像采集装置和数据处理装置之间的数据传输。
（一）、技术内容
1. 无人机系统
该系统包含了定位装置，定位装置内置的测距仪器可以测量无人机到桥面的距离，根据测量得到的距离信息调整无人机到桥面的距离，将无人机定位在距桥梁底面设定距离处，以预定的角度提取预定区域的图像，保证了采集到图像的质量。由于组成桥面的箱梁之间留有间隔缝隙，定位装置可以通过红外线传感器或声波传感器向桥面发送红外信息或声波信息，根据间隔裂缝与完整桥面之间返回的红外信息或声波信息确定箱梁的边界即待测桥梁的边界，确定出待测桥梁的长度和宽度。根据预先存储的剪切力数据信息表和桥梁的长度和宽度信息，确定出该桥梁受剪切力最大的三个区域为裂缝检测区域。
2. 图像采集系统
该系统的工作原理是当无人机与桥面的距离到达预设的值时开始进行图像的采集，从而获得裂缝区域的图像，图片采集处理系统主要功能包括单片机控制ISP-PLD器件，实现对摄像头的图像高速采集与存储，单片机图像压缩与PC机串行通信实现图像数据的传输，在PC机端实现图像处理和显示等。
3. 数据传输系统
该系统将图像采集系统得到的数据传输到数据处理系统进行处理，数据在传输的过程中容易受到周围环境的影响，比如电磁波、磁场等因素会导致传输的数据有较高的误码率，因此数据处理单元必须进行一定的数据预处理。数据传输装置实现数据处理装置与图像采集装置之间的数据通讯，在具体地应用中，数据传输装置还实现上述无人机与地面设备或数据中心的信息传输。实时向地面设备或数据中心传输无人机系统的状态信息以及其极限接触区域内的障碍物等信息，以及将地面设备或数据中心的指令等信息发送到无人机系统，例如，调整测量范围、测量时的机身高度等指令信息。
4. 数据处理系统
该系统包含图像处理单元、特征提取单元和裂缝信息确定单元。
（1）图像处理单元：首先对获取到的图像进行滤波和降噪处理，使用均值滤波进行噪点的去除，使用3×3的滤波器对于目标中心点相邻的8个像素点进行运算，用全体的像素均值代替中心点的像素值，均值滤波的方法可在一定程度上消除噪声。
（2）特征提取单元：数据预处理完成后对图像的裂缝区域进行标注，使用大量标注的图像去进行神经网络的训练，网络首先对输入图像的特征进行提取，然后根据提取的信息对图像的裂痕区域进行分类，判断是哪种类型的裂缝并且进行图像分割，根据分割出的图像进一步判断裂缝的长度和宽度等信息。最后根据阈值法将大于阈值的像素点进行精细化，形成裂缝的最终特征图。
（3）裂缝信息确定单元：根据特征图中不连续的像素点形成外形的轮廓区域，确定为裂缝区域，根据裂缝区域最终确定待测桥梁的裂缝的长度和宽度。数据处理装置对采集的图像进行数据处理，根据图像的分析，确定出桥梁是否有裂缝、裂缝的长度尺寸、裂缝的宽度尺寸、裂缝的分布状况等桥梁裂缝信息，检测人员基于上述桥梁裂缝信息得出桥梁结构裂缝安全性的结论，包括结构的现有承载能力与仍可正常使用的可靠性分析。
5.总体技术线路如图所示：
（1）数据获取：数据获取部分使用的是由无人机上搭载的图像采集系统完成，首先无人机根据自身所携带的测距和定位仪器以及预存的桥梁剪切力信息到达合适的图像采集地点，然后使用所携带的高分辨率多光谱相机进行拍摄，获得桥梁特定地点的图像信息。
（2）数据预处理：数据预处理阶段首先使用均值滤波去除掉图像中的噪声点，比如椒盐噪声，椒盐噪声也称为脉冲噪声，是图像中经常见到的一种噪声，它是一种随机出现的白点或者黑点，可能是亮的区域有黑色像素或是在暗的区域有白色像素（或是两者皆有）。椒盐噪声的成因可能是影像讯号受到突如其来的强烈干扰而产生、类比数位转换器或位元传输错误等。通过降噪处理可以有效提升原始数据集的质量，在拍摄过程中由于光线的变化导致有的图像较暗或者较亮，所以处理完噪声点以后需要将图像的亮度进行调整，为了使裂缝处的图像更加明显，可增加对比度信息，进一步加强裂缝处与正常处的信息对比。完成了图像增强之后，需要对图像中的裂缝处进行标注，图像标注结束之后就完成了数据预处理的全部步骤。
（3）特征提取和结果分割：对于图像的特征提取和分割部分使用SOLO网络完成，SOLO网络是一个优秀的图像分割网络，网络的主体框架如下图所示：
图2 SOLO网络整体框架图
SOLO通过引入“实例类别”的概念来区分图像中的对象实例，即量化的中心位置和对象大小，这使得可以利用位置来分割对象，图像被分为S×S的格子，根据目标中心，每个目标实例被分配到其中一个单元格内，作为其中心位置的类别。将中心位置的类别编码成维度坐标，类似于语义分割中的语义类别。每个输出通道都是对每个中心位置类别的响应，对应的维度的特征图可以预测属于该类别的实例的掩码。所以结构化的几何信息自然地保存在空间矩阵中。
实际上，实例类别近似于实例的对象中心位置，因此，通过将每个像素分类到其实例类别中，就相当于使用回归方法从每个像素来预测对象中心。将位置预测任务转化为分类而不是回归任务的原因在于：使用分类时，更加直接，且更易于使用固定数量的通道对多个实例进行建模，同时不依赖于分组或学习嵌入式向量之类的后处理。使用 FPN 来区分不同大小的目标实例，以便将不同大小的对象分配给不同级别的特征图，作为对象大小类别。
所有的实例都被规则的分配，使得能够通过实例类别来区分。FPN是网络的核心之一，因为它对分割性能有着很大的影响，尤其是对不同大小的物体。实验表明，浅层的网络更关注于细节信息（语义特征少，目标位置精细），高层的网络更关注于语义信息（语义特征多，目标位置粗略），而高层的语义信息能够帮助我们准确的检测出目标，因此RCNN系列通过最高层的特征图来进行特征提取，但是这种做法忽略了细节信息，这些信息在一定程度上可以提升检测的精度。
FPN算法做法很简单，把低分辨率、具有高语义信息的高层特征以及高分辨率、具有低层语义信息的低层特征进行自上而下的侧边连接，使得所有尺度下的特征都具有丰富的语义信息。
（4）可靠性分析：根据网络最终产生的分割结果，可以将危险等级较低的裂缝进行过滤，这一类可能只是简单的表面裂缝，主体并没有受到损伤，所以可将这种裂痕进行排除。将危险等级较高的裂痕分割结果进行人工的评估，检测人员基于桥梁裂缝信息得出桥梁结构裂缝安全性的结论，包括结构的现有承载能力与仍可正常使用的可靠性分析。
可看出对于桥梁的裂缝已经实现了较好的分割，最后将分割后的结果进行人工的筛查做出安全性的评估。与传统的人工评估相比，结合神经网络能够获得更准确的判断结果，并且能节省大量时间。
（二）、技术优势
1.更快、更全、更精准
与现有的桥梁裂缝检测系统相比，我们的系统有更快的识别速度，大多数系统目前做不到实时识别的效果，我们的系统基于SOLO网络实现，SOLO网络本身对于图像的分割效率已经能到达到实时的分割（>30FPS），这也意味着在相同时间内能够处理更多的裂缝信息。与人工检测相比较，我们的系统结合了机器识别的结果和人工识别的结果，系统的识别精度更高。我们的系统将最终分割结果为低危的裂缝进行排除，留下级别为高危的裂缝图像信息，并且和人工检查进行结果的结合，综合两者的信息进行决策，并不是仅仅依靠一个方面的判断，因此系统的识别精度较好。
2. 省时省力
与目前传统的桥梁裂缝检测系统相比，我们的系统具有更强的灵活性，并且省时省力。对于原始数据的采集来说，如果不使用无人机而单纯依靠人工采集数据，这就会耗费大量的人力资源。我们的系统使用无人机搭载图像采集设备进行数据的获取，不仅能快速有效的获得想要的数据，而且仅需要很少的人员就能实现。
3. 更加直观
与基于干涉雷达的技术相比，我们的系统对于裂缝的检测结果更加直观，基于雷达的检测方法需要将所得到的数据转化为可视化的图形图像，过程复杂，而且不能直观的观察到真实桥梁裂缝信息，我们的系统直接将原图进行处理，分割结果清晰，可视化效果较好。
综上所述，当前工程对于桥梁裂缝的检测已经由原来的人工检测方式转变为依靠机器学习、神经网络等手段进行检测，并且检测的准确率已经有了大幅度的提升。所以我公司基于无人机数据采集分析技术的桥梁裂缝检测系统相比于传统的检测方式，基于图形图像识别的方式更加省时省力，并且对于检测人员的人身安全有一定的保障。
