机器视觉在输电线路巡检机器人中的应用综述

1 引言

架空输电线路是我国远距离输配电力的主要途径，截止目前我国的高压输电线路已超过23万公里。由于架空输电线路暴露于野外，容易受持续张力、雨雪侵袭、电气闪络、异物短路、材料老化等非人为因素的影响而发生导线断股、磨损和腐蚀等损伤，如果不及时发现并修复，可能会导致大面积停电等严重的电力事故和巨大的经济损失。目前，我国主要通过地面人工目测和无人机航测两种方式对架空输电线路进行定期巡检。众所周知，传统的基于人力的巡视劳动强度大、效率低，并且人员安全得不到有效保障，而航测法不仅成本高，危险性也较大，稍有不慎就可能导致撞线。随着智能机器人技术的迅速发展，输电线路的巡检方式有望实现变革。输电线路巡检机器人沿线巡检，需自主跨越防震锤、间隔棒、线夹等多种障碍物，同时利用携带的摄像头对杆塔、导线、避雷线、绝缘子串、线路金具、线路通道等进行近距离拍摄，并对采集到的图像信息进行自主分析判断，也可以将其传回地面基站，进行人工分析。巡检机器人的应用可以大大提高巡检的效率，降低输电线路维护成本，确保其安全运行，是节约成本的有效办法，也是保证安全的重要措施”。

机器视觉技术是输电线路巡检机器人研究中的重要内容之一。机器视觉系统通过对外部环境信息进行感知，为机器人提供决策支持。机器视觉可以采集到人眼看不到的目标信息，能够长时间稳定工作，还方便进行数字化处理和控制，已广泛应用于智能机器人的导航、控制等各个方面。

本文在简要介绍机器视觉系统的基础上，将详细讨论机器视觉在输电线路巡检机器人中的应用，对现有研究成果进行系统分析总结，提出存在的问题，并给出下一阶段研究方向的建议，以期建立一个系统的研究框架，为输电线路巡检机器人视觉系统的后续研究工作提供参考。

2 机器视觉系统构建与工作原理

2.1机器视觉系统构建

巡线机器人视觉系统包括计算机、图像处理软件、视觉传感器、图像采集卡等。视觉系统的信息来源于视觉传感器，计算机是整个系统的控制中心。图1为一个典型的机器视觉系统。

对于不同机械结构的巡线机器人，其摄像机安装位置一般也不相同。以双臂式巡线机器人为例，其携带的部分摄像机安装位置如图2所示。安装的摄像机分为两组。一组是用于手臂动作的视觉伺服控制的两个相机，安装在每个手臂的下部转台上，且相机光轴垂直向上、正对行走机构，通过跟踪行走机构状态，组成一个闭环伺服控制系统。另一个相机用于视觉导航，即对前方障碍物的识别与定位，安装在控制箱前端，其光轴与线路处于同一垂直面，夹角约为30度，这样拍摄到的图像背景是天空，可以降低背景对前景目标识别的干扰。

2.2机器视觉系统的工作原理

机器视觉系统的工作过程通常包括以下几部分：首先对获取的环境图像进行滤波去噪、灰度化、二值化等预处理；然后进行特征提取、降维、分析与测量等操作；最后对测量结果做出定性或定量解释，从而得到对外界环境的某种认知并做出相应决策。

3 机器视觉在输电线路巡检机器人中的应用

3.1视觉导航

输电线路巡检机器人的自主导航包括机器人的全局行走路径规划和局部越障规划两部分，其中视觉导航系统用于获取机器人当前的局部环境信息。巡线机器人沿输电线路爬行，面临防震锤、间隔棒、耐张线夹等多种障碍物，机器人要根据不同的障碍物类型，在接近障碍到一定距离的时候，执行事先规划好的不同的越障动作。其中耐张线夹又可分为平面、左转弯和右转弯三种类型，相应的线路情况也分为直行、左转弯和右转弯三种情况。因此可以通过识别耐张线夹类型来对线路情况进行识别。综上所述，巡线机器人的视觉导航系统主要对障碍物进行识别和定位。

3.1.1障碍识别

目前已有的巡线机器人障碍物识别方法可分为基于特征模板匹配、基于结构约束和基于机器学习三种类型。

基于特征模板匹配的障碍识别就是对提取的多个障碍物图像特征进行参数描述，并利用匹配算法在模板特征库中进行匹配，确定障碍物类型。目前常用的图像特征提取算法有SIFT、HOG、RIFT、SURF及其改进型，如何均衡算法性能与效率是进行特征提取的关键。此外，机器人选用的模板特征库需兼顾不同光照和气候条件，以提高其适应性。

基于结构约束的障碍物识别就是通过提取图像中线路与障碍物的形状图形基元，利用障碍物的形状和输电线路与障碍物之间的位置约束，实现对不同障碍物的识别4。文献[5]设计了一种基于结构约束的障碍识别算法，该算法首先利用Canny算子和霍夫变换对相线进行识别和定位，然后利用障碍物与相线之间的位置约束和障碍物本身的形状特征实现了对障碍物的识别，并提出了一种基于存在概率图的圆检测方法，提高了对边缘残缺的圆的检测效果。基于结构约束的障碍物识别技术计算速度快，具有很好的实时性，但抗干扰能力弱，图形基元的提取效果易受背景影响。

基于机器学习的障碍识别通过将提取的障碍物图像特征作为输入，训练合适的分类器，然后利用合适的分类策略实现多种障碍物的主动分类识别，常用的分类器有SVM、神经网络等。文献[6]利用障碍物的Hear和HOG特征，分别训练了SVM分类器，结合障碍物与高压线之间的结构约束识别其类型，取得了较好的识别效果。詹潮诚、李正波通过训练分类器，首先使用部分重要特征构造简单分类器进行粗检，然后逐步添加输入端特征，对障碍物进行细检。该方法识别准确率较高，能够有效避免局部极小值点。文献[8]利用小波模极大值算法提取二值化图像的边缘，并计算出其局部最优小波矩特征作为输入，最后训练小波神经网络实现了对障碍物的识别，识别精度较高。基于主动学习的障碍识别计算量大，通常需要对图像特征向量进行降维处理，因此如何从中提取出理想的特征子集尤为关键。此外，基于主动学习的障碍识别还需要庞大的的样本集作为支撑。

3.1.2障碍定位

巡线机器人通过摄像机对高压输电线路上的典型障碍物进行测距，从而引导巡线机器人调节行走速度并在适当的距离执行越障碍动作。

（1）双目视觉测距首先利用两台规格相同的摄像机获取同一场景的两幅图像，然后通过图像匹配找到两幅图像中的对应点并计算其位置偏差，得到障碍物表面的三维空间信息，其原理如图3所示。李全民等设计了一种双目测距算法，该算法采用自适应多窗口进行匹配，动态改变匹配窗口大小，提高了区域匹配的成功率，但由于相机标定精度不够和摄像头的非线性扭曲等原因，其测量结果仍存在较大误差。在双目立体视觉中，摄像头标定和图像匹配是影响测量精度的主要因素。由于受摄像机物理噪声、光照、遮挡和透视失真等因素的影响，多幅图像中对应点之间除了位置不同外，其亮度、色彩、领域几何构型也存在一定差异，造成了图像匹配的困难，往往需要利用复杂的算法来达到较好的匹配效果，因此实时性较差。而在实时性要求的前提下，决定了不能采用计算复杂度很高的算法，否则将对导航失去意义，而巡线机器人视觉测距通常只进行粗略测距，对于精确度要求并不苛刻，允许一定的误差存在。此外，巡线机器人采用双目立体视觉测距，摄像机位置在工作过程中不能改变，无法与其他用途共享摄像机。因此对于巡线机器人，采用单目共享摄像机测距是未来的趋势，这样能够节省安装空间，减少机器人重量和电源供应，降低成本。

（2）单目视觉测距利用经过内外参数标定的摄像机，建立测距基准坐标系，通过对应点标定获得图像中障碍物的深度信息，从而得到与目标的距离，该方法成本低且实时性较好。王忠亮叫等在障碍物图像中心与摄像机位置之间建立测距几何模型，测量摄像机与前方障碍物之间的距离，该方法有效测量距离较短，且对于部分障碍物，其位置中心未必是距离摄像头最近的点。曹文明叫利用摄像机的小孔成像模型，首先检测图像上障碍物距离机器人的最近点，结合机器人的尺寸和俯仰角得到距离表达式。由于机器人工作在柔性线路上，其行走过程中摄像头仰角会发生一定的改变，因此该方法测量精度有限。程立等2]采用霍夫变换检测出导线的边缘，预先测出导线上的最近成像点到镜头的距离，由最近成像点和障碍物处的导线边缘直线纵坐标差之比，得到障碍物到镜头的距离，最后对测量结果进行线性修正。该方法有效测量距离较长，算法精度高、速度快。但当巡线机器人处于上坡或下坡状态时，导线上可成像的最近点到镜头的距离往往会发生变化，从而产生一定的误差。

3.2视觉检测

输电线路巡检机器人在巡检过程中拍摄沿线的照片，通过图像分析与处理，判断目标物体是否存在缺陷，视觉检测通常建立在目标识别的基础上。目前电力图像检测主要是针对常见的线路缺陷类型进行检测，包括导线断股、异物挂线、绝缘子破损、金具锈蚀等。

对线路缺陷进行视觉检测是输电线路巡检机器人的最终目标，巡线机器人进行视觉检测的前提条件是其能够在实际线路环境中进行自主行走、导航和越障。由于上述先决技术条件尚不成熟，许多困难尚未克服，因此目前对于利用巡线机器人进行线路缺陷视觉检测的研究比较少，且其中大多数并未涉及有效检测距离、角度、行走模式与检测模式切换机制等问题，仅以机器人能够在一定距离和角度内提取到有效目标图像为前提，对其中的特定缺陷进行检测-1]。傅思遥等”通过扫描分析绝缘子图像窗口纵向剖线模式，判断绝缘子破损程度，在实验室环境下取得了良好的效果，但该方法易受绝缘子污损影响，可能导致误判。文献[5]针对高压线断股和异物挂线这两种故障，利用MSS显著性检测模型分割导线，然后根据图像特征对其中的显著分割图像进行分析，判断出故障类型及其位置。傅博等1开发了一种汇集多种缺陷诊断算法的输电线路巡检图像检测系统，用于巡检图片的批量检测和集中管理，可将分析结果输出为检测报告。但该系统只是对线路中的特定目标做细检，而在实际情况下，不可能对线路的所有目标都逐一进行细检，为了提高检测效率，需要先进行粗检，然后对疑似缺陷部分进行细检。

总的来说，该方向的研究工作仅处于起步阶段，还有广阔的研究空间。

3.3视觉伺服控制

巡线机器人的视觉伺服控制主要应用于机器人的越障过程。张运楚等圆利用傅里叶描述子构造了具有平移、旋转、缩放不变性的轮廓形状特征向量，实现了巡线机器人驱动轮识别、图像特征的抽取、驱动轮与导线相对位置评估，设计了比例控制器，实现了对驱动轮与导线对中动作的视觉伺服控制。郭伟斌等在图像空间定义导线的偏距和偏角作为图像特征，并设计出位姿解耦伺服控制律，采用模糊方法进行机器人控制。通过实验确定了模糊集合的论域，设计了两层模糊控制器，将抓线控制的偏距和偏角误差控制在了较小范围，能够可靠抓线。曹文明叫将图像矩特征作为反馈图像的伺服特征，结合小波神经网络，设计了伺服控制器。张文洋[叫提出了基于SVR的视觉伺服控制方法，利用其小样本训练和泛化能力等优势，提高了视觉伺服控制的实用性。

目前的输电线路巡检机器人视觉越障控制方法实时性较差，专注于解决问题的某一方面，只适用于实验环境下的理想条件，难以克服实际环境中的不确定因素，因此仍需进一步提高其实时性、可靠性和鲁棒性。

4 问题与展望

机器视觉技术在输电线路巡检机器人中承担着导航、运动伺服控制以及故障检测等重要任务，实时收集、分析外界环境信息，为巡检作业提供可靠的信息支持。在输电线路巡检机器人研究中，机器视觉的应用得到了应有的重视，但多数只处于实验室研究阶段，离实际应用和产业化还有一定距离，还有许多工作需要深入和完善。以下几点是有待解决的问题和相应的对以后研究工作的建议：

（1）摄像头视角适应性。目前应用于巡线机器人的视觉算法均缺乏摄像机视角适应性，仅依赖于特定视角。这导致巡线机器人需要携带多个摄像头，占用安装空间，增加了重量。考虑到人类在观察物体时，有时也需要调整视角，因此为了使机器人结构紧凑、重量更轻、提高其智能化水平，需要进一步研究与视角无关的识别算法，用带云台的一个摄像头来代替多个摄像头，将其分时复用为导航状态与检测状态，处于导航状态时，识别和定位前方障碍物，处于检测状态时，对线路进行缺陷诊断。

（2）目标识别准确率的定义。在所查阅的文献中，均未指出明确的目标识别准确率的实验条件。输电线路巡检机器人所处的实际环境障碍随机重叠分布、高度非结构化，在这样复杂的环境下不易定义机器视觉的准确率，因此限制了实验室局部统计数据的可重复性和适用范围。而不同文献中存在着不同的识别准确率数据，由于上述原因的存在，这些准确率数据相互之间并不具有可比性。在以后的工作中，需要对目标识别率的相关标准和定义进行研究，以建立一个统一的标准，为研究人品提供参考

（3）障碍识别的抗干扰能力。针对障碍识别问题，所查阅的文献中，大量工作集中在分类器设计和对实验环境进行约束，但这样的方法难以用于实际情况。设计一个能够适应复杂前景和背景、遮挡、形变等干扰的完善分类器，并在满足实时性要求的前提下进行在线识别是极其困难的，并且样本的收集、标记、分类费时费力。若能利用一个小样本空间，简单训练一个分类器，使其以自适应的方式来处理大量无监督样本，相信上述问题会得到一定的改善。

（4）摄像头标定精度。在巡线机器人视觉导航中，障碍定位结果的准确性在很大程度上取决于摄像头标定的精度，为了更加准确地定位障碍物，需要提高标定算法的精度。在以后的工作中可以考虑将神经网络等智能算法引入标定算法中，以提高标定算法的精度及其鲁棒性。

（5）充分利用智能技术的成果。目前神经网络在巡线机器人视觉伺服控制方面的应用，仅针对特定目标的特定特征，实用性还需进一步提高。考虑到人类看到并拿起某个物体时，事先只是大概估计物体的位置，并未将其准确计算出来，而是通过不断地观察、判断和推理来调整手臂，这个过程中涵盖了在线学习和模糊推理，所以可以尝试将模糊神经网络等各类智能算法用于机器人视觉伺服，提高机器人的智能化水平。

（6）实时性问题。视觉伺服需要处理大量的数据，算法复杂耗时。为了进一步提高伺服控制的实时性，一方面需要使用性价比较优的硬件，另一方面可以考虑建立一个机器人专用的视觉系统软件库，用于涵盖机器视觉领域的最新研究成果，这样能够有效提高我们在进行视觉伺服研究中的效率。

（7）算法适应性。室外阳光的照射方向和强度变化对视觉传感器采集的图像质量有较大的影响，进而影响巡线机器人的视觉检测和导航控制性能。尽管部分研究中已考虑到这些因素，但进一步的硬件和软件算法改进仍有必要。

（8）图像特征的选择。巡线机器人视觉系统选择的图像特征一定程度上决定了其性能，选择图像特征需要综合考虑识别和控制两个指标。例如冗余特征能够减少噪声干扰，控制性能较好，但会提升图像处理的难度。因此特征的选取、处理、评价都是有待深入研究的问题。例如，有的任务中使用了多种特征，在任务执行过程中需要进行特征切换，可以把全局与局部特征结合在一起使用。

5 结束语

文章简要介绍了机器视觉系统的构建及其工作原理，结合现阶段研究成果，详细分析讨论了输电线路巡检机器人视觉系统，主要包括巡检机器人的视觉导航、视觉伺服控制、视觉检测等，分析了目前输电线路巡检机器人视觉系统研究中存在的问题并相应给出了以后工作中的建议。

参考文献：

[1]傅思遥，梁自泽，侯增广.输电线路巡线机器人视觉系统图像处理及模式识别研究[M].北京：中国水利水电出版社，2010.

[2]李谦，蔡晓华.机器视觉在除草机器人中的应用[J].农机化研究，2014，36（7）：204-206.

[3]熊晓明，梁自泽，谭民.输电线路障碍物的自动识别系统[J].高技术通讯，2005，15（2）：39-42.

[4]FU SIYAO,LI WEIMING,ZHANG YUNCHU,etal.Structure-constrained obstacles recognition for power transmission line inspection robot[C]V/2006 IEEE/RSJ Int Conf on Intelligent Robots and Systems,Beijing:IEEE,2006：3363-3368.

[5]张运楚，梁自泽，傅思遥，谭民，吴功平.基于结构约束的架空输电线路巡线机器人障碍识别[J].机器人，2007，（1)：1-6.

[6]朱衍欢.巡线机器人视觉检测方法研究[D].哈尔滨：哈尔滨工业大学，2016.

[7]詹朝诚，李正波.基于Adaboost的架空输电线路巡检机器人障碍识别[J].计算机与数学工程，2009，37(11）：130-133.

[8]缪思怡，孙炜，张海霞.基于小波矩的高压输电线路除冰机器人障碍智能视觉识别方法[J].机器人，2010，32(3）：425-431.

[9]李全民，张运楚，李俊策.架空输电线路巡线机器人的视觉导航[J].计算机工程与应用，2007，（19)：221-224，248.

[10]王忠亮，吴功平，何缘，杨智勇.基于单目机器视觉的高压输电线路障碍物定位研究[J].机械设计与制造，2015，53（4）：85-87

[11]曹文明.高压输电线路除冰机器人视觉控制方法研究[D].长沙：湖南大学，2013.

[12]程立，吴功平.高压线路巡线机器人视觉导航中的单目测距算法[J].光电子·激光，2016，27（9）：941-948

[13]LI W H,TAJBAKHSH A,RATHBONE C,et al.Image processing to automate condition assessment of overhead line components[C]//Proceedings of the 1st International Conference on Applied Robotics for the power Industry.Montreal,QC,Canada,2010:1-6.

[14]刘国海，朱珠.图像处理技术在超高压巡检机器人视觉系统中的应用研究[].计算机工程与设计，2009，30(1)：136-140.

[15]魏振中.超高压输电线路智能巡检机器人的视觉监控系统研究[D].沈阳：沈阳工业大学，2004.

[16]王小朋，胡建林，吴彬.输电线路覆冰图像边缘提取方法研究[J].高电压技术，2008，34（12）：2687-2693

[17]傅博，姜勇，王洪光等.输电线路巡检图像智能诊断系统[J].智能系统学报，2016，11（1）：70-77

[18]张运楚，梁自泽，谭民等.架空输电线路巡线机器人越障视觉伺服控制[J].机器人，2007，29（2）：111-116.

[19]郭伟斌，王洪光，姜勇，孙鹏.一种输电线巡检机器人的自动抓线视觉伺服控制[J].机器人，2012，34(5）：620-627.

[20]张文洋.基于视觉的电力线除冰机器人越障抓线控制[D].长沙：湖南大学，2016.