宋杭选，刘智洋，孙泽锋，李丹丹，林 扬，马晶妍
(1．国网黑龙江省电力有限公司电力科学研究院，哈尔滨 150030；
2.国网黑龙江省电力有限公司，哈尔滨 150090)
输电线路作为一种重要的电网基础设施，在电力输送的过程中起着重要的作用。随着高分辨率无人机拍摄技术大量投入使用，航拍已成为常规的巡线手段，但如何准确并快速地从航拍图像中提取输电线路及杆塔的关键信息，成为自动化巡线技术发展的瓶颈。在缺陷识别方法上，目前大部分情况仍采用机器初筛+人工复核手段，也有落后地区完全采用人工逐张查看的情况。然而航拍巡线图像数据量非常大、专业知识复杂，这种人工或半人工的线路缺陷识别过程不但效率低、不及时、不准确，而且会导致决策延误。若因线路缺陷修复不及时导致缺陷扩大，将造成电网事故。因此，研究一种稳定高效的全自动输电线路及杆塔智能提取方法具有深远的实际意义。
目前对输电线路信息提取影响最大的因素是周围的环境干扰，从图像处理的角度来讲，就是噪声数据，关于噪声的去除也是图像后期处理的一大难题。近年来，以深度学习理论为基础的智能算法逐渐发展成熟，并应用到多个领域，其在图像处理领域的探索，如语义分割[1]、全连接网络[2-3]、图像分类[4-5]等技术，都已有大量的新理论出现。文献[6]进行影像配准时，采用了卷积神经网络(convolutional neural network, CNN)，其可以分层地提取特征点卷积信息，且具有自适应性。文献[7]实现了实时监测探测目标，采用的也是CNN理论。文献[8]利用深度CNN来训练图片，但此方法有一定的人工参与成分，因此无法实现全自动提取信息。文献[9]对高解析度图像进行分类，引入了深度信念网络，提高了分类的准确率。文献[10]采用1 024切片的方法进行图片处理，判别目标像素时使用了3个Convolution Layer和1个Full Link Layer，但是处理过程中依然存在人工干预。
生成对抗网络(generative adversarial networks, GAN)最早出现在游戏训练中，其在图像处理领域的尝试意外地提升了提取精度[11-12]。它的核心思想是用网络指导网络，以彼之矛攻彼之盾，通过网络间相互学习和对抗达成一种相对平衡的状态，这种平衡在经济学中被称为纳什均衡。早期的生成对抗网络还存在很多问题，如梯度爆炸、梯度消失、模式崩溃、收敛难度大等。很多理论为解决这些问题，提出了若干GAN的变体，2018年提出的MAD-GAN模型中，引入多个生成网络并最大化网络间的差异，以强制网络学习更多模式来缓解上述问题[13-14]。
该文设计一种基于生成对抗网络的无人机采集图像输电线路信息提取方法。引入了具有集群学习思想的生成对抗网络模型，模型中不只包含单一的生成网络，在多个生成网络间引入了联同工作机制，允许多个生成网络进行信息交流，加速网络学习，最后将多个生成网络的特征图统合作为最终图像，输出到判别网络中。同时，该文采用WGAN(Wasserstein GAN)中提出的Wasserstein距离作为模型的损失函数[15]，避免产生梯度消失问题，实现了从无人机图像中自动提取输电线路信息的目标。
1.1 生成对抗网络
生成对抗网络由“生成网络”与“判别网络”两部分组成，两者本质上均为可微函数，且互相学习、生成对抗。生成网络的作用是制造假样本，并以此为据拟合真实数据的潜在分布；
生成网络的输出数据与真实数据共同作为数据源输入进判别网络，并由判别网络进行正确区分。“生成网络”与“判别网络”在训练过程中构成一种动态的“博弈”过程[16]，如图1所示。
图1 生成对抗网络模型
1.2 残差网络
残差网络(ResNet)于2015年由何凯明等首次提出，实验结果表明，残差网络模型比VGGNet和GoogleNet的分类准确率高[17]。该网络结构未增加额外的参数和超参数，因此计算复杂度并未增高，而且残差网络中增设了“快捷连接”，有效解决了网络的退化问题。残差网络特有的恒等快捷连接具有越过多个卷积层的能力，并直接将单一网络的输出添加到堆叠层的输出中，可以保证信息的完整性。残差网络的主要组成部分为残差块，其基本结构如图2所示。
图2 残差块基本结构模型
图2中，x为输入量，F(x)为输出量，该输出经过2层的加权和激活函数后得到，即
F(x)=W2σ(W1x)
(1)
式中：W1、W2分别为权重矩阵；
σ为激活函数。
1.3 集群学习
集群学习构建并集合多个弱学习器，以此来完成学习任务，称之为多分类器系统[18]。其可分为两类，区别在于其基学习器间依赖关系的强弱，具体为：一种是以boosting算法为代表的强依赖关系型，基学习器以串行生成；
另一种是以bagging算法为代表的弱依赖关系型，基学习器以并行生成。
集群学习的集群策略主要有三种形式：
1)Average式。Average式分为Arithmetical和Weighted，是常用于解决回归问题的一种形式。
2)Vote式。Vote式分为Relative、Absolute和Weighted，是常用于解决分类问题的一种形式。
3)Study式。Study式的集群方式将多个初级学习器学习的结果作为输入，输入到次级学习器中，继续下一级学习，以Stacking方法为典型代表。
首先，健全法律法规。法律法规在校园安全管理中发挥着威慑性和警示性的作用，要结合实际情况为校园管理提供科学的法律保障，明确监管单位的权利和责任，避免出现校园恶性事件，使安全管理制度的落实有法可依。
集群学习模型如图3所示。
图3 集群学习模型
2.1 多生成器联同工作
传统生成对抗网络由单生成网络与单判别网络组成，存在梯度爆炸、梯度消失及训练稳定性差等弊端，为解决此问题，WGAN模型提出了Wasserstein距离的概念。同时，残差网络缓解了仅使用卷积叠加对网络进行搭建时导致的网络获取信息受限及训练不稳定问题。该文结合集群学习的理念，提出一种包含多生成器的生成对抗网络模型，模型由两大部分组成，前半部分是集群生成网络，后半部分是判别网络，其模型如图4所示。
图4 多生成器生成对抗网络模型
多生成器生成对抗网络模型中，每个生成器中包含前部、中部和后部3个部分。整个生成器共9个卷积层，其中前部包含3个卷积层，中部为3个残差网络模块，后部对应2个转置卷积以及1个卷积层。由于各生成器具有相同的训练目的，对结果的影响不存在强弱差别，因此该模型中各生成器采用的是并行布置。
无人机航拍采集的输电线路图像大体相似，但不同的电力杆塔图像特征间存在差异，例如直线塔与耐张塔，酒杯型与猫头型等，且照片背景间明暗也不同。在搭建生成网络时，各生成器的设置方式大体相同，如各生成器卷积层数的设置基本相同；
而在细节处理方面略有差异，如各生成器卷积核大小和卷积步长的设置并不完全相同。在这种设置方式下，每个生成器针对图像信息的获取侧重点不同，好处是各生成器生成的图像之间不至于雷同。
同时，由于图像特征间存在相似性，各生成器生成的结果不可能相互割裂，需进行“交流”，文中称这种存在“交流”的学习方式为生成器间的联同工作[19]。这种学习方式不仅有效减少了学习中的问题，还可加快网络的拟合速度。该联同工作机制主要包含两个环节，一个是各生成器的参数复用环节，另一个是特征图统合环节。由于电力杆塔图像数据集的低维特征极其相似，进行参数复用可大大减少参数量，并提升网络训练速度。关于特征图统合，根据各生成器的侧重点给予不同的权重，通过加权，将多张图像的特征矩阵统合成一个最终的特征矩阵。单生成器的学习能力非常有限，提取图像特征所含的信息量不足，所采用的联同工作的模块组织方式有效地规避了这些问题。
2.2 损失函数
传统生成对抗网络采用JS散度作为评价函数，该函数有一个最大的问题，就是容易产生梯度消失。为解决此问题，Wasserstein距离的理论被提出来，其具有的平滑特性有效地改善了传统网络梯度消失的弊端。
G*=arg min(W(Pd‖Pg)-βJSD(PG1,PG2,…,PGn))
(2)
式中：Pg为各生成网络的联合分布情况;Pd为各生成网络的真实分布情况;W为原始GAN损失算子；
PG1…PGn为各集群分布;JSD为联同损失算子;β为权重系数。min函数变量中的前后两项，即集群生成网络系统损失的两个组成部分，其作用分别为驱使生成器生成的数据与真实数据更接近和促使生成器网络对细节投入更多的关注。
之后，网络将损失回传到各生成网络，来更新其参数矩阵。
2.3 判别网络
判别网络采用卷积串联的方式，包含4个卷积层和2个全连接层，各层情况见表1。
表1 判别网络各层结构
3.1 技术方案
采用Pytorch开源机器学习库。Pytorch是由Facebook人工智能研究院基于Torch推出的，在深度学习领域发展迅速[21]。在Pytorch平台上搭建多生成器对抗联同网络，以此来达到提取输电线路信息的目的，其技术路线如图5所示。
图5 无人机采集图像输电线路提取技术路线
3.2 标签制作
首先需对无人机航拍图像预处理，尽管在拍摄过程中已尽量保证拍摄的平衡，但受环境和气流影响，还是难免出现俯仰和偏航等情况，因此须进行图像校正[22]。然后使用标注软件来标注标签，依据事先预设的分类类型，先对图像内的输电线路和杆塔区域标注，再标注其余区域。当图像上所有分类区域都获得相应的标签后，标注工作完成，其在标注软件中标注后的效果如图6所示。
图6 图像分类标注过程
对于模型的训练，训练数据越多，模型表现能力越强，在实际应用中效果越理想。将一定量的样本图像数据输入网络，然后反复迭代训练，经过一定训练次数后，生成网络与判别网络逐渐趋于平衡状态，网络训练接近尾声。此时可将模型参数固化，网络定型，最后的图像信息提取结果即由生成网络的生成结果得到。
3.3 结果分析
图7显示了某输电杆塔及线路的提取结果。其中，图7(a)为原始采集图像，图7 (b)为图像标签。将5 000张图像与标签配对，形成训练集，输入计算模型开始训练。随着训练次数的增加，真实样本与标签逐渐趋同，每一次迭代后对网络参数的修正量也越来越小，表明网络模型接近收敛。此时将模型参数固化，并用原始图像进行模型验证。图7(c)是模型识别出的杆塔范围；
图7 (d)是最终提取出的输电杆塔结果。从提取结果中可以看出，虽然还存在一定的噪声，但基本的杆塔轮廓和主要部件都已完整地提取出来，证明了模型的有效性。
图7 输电杆塔提取结果
基于PyTorch平台，搭建生成对抗网络模型，进行无人机采集图像输电线路信息提取的研究。先设计网络架构，然后对经过预处理的图像进行标签标注，并输入样本数据进行训练，以此演示自动提取输电线路信息的深度学习模型的全部构建过程。该网络模型组建多生成器联同工作的生成网络，并使之与判别网络进行对抗，在兼顾细节的同时，有效提升了输电线路信息提取的效果。
通过案例分析发现，该模型的提取结果满足要求，可作为线路缺陷检测等后续识别工作的基础。但提取结果在噪声处理方面还有待加强，下一步将开展深度研究，进一步提高提取精度。
猜你喜欢 杆塔航拍残差 基于残差-注意力和LSTM的心律失常心拍分类方法研究成都信息工程大学学报(2022年2期)2022-06-14基于双向GRU与残差拟合的车辆跟驰建模网络安全与数据管理(2022年3期)2022-05-23基于北斗的高压输电杆塔智能实时监测技术与应用卫星应用(2022年1期)2022-03-09基于残差学习的自适应无人机目标跟踪算法北京航空航天大学学报(2020年10期)2020-11-14航拍巴彦呼硕时代邮刊·下半月(2020年9期)2020-09-23基于深度卷积的残差三生网络研究与应用北京航空航天大学学报(2019年9期)2019-10-26基于ZigBee与GPRS的输电杆塔倾斜监测预警系统电子制作(2019年11期)2019-07-04航拍，苍穹下的醉美视角金桥(2018年6期)2018-09-22难忘的航拍小学生优秀作文(低年级)(2018年6期)2018-05-19陕西画报航拍陕西画报(2017年1期)2017-02-11