陈亮希，张燕龙，陈兴玉，田富君，郭 磊，周金文，查珊珊，黄 健，孙丙宇
(1.中国电子科技集团公司第三十八研究所，安徽 合肥 230088；
2.安徽大学计算机科学与技术学院，安徽合肥 230601；
3.中国科学院合肥智能机械研究所，安徽 合肥 230031)
主缆绳是浮空器系统的必要装备，在长期使用过程中由于交变载荷、放电、磨损等因素导致其易产生破裂、击穿等缺陷，这对浮空器系统的安全稳定运行造成隐患[1-2]。对主缆绳进行360°全方位、无死角的人工巡检极为不便，拍摄图片也比较困难，加之检测工作枯燥、重复，巡检人员易出现疲惫劳累，容易导致漏检误检[3-4]。因此，通过机器视觉技术实现对浮空器主缆绳表面缺陷的自动检测具有重要意义。
随着机器视觉技术的发展，缺陷检测技术在钢轨[4]、农产品[5-6]、半导体[7]等领域得到广泛应用。彭方进[8]提出基于灰度标准差与投影积分的钢轨表面区域定位算法和基于多尺度灰度对比度的增强算法，可检测高速有砟轨道无缝钢轨表面细小斑点和瑕疵；
龚中良等[9]根据柑橘的颜色与形状特征，在HSV(hue saturation value)颜色模型下利用V分量灰度图边缘检测与形态学处理的方法可快速有效识别柑橘表面缺陷；
Song等[10]提出一种基于图像特征分类的输电线断股检测方法，基于断股故障的梯度分布与正常线路存在的差异，采用支持向量机(support vector machines，SVM)完成线路断股检测；
孙实超等[11]基于直线增强和两次Hough变换，根据输电线簇参数关系提取输电导线图形信息；
王万国等[12]通过分析导线表面灰度图像的光滑性、一致性以及导线宽度变化来检测断股或异物缺陷；
黄新波等[13]提出一种基于径向基概率神经网络和纹理特征分割的输电导线缺陷状态识别方法。目前，越来越多的深度学习方法如VGG，ResNet 等用于缺陷检测领域。Saiz等[4]提出采用一种基于卷积神经网络(convolutional neural network，CNN)的分类方法对钢铁表面缺陷进行分类，得到了良好的测试效果；
Lien 等[15]使用多路并行的CNN 实现对产品表面的缺陷检测，相较于单路网络，多路网络可进一步提升网络的检测准确率。基于CNN的方法在缺陷检测逐渐成为主流，然而经典的深度学习方法需大量样本学习。鉴于此，结合主缆绳的检测需求，提出一种小样本度量学习方法，使用小样本学习中的原型网络[3]方法实现对缆绳缺陷种类的区分，实验结果表明，本方法能够实现缆绳表面缺陷的自动检测。
小样本度量学习主要由特征编码模块和度量模块两部分组成，整体流程如图1。由图1 可知，特征编码模块采用CNN来提取样本的特征，将这些特征通过度量模块以度量样本与哪个类别的样本最相似。图中支持集表示数据集中的样本类别是已知的，用来训练CNN；
查询集表示数据集中的样本属于待检测样本，用来测试方法的有效性。
图1 小样本度量学习的流程示意图Fig.1 Flowchart of few-shot metric learning
1.1 学习策略
小样本度量学习方法的学习策略是，需确定一个拥有大量不同类别样本的辅助数据集，在学习过程中，随机从辅助数据集中选择C个类别，每个类别K个样本，作为模型的支持集输入，支持集中样本的类别是已知的，共有C×K个数据样本；
从C个类别剩余的数据中随机抽取每一类别M个样本作为模型的预测对象，称为查询集，查询集中的样本一般认为是未知的，需采用相应的模型来预测其所属类别，这样的任务被称为C-wayK-shot分类问题。
通过计算查询集中每个样本与支持集中每个类别样本的相似度对查询集进行分类，每次训练过程中都构建支持集和查询集。通过这种方式不断学习，让查询集中的样本与支持集中同类样本的相似度更高而不同类别的样本相似度更低，由此完成小样本缺陷的迁移学习和分类。测试未知小样本的方式与模型训练的方式一致，需随机从测试集中抽取每个类别K个样本，从剩下的样本中抽取每个类别M个样本作为查询集，查询集是需测试的数据。在模型测试过程中，构建测试用的支持集和查询集。
1.2 编码器结构
小样本学习中经典的编码器结构如图2。该编码器由4层卷积层组成，卷积层的尺寸大小为3×3，卷积核的数量为64。卷积层的主要作用是将图片映射到相同的特征空间中，在这个特征空间中同一类别图像提取的特征上会更相似。
图2 编码器的网络结构Fig.2 Network structure of encoding machine
1.3 度量方法
文献[3]的结果显示，使用平方欧氏距离作为图片距离的度量非常有效。故文中采用这种度量距离，其度量方式可表示如下：
其中：fθ为编码器；
Sc={(x1,y1),(x2,y2),…,(xNc,yNc)}；
Nc为c类样本的数量；
xNc为支持集中c类别的图像样本；
ωc为支持集中所有类别c的图像平均特征，代表类别c的原型特征；
euc(x,ωc)为查询集图像x与类别c之间的平方欧式距离。利用式(3)将式(2)获得的平方欧氏距离取反将其转换为相似度值，然后使用softmax 得到每个类别的分类分数p，若p最大，则将其归属于相应类别。
1.4 损失函数
采用交叉熵损失函数训练网络模型，交叉熵损失函数可表示如下
其中：yi为样本i的标签；
pic为样本i是类别c的概率。
2.1 实验
2.1.1 样本数据集的获取
用360相机获取主缆绳表面缺陷图像与正常图像样本，对每个图像样本进行中值滤波，去除拍摄时的噪声干扰，最终获取雷击穿孔、裂纹和正常三类图像数据样本集，分别为22，15，23 张，共60 张。图3 为三类数据集中的部分样本。
图3 样本图像展示Fig.3 Illustration of sample images
2.1.2 参数和指标的设定
选用miniImageNet[16]为辅助数据集对网络进行训练，称为训练集。miniImageNet 数据集包含100 个类别的数据，每类别包含600张图像。将数据集随机划分80个类别作为训练集，剩下的20个类别作为验证集，用来选择训练过程在新类中泛化性能最好的参数。实验过程中，在训练集上约训练400 000 批次，每批次随机抽取3个类别，每类别抽取5个样本作为支持集、10个样本作为查询集。因此，支持集中共15个样本、查询集中共30 个样本。测试时采用和训练时同样的采样方式，为排除特殊情况的干扰，共测试600 次，取平均测试结果为最终结果，以准确率A作为最终评价标准，A=T/N，T为正确预测的样本数量；
N为样本总量，每次测试时N为30。本文模型的训练和测试均基于Ubuntu 20.04.3 LTS 操作系统的实验环境，中央处理器为Intel(R) Core (TM) i9-10900X CPU @ 3.70 GHz，采用NVIDIA GeForce GTX 3090Ti 的图形处理器，模型基于Pytorch的深度学习框架。
2.2 主缆绳表面缺陷检测实验结果与分析
2.2.1 小样本度量学习方法
传统机器学习方法如KNN(最近邻算法)、SVM(支持向量机)、Decision Tree(决策树)及深度学习方法如VGG16 模型、AlexNet 模型、ResNet50 模型等均表现出优异的检测性能。为比较本文方法的检测性能，选取传统机器学习和深度学习方法同时开展实验。为与本文方法保持一致，对每种方法分别进行600 次重复实验，每次实验时在主缆绳数据集上每类别样本随机抽取5 个样本，作为已知类别的图像对网络进行训练，再从每类别剩下的样本中抽取10个样本进行测试。
本文方法与其他方法的测试结果如表1。由表1 可知，相较于KNN，SVM，Decision Tree，VGG16，AlexNet，ResNet5 等方法，基于辅助数据集的小样本度量学习方法有明显优势，准确率最高，为89.38%。原因在于，数据集中包含少量数据的情况下，每次可用于学习的样本少，其他方法易出现过拟合的现象；
小样本度量学习方法没有直接学习分类器，而是利用辅助数据进行训练，将图像映射到一个特征空间，这个特征空间中同类别数据的距离更近，这种方式在已知类别样本较少的情况下有更好的性能。
表1 本文方法与其他方法的测试结果Tab.1 Test results of this paper and other methods
为检测本文方法训练过程对最终结果的影响，改变训练过程中辅助数据集中的类别数，随机抽取辅助数据集中的类别，类别从3 个依次扩大到6 个，本文方法的检测准确率如表2。从表2可看出，网络模型的准确率比原模型有进一步的提高。从性能的变化趋势看，采用本文方法进行缺陷检测是有效的且有较大潜力。
表2 不同类别数目训练时本文方法的检测准确率Tab.2 Detection accuracy of this method at the numberof different categories for trainings
2.2.2 微调后的小样本度量学习方法
由上文可知，小样本学习方法是把辅助训练集训练好的参数直接用于待检测数据集上，一般认为这种方式粗糙。为充分利用少量已知样本的支持集来提升网络性能，测试时将支持集重新划分，即将支持集中每类别的5个样本再次随机抽取3个样本作为新的支持集，剩下的2个样本作为查询集。利用这种方式重新对网络进行训练，并在训练过程中抽取不同类别数分别进行实验验证；
测试时，对网络分别进行100，200，300 次的训练调整。如图2所示，只调整第4个卷积层，保留其他卷积块不动，最终实验结果如表3。由表3可知：微调能够有效提升本文方法的网络性能，这是由于辅助数据集与主缆绳样本数据差异较大，对网络的最终性能造成一定影响，微调后网络经过领域转换，输出特征更适合缆绳的分类任务；
微调至300 次，网络总体性能呈下降趋势，这是因为微调次数增多，网络的泛化性能下降；
抽取类别为6 时网络性能较好，但抽取3 个类别微调时的网络性能较好。
表3 微调后本文方法的网络性能Tab.3 Network performance of this method after fine-tuning
为比较验证本文方法微调后的性能，将深度学习 方 法AlexNet 和VGG16 及ResNet50 放 在mini ImageNet 数据集上预训练获得一个良好的参数后，冻结所有的卷积层参数仅在缆绳数据集上重新训练全连接层。与上文同，进行600 次实验取平均结果作为最终结果，如表4。由表4 可知，微调后所有方法的网络性能均有提升，其中本文方法的网络性能最好，准确率最高，达93.85%。这是因为小样本学习使用参数更少的网络结构及使用无参的度量方式取代全连接层，提高了模型的泛化能力。
表4 微调后不同方法的网络性能Tab.4 Network performance of different methods after fine-tuning
2.3 钢材表面缺陷检测实验结果分析
为测试本文方法在其他缺陷检测领域能否达到良好的性能，在钢材缺陷分类数据集NEU[17]上进行实验。NEU 数据集每类缺陷有300 个样本，共6个类别。训练时，在辅助数据集上随机抽取6个类别。为研究支持集中每类别样本的数量，即已知类别样本数对方法性能的影响，同时针对每类抽取10个样本进行实验。每类别仅5 个样本时，微调方式与前文保持一致；
每类10 个样本时，取6 个样本作为新的支持集、4个作为新的查询集。微调100次时的实验结果如表5。由表5可知：本文方法在钢材缺陷数据集上也有良好的表现，5 类别样本的准确率达83.74%，10 类别样本的准确率达88.85%；
微调后网络模型的准确率也有明显提升，5 类别样本的准确率达86.08%，10 类别样本的准确率达91.22%。由此表明本文方法在其他缺陷领域也有良好的性能，发展空间较大。
表5 在NEU数据集上不同方法的网络性能Tab.5 Network performance of different methods on NEU database
针对主缆绳样本获取困难，将小样本度量学习方法引入到缆绳表面缺陷的检测任务中，实验证明：利用辅助数据集的小样本度量学习方法对缆绳表面缺陷检测有一定优势，准确率达到了91.48%；
将微调策略引入到小样本度量学习方法可进一步提升缆绳表面缺陷检测性能，准确率提升至93.85%，这种方式可有效避免大规模收集缆绳的缺陷样本；
本文方法在钢材缺陷分类数据集上也有良好表现，可获得91.22%的检测准确率。本文方法在缺陷检测领域应用潜力大，可有效减少人力物力在缺陷检测方面的消耗。