莫少雄 赵 波
（上海工程技术大学机械与汽车工程学院 上海 201620）
机器视觉系统在工业生产线上进行的产品质量检测，通常是通过相机［1］进行的。在这种方法中，不需要任何专业工人的控制，同时，产品的计数、缺陷的检测和其尺寸的测量都可以同时进行。有了这样的系统，可以进行非常快速、平滑和完美的检测。这样增加企业产量的同时，产品的质量也得到了很大程度的保证。机器视觉缺陷检测系统通常是流水生产线上的首选，以提供完全的非接触式检测，而不需要任何专业人员的监督，从而降低了质量控制的成本［2］。
在工业领域，生产设备的测量通常采用接触式和非接触式两种方式。在接触测量方法中，操作完全是可视化的，误差相当大。这种方法的性能非常低，特别是在需要精确测量的领域。在非接触式测量方法中，通过一个或多个摄像头和一个机器视觉软件完成检测操作。这种方法可以很容易地检测出产品的不同特性，并根据所使用的计算机系统性能提供快速、可行的解决方案［3］。在其中一项研究中，电子芯片生产的最后阶段是由磁带和卷轴包装质量控制。研究开发了一种利用多线程并行编程技术，每分钟可检测200 个芯片。实验研究表明，该方法具有较高的精度和速度。Wang等开发了一种基于机器视觉的自动检测方法。这种方法控制了电路板上的孔，确定了孔的数量和缺陷等［4］。
本研究开发了一种基于深度学习的PCB 板质量控制算法，对电路板上存在的缺陷进行检测和定位。首先利用传统图像处理技术Otsu 变换和Can⁃ny 边缘提取对待测图像进行对PCB 板上的缺陷进行预提取。然后将预提取的图像和PCB 模板作为网络输入，减少检测网络特征提取的卷积次数，从而提高检测速率。同时利用多尺度特征融合的方式，使模型对输入图像对的变化具有更强的鲁棒性。
在缺陷预提取过程中通过Otsu 阈值法和Can⁃ny边缘提取对待测板进行缺陷预提取，从这个过程中获得的结果将用于后续更为精确的缺陷分类和定位。
该方法首先通过相机对印刷电路板进行图像采样。将得到的图像传输到主机并进行图像处理。在算法的第一步，通过转换颜色空间，将RGB图像转换为YUV颜色空间［5］。在此转换之后，获取图像的过程将在Y 通道上执行。当图像只剩下Y通道时，图像就变成为黑白灰度图像，更加便于后续的处理。RGB 颜色空间到YUV 颜色空间的转换如式（1）所示。
式中：Y、U、V为图像的三个通道分别为亮度、色度、饱和度。R、G、B为原图像的三个颜色通道。
其次，利用高斯滤波器消除图像中的噪声［6］。执行此操作的数学表达式如式（2）所示。
式中：σ为高斯模板半径，N为变换空间维数，r为像素模板半径。
然后，利用Otsu 阈值法将图像转换为二值图像。Otsu 阈值法，也被称为大津算法［7］。它使用的是聚类的思想，利用预设阈值K把图像的灰度数按灰度级分成前景E0=｛0，1，…，K｝和背景E2=｛K+1，K+2，…，L-1｝两个部分，使得这两个部分之间的σ2灰度值差异最大，同一部分之间的灰度差异最小，通过方差的计算来寻找一个合适的灰度级别来划分［8］，即：
自适应能够更灵活地确定图像的最佳灰度阈值。使得处理后的灰度图能够清晰地显示图像中的所有前景细节。用Otsu阈值获得的图像后，再利用Canny 算子对PCB 板所有的边缘进行提取，其原理是用在图像用两组卷积核做平面卷积［9］。通过得到横向和纵向的灰度偏导近似值计算出梯度估计值：
式中：G为梯度估计值，Gx、Gy分别为横向和纵向的灰度偏导近似值。
然后将计算出的G值与定义的阈值进行比较，如果G比阈值大则认为该点是一个边界值，从而得到了边缘检测的图像［10］。待检测PCB 板上缺陷预提取结果如图1所示。
图1 处理结果
由于典型的CNN 模型所提供的多个层代表了目标图像的不同特征，因此可以利用特征层次构建一个更加鲁棒的检测系统。我们的方法是通过融合多尺度深度特征，学习模板和图像之间的相似性度量。
3.1 神经网络
神经网络的基本结构如图2 所示。该模型由两个并行网络组成，每个网络都包含一个基本的网络架构，包括卷积层和全连接层。在训练步骤中，在权值共享机制下，对两个分支的两个网络进行同步优化。两个分支可视为特征提取模块，输出为两图像对的低维表示向量［11］。然后，目标是学习输入图像的最优特征表示。在一系列卷积和激活层的后面，连接一个顶层网络作为一个计算图像对相似度的决策网络的函数。计算两个图像特征相似度的任务，通过全连通层组合两个特征向量来计算损失，通常采用对比损失函数。然后利用算法对模型进行微调。本文采用前5 个卷积层进行特征提取。整个卷积层被划分为5 个部分，分别为S1，S2，S3，S4，S5。第一个层包含卷积层和一个激活函数。第二和第三个片具有相同的结构，包括最大池层、卷积层和激活函数。
图2 网络结构图
3.2 多特征融合
考虑到不同层次的图像包含不同而互补的信息，将多尺度的特征融合到不同的层次中，从而构建出更具鉴别性和丰富的检测图像的特征表示。该策略将较低层次的详细纹理信息与较高层次的语义信息相结合，这在许多研究中被证明是有效的［12］。首先，应用数据集增强技术对缺陷数据集进行扩充。相同布局的PCB 图像分为正常和缺陷两类。将模板及其缺陷预提取的小块图像随机成对组合成匹配的图像对，分别作为网络的两个输入。然后，通过网络学习成对PCB图像的特征表示。两个权值共享的并行网络对输入的PCB 图像进行卷积操作。在一系列卷积层和激活层作为线性和非线性变换的函数后，多分辨率特征图由多尺度特征融合层编码，进行下一步的相似度计算。最后，将两个特征向量的输出连接起来作为融合特征，转移到决策网络中。在训练步骤中，利用成对图像向量之间的距离，利用对比损失对特征提取网络进行调整。
如图2 所示，SPP 网络对输入图像的大小没有限制。由于最后一个卷积层与预定义维数的全连接层没有连接，输入图像可以是任意大小［13］。图像都是相同大小的512*512*3，并将首先在第一个结构中调整到所需的空间尺寸。插入一个空间金字塔池化层，可以在不降低分辨率的情况下输入多尺度的图像块。对表1 中的每个网络层进行差分，得到差异特征图，如式（5）所示：
表1 骨干网络架构表
式中：Si为差异特征向量，S1i、S2i分别为前后图像的特征向量。
经过空间平均池化层后，每个二维差分特征图后面是SPP网络层。在建立全连通层之前，我们融合了不同尺度的特征向量（S1-S5）来增强网络特征的收敛性。因此，将每个块的特征连接起来，形成多尺度的融合特征向量。
3.3 损失函数
通过损失函数优化网络，以区分正常PCB和缺陷PCB。更具体地说，利用奖惩机制［14］，使得相似的图像尽可能接近，非相似的图像尽可能远离。对比损失函数表示如下：
式中：图像序号为K，式中1为相似，0为非相似；
D为图像的欧氏距离，不同模板间的边界距离m（m>0）。
4.1 数据集
实验所用的数据集，是通过人工缺陷检测出的产品和正常产品，用检测时所用的相机对数据进行采集的。在这个数据集中，总共有1321 电路板，其中652 个缺陷电路板。主要缺陷有缺孔、错孔和毛刺等。
4.2 硬件条件
网络模型是在NVIDIA GeForce GTX 2080 GPU，i7 9700 CPU 上，利用Tensorflow 深度学习框架进行训练的。训练的总数为30000，每次迭代的批处理大小为12。当损失值变化为0.0001 时，大约1.5h后完成整个培训。
4.3 算法评价
应用的图像分类任务评价协议。为了对算法进行定量评价，将平均精度（AP）用于缺陷分类。精确度是指在所有选中的样本中正确识别的百分比，召回率是指在整个阳性样本中正确识别实例的概率。计算公式可以用真阳性（TP）、假阳性（FP）和假阴性（FN）来表示。具体表达式为
以召回率为x轴，精度为y轴，通过计算P-R 曲线来评价分类问题的性能。P-R 曲线以下区域按召回率水平取平均值，其间隔为0~1 之间的固定间隔值。
4.4 实验结果
在测试数据集上对算法的详细评价如图4 所示。从这组PR 曲线中，我们可以得出以下观察结果。与传统的相似度度量和使用单一特征层的网络相比，多尺度网络在两种情况下的性能都是最好的。当召回值接近于1 时，多尺度模型仍具有较高的精度。该方法能有效地识别正常、缺陷PCB板。
图3 两类缺陷的P-R曲线
表2 给出了不同相似度度量方法的评价指标，包括精度、平均精确度和召回值。可以看出，传统方法特征提取方法相比，只能提高很小的检测准确率。这反映了我们的扩展数据集经过一系列的变换后，该检测方法比传统的方法具有更高效的缺陷检测能力。最终，多尺度特征融合的方法可以达到很高的准确率，模型的平均精确度达到91.2%。
表2 不同相识度度量方法评价
如今在许多工业生产中机器视觉得到了广泛的应用。这些应用程序实现的功能各不相同，如计数、缺陷检测和测量，最终的目的都提高了生产线的生产能力。本文提出了一种基于神经网络的多尺度特征相似性度量模型，应用于PCB未知缺陷的检测。首先，利用传统的视觉缺陷检测方法，对待测板上的进行缺陷预提取。其次，将得到的缺陷预提取图像输入缺陷检测网络中，减少特征提取的卷积次数，可减少不必要的硬件开销。结合特征融合策略，将多尺度特征进行融合，保证了模型输入在添加噪声和光照变化的情况下获得更好的缺陷检测精度。此外，对比损失是一种很好的图像相似度度量特征学习方法。但是，多尺度特征融合策略任然是值得进一步的研究领域。
猜你喜欢灰度尺度卷积采用改进导重法的拓扑结构灰度单元过滤技术北京航空航天大学学报(2022年6期)2022-07-02基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02Bp-MRI灰度直方图在鉴别移行带前列腺癌与良性前列腺增生中的应用价值天津医科大学学报(2021年1期)2021-01-26财产的五大尺度和五重应对内蒙古民族大学学报（社会科学版）(2020年2期)2020-11-06卷积神经网络的分析与设计电子制作(2019年13期)2020-01-14从滤波器理解卷积电子制作(2019年11期)2019-07-04基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20基于最大加权投影求解的彩色图像灰度化对比度保留算法自动化学报(2017年5期)2017-05-14基于灰度线性建模的亚像素图像抖动量计算光学精密工程(2016年1期)2016-11-07宇宙的尺度太空探索(2016年5期)2016-07-12