高精度针孔检测设备
More >>
您所在的位置：谈球吧(中国)官方网站 > 新闻中心>工业带材表面缺陷检测系统
2022-07-19 11:06:42 谈球吧(中国)
以带状表面缺陷检测系统为例✺ϟ☇♤♧♡♢♠♣♥，其硬件框架主要由照明设备ⓣⓤⓥⓦⓧⓨⓩ，CCD相机ⒺⒻⒼⒽⒾⒿⓀⓁⓂⓃⓄⓅⓆⓇⓈⓉ，图像处理计算机和服务器组成⒃⒄⒅⒆⒇⒈⒉⒊⒋⒌⒍⒎⒏⒐⒑⒒⒓，其照明设备采用特殊的红外光源阵列✵✶✷✸✹✺✻✼❄❅。CCD线扫描摄像机组水平排列在带钢生产线上ⓊⓋⓌⓍⓎⓏⓐⓑⓒⓓⓔⓕⓖⓗⓘⓙ，水平和垂直可视范围相互重叠✺ϟ☇♤♧♡♢♠♣♥，以确保没有漏检✺ϟ☇♤♧♡♢♠♣♥。CCD摄像机收集的图像通过光纤传输到图像处理计算机组㊀㊁㊂㊃㊄㊅㊆㊇㊈㊉，以进行图像处理和图案识别⑰⑱⑲⑳⓪⓿❶❷❸❹❺。然后✺ϟ☇♤♧♡♢♠♣♥，将结果与生产线的相关信息一起发送到服务器数据库进行进一步处理✤✥❋✦✧✩✰✪✫✬✭✮✯❂✡★✱✲✳✴，并生成各种现场生产信息统计报告⓱⓲⓳⓴⓵⓶⓷⓸⓹⓺⓻⓼⓽⓾。用户可以根据这些报告评估钢卷的质量等级☈⊙☉℃℉❅，或者分析生产线异常的原因☾☽❄☃，从而实现对生产线的实时监控ⓚⓛⓜⓝⓞⓟⓠⓡⓢ。下图显示了典型的工业带材表面缺陷检测系统⓱⓲⓳⓴⓵⓶⓷⓸⓹⓺⓻⓼⓽⓾。
在表面缺陷检测任务中♀☿☼☀☁☂☄，我们通常会根据统计结果对相关方法进行定量评估⓱⓲⓳⓴⓵⓶⓷⓸⓹⓺⓻⓼⓽⓾，可将其分为四类：真阳性(TP)表示检测到的实际缺陷为缺陷⒃⒄⒅⒆⒇⒈⒉⒊⒋⒌⒍⒎⒏⒐⒑⒒⒓，真阴性(TN)表示检测到的缺陷⑰⑱⑲⑳⓪⓿❶❷❸❹❺。实际缺陷被错误地检测为背景☧☬☸✡♁✙♆。，、＇：∶；，假阳性(FP)表示错误地将实际背景检测为缺陷ⓚⓛⓜⓝⓞⓟⓠⓡⓢ，而假阴性(FN)表示将实际背景检测为背景㈠㈡㈢㈣㈤㈥㈦。显然ⓚⓛⓜⓝⓞⓟⓠⓡⓢ，在理想情况下㊀㊁㊂㊃㊄㊅㊆㊇㊈㊉，TP和FN越大❣❦❧♡۵，检测效果越好ⓚⓛⓜⓝⓞⓟⓠⓡⓢ，而TN和FP越大ⓚⓛⓜⓝⓞⓟⓠⓡⓢ，检测效果越差❻❼❽❾❿⓫⓬⓭⓮⓯⓰。
其中⒜⒝⒞⒟⒠⒡⒢⒣⒤，G均值以组合的方式衡量这两类的准确性㊀㊁㊂㊃㊄㊅㊆㊇㊈㊉，而G均值越大意味着TPR和TNR越高☈⊙☉℃℉❅，这也是缺陷检测应用程序的要求ⓊⓋⓌⓍⓎⓏⓐⓑⓒⓓⓔⓕⓖⓗⓘⓙ。另一方面✤✥❋✦✧✩✰✪✫✬✭✮✯❂✡★✱✲✳✴，F-measure根据准确性和召回率评估缺陷检测的总体性能ⓣⓤⓥⓦⓧⓨⓩ。
现有的金属平面材料表面缺陷检测方法的二维视觉技术和模型✤✥❋✦✧✩✰✪✫✬✭✮✯❂✡★✱✲✳✴，并进行了讨论和展望①②③④⑤⑥⑦⑧⑨⑩⑪⑫⑬⑭⑮⑯，检测方法分类的总体结构⒜⒝⒞⒟⒠⒡⒢⒣⒤。值得注意的是㈧㈨㈩⑴⑵⑶⑷⑸⑹⑺⑻⑼⑽⑾⑿⒀⒁⒂，近年来深度学习的快速发展改变了这种模式ⓊⓋⓌⓍⓎⓏⓐⓑⓒⓓⓔⓕⓖⓗⓘⓙ。基于深度学习的缺陷检测方法越来越多地应用于金属平面材料㊀㊁㊂㊃㊄㊅㊆㊇㊈㊉。因此⓱⓲⓳⓴⓵⓶⓷⓸⓹⓺⓻⓼⓽⓾，本文将金属平面材料的表面缺陷检测方法分为四类：传统的基于统计的方法ⒺⒻⒼⒽⒾⒿⓀⓁⓂⓃⓄⓅⓆⓇⓈⓉ，基于光谱的方法⒔⒕⒖⒗⒘⒙⒚⒛ⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫⅰⅱ，基于模型的方法和新兴的基于机器学习的方法♦☜☞☝✍☚☛☟✌✽✾✿❁❃。
方法1：基于统计的方法
从统计方法的角度来看❋❀⚘☑✓✔√☐☒✗✘ㄨ✕✖✖⋆✢✣，图像纹理被视为随机现象㈠㈡㈢㈣㈤㈥㈦。统计方法通过测量像素空间分布的统计特性来研究像素强度的规则和周期性分布⓱⓲⓳⓴⓵⓶⓷⓸⓹⓺⓻⓼⓽⓾，以检测金属平面材料表面的缺陷웃유ღ♋♂。以下是对五个代表性统计方法的简要介绍①②③④⑤⑥⑦⑧⑨⑩⑪⑫⑬⑭⑮⑯，下表给出了这五个类别的几种典型方法的比较⒔⒕⒖⒗⒘⒙⒚⒛ⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫⅰⅱ。
其中❋❀⚘☑✓✔√☐☒✗✘ㄨ✕✖✖⋆✢✣，边缘检测是一种检测被测图像中的灰度或结构突变的方法⑰⑱⑲⑳⓪⓿❶❷❸❹❺。缺陷区域和背景之间的灰度级差异导致边界处出现明显的边缘⓱⓲⓳⓴⓵⓶⓷⓸⓹⓺⓻⓼⓽⓾，可用于检测金属平面材料的表面缺陷♦☜☞☝✍☚☛☟✌✽✾✿❁❃。由于图像边缘像素的不连续性웃유ღ♋♂，研究人员通常采用局部图像微分技术来获取边缘检测算子☈⊙☉℃℉❅，金属平面材料表面缺陷的常用边缘检测模板包括Prewittⓚⓛⓜⓝⓞⓟⓠⓡⓢ，Sobel 和Canny 运算符ⓊⓋⓌⓍⓎⓏⓐⓑⓒⓓⓔⓕⓖⓗⓘⓙ，下图显示了在相同缺陷样本上这些原始运算符的检测结果ⓊⓋⓌⓍⓎⓏⓐⓑⓒⓓⓔⓕⓖⓗⓘⓙ。
这些模板也有自己的缺点✵✶✷✸✹✺✻✼❄❅，许多研究人员对其进行了优化✵✶✷✸✹✺✻✼❄❅，以获得更好的结果웃유ღ♋♂。下表列出了传统版本和优化版本⓱⓲⓳⓴⓵⓶⓷⓸⓹⓺⓻⓼⓽⓾，并简要比较了这些运算符的优缺点⒔⒕⒖⒗⒘⒙⒚⒛ⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫⅰⅱ。
方法2：基于频谱的方法
在光照变化和伪缺陷干扰的情况下☾☽❄☃，许多统计方法都不可靠⒔⒕⒖⒗⒘⒙⒚⒛ⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫⅰⅱ。幸运的是ⓚⓛⓜⓝⓞⓟⓠⓡⓢ，研究人员发现图像在变换域中更有可能被分离出具有不同特征的信息♦☜☞☝✍☚☛☟✌✽✾✿❁❃，并且有可能找到比像素域中的直接处理方法更好的缺陷检测方法㊀㊁㊂㊃㊄㊅㊆㊇㊈㊉。下表总结了一些转换域方法☾☽❄☃，以下是这些类别的几种典型方法的比较☈⊙☉℃℉❅。
其中⒜⒝⒞⒟⒠⒡⒢⒣⒤，小波变换具有更强的自适应能力ⓚⓛⓜⓝⓞⓟⓠⓡⓢ，非常符合人的视觉特征ⓣⓤⓥⓦⓧⓨⓩ，它不仅可以定位时频窗口❻❼❽❾❿⓫⓬⓭⓮⓯⓰，而且可以根据窗口中心频率的变化自动修改窗口大小웃유ღ♋♂。下图显示了二维图像的二阶小波分解的示意图⒜⒝⒞⒟⒠⒡⒢⒣⒤。
该二维图像从标度j +1分解为标度J㈧㈨㈩⑴⑵⑶⑷⑸⑹⑺⑻⑼⑽⑾⑿⒀⒁⒂，然后分解为标度J-1♦☜☞☝✍☚☛☟✌✽✾✿❁❃。小波分解的结果是将图像划分为子图像的集合⑰⑱⑲⑳⓪⓿❶❷❸❹❺。为了有效地从信号中提取信息并分析函数或信号✵✶✷✸✹✺✻✼❄❅，比例变换和移位运算已成为小波变换的显着优势ⓊⓋⓌⓍⓎⓏⓐⓑⓒⓓⓔⓕⓖⓗⓘⓙ。在实际的生产线中♀☿☼☀☁☂☄，由于诸如水滴♦☜☞☝✍☚☛☟✌✽✾✿❁❃，氧化物水垢❋❀⚘☑✓✔√☐☒✗✘ㄨ✕✖✖⋆✢✣，照明不均匀或不利环境等缺陷ⒺⒻⒼⒽⒾⒿⓀⓁⓂⓃⓄⓅⓆⓇⓈⓉ，金属板和带材的表面缺陷的检测越来越具有挑战性✤✥❋✦✧✩✰✪✫✬✭✮✯❂✡★✱✲✳✴。
方法3：基于模型的方法
除了基于统计和频谱的方法外♀☿☼☀☁☂☄，还有一种基于模型的方法ⓚⓛⓜⓝⓞⓟⓠⓡⓢ。基于模型的方法通过通过参数学习增强的特殊结构模型将图像块的原始纹理分布投影到低维分布☾☽❄☃，从而更好地检测各种缺陷㊀㊁㊂㊃㊄㊅㊆㊇㊈㊉。下表给出了这些类别的几种典型方法的比较♀☿☼☀☁☂☄。
方法4：基于机器学习的方法
随着人工智能技术的飞速发展ⓊⓋⓌⓍⓎⓏⓐⓑⓒⓓⓔⓕⓖⓗⓘⓙ，广泛应用的机器学习在各个领域都取得了良好的效果❻❼❽❾❿⓫⓬⓭⓮⓯⓰。下表列出了几种典型方法✺ϟ☇♤♧♡♢♠♣♥。
机器学习的本质是分析和学习数据(特征)❻❼❽❾❿⓫⓬⓭⓮⓯⓰，然后做出准确的决策或预测❋❀⚘☑✓✔√☐☒✗✘ㄨ✕✖✖⋆✢✣。2005年☧☬☸✡♁✙♆。，、＇：∶；，Liu等人使用双层前馈神经网络将测试图像的像素点分类为有缺陷的和无缺陷的♀☿☼☀☁☂☄。该任务的基本思想实际上是根据是否存在缺陷二分㈧㈨㈩⑴⑵⑶⑷⑸⑹⑺⑻⑼⑽⑾⑿⒀⒁⒂，因此仍可以归类为缺陷检测ⒺⒻⒼⒽⒾⒿⓀⓁⓂⓃⓄⓅⓆⓇⓈⓉ。卷积神经网络(CNN)是当前基于监督方式最常用的深度学习网络♦☜☞☝✍☚☛☟✌✽✾✿❁❃。Chen等进行了裂缝检测 基于卷积神经网络(CNN)和朴素贝叶斯数据融合方案的NB-CNN⓱⓲⓳⓴⓵⓶⓷⓸⓹⓺⓻⓼⓽⓾。考虑到缺陷形状的多样性❋❀⚘☑✓✔√☐☒✗✘ㄨ✕✖✖⋆✢✣，Zhou等改进了快速R-CNN㊀㊁㊂㊃㊄㊅㊆㊇㊈㊉，选择了K-mean算法✵✶✷✸✹✺✻✼❄❅，根据“地面真相”的大小生成了锚框的长宽比㈠㈡㈢㈣㈤㈥㈦，并将特征矩阵与不同的接收域融合在一起㈧㈨㈩⑴⑵⑶⑷⑸⑹⑺⑻⑼⑽⑾⑿⒀⒁⒂。该方法具有较好的微观缺陷检测能力ⒺⒻⒼⒽⒾⒿⓀⓁⓂⓃⓄⓅⓆⓇⓈⓉ，在光线变化时仍能准确地识别出缺陷类型☧☬☸✡♁✙♆。，、＇：∶；，易于移植到实际工业应用中❋❀⚘☑✓✔√☐☒✗✘ㄨ✕✖✖⋆✢✣。随后♦☜☞☝✍☚☛☟✌✽✾✿❁❃，随着支持向量机(SVM)的发展和改进㈠㈡㈢㈣㈤㈥㈦，这种值得称赞的支持数据二进制分类的广义线性分类器通常被广泛用于区分有缺陷和无缺陷区域✵✶✷✸✹✺✻✼❄❅。Ghorai等认为分类器在缺陷检测中的性能在很大程度上取决于特征和分类器的组合❣❦❧♡۵。因此㊀㊁㊂㊃㊄㊅㊆㊇㊈㊉，他们对不同的特征集(Haar☧☬☸✡♁✙♆。，、＇：∶；，DB2❋❀⚘☑✓✔√☐☒✗✘ㄨ✕✖✖⋆✢✣，DB4)和不同的分类器(SVM和向量值正则化核函数逼近(VVRKFA))进行置换和组合⑰⑱⑲⑳⓪⓿❶❷❸❹❺，并观察缺陷检测结果①②③④⑤⑥⑦⑧⑨⑩⑪⑫⑬⑭⑮⑯。
实验表明✵✶✷✸✹✺✻✼❄❅，具有第一级Haar特征的VVRKFA的性能在所有特征分类器组合中排名第一ⅲⅳⅴⅵⅶⅷⅸⅹⒶⒷⒸⒹ。与上述缺陷检测方法不同①②③④⑤⑥⑦⑧⑨⑩⑪⑫⑬⑭⑮⑯，He和Xu等颠倒了ROI提取和对象分类的一般顺序①②③④⑤⑥⑦⑧⑨⑩⑪⑫⑬⑭⑮⑯，他们提出了一个新的对象检测框架：分类优先级网络(CPN)㈠㈡㈢㈣㈤㈥㈦。首先通过多组卷积神经网络(MG-CNN)对测试图像进行分类웃유ღ♋♂，然后输出更多的稀疏和合理的特征组♀☿☼☀☁☂☄。根据分类结果①②③④⑤⑥⑦⑧⑨⑩⑪⑫⑬⑭⑮⑯，CPN从可能包含缺陷的特征组中退回了缺陷边界框⒔⒕⒖⒗⒘⒙⒚⒛ⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫⅰⅱ，并分别在钢板和钢带上进行了测试❣❦❧♡۵，检出率分别为94%和96%ⓊⓋⓌⓍⓎⓏⓐⓑⓒⓓⓔⓕⓖⓗⓘⓙ。然而⒜⒝⒞⒟⒠⒡⒢⒣⒤，在现实世界的工业生产线中⓱⓲⓳⓴⓵⓶⓷⓸⓹⓺⓻⓼⓽⓾，收集和标记大量图像样本是不切实际的⒃⒄⒅⒆⒇⒈⒉⒊⒋⒌⒍⒎⒏⒐⒑⒒⒓，并且所得图像样本更加未被标记⒔⒕⒖⒗⒘⒙⒚⒛ⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩⅪⅫⅰⅱ。为了用少量的训练样本获得满意的结果♀☿☼☀☁☂☄，数据扩充以及迁移学习是训练网络的关键要素❋❀⚘☑✓✔√☐☒✗✘ㄨ✕✖✖⋆✢✣。例如ⓊⓋⓌⓍⓎⓏⓐⓑⓒⓓⓔⓕⓖⓗⓘⓙ，Yun等使用条件卷积变分自编码器(CCVAE)作为数据增强方法ⅲⅳⅴⅵⅶⅷⅸⅹⒶⒷⒸⒹ，并通过使用CCVAE学习给定缺陷数据的分布来生成各种缺陷图像⒜⒝⒞⒟⒠⒡⒢⒣⒤。实验表明☈⊙☉℃℉❅，在使用CCVAE进行数据增强的情况下ⅲⅳⅴⅵⅶⅷⅸⅹⒶⒷⒸⒹ，准确性可以从96.27%提高到99.69%✵✶✷✸✹✺✻✼❄❅，F值也可以从96.27%提高到99.71%ⓚⓛⓜⓝⓞⓟⓠⓡⓢ。通过应用转移学习ⓣⓤⓥⓦⓧⓨⓩ，Neuhauser等人使用在ImageNet上预训练的网络权重作为学习过程的初始权重;他们利用转移学习来加快培训过程✤✥❋✦✧✩✰✪✫✬✭✮✯❂✡★✱✲✳✴，并提高检测挤压铝材缺陷的性能㊀㊁㊂㊃㊄㊅㊆㊇㊈㊉。迁移学习的基本前提是可以扩展网络的特征提取功能❻❼❽❾❿⓫⓬⓭⓮⓯⓰。如果源域和目标域之间的相似度不够❻❼❽❾❿⓫⓬⓭⓮⓯⓰，则结果将不理想⒃⒄⒅⒆⒇⒈⒉⒊⒋⒌⒍⒎⒏⒐⒑⒒⒓。
