摘要：基于计算机视觉的金属材料表面缺陷检测是冶金工业领域的研究热点。在金属制造行业中，高标准的平面质量要求自动视觉检查系统及其算法的性能必须不断提高。本文基于对钢，铝，铜板和带钢的一些典型金属平面材料产品的160多种出版物的综述，试图对二维和三维表面缺陷检测技术进行全面的综述。根据算法的属性和图像特征，现有的二维方法分为四类：统计方法，光谱方法，模型方法和基于机器学习的方法。在三维数据采集的基础上，三维技术分为立体视觉，光度立体，激光扫描仪和结构化光测量方法。本文将分析和比较这些经典算法和新兴方法。*后，对视觉缺陷检测的剩余挑战和未来的研究趋势进行了讨论和预测。研究背景：金属平面材料（例如，钢，铝，铜板等）广泛用于汽车制造，桥梁建筑，航空航天和其他支柱产业，为现代社会发展和生活改善做出了巨大贡献。然而，在实际的工业生产过程中，加工设备的损坏或恶劣的工业环境不可避免地会导致金属平面材料产品出现某些质量问题。一些具有大面积或周期性特征的产品表面缺陷不仅影响后续生产，而且威胁终端产品的质量，给制造企业带来巨大的经济和声誉损失。表面缺陷区域的数量，程度和分布是决定工业金属平面材料质量的重要因素。基于振动声调制，无线传感技术和其他不同原理的损伤检测方法已经进行了很长时间的研究。但是，基于计算机视觉的表面缺陷检测方法具有成本低，操作简便，性能优越等优点，是在图像表面发现和定位异常区域的*常用方法。硬件设施的发展以及人工智能技术的不断发展，自动视觉检查（AVI）设备已逐渐成为工业制造商提高产品质量和生产效率的标准配置。金属平面材料（例如钢，铝，铜板和带材）具有相似的外观特征，具有统一的质量要求，可以概括为“*的尺寸，均匀的表面和光洁的表面”，这意味着板材的厚度和宽度应符合规定的精度要求，表面应清洁且无鳞，裂纹，划痕，辊痕和气泡等。金属平面材料表面的缺陷不仅会损坏平面产品的外观，而且可能成为应力集中的薄弱环节，成为破裂和腐蚀的根源。用于金属平面材料表面缺陷的检测设备应具有两个主要功能：缺陷检测和缺陷分类。前者的目的是在工业生产过程中在线准确地检测和定位缺陷，而无需识别缺陷的类型，以便工业现场可以根据缺陷的程度和频率调整相应的连铸/轧制设备，从而尽快控制相似缺陷的大量扩散，并有效避免质量问题造成的经济损失。同时，缺陷分类是识别和标记检测到的缺陷，以便*终产品的分级。分类精度直接由缺陷检测的精度决定；因此，检测系统的整体性能主要受到缺陷检测过程中各种算法的准确性，时间效率和鲁棒性的限制，这是本文的重点。金属平面材料的在线表面缺陷检测在生产过程中面临以下严峻挑战：（1）高表面反射率钢，铝，铜带和其他*薄带的表面光滑，并且它们的高表面反射率易于带来较高的光影区域；然后，灰度值不一致的现象增加了错误边缘检测的可能性。（2）伪缺陷干扰伪缺陷（例如水滴，水布，雨水线，水雾以及在层流冷却过程中产生的其他实际缺陷）会导致检测设备频繁出现误报。（3）随机弹性变形由于连续的轧制设备振动，轧制速度差，侧导板异位，轧制速度波动，类大气湍流效应等原因，随机弹性变形会在电荷耦合器件（CCD）相机产生随机图像失真。（4）海量图像数据现实世界中生产线的高速，卷材更换的快节奏以及热轧机中对细微缺陷检测的需求，使得图像采集前端连续生成大量图像数据，其峰值速度高达5.12 Gbps ，这要求检测算法必须在检测精度，计算和可靠性之间达到良好的平衡。在不同的工艺中，不同类型的工业设备的工艺操作使表面纹理有很大的差异，相应的金属板和带材也具有不同的检测难度。下图列出了金属平面材料的三个典型表面图像。左侧是无缺陷的图像，右侧显示了几个典型的缺陷或伪缺陷图像，例如鳞片，渣痕，裂纹，划痕，毛刺和连铸坯表面上的照明不均匀；在热轧带钢表面上有辊痕，划痕，夹渣，夹杂物，孔洞和氧化皮；冷轧带钢表面的酸洗，腐蚀，波纹，污点，凹坑和孔。这些图像都是使用线性阵列扫描CCD相机从现实世界的生产线上获取的。研究内容：以带状表面缺陷检测系统为例，其硬件框架主要由照明设备，CCD相机，图像处理计算机和服务器组成，其照明设备采用特殊的红外光源阵列。CCD线扫描摄像机组水平排列在带钢生产线上，水平和垂直可视范围相互重叠，以确保没有漏检。CCD摄像机收集的图像通过光纤传输到图像处理计算机组，以进行图像处理和图案识别。然后，将结果与生产线的相关信息一起发送到服务器数据库进行进一步处理，并生成各种现场生产信息统计报告。用户可以根据这些报告评估钢卷的质量等级，或者分析生产线异常的原因，从而实现对生产线的实时监控。下图显示了典型的工业带材表面缺陷检测系统。在表面缺陷检测任务中，我们通常会根据统计结果对相关方法进行定量评估，可将其分为四类：真阳性（TP）表示检测到的实际缺陷为缺陷，真阴性（TN）表示检测到的缺陷。实际缺陷被错误地检测为背景，假阳性（FP）表示错误地将实际背景检测为缺陷，而假阴性（FN）表示将实际背景检测为背景。显然，在理想情况下，TP和FN越大，检测效果越好，而TN和FP越大，检测效果越差。因此，九个指标定义如下：其中，G均值以组合的方式衡量这两类的准确性，而G均值越大意味着TPR和TNR越高，这也是缺陷检测应用程序的要求。另一方面，F-measure根据准确性和召回率评估缺陷检测的总体性能。作者全面回顾了现有的金属平面材料表面缺陷检测方法的二维视觉技术和模型，并进行了讨论和展望，检测方法分类的总体结构。值得注意的是，近年来深度学习的快速发展改变了这种模式。基于深度学习的缺陷检测方法越来越多地应用于金属平面材料。因此，本文将金属平面材料的表面缺陷检测方法分为四类：传统的基于统计的方法，基于光谱的方法，基于模型的方法和新兴的基于机器学习的方法。方法1基于统计的方法从统计方法的角度来看，图像纹理被视为随机现象。统计方法通过测量像素空间分布的统计特性来研究像素强度的规则和周期性分布，以检测金属平面材料表面的缺陷。以下是对五个代表性统计方法的简要介绍，下表给出了这五个类别的几种典型方法的比较。其中，边缘检测是一种检测被测图像中的灰度或结构突变的方法。缺陷区域和背景之间的灰度级差异导致边界处出现明显的边缘，可用于检测金属平面材料的表面缺陷。由于图像边缘像素的不连续性，研究人员通常采用局部图像微分技术来获取边缘检测算子，金属平面材料表面缺陷的常用边缘检测模板包括Prewitt，Sobel 和Canny 运算符，下图显示了在相同缺陷样本上这些原始运算符的检测结果。这些模板也有自己的缺点，许多研究人员对其进行了优化，以获得更好的结果。下表列出了传统版本和优化版本，并简要比较了这些运算符的优缺点。方法2 基于频谱的方法在光照变化和伪缺陷干扰的情况下，许多统计方法都不可靠。幸运的是，研究人员发现图像在变换域中更有可能被分离出具有不同特征的信息，并且有可能找到比像素域中的直接处理方法更好的缺陷检测方法。下表总结了一些转换域方法，以下是这些类别的几种典型方法的比较。其中，小波变换具有更强的自适应能力，非常符合人的视觉特征，它不仅可以定位时频窗口，而且可以根据窗口中心频率的变化自动修改窗口大小。下图显示了二维图像的二阶小波分解的示意图。