CN118967672B - 一种工业缺陷检测方法、系统、装置和存储介质 - Google Patents

一种工业缺陷检测方法、系统、装置和存储介质 Download PDF

Info

Publication number
CN118967672B
CN118967672B CN202411435220.7A CN202411435220A CN118967672B CN 118967672 B CN118967672 B CN 118967672B CN 202411435220 A CN202411435220 A CN 202411435220A CN 118967672 B CN118967672 B CN 118967672B
Authority
CN
China
Prior art keywords
image
images
feature map
defect detection
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202411435220.7A
Other languages
English (en)
Other versions
CN118967672A (zh
Inventor
孙家栋
雷超
苏秀娥
王泉
阚希
翟世臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi University
Original Assignee
Wuxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi University filed Critical Wuxi University
Priority to CN202411435220.7A priority Critical patent/CN118967672B/zh
Publication of CN118967672A publication Critical patent/CN118967672A/zh
Application granted granted Critical
Publication of CN118967672B publication Critical patent/CN118967672B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00—Investigating or analyzing materials by the use of thermal means
    • G01N25/72—Investigating presence of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4481—Neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种工业缺陷检测方法、系统、装置和存储介质，涉及自动化技术领域，包括，通过高分辨率可见光相机、红外相机和超声波传感器采集工件的多模态数据，并进行预处理；使用多模态数据融合算法，将预处理后的数据进行特征提取和融合，生成综合特征图；通过计算机视觉技术分析综合特征图的光照条件，动态调整光照条件，生成校正后的综合特征图；构建缺陷检测模型，对校正后的综合特征图进行实例分割和目标检测，生成预选框并标记可能的缺陷区域；引入在线学习机制，根据新采集的数据实时更新和优化缺陷检测模型；通过多模态数据融合、动态光照条件校正和在线学习机制，能够精确识别和定位缺陷，显著提升了工业缺陷检测的准确性。

Description

一种工业缺陷检测方法、系统、装置和存储介质
技术领域
本发明涉及自动化技术领域，特别是一种工业缺陷检测方法、系统、装置和存储介质。
背景技术
近年来，随着制造业的快速发展和自动化技术的不断进步，工业缺陷检测已成为提高产品质量和生产效率的关键环节。传统的缺陷检测方法主要依赖于人工目视检查，这种方法不仅耗时费力，而且容易受到人为因素的影响，导致检测结果的不一致性和可靠性较低。随着计算机视觉和机器学习技术的迅猛发展，基于图像的自动缺陷检测方法逐渐成为研究热点。
然而，现有的缺陷检测方法仍然存在一些不足之处，尤其是在多模态数据融合、光照条件校正和模型实时更新等方面。首先，多模态数据融合技术虽然能够提高检测的准确性，但现有的融合方法往往依赖于固定的特征提取方式，缺乏对不同模态数据的动态适应性，导致在复杂工况下的检测效果不佳。其次，光照条件的变化对图像质量的影响显著，现有的光照校正方法多采用静态校正策略，无法实时适应环境变化，导致检测结果的不稳定。此外，现有的缺陷检测模型在面对新的缺陷类型和工况变化时，往往需要重新训练，缺乏实时更新和优化的能力。
发明内容
鉴于上述现有存在的问题，提出了本发明。
因此，本发明提供了一种工业缺陷检测方法、系统、装置和存储介质解决现有工业缺陷检测方法中多模态数据融合不充分、光照条件影响及模型适应性差的问题。
为解决上述技术问题，本发明提供如下技术方案：
第一方面，本发明实施例提供了一种工业缺陷检测方法，其包括，
采集待检测工件的可见光图像、红外图像和超声波图像的多模态数据，并进行预处理；
使用多模态数据融合算法，将预处理后的可见光图像、红外图像和超声波图像的多模态数据进行融合，生成综合特征图；
使用计算机视觉技术分析图像的光照条件，动态调整光照条件，得到校正后的综合特征图；
构建缺陷检测模型，对校正后的综合特征图进行实例分割和目标检测，生成预选框并标记可能的缺陷区域；
根据检测结果，输出工件的缺陷信息并进行可视化，生成标注图像；
引入在线学习机制，根据新采集的可见光图像、红外图像和超声波图像的多模态数据实时更新和优化缺陷检测模型。
作为本发明所述工业缺陷检测方法的一种优选方案，其中：采集待检测工件的可见光图像、红外图像和超声波图像的多模态数据，并进行预处理包括以下步骤，
使用高分辨率可见光相机拍摄工件的可见光图像；
使用红外相机拍摄工件的红外图像，捕捉温度分布信息；
使用超声波传感器扫描工件，获取内部结构信息的超声波图像；
对可见光图像进行灰度化、去噪和对比度增强，对红外图像进行温度校准和热图生成，对超声波图像进行信号处理，生成二维图像；
将所有预处理后的图像统一到相同的尺寸和格式。
作为本发明所述工业缺陷检测方法的一种优选方案，其中：使用多模态数据融合算法，将预处理后的可见光图像、红外图像和超声波图像的多模态数据进行融合，生成综合特征图包括以下步骤，
将可见光图像、红外图像和超声波图像转换为张量形式；
使用卷积神经网络提取每个模态的特征图；
使用线性投影层将每个特征图的通道数调整为统一的维度，生成新的特征图；
将映射后的每个新的特征图进行拼接，形成一个多模态特征图；
使用多头自注意力机制对多模态特征图进行特征融合，生成综合特征图。
作为本发明所述工业缺陷检测方法的一种优选方案，其中：使用计算机视觉技术分析图像的光照条件，动态调整光照条件，得到校正后的综合特征图包括以下步骤，
通过计算图像的平均亮度和平均对比度对图像的全局特性进行量化，得到图像的全局光照信息；
使用局部二值模式算法捕捉全局光照信息图像中像素与其邻近像素之间的相对亮度变化，识别高亮区域和暗区域的位置，生成二值图；
根据平均亮度、平均对比度和识别到的高亮和暗区域的位置，确定当前的光照强度和光照方向；
采用光照校正技术对图像进行处理，生成校正后的图像；
对校正后的图像进行直方图均衡化，生成校正后的综合特征图。
作为本发明所述工业缺陷检测方法的一种优选方案，其中：构建缺陷检测模型，对校正后的综合特征图进行实例分割和目标检测，生成预选框并标记可能的缺陷区域包括以下步骤，
将校正后的综合特征图输入到主干网络中；
使用特征金字塔的自顶向下路径和横向连接，将高层次的低分辨率特征图与低层次的高分辨率特征图相结合，生成多尺度特征图；
在每个特征图上滑动一个窗口，生成一组固定数量的锚框；
对每个锚框进行分类和边界框回归，判断其是否包含目标并调整其位置和大小；
选择得分较高的锚框作为候选区域；
使用感兴趣区域池化层将不同大小的候选区域调整到相同的尺寸；
通过全连接层对每个候选区域进行分类，确定属于哪个类别；
通过边界框回归进一步调整候选区域的位置，生成最终的预选框；
通过分割分支生成每个候选区域的分割掩码；
对每个分类为前景的候选区域生成预选框；
保留置信度较高的预选框，去除背景和低置信度的预选框；
对于每个保留的预选框，从分类分支获取其对应的置信度分数，并按照从高到低进行排序，得到排序后的预选框列表；
初始化一个空列表并设置置信度分数阈值；
当置信度分数大于阈值时，将预选框加入空列表；
计算预选框与其他未处理的预选框的交并比，表达式为：
；
其中，为第i个预选框，为第j个预选框，为第i个预选框和第j个预选框的交并比，为两个预选框和的交集面积，为两个预选框和的并集面积；
去除所有与预选框的交并比大于设定的阈值的预选框；
当所有预选框都已处理完毕，返回最终保留的预选框列表；
将预选框列表中保留的预选框标记为可能的缺陷区域。
作为本发明所述工业缺陷检测方法的一种优选方案，其中：根据检测结果，输出工件的缺陷信息并进行可视化，生成标注图像包括以下步骤，
读取原始图像，并从处理后的预选框列表中获取每个缺陷区域的预选框、分类标签和置信度分数；
在原图上绘制每个缺陷区域的边界框和分类标签，并将绘制过的图像保存为标注图像；
根据置信度分数计算缺陷的严重程度，表达式为：
；
其中，为缺陷的严重程度，为置信度分数的权重系数，为第i个缺陷的置信度分数，为第i个预选框的面积，为原始图像，为原始图像的面积，为缺陷区域面积占比的权重系数；
根据缺陷的严重程度将工件分类为合格和不合格；
当工件分类为合格时，将工件送入合格物料盒；
当工件分类为不合格时，将工件送入不合格物料盒；
将缺陷的位置、类型、置信度分数和严重程度的信息保存到数据库中，并将标注图像保存到指定路径。
作为本发明所述工业缺陷检测方法的一种优选方案，其中：引入在线学习机制，根据新采集的可见光图像、红外图像和超声波图像的多模态数据实时更新和优化缺陷检测模型包括以下步骤，
持续采集新的可见光图像、红外图像和超声波图像的多模态数据，使用在线随机梯度下降算法逐步更新模型的权重并定期评估模型的性能；
根据评估结果调整学习率和批量大小；
使用迁移学习技术，将已有的大规模标注数据迁移到新的检测任务中适应新的缺陷类型和变化。
第二方面，本发明提供了一种工业缺陷检测系统，包括，
数据采集与预处理模块，采集待检测工件的可见光图像、红外图像和超声波图像的多模态数据，并进行预处理；
多模态数据融合模块，使用多模态数据融合算法，将预处理后的可见光图像、红外图像和超声波图像的多模态数据进行融合，生成综合特征图；
光照条件分析与校正模块，使用计算机视觉技术分析图像的光照条件，动态调整光照条件，得到校正后的综合特征图；
缺陷检测模型构建模块，构建缺陷检测模型，对校正后的综合特征图进行实例分割和目标检测，生成预选框并标记可能的缺陷区域；
检测结果可视化模块，根据检测结果，输出工件的缺陷信息并进行可视化，生成标注图像；
在线学习机制模块，引入在线学习机制，根据新采集的可见光图像、红外图像和超声波图像的多模态数据实时更新和优化缺陷检测模型。
第三方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中：所述计算机程序被处理器执行时实现如本发明第一方面所述的工业缺陷检测方法的任一步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序被处理器执行时实现如本发明第一方面所述的工业缺陷检测方法的任一步骤。
本发明有益效果为：通过高分辨率可见光相机、红外相机和超声波传感器采集工件的多模态数据，并进行预处理；使用多模态数据融合算法，将预处理后的数据进行特征提取和融合，生成综合特征图；通过计算机视觉技术分析综合特征图的光照条件，动态调整光照条件，生成校正后的综合特征图；构建缺陷检测模型，对校正后的综合特征图进行实例分割和目标检测，生成预选框并标记可能的缺陷区域；引入在线学习机制，根据新采集的数据实时更新和优化缺陷检测模型；通过多模态数据融合、动态光照条件校正和在线学习机制，能够精确识别和定位缺陷，显著提升了工业缺陷检测的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为实施例1中工业缺陷检测方法的流程图。
图2为实施例1中工业缺陷检测系统的流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例1，参照图1和图2，为本发明第一个实施例，该实施例提供了一种工业缺陷检测方法，包括以下步骤：
S1、采集待检测工件的可见光图像、红外图像和超声波图像的多模态数据，并进行预处理包括以下步骤，
使用高分辨率可见光相机拍摄工件的可见光图像；使用红外相机拍摄工件的红外图像，捕捉温度分布信息；使用超声波传感器扫描工件，获取内部结构信息的超声波图像；对可见光图像进行灰度化、去噪和对比度增强，对红外图像进行温度校准和热图生成，对超声波图像进行信号处理，生成二维图像；将所有预处理后的图像统一到相同的尺寸和格式。
更进一步地，灰度化指的是将RGB图像转换为灰度图像，表达式为：
；
其中，R、G、B分别为红色、绿色和蓝色通道的像素值，为灰度图像的像素值；
去噪指的是使用中值滤波器去除图像中的噪声，选择3x3的窗口大小，对每个像素点的邻域进行排序，取中值作为该像素点的新值；
对比度增强指的是使用直方图均衡化技术增强图像的对比度，表达式为：
；
其中，为增强后的图像像素值，为图像的水平坐标，为图像的垂直坐标，为累积直方图，为图像总像素数，为灰度级数（通常为256）；
温度校准指的是使用辐射响应曲线对红外图像进行温度校准；热图生成指的是使用伪彩色映射技术，将校准后的温度数据映射到颜色空间，生成直观的热图；信号处理指的是使用小波变换对超声波信号分解信号到多个尺度，去除高频噪声，使用傅里叶变换将去噪后的信号转换为二维图像；统一尺寸和格式指的是使用双线性插值法将所有图像调整到相同的尺寸，将所有图像转换为统一的格式。
S2、使用多模态数据融合算法，将预处理后的可见光图像、红外图像和超声波图像的多模态数据进行融合，生成综合特征图包括以下步骤，
将可见光图像、红外图像和超声波图像转换为张量形式；使用卷积神经网络提取每个模态的特征图；使用线性投影层将每个特征图的通道数调整为统一的维度，生成新的特征图；将映射后的每个新的特征图进行拼接，形成一个多模态特征图；使用多头自注意力机制对多模态特征图进行特征融合，生成综合特征图。
更进一步地，通过将不同模态的数据转换为张量形式指的是将所有图像裁剪或填充至统一的分辨率（如256x256），并将灰度图像转换为三通道RGB图像，将转换后的图像转换为张量形式，通常是一个四维数组，形状为[B, C, H, W]，其中B代表批次大小，C代表通道数，H和W分别代表高度和宽度；引入多头自注意力机制，让模型能够关注不同模态之间的重要关联，同时也能捕捉到不同区域间的依赖关系，具体来说，可以先将多模态特征图通过线性变换映射到查询（Query）、键（Key）和值（Value）三个向量空间，然后计算注意力权重，最后加权求和得到新的特征表示。这个过程可以重复多次，形成多个“头”，每个头专注于不同的信息。
S3、使用计算机视觉技术分析图像的光照条件，动态调整光照条件，得到校正后的综合特征图包括以下步骤，
通过计算图像的平均亮度和平均对比度对图像的全局特性进行量化，得到图像的全局光照信息；使用局部二值模式算法捕捉全局光照信息图像中像素与其邻近像素之间的相对亮度变化，识别高亮区域和暗区域的位置，生成二值图；根据平均亮度、平均对比度和识别到的高亮和暗区域的位置，确定当前的光照强度和光照方向；采用光照校正技术对图像进行处理，生成校正后的图像；对校正后的图像进行直方图均衡化，生成校正后的综合特征图。
更进一步地，通过量化图像的全局光照信息指的是首先将图像从RGB色彩空间转换到灰度空间，因为灰度图像更适合用于亮度和对比度的计算，接着计算图像所有像素值的平均值作为平均亮度，对于平均对比度的计算，可以先计算每个像素与其周围像素之间的亮度差值，然后取这些差值的平均值，这样可以量化出图像的总体亮度水平和亮度变化的程度；应用局部二值算法指的是将每个像素点与它周围的像素点进行比较，如果中心像素的亮度大于或等于邻域像素，则标记为1，否则标记为0。这会生成一个8位的二进制数（对于3x3的邻域）。将该二进制数转换成十进制数作为该像素的新值，形成一个二值图。通过这种方法，可以有效地区分图像中的高亮区域和暗区域，突出显示图像中的纹理信息，特别是边缘和角点等细节，有助于准确识别图像中的光照分布情况；光照校正技术包括伽玛校正、线性拉伸和高斯滤波等。例如，对于过亮或过暗的图像，可以使用伽玛校正来调整图像的亮度分布；对于光照不均匀的情况，可以尝试使用高斯滤波来平滑光照差异。
S4、构建缺陷检测模型，对校正后的综合特征图进行实例分割和目标检测，生成预选框并标记可能的缺陷区域包括以下步骤，
将校正后的综合特征图输入到主干网络中；使用特征金字塔的自顶向下路径和横向连接，将高层次的低分辨率特征图与低层次的高分辨率特征图相结合，生成多尺度特征图；在每个特征图上滑动一个窗口，生成一组固定数量的锚框；对每个锚框进行分类和边界框回归，判断其是否包含目标并调整其位置和大小；选择得分较高的锚框作为候选区域；使用感兴趣池化层将不同大小的候选区域调整到相同的尺寸；通过全连接层对每个候选区域进行分类，确定属于哪个类别；通过边界框回归进一步调整候选区域的位置，生成最终的预选框；通过分割分支生成每个候选区域的分割掩码；对每个分类为前景的候选区域生成预选框；保留置信度较高的预选框，去除背景和低置信度的预选框；对于每个保留的预选框，从分类分支获取其对应的置信度分数，并按照从高到低进行排序，得到排序后的预选框列表；初始化一个空列表并设置置信度分数阈值；当置信度分数大于阈值时，将预选框加入空列表；计算预选框与其他未处理的预选框的交并比，表达式为：
；
其中，为第i个预选框，为第j个预选框，为第i个预选框和第j个预选框的交并比，为两个预选框和的交集面积，为两个预选框和的并集面积；
去除所有与预选框的交并比大于设定的阈值的预选框；当所有预选框都已处理完毕，返回最终保留的预选框列表；将预选框列表中保留的预选框标记为可能的缺陷区域。
S5、根据检测结果，输出工件的缺陷信息并进行可视化，生成标注图像包括以下步骤，
读取原始图像，并从处理后的预选框列表中获取每个缺陷区域的预选框、分类标签和置信度分数；在原图上绘制每个缺陷区域的边界框和分类标签，并将绘制过的图像保存为标注图像；根据置信度分数计算缺陷的严重程度，表达式为：
；
其中，为缺陷的严重程度，为置信度分数的权重系数，为第i个缺陷的置信度分数，为第i个预选框的面积，为原始图像，为原始图像的面积，为缺陷区域面积占比的权重系数；
根据缺陷的严重程度将工件分类为合格和不合格；当工件分类为合格时，将工件送入合格物料盒；当工件分类为不合格时，将工件送入不合格物料盒；将缺陷的位置、类型、置信度分数和严重程度的信息保存到数据库中，并将标注图像保存到指定路径。
S6、引入在线学习机制，根据新采集的可见光图像、红外图像和超声波图像的多模态数据实时更新和优化缺陷检测模型包括以下步骤，
持续采集新的可见光图像、红外图像和超声波图像的多模态数据，使用在线随机梯度下降算法逐步更新模型的权重并定期评估模型的性能；根据评估结果调整学习率和批量大小；使用迁移学习技术，将已有的大规模标注数据迁移到新的检测任务中适应新的缺陷类型和变化。
本实施例还提供一种工业缺陷检测系统，包括：数据采集与预处理模块，采集待检测工件的可见光图像、红外图像和超声波图像的多模态数据，并进行预处理；多模态数据融合模块，使用多模态数据融合算法，将预处理后的可见光图像、红外图像和超声波图像的多模态数据进行融合，生成综合特征图；光照条件分析与校正模块，使用计算机视觉技术分析图像的光照条件，动态调整光照条件，得到校正后的综合特征图；缺陷检测模型构建模块，构建缺陷检测模型，对校正后的综合特征图进行实例分割和目标检测，生成预选框并标记可能的缺陷区域；检测结果可视化模块，根据检测结果，输出工件的缺陷信息并进行可视化，生成标注图像；在线学习机制模块，引入在线学习机制，根据新采集的可见光图像、红外图像和超声波图像实时更新和优化缺陷检测模型。
本实施例还提供一种计算机设备，适用于工业缺陷检测方法的情况，包括：存储器和处理器；存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，实现如上述实施例提出的工业缺陷检测方法。
该计算机设备可以是终端，该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例提出的实现工业缺陷检测方法；存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random AccessMemory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable ProgrammableRead－Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable ProgrammableRead Only Memory, 简称EPROM），可编程只读存储器（Programmable Red－Only Memory,简称PROM），只读存储器（Read－Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
综上，本发明通过：高分辨率可见光相机、红外相机和超声波传感器采集工件的多模态数据，并进行预处理；使用多模态数据融合算法，将预处理后的数据进行特征提取和融合，生成综合特征图；通过计算机视觉技术分析综合特征图的光照条件，动态调整光照条件，生成校正后的综合特征图；构建缺陷检测模型，对校正后的综合特征图进行实例分割和目标检测，生成预选框并标记可能的缺陷区域；引入在线学习机制，根据新采集的数据实时更新和优化缺陷检测模型；通过多模态数据融合、动态光照条件校正和在线学习机制，能够精确识别和定位缺陷，显著提升了工业缺陷检测的准确性。
实施例2，参照表1，为本发明第二个实施例，为进一步验证本发明的技术方案，给出了工业缺陷检测方法的实验仿真数据。
选择了一家金属制品制造企业作为研究对象。该企业主要生产用于汽车行业的高强度金属零部件，这些部件的质量直接影响到最终产品的安全性和可靠性。因此，对生产过程中的缺陷检测提出了极高的要求。本实施例选取了生产线上的100个金属零部件样本，其中50个为标准无缺陷样本，另外50个为已知存在各种缺陷类型的样本，包括裂纹、凹陷、气孔等。这些样本的尺寸、形状和材料均相同，以确保实验条件的一致性。
在实验开始前，首先搭建了一个集成多种传感器的检测平台，包括一台高分辨率可见光相机、一台红外相机和一套超声波传感器。此外，还部署了专门的计算机视觉系统和深度学习框架，用于执行多模态数据的融合、特征提取、缺陷检测模型训练以及在线学习机制的实现。为了保证实验的可重复性和准确性，所有的设备都经过了严格的校准，确保了测量数据的精确性和可靠性。
在实验过程中，每一件样品首先由高分辨率可见光相机拍摄，获得清晰的表面图像；随后，利用红外相机捕捉样品的温度分布信息，以辅助识别潜在的内部缺陷；最后，超声波传感器扫描样品，获取其内部结构的详细信息。采集到的多模态数据经过预处理后，包括可见光图像的灰度化、去噪和对比度增强，红外图像的温度校准和热图生成，以及超声波数据的信号处理和二维图像生成，然后将所有预处理后的图像统一到相同的尺寸和格式，以便于后续的融合处理。
接下来，使用卷积神经网络从每个模态的预处理图像中提取特征图，并通过线性投影层将特征图的通道数调整至统一维度，生成新的特征图。这些特征图随后被拼接在一起，形成了一个多模态特征图。为了进一步提升特征表示的丰富性和鲁棒性，采用了多头自注意力机制对多模态特征图进行了特征融合，最终生成了综合特征图。
接着，构建了一个基于深度学习的缺陷检测模型，该模型能够对校正后的综合特征图进行实例分割和目标检测，生成预选框并标记可能的缺陷区域。此模型不仅能够精确定位缺陷的位置，还能识别出缺陷的类型，为后续的处理提供了重要依据。
根据模型的检测结果，输出了每个工件的缺陷信息，并通过可视化的方式生成了标注图像。这些标注图像不仅直观地展示了缺陷的具体情况，还提供了缺陷的严重程度评估，帮助工厂快速做出决策，将不合格产品剔除出生产线。
具体如下表1所示：
表1实验数据记录表
通过对上述实验数据的深入分析，可以明显看出在缺陷检测准确率方面，样本在标准、复杂和可变光照条件下分别达到了98.5%、97.8%和98.2%，显著高于现有技术的85.0%、80.0%和83.0%。这表明本发明能够更有效地识别出各类缺陷，即使是在光照条件不佳的情况下也能保持较高的检测精度。
其次，关于缺陷类型的识别率，本发明方法在标准、复杂和可变光照条件下的识别率分别为97.3%、96.2%和96.8%，而现有技术则仅为80.0%、75.0%和78.0%，这意味着本发明方法不仅能发现缺陷，还能准确区分不同的缺陷类型。
再者，本发明方法的处理时间较短，平均处理时间为1.2秒至1.4秒之间，而现有技术则需要2.0秒至2.2秒，使得本发明方法更适合于高速生产线的应用，可以大幅提高生产效率。
此外，本发明方法的误报率非常低，仅为0.01%至0.02%，远低于现有技术的0.05%至0.06%。低误报率意味着较少的正常产品被错误地标记为缺陷品，从而减少了不必要的浪费和成本。
最后，本发明方法在严重缺陷识别方面的标准、复杂和可变光照条件下的识别率均接近100%，而现有技术的识别率则不超过88%，本发明方法能够有效防止严重缺陷品流入市场，保障了产品质量和用户安全。
综上所述，本发明提出的方法在工业缺陷检测领域展现了显著的技术进步，不仅提高了检测的准确性和效率，还降低了误报率，增强了对严重缺陷的识别能力。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种工业缺陷检测方法，其特征在于：包括，
采集待检测工件的可见光图像、红外图像和超声波图像的多模态数据，并进行预处理；
使用多模态数据融合算法，将预处理后的可见光图像、红外图像和超声波图像的多模态数据进行融合，生成综合特征图；
使用计算机视觉技术分析图像的光照条件，动态调整光照条件，得到校正后的综合特征图；
构建缺陷检测模型，对校正后的综合特征图进行实例分割和目标检测，生成预选框并标记可能的缺陷区域；
根据检测结果，输出工件的缺陷信息并进行可视化，生成标注图像；
引入在线学习机制，根据新采集的可见光图像、红外图像和超声波图像多模态数据实时更新和优化缺陷检测模型；
所述使用计算机视觉技术分析图像的光照条件，动态调整光照条件，得到校正后的综合特征图包括以下步骤，
通过计算图像的平均亮度和平均对比度对图像的全局特性进行量化，得到图像的全局光照信息；
使用局部二值模式算法捕捉全局光照信息图像中像素与其邻近像素之间的相对亮度变化，识别高亮区域和暗区域的位置，生成二值图；
根据平均亮度、平均对比度和识别到的高亮和暗区域的位置，确定当前的光照强度和光照方向；
采用光照校正技术对图像进行处理，生成校正后的图像；
对校正后的图像进行直方图均衡化，生成校正后的综合特征图；
构建缺陷检测模型，对校正后的综合特征图进行实例分割和目标检测，生成预选框并标记可能的缺陷区域包括以下步骤，
将校正后的综合特征图输入到主干网络中；
使用特征金字塔的自顶向下路径和横向连接，将高层次的低分辨率特征图与低层次的高分辨率特征图相结合，生成多尺度特征图；
在每个特征图上滑动一个窗口，生成一组固定数量的锚框；
对每个锚框进行分类和边界框回归，判断其是否包含目标并调整其位置和大小；
选择得分较高的锚框作为候选区域；
使用感兴趣区域池化层将不同大小的候选区域调整到相同的尺寸；
通过全连接层对每个候选区域进行分类，确定属于哪个类别；
通过边界框回归进一步调整候选区域的位置，生成最终的预选框；
通过分割分支生成每个候选区域的分割掩码；
对每个分类为前景的候选区域生成预选框；
保留置信度较高的预选框，去除背景和低置信度的预选框；
对于每个保留的预选框，从分类分支获取其对应的置信度分数，并按照从高到低进行排序，得到排序后的预选框列表；
初始化一个空列表并设置置信度分数阈值；
当置信度分数大于阈值时，将预选框加入空列表；
计算预选框与其他未处理的预选框的交并比，表达式为：
其中，Bi为第i个预选框，Bj为第j个预选框，IoU(Bi,Bj)为第i个预选框和第j个预选框的交并比，Area(Bi∩Bj)为两个预选框Bi和Bj的交集面积，Area(Bi∪Bj)为两个预选框Bi和Bj的并集面积；
去除所有与预选框的交并比大于设定的阈值的预选框；
当所有预选框都已处理完毕，返回最终保留的预选框列表；
将预选框列表中保留的预选框标记为可能的缺陷区域；
根据检测结果，输出工件的缺陷信息并进行可视化，生成标注图像包括以下步骤，
读取原始图像，并从处理后的预选框列表中获取每个缺陷区域的预选框、分类标签和置信度分数；
在原图上绘制每个缺陷区域的边界框和分类标签，并将绘制过的图像保存为标注图像；
根据置信度分数计算缺陷的严重程度，表达式为：
其中，Ci为缺陷的严重程度，α为置信度分数的权重系数，Si为第i个缺陷的置信度分数，Area(Bi)为第i个预选框的面积，Io为原始图像，Area(Io)为原始图像的面积，β为缺陷区域面积占比的权重系数；
根据缺陷的严重程度将工件分类为合格和不合格；
当工件分类为合格时，将工件送入合格物料盒；
当工件分类为不合格时，将工件送入不合格物料盒；
将缺陷的位置、类型、置信度分数和严重程度的信息保存到数据库中，并将标注图像保存到指定路径。
2.如权利要求1所述的工业缺陷检测方法，其特征在于：采集待检测工件的可见光图像、红外图像和超声波图像的多模态数据，并进行预处理包括以下步骤，
使用高分辨率可见光相机拍摄工件的可见光图像；
使用红外相机拍摄工件的红外图像，捕捉温度分布信息；
使用超声波传感器扫描工件，获取内部结构信息的超声波图像；
对可见光图像进行灰度化、去噪和对比度增强，对红外图像进行温度校准和热图生成，对超声波图像进行信号处理，生成二维图像；
将所有预处理后的图像统一到相同的尺寸和格式。
3.如权利要求2所述的工业缺陷检测方法，其特征在于：使用多模态数据融合算法，将预处理后的可见光图像、红外图像和超声波图像的多模态数据进行融合，生成综合特征图包括以下步骤，
将可见光图像、红外图像和超声波图像转换为张量形式；
使用卷积神经网络提取每个模态的特征图；
使用线性投影层将每个特征图的通道数调整为统一的维度，生成新的特征图；
将映射后的每个新的特征图进行拼接，形成一个多模态特征图；
使用多头自注意力机制对多模态特征图进行特征融合，生成综合特征图。
4.如权利要求3所述的工业缺陷检测方法，其特征在于：引入在线学习机制，根据新采集的可见光图像、红外图像和超声波图像的多模态数据实时更新和优化缺陷检测模型包括以下步骤，
持续采集新的可见光图像、红外图像和超声波图像的多模态数据，使用在线随机梯度下降算法逐步更新模型的权重并定期评估模型的性能；
根据评估结果调整学习率和批量大小；
使用迁移学习技术，将已有的大规模标注数据迁移到新的检测任务中适应新的缺陷类型和变化。
5.一种工业缺陷检测系统，基于权利要求1～4任一所述的工业缺陷检测方法，其特征在于：包括，
数据采集与预处理模块，采集待检测工件的可见光图像、红外图像和超声波图像的多模态数据，并进行预处理；
多模态数据融合模块，使用多模态数据融合算法，将预处理后的可见光图像、红外图像和超声波图像的多模态数据进行融合，生成综合特征图；
光照条件分析与校正模块，使用计算机视觉技术分析图像的光照条件，动态调整光照条件，得到校正后的综合特征图；
缺陷检测模型构建模块，构建缺陷检测模型，对校正后的综合特征图进行实例分割和目标检测，生成预选框并标记可能的缺陷区域；
检测结果可视化模块，根据检测结果，输出工件的缺陷信息并进行可视化，生成标注图像；
在线学习机制模块，引入在线学习机制，根据新采集的可见光图像、红外图像和超声波图像的多模态数据实时更新和优化缺陷检测模型。
6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1～4任一所述的工业缺陷检测方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1～4任一所述的工业缺陷检测方法的步骤。
CN202411435220.7A 2024-10-15 2024-10-15 一种工业缺陷检测方法、系统、装置和存储介质 Active CN118967672B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411435220.7A CN118967672B (zh) 2024-10-15 2024-10-15 一种工业缺陷检测方法、系统、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411435220.7A CN118967672B (zh) 2024-10-15 2024-10-15 一种工业缺陷检测方法、系统、装置和存储介质

Publications (2)

Publication Number Publication Date
CN118967672A CN118967672A (zh) 2024-11-15
CN118967672B true CN118967672B (zh) 2025-04-29

Family

ID=93391551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411435220.7A Active CN118967672B (zh) 2024-10-15 2024-10-15 一种工业缺陷检测方法、系统、装置和存储介质

Country Status (1)

Country Link
CN (1) CN118967672B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119198566A (zh) * 2024-12-02 2024-12-27 光测工业智能装备(南京)有限公司 基于光学多谱融合的在线质量监测方法及系统
CN119246537A (zh) * 2024-12-03 2025-01-03 宝鸡九安金属材料有限公司 一种基于表面缺陷分析的钛板组织性能预测方法及系统
CN119322076B (zh) * 2024-12-19 2025-03-21 东莞市兆丰精密仪器有限公司 电池检测方法、电子设备及存储介质
CN119444739A (zh) * 2025-01-08 2025-02-14 深圳精智达技术股份有限公司 一种提升Mura缺陷分类精度的方法、系统、电子设备及存储介质
CN119880912B (zh) * 2025-01-17 2025-11-14 东莞市科运户外用品有限公司 一种弓箭撒放器的多模态无损检测系统及方法
CN120064307B (zh) * 2025-02-28 2025-12-30 南京林业大学 基于多模态智能木材缺陷检测与性能评估系统及方法
CN120163798B (zh) * 2025-03-11 2026-01-02 山东伟瑞制冷科技有限公司 一种基于图像处理的微通道铝扁管外观检测方法
CN119810094A (zh) * 2025-03-12 2025-04-11 格润智能装备(深圳)有限公司 用于复杂工业产品表面缺陷的高精度aoi检测系统及方法
CN120451094B (zh) * 2025-04-27 2025-10-28 东莞市世成通精密电子有限公司 一种背胶质量检测方法、装置及系统
CN121158446A (zh) * 2025-05-28 2025-12-19 西安量子智能科技有限公司 一种传送皮带撕裂在线检测方法
CN120234769B (zh) * 2025-06-03 2025-08-15 上海外高桥造船有限公司 基于ai图像识别的船舶总装建造安全质量实时监测方法
CN120953663B (zh) * 2025-07-24 2026-02-10 江西省坤宇电子有限公司 一种基于机器学习的多层线路板质检方法及系统
CN121190433A (zh) * 2025-09-22 2025-12-23 山东艾琳智能科技有限公司 一种基于深度学习的光学表面缺陷数据检测方法
CN120890989B (zh) * 2025-09-30 2026-03-24 中交华南勘察测绘科技有限公司 基于ai的预制件多模态视觉质量智能检测系统及方法
CN120953262A (zh) * 2025-10-11 2025-11-14 山东大学 基于双通道检测与决策融合的3d打印异常报警方法及系统
CN120948613B (zh) * 2025-10-17 2026-01-30 华电电力科学研究院有限公司 一种汽轮机转子的轴颈缺陷检测方法、装置和电子设备
CN121030684B (zh) * 2025-10-27 2026-01-27 徐州康翔精密制造有限公司 一种基于多传感器融合的汽车配件质量在线检测方法
CN121527094A (zh) * 2026-01-16 2026-02-13 南昌市众拓制衣有限公司 基于多模态特征融合的纺织布匹瑕疵实时检测方法及系统
CN121708018A (zh) * 2026-02-13 2026-03-20 南京奥看信息科技有限公司 一种多模ai协同的工业视觉缺陷检测系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092389A (zh) * 2021-09-13 2022-02-25 浙江大学 一种基于小样本学习的玻璃面板表面缺陷检测方法
CN117664990A (zh) * 2023-12-13 2024-03-08 苏州锐璟科技有限公司 一种pcba外观缺陷智能检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4266246A1 (en) * 2022-04-22 2023-10-25 Imec VZW Automated defect classification and detection
CN118212220A (zh) * 2024-04-15 2024-06-18 东北农业大学 一种用于产品缺陷检测的计算机视觉检测方法
CN118527377B (zh) * 2024-07-26 2024-11-22 南京比逊弥特智能科技有限公司 残片检测剔除装置及方法
CN118711000B (zh) * 2024-08-30 2024-11-15 山东科技大学 基于改进YOLOv10的轴承表面缺陷检测方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092389A (zh) * 2021-09-13 2022-02-25 浙江大学 一种基于小样本学习的玻璃面板表面缺陷检测方法
CN117664990A (zh) * 2023-12-13 2024-03-08 苏州锐璟科技有限公司 一种pcba外观缺陷智能检测方法

Also Published As

Publication number Publication date
CN118967672A (zh) 2024-11-15

Similar Documents

Publication Publication Date Title
CN118967672B (zh) 一种工业缺陷检测方法、系统、装置和存储介质
CN111862064B (zh) 一种基于深度学习的银质丝材表面瑕疵识别方法
KR102254773B1 (ko) 영상정보를 이용한 건물 부위별 하자의 자동 판정과 분류 시스템 및 그 방법
CN113592828B (zh) 基于工业内窥镜的无损检测方法及系统
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
Eshkevari et al. Automatic dimensional defect detection for glass vials based on machine vision: A heuristic segmentation method
KR20230124713A (ko) 결함 검출 방법, 장치 및 시스템
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN117132540A (zh) 一种基于分割模型的pcb电路板缺陷后处理方法
CN116245882A (zh) 电路板电子元件检测方法、装置及计算机设备
CN111915572A (zh) 一种基于深度学习的自适应齿轮点蚀定量检测系统及方法
CN110264444A (zh) 基于弱分割的损伤检测方法及装置
TW202034421A (zh) 濾色器檢查裝置、檢查裝置、濾色器檢查方法及檢查方法
CN117974601A (zh) 基于模板匹配的硅片表面缺陷检测方法及系统
CN118505708B (zh) 基于图像重构技术的产品修复系统
CN119273992A (zh) 基于改进YOLOv8的手机屏幕玻璃缺陷检测方法
CN115995023A (zh) 瑕疵检测方法、装置、电子设备、计算机可读存储介质及产品检测方法
CN120259191A (zh) 半导体晶圆缺陷检测方法、装置、设备及存储介质
CN119131006A (zh) 一种基于深度学习的陶瓷缺陷智能检测方法、系统、设备及存储介质
CN117495846B (zh) 图像检测方法、装置、电子设备及存储介质
CN115861220A (zh) 基于改进的ssd算法的冷轧带钢表面缺陷检测方法和系统
CN120102589A (zh) 触摸屏的表面缺陷检测方法及相关设备
CN119130912A (zh) 基于深度图的带钢表面缺陷检测方法及系统
CN116797602A (zh) 一种用于工业产品检测的表面缺陷鉴定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant