CN120084252A - 一种基于多光谱激光散斑图像的粗糙度测量方法及装置 - Google Patents
一种基于多光谱激光散斑图像的粗糙度测量方法及装置 Download PDFInfo
- Publication number
- CN120084252A CN120084252A CN202510136607.0A CN202510136607A CN120084252A CN 120084252 A CN120084252 A CN 120084252A CN 202510136607 A CN202510136607 A CN 202510136607A CN 120084252 A CN120084252 A CN 120084252A
- Authority
- CN
- China
- Prior art keywords
- feature
- angle
- multispectral
- information
- laser speckle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明请求保护一种基于多光谱激光散斑图像的表面粗糙度测量方法及装置,属于表面质量视觉检测领域。包括:分别采集N种波长的激光以不同角度照射工件表面形成的散斑图像,构建多光谱激光散斑数据集;单个角度下N种波长的散斑图像经过按通道拼接和特征融合后,生成多光谱激光散斑融合图;多个角度的融合图像构成一个图像序列,序列中的单张图像经过多尺度特征提取和融合后生成单角度特征;多角度特征通过多角度特征聚合模块生成全局光照信息,最终通过多层感知机计算粗糙度值。本发明采用多光谱激光散斑编码表面特征,通过多角度特征聚合神经网络融合多角度信息,综合考虑光源波长、入射角度以及表面三维形貌与粗糙度的关系,从而实现高精度的测量。
Description
技术领域
本发明涉及一种基于多光谱激光散斑图像的粗糙度测量方法及装置,属于光学测量领域、深度学习、计算机视觉领域,尤其适用于金属表面质量检测。
背景技术
表面粗糙度是工件表面微观三维形貌的重要参数,指加工零件表面微小峰谷之间的间距,直接影响工件的性能和寿命。目前粗糙度测量方法分为接触法和非接触法两类。接触法利用触针在表面滑动,虽然成本低,但可能损伤表面微观形貌;非接触法以光学方法为主,通过光学现象测量粗糙度,避免表面损伤。其中,机器视觉方法因其非接触性、速度快和成本低的优势广泛应用于粗糙度测量。
基于机器视觉的粗糙度测量分为传统人工特征提取方法和深度学习方法。传统方法人工提取散斑、灰度和纹理特征,并结合随机森林、支持向量回归机或BP神经网络进行预测。该方法对数据量要求小,模型轻量化,适合在线测量,但不适用于高精度离线测量,且易引入人为误差。深度学习方法则通过自动特征提取实现更高精度和实时性,但需依赖大数据量和复杂网络结构。尽管精度更高,这些方法主要通过二维图像特征与粗糙度建立关系,未能充分利用物体微观三维形貌信息。
此外,光照条件对基于机器视觉的粗糙度测量有重要影响。不同光源和入射角度对同一表面的反射不同,能揭示粗糙度的不同特征信息。因此,合理利用多光源、多角度下的图像信息对于提高粗糙度预测精度至关重要。然而,现有方法未综合分析光源波长、入射角度、表面微观形貌与粗糙度之间的关系。
综上所述,现有技术主要存在以下不足:传统方法基于设计特征进行预测,泛化性较差;深度学习方法虽能自动特征提取,但受限于数据量和模型复杂性。此外,这两种方法均未综合考虑光源波长、入射角度、表面微观三维形貌与粗糙度之间的关系。
经过检索,申请公开号CN115841468A,一种基于多特征融合的带钢表面粗糙度检测方法,包括:获取冷轧带钢的激光散斑图像,构建样本数据集;提取散斑图像的统计特征;构建图像特征提取模型并对构建的图像特征提取模型进行训练,利用训练好的图像特征提取模型提取散斑图像的图像特征;基于统计特征和图像特征提取模型提取的图像特征,得到散斑图像的融合特征,构建多特征数据集;构建带钢表面粗糙度检测模型,并利用多特征数据集对构建的带钢表面粗糙度检测模型进行训练;基于训练好的带钢表面粗糙度检测模型,检测带钢表面粗糙度。本发明可实现对带钢表面粗糙度的在线检测,提高冷轧带钢表面粗糙度的检测精度。
该专利未考虑不同波长的激光对表面粗糙度的不同敏感性,且未引入入射角度变化对散斑特征的影响。而本发明则利用多波长激光散斑图像,通过多光谱特征融合提供了更加全面的表面粗糙度信息,并且通过不同入射角度的光源组合,能从多个角度获取表面信息,有效增强了粗糙度检测的准确性和稳定性。此外,特征融合方法也有所不同。该专利侧重于从单张散斑图像中提取多种特征,并通过注意力机制加权这些特征,而本发明则首先进行多波长特征融合,确保不同波长的图像特征充分整合,然后通过自注意力机制进行多角度特征融合,确保不同角度下的信息得到最佳融合,从而显著提高了特征的表达能力和检测精度。最后,值得注意的是,该专利采用的是CNN模型与支持向量机结合的方法,并非端到端的方法,而本发明则采用端到端的深度学习方法,进一步提高了模型的整体性能和准确度。
发明内容
为解决上述问题,提出一种结合多光谱激光散斑数据和光度立体视觉模型的新方法。选用N种波长的激光光源,以其单色性好、抗干扰能力强、对微观细节敏感的特点,结合远心镜头和高分辨率工业相机,采集因光源波长和入射角度变化而产生的高分辨率散斑图像,构建综合考虑光源波长、入射角度、表面三维形貌和粗糙度的多光谱激光散斑数据集。在算法设计上,基于光度立体视觉原理,分析光照角度与表面微观形貌的关系,提出一种多角度特征聚合的卷积神经网络模型。通过多光谱和多角度信息的联合输入,学习复杂高维特征关系,实现更精准的粗糙度测量。
本发明的技术方案如下:
一种基于多光谱激光散斑图像的粗糙度测量方法,其包括以下步骤:
步骤1,构建多光谱激光散斑数据集,采集被测物体表面的激光散斑图像;
步骤2,对多光谱散斑图像进行通道堆叠与特征融合,生成多光谱融合图像;
步骤3,构建单角度特征提取与融合模块,获取单个角度下的表面特征信息;
步骤4,构建多角度特征聚合模块,聚合多角度表面特征信息得到全局光照信息,最后利用全局光照信息计算出物体表面的粗糙度值。
进一步的,所述步骤1构建多光谱散斑数据集,包括如下步骤:
在空间直角坐标系中通过绕Z轴旋转工件物平面Πobj来调整激光光束入射角为θ;在工件表面,沿Z轴和Y轴方向分别以固定步长移动工件,调整激光照射位置;切换不同波长的激光光源,重复上述步骤,分别采集N种波长的激光在工件表面调制后形成的散斑图像;
对采集到的图像数据,进行归一化操作,消除由于激光光源强度不同造成的图像亮度差异,确保多波长图像的特征在同一尺度下进行比较;在完成归一化后,按照被测区域的不同分为不同子文件夹,子文件夹内按照光源入射角度不同进行分组,同一角度内包含N张不同波长的散斑图像,所有角度的图像形成多角度图像序列,最后构建出多光谱激光散斑数据集。
进一步的,所述步骤3构建单角度特征提取与融合模块,包括如下步骤:
多尺度特征提取:采用基于移位窗口的分层视觉Transformer架构(SwinTransformer)进行微调的CNN卷积网络作为骨干网络,从多光谱融合图像中提取散斑特征、纹理以及颜色信息;通过将骨干网络提取的不同阶段的特征输入到一个金字塔网络中,在多个尺度上对图像进行处理,实现多尺度特征提取;
特征融合:利用通道和空间混合注意力机制调整低层次细节信息与高层次全局信息的权重,加权计算后生成单个角度下的表面特征信息。
进一步的,所述多尺度特征提取,包括如下步骤:
首先,采用基于移位窗口的分层视觉Transformer架构(Swin Transformer)进行微调的CNN卷积网络进行多阶段特征提取;该网络由4个阶段Stage组成,每个阶段包含多个特征提取模块,逐步从低级到高级提取图像特征;每个特征提取模块使用深度可分离卷积,并结合GELU激活函数和LayerNorm层归一化层,对特征进行非线性映射和标准化处理;随着阶段的推进,特征图的分辨率逐步降低,而通道数则逐渐增加,4个阶段的输出构成一个四层特征金字塔;然后,使用1×1卷积在横向调整通道数,确保每层特征图的通道数一致,并对调整后的特征图进行上采样,使每层特征图的大小统一,匹配整个多尺度特征网络的输入尺寸;最后,将每一层的特征按通道进行拼接,形成完整的多尺度特征表示。
进一步的,所述特征融合,包括如下步骤:
在特征融合过程中,将特征输入到空间和通道混合注意力机制中进行进一步优化;首先,通道注意力机制通过全局平均池化和全局最大池化分别得到描述全局信息的特征图,并将这两个特征图进行逐元素加和,再通过共享的全连接层生成通道注意力权重,优化多光谱波长信息,突出关键波长对应的特征,抑制冗余信息;接下来,空间注意力机制对通道注意力优化后的特征图进行最大池化和平均池化,得到两个空间信息图,经过逐像素加和后,通过卷积层生成空间注意力权重,能够自适应调整特征图中不同空间位置的重要性;最终,通过通道和空间注意力权重的加权融合,特征图的每一部分都会得到强化或抑制,经过双重优化后,得到更具辨识力和多尺度特性的表面特征表示,有效地融合多尺度信息,突出重要的散斑、纹理和光谱特征。
进一步的,所述步骤4构建多角度特征聚合模块,包括如下步骤:
通过多头自注意力机制对来自N个角度的多光谱融合特征序列{F1,F2,…,FN}计算查询Q、键K、值V,其中FN是步骤3提到的单角度特征提取和融合模块输出的某个角度的多光谱融合特征,然后,计算从角度j到角度i的各个特征图像之间的加权注意力分数αij,通过这些注意力权重对值Vj进行加权和,得到融合后的特征
将多角度特征聚合后的全局光照信息特征图传递给一个包含L层全连接层的多层感知机MLP进行非线性映射,通过逐层的非线性映射,MLP逐步抽象并捕捉物体表面从低级纹理、边缘信息到更复杂的形状、光照变化,以及这些信息与多角度特征之间的关系,从而提取和整合更深层次的特征。最终输出物体表面的粗糙度值r,结合粗糙度真值Ra来计算损失,并采用平滑Huber损失函数进行监督学习。
一种基于多光谱激光散斑图像的粗糙度测量装置,其包括:
位移台、旋转台、丝杠滑台、N种波长的激光光源、远心镜头、高分辨率工业相机以及控制系统;所述位移台安装在光学平台中央,能够沿装置使用的空间直角坐标系的Y轴和Z轴方向移动;所述旋转台安装在位移台上方,能够绕装置坐标系的Z轴旋转;所述丝杠滑台安装在实验台的固定支架上,其滑台的移动方向与空间坐标系的Y轴平行,N种波长的激光光源固定在丝杠滑台上,滑台控制系统可在不同波长的光源间快速切换,确保光源照射在工件表面的中心位置;所述远心镜头和高分辨率工业相机固定在激光光源的上方,镜头光轴垂直于被测工件的表面,并通过调整焦距以保证成像清晰;所述控制系统连接位移台、旋转台、丝杠滑台和工业相机,用于协调设备动作并采集散斑图像;
装置使用时,将被测工件固定在旋转台上,使工件的待测表面与旋转台的旋转平面重合,且待测表面的中轴与旋转台的旋转轴对齐;启动装置后,控制系统先启动位移台和旋转台,位移台移动工件在Y轴和Z轴方向的位置以覆盖不同区域,同时旋转台逐步改变激光入射角度;控制系统同步控制丝杠滑台切换光源,使不同波长的激光分别照射工件表面;工业相机与远心镜头配合工作,实时采集不同波长、不同入射角度下的激光散斑图像并将其传输至计算机进行处理。
本发明的优点及有益效果如下:
本发明通过结合多光谱激光散斑图像和多角度光源,创新性地构建了一个多光谱激光散斑数据集,能够全面、精确地反映表面微观特征的变化。相较于现有方法未充分考虑激光波长和入射角度对粗糙度测量的影响,本发明从微观和宏观两个层面综合考虑了光源波长、入射角度、表面三维形貌与粗糙度之间的复杂关系。通过多光谱激光散斑数据的采集,本发明能够提供更加丰富的多维度数据支持,有效提高了粗糙度测量的精度,并且能更好地适应复杂表面的变化。在特征提取方面,本发明提出了一种多角度特征聚合神经网络,该网络结合了多光谱特征优化与光度立体视觉原理,能够从微观和宏观两个层面提升粗糙度测量的精度与稳定性。在微观层面,通过通道堆叠形成的多光谱复合图像,结合通道注意力机制优化多光谱特征的权重分配,从而突出了不同波长对粗糙度特征的敏感性。在宏观层面,利用不同角度光照变化提取表面微观形貌特征,通过特征聚合模块对多角度信息进行全局优化,确保了粗糙度测量的稳定性和准确性。本发明还采用了端到端的深度学习方法,能够直接从原始图像中自动学习特征,避免了传统方法中人工设计特征提取步骤的繁琐和局限性。与传统方法相比,端到端的深度学习方法通过训练自动优化网络参数,使得模型能够更加精确地捕捉到粗糙度特征,提高了测量结果的准确性和泛化能力。
通过上述创新步骤,本发明不仅在粗糙度测量领域显著提升了精度和稳定性,还提供了一种高效、智能的技术方案,能够适应不同光照、角度和表面类型的测量需求。该技术的应用可为精密制造、质量检测等领域提供更为准确的表面质量评估,具有广泛的实际应用前景。
附图说明
图1是本发明提供优选实施例一种基于多光谱激光散斑图像的粗糙度测量方法的整体流程图。
图2是本发明方法实例提供的一种基于多光谱激光散斑图像的粗糙度测量方法的多光谱激光散斑图像采集流程示意图;
图3是本发明提供的一种基于多光谱激光散斑图像的粗糙度测量方法所使用的多角度特征聚合神经网络示意图。
图4是本发明提供的一种基于多光谱激光散斑图像的粗糙度测量装置的结构组成框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是:
本方案采用的技术方案具体步骤如下:
步骤1,安装与调试采集设备;
步骤2,分别采用1、2、3…N种波长的激光作为光源,并利用远心镜头搭配高分辨率工业相机采集被测物体表面因光源波长和入射角度变化产生的激光散斑图像;
步骤3,对采集到的数据进行预处理,构建多光谱激光散斑数据集;
步骤4,对输入的单角度下的N幅多波长激光散斑图像按照通道堆叠,形成一个多通道复合图像,再通过卷积操作生成多光谱特征融合图像;构建单角度特征提取和融合模块,采用基于移位窗口的分层视觉Transformer架构(Swin Transformer)进行微调的CNN卷积网络对步骤2生成的某一角度的多光谱融合图像进行多尺度特征提取,然后对不同尺度的特征进行融合,最后得到单个角度下的表面特征信息;构建多角度特征聚合模块,不同角度下的表面特征信息通过多角度特征聚合模块综合,生成包含全局光照信息的特征图,最后通过一个多层感知机输出物体表面粗糙度值。
优选的,如图1所示本发明方法实例提供的一种基于多光谱激光散斑图像的粗糙度测量方法的整体流程图,具体包括以下步骤:
步骤1.1:初始化采集设备:打开控制系统,启动旋转台、位移台和丝杠滑台的控制程序,连接工业相机,设置相机的分辨率和曝光参数。
步骤1.2:固定光源与相机:选择某种波长的激光光源并固定,确保光源发射稳定。启动相机和激光光源,并测试采集一张样本图像以验证成像质量。
图2所示是多光谱激光散斑图像采集流程示意图。
步骤2.1:按角度采集:旋转台从起始角度开始,以固定步进角度逐步旋转至最大角度。在每个角度停止后,触发工业相机采集某种波长的激光下的散斑图像。步骤2.2:按位置采集:每完成一个角度的数据采集后,控制位移台按固定步长移动工件,覆盖整个表面范围。对于每个位置和角度,记录采集的图像。
步骤2.3:切换光源:完成某种波长的光源的数据采集后,通过丝杠滑台切换为其它波长的激光光源,重复上述采集过程,确保在所有位置和角度下完成N种波长的采集。
步骤3:对采集到的图像数据,进行归一化操作,消除由于激光光源入射角度和光源强度不同造成的图像亮度差异,确保多波长图像的特征在同一尺度下进行比较。在完成归一化后,按照被测区域的不同分为不同子文件夹,子文件夹内按照图像文件名的不同进行分组,形成多光谱图像序列,最后构建出多光谱激光散斑数据集。
如图3所示是本发明提供的一种基于多光谱激光散斑图像的粗糙度测量方法所使用的多角度特征聚合神经网络示意图。
步骤4.1:对输入的单角度下的N幅多波长激光散斑图像按照通道堆叠,形成一个多通道复合图像,再通过卷积操作生成多光谱特征融合图像;
步骤4.2:采用基于移位窗口的分层视觉Transformer架构(Swin Transformer)进行微调的CNN卷积网络进行多阶段特征提取。随着阶段的推进,特征图的分辨率逐步降低,而通道数则逐渐增加,4个阶段的输出构成一个四层特征金字塔。然后,使用1×1卷积在横向调整通道数,确保每层特征图的通道数一致,并对调整后的特征图进行上采样,使每层特征图的大小统一,匹配整个多尺度特征网络的输入尺寸。最后,将每一层的特征按通道进行拼接,形成完整的多尺度特征表示;
步骤4.3:特征融合,利用通道和空间混合注意力模块对步骤4.2得到的多尺度特征进行融合。首先通过全局平均池化(GAP)计算得到通道注意力权重,优化多光谱波长信息,突出关键波长对应的特征并抑制冗余信息,公式为:
其中,是输入特征图,维度为(H,W,C)其中:H是特征图的高度,W是特征图的宽度,C是特征图的通道数。GAP(F(s))是对输入特征进行全局平均池化操作,W1第一层全连接层的权重矩阵,W2是第二层全连接层的权重矩阵,δ是ReLU激活函数,σ是Sigmoid激活函数,将权重映射到[0,1]区间。
然后,通过特征图的最大池化和平均池化计算得到空间注意力权重,自适应调整特征图中不同空间位置的重要性,确保重要区域的散斑、纹理和光谱特征得到充分表达,公式为:
SA(F(s))=σ(Conv([MaxPool(F(s)),AvgPool(F(s))]))·F(s)
其中,是输入特征图,维度为(H,W,C),其中:H是特征图的高度,W是特征图的宽度,C是特征图的通道数。MaxPool(F(s))是对输入特征图进行最大池化操作,提取每个空间位置上的最大激活值;AvgPool(F(s))是对输入特征图进行平均池化操作,计算每个空间位置的平均激活值;[MaxPool(F(s)),AvgPool(F(s))]是将最大池化和平均池化结果在通道维度上拼接,形成一个具有两个通道的特征图。Conv是二维卷积操作,用于生成每个空间位置的注意力权重图,σ是Sigmoid激活函数,将权重映射到[0,1]区间。
最后,根据计算得到的注意力权重,将来自特征金字塔不同分辨率层级的特征图进行加权求和,在综合微观和宏观层级的信息同时,结合散斑、纹理和光谱特征,生成更加丰富且具有多尺度特性的表面特征表示,生成更加丰富且具有多尺度特性的表面特征表示,最终得到单个角度下的完整表面特征信息。步骤4.4:多角度特征聚合,将不同分支输出的单个角度下的表面特征信息通过多角度特征聚合模块综合,生成包含全局光照信息的特征图,最后通过一个多层感知机输出物体表面粗糙度值,具体包括:
对来自N个角度的每个多光谱融合特征{F1,F2,…,FN}计算查询Q、键K、值V,然后,计算从角度j到角度i的各个特征图像之间的加权注意力分数αij,通过这些注意力权重对值Vj进行加权和,得到融合后的特征
将多角度特征聚合后的全局光照信息特征图传递给一个包含L层全连接层的多层感知机(MLP)进行非线性映射,通过逐层的非线性映射,MLP逐步抽象并捕捉物体表面从低级纹理、边缘信息到更复杂的形状、光照变化,以及这些信息与多角度特征之间的关系,从而提取和整合更深层次的特征。最终输出物体表面的粗糙度值r,结合粗糙度真值Ra来计算损失,并采用平滑Huber损失函数进行监督学习:
其中,当预测值r和真实值rtrue之间的绝对误差|r-rtrue|小于或等于阈值δ时,损失函数采用二次误差的形式,表示为此时更关注小误差的精确优化;当|r-rtrue|>δ时,损失函数转换为线性形式,表示为以降低异常值对损失的影响。参数δ是一个超参数,称为平滑阈值,用于控制从二次误差到线性误差的切换点。
如图4所示,本发明提供的一种基于多光谱激光散斑图像的粗糙度测量装置,其具体包括以下部件:
本发明提供了一种基于多光谱激光散斑的粗糙度测量装置,包括位移台、旋转台、丝杠滑台、N种波长的激光光源、远心镜头、高分辨率工业相机以及控制系统。位移台安装在光学平台中央,能够沿实验坐标系的Y轴和Z轴方向移动,旋转台安装在位移台上方,可绕坐标系的Z轴旋转以改变激光入射角度;丝杠滑台固定在实验台的支架上,滑台的移动方向与坐标系的Y轴平行,N种激光光源固定于其上,滑台控制系统能够快速切换光源,确保光束始终聚焦于工件待测表面中心;远心镜头和高分辨率工业相机安装在光源上方,镜头光轴垂直于工件表面,通过调整焦距保证成像清晰。控制系统连接位移台、旋转台、丝杠滑台和工业相机,负责协调设备动作并完成散斑图像采集。
装置使用时,首先将被测工件固定在旋转台上,确保待测表面与旋转台旋转平面重合,且表面中心与旋转轴对齐。启动装置后,控制系统依次驱动位移台和旋转台,位移台沿Y轴和Z轴方向移动工件位置以覆盖整个待测表面,同时旋转台逐步改变工件表面的激光入射角度。控制系统同步驱动丝杠滑台切换光源,使不同波长的光源依次照射工件表面。工业相机通过远心镜头实时采集每种光源和不同角度下的散斑图像,并将图像数据传输至计算机进行存储和处理。采集的多光谱、多角度散斑图像数据被分类存储后,作为输入传递给基于多角度特征聚合神经网络的粗糙度预测模型,最终输出工件表面的粗糙度预测值。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (7)
1.一种基于多光谱激光散斑图像的粗糙度测量方法,其特征在于,包括以下步骤:
步骤1,构建多光谱激光散斑数据集,采集被测物体表面的激光散斑图像;
步骤2,对多光谱散斑图像进行通道堆叠与特征融合,生成多光谱融合图像;
步骤3,构建单角度特征提取与融合模块,获取单个角度下的表面特征信息;
步骤4,构建多角度特征聚合模块,聚合多角度表面特征信息得到全局光照信息,最后利用全局光照信息计算出物体表面的粗糙度值。
2.根据权利要求1所述的一种基于多光谱激光散斑图像的粗糙度测量方法,其特征在于,所述步骤1构建多光谱激光散斑数据集,包括如下步骤:
在空间直角坐标系中通过绕Z轴旋转工件物平面Πobj来调整激光光束入射角为θ;在工件表面,沿Z轴和Y轴方向分别以固定步长移动工件,调整激光照射位置;切换不同波长的激光光源,重复上述步骤,分别采集N种波长的激光在工件表面调制后形成的散斑图像;
对采集到的图像数据,进行归一化操作,消除由于激光光源强度不同造成的图像亮度差异,确保多波长图像的特征在同一尺度下进行比较;在完成归一化后,按照被测区域的不同分为不同子文件夹,子文件夹内按照光源入射角度不同进行分组,同一角度内包含N张不同波长的散斑图像,所有角度的图像形成多角度图像序列,最后构建出多光谱激光散斑数据集。
3.根据权利要求1所述的一种基于多光谱激光散斑图像的粗糙度测量方法,其特征在于,所述步骤3构建单角度特征提取与融合模块,包括如下步骤:
多尺度特征提取:采用基于移位窗口的分层视觉Transformer架构即SwinTransformer进行微调的CNN卷积网络作为骨干网络,从多光谱融合图像中提取散斑特征、纹理以及颜色信息;通过将骨干网络提取的不同阶段的特征输入到一个金字塔网络中,在多个尺度上对图像进行处理,实现多尺度特征提取;
特征融合:利用通道和空间混合注意力机制调整低层次细节信息与高层次全局信息的权重,加权计算后生成单个角度下的表面特征信息。
4.根据权利要求3所述的一种基于多光谱激光散斑图像的粗糙度测量方法,其特征在于,所述多尺度特征提取,包括如下步骤:
首先,采用基于移位窗口的分层视觉Transformer架构进行微调的CNN卷积网络进行多阶段特征提取;该网络由4个阶段Stage组成,每个阶段包含多个特征提取模块,逐步从低级到高级提取图像特征;每个特征提取模块使用深度可分离卷积,并结合GELU激活函数和LayerNorm层归一化层,对特征进行非线性映射和标准化处理;随着阶段的推进,特征图的分辨率逐步降低,而通道数则逐渐增加,4个阶段的输出构成一个四层特征金字塔;然后,使用1×1卷积在横向调整通道数,确保每层特征图的通道数一致,并对调整后的特征图进行上采样,使每层特征图的大小统一,匹配整个多尺度特征网络的输入尺寸;最后,将每一层的特征按通道进行拼接,形成完整的多尺度特征表示。
5.根据权利要求3所述的一种基于多光谱激光散斑图像的粗糙度测量方法,其特征在于,所述特征融合,包括如下步骤:
在特征融合过程中,将特征输入到空间和通道混合注意力机制中进行进一步优化;首先,通道注意力机制通过全局平均池化和全局最大池化分别得到描述全局信息的特征图,并将这两个特征图进行逐元素加和,再通过共享的全连接层生成通道注意力权重,优化多光谱波长信息,突出关键波长对应的特征,抑制冗余信息;接下来,空间注意力机制对通道注意力优化后的特征图进行最大池化和平均池化,得到两个空间信息图,经过逐像素加和后,通过卷积层生成空间注意力权重,能够自适应调整特征图中不同空间位置的重要性;最终,通过通道和空间注意力权重的加权融合,特征图的每一部分都会得到强化或抑制,经过双重优化后,得到更具辨识力和多尺度特性的表面特征表示,有效地融合多尺度信息,突出重要的散斑、纹理和光谱特征。
6.根据权利要求1所述的一种基于多光谱激光散斑图像的粗糙度测量方法,其特征在于,所述步骤4构建多角度特征聚合模块,包括如下步骤:
通过多头自注意力机制对单角度特征提取和融合模块输出的N个角度的多光谱融合特征序列{F1,F2,…,FN}计算查询Q、键K、值V,其中FN是单角度特征提取和融合模块输出的某个角度的多光谱融合特征,然后,计算从角度j到角度i的各个特征图像之间的加权注意力分数αij,通过这些注意力权重对值Vj进行加权和,得到融合后的特征
将多角度特征聚合后的全局光照信息特征图传递给一个包含L层全连接层的多层感知机MLP进行非线性映射,通过逐层的非线性映射,MLP逐步抽象并捕捉物体表面从低级纹理、边缘信息到更复杂的形状、光照变化,以及这些信息与多角度特征之间的关系,从而提取和整合更深层次的特征。最终输出物体表面的粗糙度值r,结合粗糙度真值Ra来计算损失,并采用平滑Huber损失函数进行监督学习。
7.一种基于多光谱激光散斑图像的粗糙度测量装置,其特征在于,包括:位移台、旋转台、丝杠滑台、N种波长的激光光源、远心镜头、高分辨率工业相机以及控制系统;所述位移台安装在光学平台中央,能够沿装置使用的空间直角坐标系的Y轴和Z轴方向移动;所述旋转台安装在位移台上方,能够绕装置坐标系的Z轴旋转;所述丝杠滑台安装在实验台的固定支架上,其滑台的移动方向与空间坐标系的Y轴平行,N种波长的激光光源固定在丝杠滑台上,滑台控制系统可在不同波长的光源间快速切换,确保光源照射在工件表面的中心位置;所述远心镜头和高分辨率工业相机固定在激光光源的上方,镜头光轴垂直于被测工件的表面,并通过调整焦距以保证成像清晰;所述控制系统连接位移台、旋转台、丝杠滑台和工业相机,用于协调设备动作并采集散斑图像;
装置使用时,将被测工件固定在旋转台上,使工件的待测表面与旋转台的旋转平面重合,且待测表面的中轴与旋转台的旋转轴对齐;启动装置后,控制系统先启动位移台和旋转台,位移台移动工件在Y轴和Z轴方向的位置以覆盖不同区域,同时旋转台逐步改变激光入射角度;控制系统同步控制丝杠滑台切换光源,使不同波长的激光分别照射工件表面;工业相机与远心镜头配合工作,实时采集不同波长、不同入射角度下的激光散斑图像并将其传输至计算机进行处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202510136607.0A CN120084252A (zh) | 2025-02-07 | 2025-02-07 | 一种基于多光谱激光散斑图像的粗糙度测量方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202510136607.0A CN120084252A (zh) | 2025-02-07 | 2025-02-07 | 一种基于多光谱激光散斑图像的粗糙度测量方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN120084252A true CN120084252A (zh) | 2025-06-03 |
Family
ID=95846291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202510136607.0A Pending CN120084252A (zh) | 2025-02-07 | 2025-02-07 | 一种基于多光谱激光散斑图像的粗糙度测量方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN120084252A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN120846253A (zh) * | 2025-08-01 | 2025-10-28 | 宁波铂林轴承有限公司 | 一种轴承沟道粗糙度检测系统及检测方法 |
| CN121120518A (zh) * | 2025-08-20 | 2025-12-12 | 南昌大学第一附属医院 | 一种基于机器视觉的十二指肠镜再处理检测方法 |
| CN121682779A (zh) * | 2026-02-09 | 2026-03-17 | 广州中科飞测科技有限公司 | 光学量测模型获取方法、光学量测方法及设备、存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140049779A1 (en) * | 2012-08-20 | 2014-02-20 | Canon Kabushiki Kaisha | Determining material properties using speckle statistics |
| US20140055792A1 (en) * | 2012-08-27 | 2014-02-27 | Canon Kabushiki Kaisha | Estimating material properties using speckle statistics |
| KR20140054134A (ko) * | 2011-07-28 | 2014-05-08 | 케이엘에이-텐코 코포레이션 | 웨이퍼 상의 결함 검출 |
| CN108428231A (zh) * | 2018-03-19 | 2018-08-21 | 南京信息工程大学 | 一种基于随机森林的多参数零件表面粗糙度学习方法 |
| CN111753677A (zh) * | 2020-06-10 | 2020-10-09 | 杭州电子科技大学 | 基于特征金字塔结构的多角度遥感船舶图像目标检测方法 |
| CN115841468A (zh) * | 2022-12-01 | 2023-03-24 | 北京科技大学 | 一种基于多特征融合的带钢表面粗糙度检测方法 |
| WO2023160133A1 (en) * | 2022-02-28 | 2023-08-31 | Yixin Xu | A differential light-section line-scanning profilometry based on multi-angle projection of incoherent light sources |
| CN118009934A (zh) * | 2024-02-02 | 2024-05-10 | 惠州市双诚鑫科技有限公司 | 一种光学镜头表面粗糙度的检测方法及系统 |
| CN118644483A (zh) * | 2024-08-14 | 2024-09-13 | 深圳市常丰激光刀模有限公司 | 一种柔性电路板瑕疵检测方法及系统 |
| CN119323545A (zh) * | 2024-09-27 | 2025-01-17 | 广州和易思汇电子信息有限公司 | 基于多光源融合的表面缺陷检测方法、系统及相关产品 |
-
2025
- 2025-02-07 CN CN202510136607.0A patent/CN120084252A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140054134A (ko) * | 2011-07-28 | 2014-05-08 | 케이엘에이-텐코 코포레이션 | 웨이퍼 상의 결함 검출 |
| US20140049779A1 (en) * | 2012-08-20 | 2014-02-20 | Canon Kabushiki Kaisha | Determining material properties using speckle statistics |
| US20140055792A1 (en) * | 2012-08-27 | 2014-02-27 | Canon Kabushiki Kaisha | Estimating material properties using speckle statistics |
| CN108428231A (zh) * | 2018-03-19 | 2018-08-21 | 南京信息工程大学 | 一种基于随机森林的多参数零件表面粗糙度学习方法 |
| CN111753677A (zh) * | 2020-06-10 | 2020-10-09 | 杭州电子科技大学 | 基于特征金字塔结构的多角度遥感船舶图像目标检测方法 |
| WO2023160133A1 (en) * | 2022-02-28 | 2023-08-31 | Yixin Xu | A differential light-section line-scanning profilometry based on multi-angle projection of incoherent light sources |
| CN115841468A (zh) * | 2022-12-01 | 2023-03-24 | 北京科技大学 | 一种基于多特征融合的带钢表面粗糙度检测方法 |
| CN118009934A (zh) * | 2024-02-02 | 2024-05-10 | 惠州市双诚鑫科技有限公司 | 一种光学镜头表面粗糙度的检测方法及系统 |
| CN118644483A (zh) * | 2024-08-14 | 2024-09-13 | 深圳市常丰激光刀模有限公司 | 一种柔性电路板瑕疵检测方法及系统 |
| CN119323545A (zh) * | 2024-09-27 | 2025-01-17 | 广州和易思汇电子信息有限公司 | 基于多光源融合的表面缺陷检测方法、系统及相关产品 |
Non-Patent Citations (2)
| Title |
|---|
| XIAO HONG等: "A study of roughness detection based on attention and multi-spectral laser speckle images", 《2025 6TH INTERNATIONAL CONFERENCE ON COMPUTER VISION, IMAGE AND DEEP LEARNING》, 24 July 2025 (2025-07-24), pages 419 - 422 * |
| 吴鹏飞等: "基于激光散斑图像多特征参数的表面粗糙度建模研究", 《红外与激光工程》, vol. 52, no. 12, 31 December 2023 (2023-12-31), pages 20230348 - 1 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN120846253A (zh) * | 2025-08-01 | 2025-10-28 | 宁波铂林轴承有限公司 | 一种轴承沟道粗糙度检测系统及检测方法 |
| CN121120518A (zh) * | 2025-08-20 | 2025-12-12 | 南昌大学第一附属医院 | 一种基于机器视觉的十二指肠镜再处理检测方法 |
| CN121682779A (zh) * | 2026-02-09 | 2026-03-17 | 广州中科飞测科技有限公司 | 光学量测模型获取方法、光学量测方法及设备、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN120084252A (zh) | 一种基于多光谱激光散斑图像的粗糙度测量方法及装置 | |
| CN110111345B (zh) | 一种基于注意力网络的3d点云分割方法 | |
| CN109690749A (zh) | 用于图像融合的以卷积神经网络为基础的模式选择及缺陷分类 | |
| CN117805133B (zh) | 便携式飞机表面腐蚀缺陷的检测与评估一体化系统及方法 | |
| CN116342667B (zh) | 一种基于平面的点云配准及精度评估方法 | |
| CN120525885B (zh) | 一种基于图像处理的晶舟缺陷监测方法及系统 | |
| CN114065650B (zh) | 基于深度学习的材料裂纹尖端多尺度应变场测量跟踪方法 | |
| Yi et al. | Changeable environment visual detection of grinding surface roughness based on lightweight network | |
| KR102129069B1 (ko) | 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법 | |
| CN116593137A (zh) | 一种基于干涉仪的光学镜片质量测试方法及系统 | |
| Chen et al. | Modeling of parallel single-pixel imaging for 3D reconstruction: New insights and opportunities | |
| Chen et al. | Combining spot image denoising network and Hungarian matching algorithm: Achieving high-precision measurement of aspherical morphology | |
| CN121120579A (zh) | 一种基于多角度散射的光场表面缺陷识别系统及方法 | |
| CN119960161A (zh) | 显微图像清晰度自动优化中的离焦量获取系统、方法及装置 | |
| CN119126326B (zh) | 光学镜头自动聚焦方法及系统 | |
| CN117518462B (zh) | 光学膜片厚度自适应设计方法及系统 | |
| CN114034471A (zh) | 一种激光光路轮廓的测量方法 | |
| CN118608598A (zh) | 基于机器学习的上转换纳米粒子定位系统及定位方法 | |
| CN104729404B (zh) | 高速3d工业数字显微镜 | |
| CN116740459A (zh) | 一种联合空间特征和光谱特征的点云分类方法 | |
| Yang et al. | Innovative surface roughness detection method based on white light interference images | |
| CN120740465B (zh) | 基于光谱共焦传感器的光学平台密封胶高度在线检测系统 | |
| Hu et al. | Automatic Focusing Algorithm Based on Fully Automatic Control Microscope. | |
| CN118961551B (zh) | 一种基于共聚焦光路后焦面图像的微球颗粒位置检测方法 | |
| CN121190419B (zh) | 一种光学镜头的多维度缺陷检测方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |