CN114004826A - 一种基于视觉的医用注塑件的外观缺陷检测方法 - Google Patents

一种基于视觉的医用注塑件的外观缺陷检测方法 Download PDF

Info

Publication number
CN114004826A
CN114004826A CN202111343233.8A CN202111343233A CN114004826A CN 114004826 A CN114004826 A CN 114004826A CN 202111343233 A CN202111343233 A CN 202111343233A CN 114004826 A CN114004826 A CN 114004826A
Authority
CN
China
Prior art keywords
image
injection molded
area
medical injection
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111343233.8A
Other languages
English (en)
Other versions
CN114004826B (zh
Inventor
张立兴
毛亮
孟春婵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bokeshi Suzhou Technology Co ltd
Original Assignee
Bokeshi Suzhou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bokeshi Suzhou Technology Co ltd filed Critical Bokeshi Suzhou Technology Co ltd
Priority to CN202111343233.8A priority Critical patent/CN114004826B/zh
Publication of CN114004826A publication Critical patent/CN114004826A/zh
Application granted granted Critical
Publication of CN114004826B publication Critical patent/CN114004826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Injection Moulding Of Plastics Or The Like (AREA)

Abstract

本发明公开了一种基于视觉模板匹配结合深度学习的医用注塑件外观缺陷检测方法,包括：在环光和集光两种光源下分别对待测医用注塑件拍照成像，获取待测医用注塑件的环光图像和集光图像；使用深度学习模型对待测医用注塑件的环光图像进行缺胶、麻点以及合模线的缺陷特征检测，保存该环光图像的环光判决结果；使用模板匹配方法对待测医用注塑件的集光图像进行披锋、毛边的缺陷特征检测，输出该集光图像的集光判决结果；将环光判决结果和集光判决结果整合，全部合格时，输出该待测医用注塑件的检测结果为合格品，否则为不良品。本发明可在保证生产节拍的前提下，快速将不合格品检出，通过将两类检测结果综合评判输出，减少了对单个样品的处理时间。

Description

一种基于视觉的医用注塑件的外观缺陷检测方法
技术领域
本发明涉及计算机视觉识别技术领域，尤其涉及一种基于视觉的医用注塑件的外观缺陷检测方法。
背景技术
此注塑件用于呼吸机的吸气混合部分，作用为将输入呼吸机的空气和氧气进行混合，并保证呼吸机的气密性，是呼吸机中非常重要的零部件。目前对于注塑件检测的痛点在于存在微小的缺陷，传统的人工检测方法稳定性及效率较差。
现有技术中，Eggert等人在ACM的Improving small object proposals forcompany logo detection一文中提出了一种基于特征图上采样的候选框提取方法，他们使用高分辨率的特征图来提取小目标的候选框，一方面让候选框更接近于目标框，另一方面也通过放大特征图增强了小目标的信息。
Singh等人在IEEE的An analysis of scale invariance in object detectionsnip一文中提出通过将数据集中不同尺寸的目标划分成不同的子集，同时在网络中设计多个检测不同尺寸的检测器，然后让不同尺寸的目标分别通过网络中检测对应尺寸的检测器，从而避免了数据集中的类别不均衡问题，让小目标的检测效果更好。
Yu等人在IEEE/CVF的Scale match for tiny person detection一文中提出将目标周围的信息融合进当前目标的特征中，从而获得更好的针对小目标的特征表示，有效提升了小目标检测的效果。
现有的检测技术对于硅胶件的检测精度达不到产品的检测要求，且无法在生产节拍的时间范围内完成对硅胶件的检测。
发明内容
为解决上述技术问题，本发明实施例提供一种基于视觉的医用注塑件的外观缺陷检测方法，
一种基于视觉的医用注塑件的外观缺陷检测方法，包括如下步骤：
步骤S1：在环光和集光两种光源下分别对待测医用注塑件拍照成像，获取待测医用注塑件的环光图像和集光图像；
步骤S2：使用深度学习模型对待测医用注塑件的环光图像进行缺胶、麻点以及合模线的缺陷特征检测，保存该环光图像的环光判决结果；
步骤S3：使用模板匹配方法对待测医用注塑件的集光图像进行披锋、毛边的缺陷特征检测，输出该集光图像的集光判决结果；
步骤S4：将环光判决结果和集光判决结果整合，全部合格时，输出该待测医用注塑件的检测结果为合格品，否则为不良品。
优选地，在上述的基于视觉的医用注塑件的外观缺陷检测方法中，所述深度学习模型的预训练过程包括步骤：
步骤S21：采集医用注塑件在环光光源下的环光图像；
步骤S22：对存在麻点、缺胶、合模线缺陷的环光图像进行标注，生成缺胶、麻点以及合模线的缺陷检测数据集；
步骤S23：将所述步骤S22中生成的缺陷检测数据集作为训练数据集输入至缺陷检测网络中；
步骤S24：训练得到缺陷的种类、中心点、边界框信息；
步骤S25：输出深度学习模型。
优选地，在上述的基于视觉的医用注塑件的外观缺陷检测方法中，所述步骤S3包括：
步骤S31：选取合格医用注塑件样品在集光光源下拍照成像，获取一张合格医用注塑件的模板图像，标注模板图像中的特征点；
步骤S32：按顺序标注出待测医用注塑件的集光图像上与模板图像中的特征点一致的特征点；
步骤S33：对模板图像进行两次仿射变换，将得到的仿射变换图像与集光图像进行作差，得到两幅差分图像，然后对两幅差分图像取与；
步骤S34：对取与后的图像的各个区域进行连通域分析，过滤掉面积较小的区域；
步骤S35：通过面积过滤后的图像区域分别进行前景面积、轮廓相似度、梯度的计算；
步骤S36：综合判断计算后的值是否大于阈值，如果是，则将此部分作为缺陷特征输出，否则进行下一区域的判断。
优选地，在上述的基于视觉的医用注塑件的外观缺陷检测方法中，在所述步骤S31中，在标注模板图像中的特征点之前，还包括对所述模板图像的图像预处理，对所述模板图像的图像预处理包括：
对获取到的所述模板图像进行ROI区域提取，以减小图像大小，加快后续的处理速度。
优选地，在上述的基于视觉的医用注塑件的外观缺陷检测方法中，在所述步骤S32中，在标注待测医用注塑件的集光图像上的特征点之前，还包括对所述集光图像的图像预处理，对所述集光图像的图像预处理包括：
对获取到的所述待测医用注塑件的集光图像进行ROI区域提取，将所述集光图像的尺寸缩放到与所述模板图像的尺寸一致。
优选地，在上述的基于视觉的医用注塑件的外观缺陷检测方法中，在所述步骤S31中，所述标注模板图像中的特征点，包括：
标注模板图像的8个特征点的质心点，按照质心坐标的x值进行编号排序，将8个质心点分为两组。
优选地，在上述的基于视觉的医用注塑件的外观缺陷检测方法中，在所述步骤S32中，所述按顺序标注出待测医用注塑件的集光图像上与模板图像中的特征点一致的特征点，包括：
标注待测医用注塑件的集光图像的8个特征点的质心点，并按照与模板图像中的8个质心点相同的顺序，对集光图像的8个质心点进行编号，并分为两组。
优选地，在上述的基于视觉的医用注塑件的外观缺陷检测方法中，在所述步骤S33中，所述对模板图像进行两次仿射变换，包括：
使用两组对应的质心点，将模板图像进行两次仿射变换，得到仿射变换图像。
优选地，在上述的基于视觉的医用注塑件的外观缺陷检测方法中，在所述步骤S34中，所述对取与后的图像的各个区域进行连通域分析，过滤掉面积较小的区域，包括：
对取与后的图像的各个区域进行连通域分析，找出连通域面积大于5的区域，过滤掉面积小于5的区域。
优选地，在上述的基于视觉的医用注塑件的外观缺陷检测方法中，在所述步骤S35中，所述通过面积过滤后的图像区域进行前景面积计算，包括：
进行前景面积搜索，找出前景面积最大的区域，将模板图像和待测医用
注塑件的集光图像的该区域进行截取；
根据计算比较模板图像和待测医用注塑件的集光图像的Hu不变矩，其中，7个不变矩组表示如下：
I1＝y20+y02 (1)
Figure BDA0003352894630000041
I3＝(y30+3y)2+(3y21-y03)2 (3)
I4＝(y30+y12)2+(y21+y03)2 (4)
Figure BDA0003352894630000042
I6＝(y20-y02)[(y30+y12)2-(y21+y03)2]+4y11(y30+y12)(y21+y03) (6)
Figure BDA0003352894630000043
其中,ypq为(p+q)阶矩，p、q为0-3之间的整数，I1-I7为7个不变矩。
优选地，在上述的基于视觉的医用注塑件的外观缺陷检测方法中，在所述步骤S35中，所述通过面积过滤后的图像区域进行轮廓相似度的计算，轮廓相似度的计算表达式为：
Figure BDA0003352894630000051
其中，
Figure BDA0003352894630000052
分别是图像A，B的Hu矩。
优选地，在上述的基于视觉的医用注塑件的外观缺陷检测方法中，在所述步骤S35中，所述通过面积过滤后的图像区域进行梯度计算，梯度计算的表达式为：
Figure BDA0003352894630000053
Figure BDA0003352894630000054
Figure BDA0003352894630000055
其中，G(x,y)为坐标为(x,y)点的灰度值，Gx(x,y)为x方向梯度，Gy(x,y)为y方向梯度，
Figure BDA0003352894630000056
为点(x,y)处的梯度值，θ(x,y)为梯度方向。
优选地，在上述的基于视觉的医用注塑件的外观缺陷检测方法中，在所述步骤S36中，所述综合判断计算后的值是否大于阈值，如果是，则将此部分作为缺陷特征输出，否则进行下一区域的判断，包括：
步骤S361：根据所述步骤S35中计算出的前景面积值进行判断，如果前景面积大于所设置的阈值，则该区域判为缺陷，否则判断轮廓相似度；
步骤S362：若轮廓相似度小于设置的阈值，则将该区域进行剔除；
步骤S363：根据轮廓相似度与梯度之和作为判决条件，如果大于阈值，则该位置判定为缺陷区域；
步骤S364：在得到所有可能为缺陷区域的位置后，计算候选框区域的质心到注塑件质心的距离，并以此判断候选区域的位置，对于候选区域在外边缘的区域，放宽判决条件，若最终存在缺陷区域，则输出该集光图像的集光判决结果为不合格，否则输出该集光图像的集光判决结果为合格。
本发明的有益效果为：本发明提出的基于视觉的医用注塑件的外观缺陷检测方法在保证流水线进行快速生产的情况下，可以对医用注塑件的进行快速准确的检测。采用的深度学习搭配模板匹配的算法模型，解决了传统方法无法在短时间内对全部样品进行多种缺陷检测的问题，对于单个样品的处理时间只需600ms，完全满足流水线生产的节拍要求，提高产线的自动化程度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程图；
图2为本发明的医用注塑件的拍照结构主视图；
图3为本发明的医用注塑件在玻璃载具上的俯视图；
图4为本发明的合格品医用注塑件的集光图像；
图5为本发明具有毛边的不良品医用注塑件的集光图像；
图6为本发明具有披锋的不良品医用注塑件的集光图像；
图7为本发明的合格品医用注塑件的环光图像；
图8为本发明具有合模不良的不良品医用注塑件的环光图像；
图9为本发明具有麻点的不良品医用注塑件的环光图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
医用注塑件的缺陷类型可以抽象分为形态类和纹理类。光学成像方案分别针对这两种缺陷种类进行环光和集光两种方式拍摄。
对于形态类的缺陷，主要表现为毛边和披锋，这些缺陷会在一定程度上改变注塑件的形态，使用集光进行成像拍摄，可以达到很好的表现注塑件的形态特征，而淡化其他特征的效果，有助于降低算法处理中的匹配误差，提高检测的精度，解决微小缺陷漏检的问题。
对于纹理类的缺陷，主要表现为麻点和合模线，使用环光进行拍摄，能够在成像中进行良好的细节呈现，可以优化深度学习模型对于注塑件特征信息的提取能力，提高模型判断的准确性，并精确的标记出缺陷所在的位置，方便检测人员进行缺陷观察，更好的指导生产的改进。
采用环光和集光两种打光方式的相互配合，在成像中最大程度的还原了医用注塑件的形态特征及纹理特征，对两种打光下的图片进行分线程处理，再综合判断，这样不仅提高了检测的速度，而且保证了对缺陷的准确检出，完全满足医用注塑件的生产检测需求，大大提高了生产的自动化程度。
请参见图1，本发明提出了一种基于视觉的医用注塑件的外观缺陷检测方法，包括如下步骤：
步骤S1：玻璃载具1沿着设定方向移动，当待测医用注塑件2移动至预设位置时，首先待测医用注塑件2上方的侧向低角度环形光源3(环光光源)打开，对待测医用注塑件2进行环光拍摄；然后关闭侧向低角度环形光源3，打开底部平行集光源4(集光光源)，对待测医用注塑件2进行集光拍摄。由此得到待测医用注塑件2在两种光源下的成像效果图，分别为环光图像和集光图像；
步骤S2：在环光下可以将待测医用注塑件2的表面缺陷清晰的显示出来，存在缺陷的区域与正常区域存在较大的纹理性差别，使用深度学习模型对待测医用注塑件2的环光图像进行缺胶、麻点以及合模线的缺陷特征检测，存在缺陷的位置，会在图片中用矩形框进行框选显示，保存该环光图像的环光判决结果；
步骤S3：使用模板匹配方法对待测医用注塑件2的集光图像进行披锋、毛边的缺陷特征检测。找出待测医用注塑件2的8个孔的质心，按横坐标按从小到大进行排序。然后将修正后的检测图像与制作的标准模板图像进行差分，存在毛边及披锋的位置在差分后会出现一定面积的白色区域。对这些白色区域进行逐步分析，计算这些区域的面积，梯度，相似度等参数。如果所有区域参数都没有超过设定条件，则该待测医用注塑件2被判合格，否则判为不合格，对于存在缺陷的位置，在最终显示的图中会使用矩形框进行框选显示，输出该集光图像的判决结果；
步骤S4：将环光判决结果和集光判决结果整合，全部合格时，输出该待测医用注塑件2的检测结果为合格品，否则为不良品。
如图2和图3所示，图2为本发明的待测医用注塑件2的拍照结构主视图，其中，待测医用注塑件2(产品)分布在高透光玻璃1上，高透光玻璃1设在高透光玻璃载具5上，可沿着直线方向移动。高透光玻璃1的上方设置相机6，通过相机6对下方经过的待测医用注塑件2(产品)进行拍照。其中，高透光玻璃1正下方设置底部平行集光源4(集光光源)，为待测医用注塑件2(产品)提供集光光源。在高透光玻璃1的上方，位于待测医用注塑件2(产品)的上方周侧，设有环向围绕的侧向低角度环形光源3(环光光源)，通过该侧向低角度环形光源3可为待测医用注塑件2(产品)提供环光光源。
具体地，玻璃载具5沿着设定方向移动，当待测医用注塑件2(产品)移动至预设位置时，首先待测医用注塑件2(产品)上方的侧向低角度环形光源3打开，对经过的待测医用注塑件2(产品)进行环光拍摄，用于麻点、合模线、缺胶的检测。然后，关闭侧向低角度环形光源3，打开玻璃载具5下方的底部平行集光源4，对经过的待测医用注塑件2(产品)进行集光拍摄，用于毛边和披锋的检测。
其中，图4所示为集光光源下的合格品医用注塑件，图5为具有毛边的不良品医用注塑件的集光图像，图6为具有披锋的不良品医用注塑件的集光图像，图7所示为为环光图像下的合格品医用注塑件，图8为具有合模不良的不良品医用注塑件的环光图像，图9为具有麻点的不良品医用注塑件的环光图像。
进一步地，在本发明的优选实施中，所述深度学习模型的预训练过程包括步骤：
步骤S21：采集医用注塑件在环光光源下的环光图像，挑选出存在缺陷的图像；
步骤S22：对存在麻点、缺胶、合模线缺陷的环光图像利用labelimg软件进行标注，将存在缺陷的位置利用矩形框进行框出，软件可以自动生成.xml文件保存标注信息，这样就可以生成缺胶、麻点以及合模线的缺陷检测数据集；
步骤S23：将所述步骤S22中生成的缺陷检测数据集作为训练数据集输入至缺陷检测网络中，网络会根据标注的位置及标注的缺陷种类对网络参数进行优化；
步骤S24：经过训练模型会得到数据集缺陷的种类、边界框及置信度信息；
步骤S25：将训练好的权重文件、缺陷名称、网络结构信息作为输出文件，输出深度学习模型。
进一步地，在本发明的优选实施中，所述步骤S3包括：
步骤S31：选取合格医用注塑件样品在集光光源下拍照成像，获取一张合格医用注塑件的模板图像，标注模板图像中的特征点，用于检测时与待检样品图像进行比对；
步骤S32：按顺序标注出待测医用注塑件的集光图像上与模板图像中的特征点一致的特征点，计算得到图像中8个孔的质心位置，按坐标次序对8个孔的质心进行编号，将质心点分为两组，分别与模板图中对应编号的质心进行对应匹配。
步骤S33：利用两组质心匹配，对模板图像进行两次仿射变换，将得到的仿射变换图像与集光图像进行作差，得到两幅差分图像，然后对两幅差分图像取与，得到待检图像与标准模板图像存在不同的区域；
步骤S34：对取与后的图像的各个区域进行连通域分析，计算每个连通域的面积，根据缺陷的尺寸要求，设置筛选的阈值，过滤掉面积较小的区域；
步骤S35：通过面积过滤后的图像区域分别进行前景面积、轮廓相似度、梯度的计算；
步骤S36：综合设计判决器，判断计算后的值是否大于设定阈值，如果是，则将此部分作为缺陷特征输出，否则进行下一区域的判断，直至将所有连通域分析完毕，若不存在缺陷区域，将此待检品判为合格，否则判为不合格品。
进一步地，在本发明的优选实施中，在所述步骤S31中，在标注模板图像中的特征点之前，还包括对所述模板图像的图像预处理，对所述模板图像的图像预处理包括：
对获取到的所述模板图像寻找注塑件的位置，然后以注塑件最小外接矩形作为基础，四条边各向外扩展50各像素，作为图像的ROI区域，进行ROI区域提取，以减小图像大小，加快后续的处理速度。
进一步地，在本发明的优选实施中，在所述步骤S32中，在标注待测医用注塑件的集光图像上的特征点之前，还包括对所述集光图像的图像预处理，对所述集光图像的图像预处理包括：
对获取到的所述待测的集光图像寻找注塑件的位置，然后以注塑件最小外接矩形作为基础，四条边各向外扩展50各像素，作为图像的ROI区域，进行ROI区域提取，将所述集光图像的尺寸缩放到与所述模板图像的尺寸一致。
进一步地，在本发明的优选实施中，在所述步骤S31中，所述标准模板图像中的特征点，包括：
提取标准模板图像的8个孔的的质心点，按照质心坐标的x值进行编号排序，将8个质心点分为两组。
进一步地，在本发明的优选实施中，在所述步骤S32中，所述按顺序标注出待测医用注塑件的集光图像上与模板图像中的特征点一致的特征点，包括：
标注待测医用注塑件的集光图像的8个特征点的质心点，并按照与模板图像中的8个质心点相同的顺序，对集光图像的8个质心点进行编号，并分为两组。
进一步地，在本发明的优选实施中，在所述步骤S33中，所述对模板图像进行两次仿射变换，包括：
使用两组对应的质心点，将编号相同的模板图与待检图进行对应，对模板图像进行两次仿射变换，得到仿射变换图像，然后将模板图与待检图进行两次作差，再取与，就得到两张图像存在差异的区域。
进一步地，在本发明的优选实施中，在所述步骤S34中，所述对取与后的图像的各个区域进行连通域分析，过滤掉面积较小的区域，包括：
对取与后的图像的各个区域进行连通域分析，计算每个连通域的面积大小，找出连通域面积大于5的区域，过滤掉面积小于5的区域。
进一步地，在本发明的优选实施中，在所述步骤S35中，所述通过面积过滤后的图像区域进行前景面积计算，包括：
进行前景面积搜索，找出前景面积最大的区域，然后将模板图像和待测医用注塑件的集光图像的该区域进行截取，提取此区域的轮廓信息，根据以下公式计算两幅图像轮廓的相似度及梯度等信息，作为判决基础。
根据计算比较模板图像和待测医用注塑件的集光图像的Hu不变矩，其中，7个不变矩组表示如下：
I1＝y20+y02 (1)
Figure BDA0003352894630000111
I3＝(y30+3y)2+(3y21-y03)2 (3)
I4＝(y30+y12)2+(y21+y03)2 (4)
Figure BDA0003352894630000112
I6＝(y20-y02)[(y30+y12)2-(y21+y03)2]+4y11(y30+y12)(y21+y03) (6)
Figure BDA0003352894630000121
其中,ypq为(p+q)阶矩，p、q为0-3之间的整数，I1-I7为7个不变矩。
优选地，在上述的基于视觉的医用注塑件的外观缺陷检测方法中，在所述步骤S35中，所述通过面积过滤后的图像区域进行轮廓相似度的计算，轮廓相似度的计算表达式为：
Figure BDA0003352894630000122
其中，
Figure BDA0003352894630000123
分别是图像A，B的Hu矩。
进一步地，在本发明的优选实施中，在所述步骤S35中，所述通过面积过滤后的图像区域进行梯度计算，梯度计算的表达式为：
Figure BDA0003352894630000124
Figure BDA0003352894630000125
Figure BDA0003352894630000126
其中，G(x,y)为坐标为(x,y)点的灰度值，Gx(x,y)为x方向梯度，Gy(x,y)为y方向梯度，
Figure BDA0003352894630000127
为点(x,y)处的梯度值，θ(x,y)为梯度方向。
进一步地，在本发明的优选实施中，在所述步骤S36中，所述综合判断计算后的值是否大于阈值，如果是，则将此部分作为缺陷特征输出，否则进行下一区域的判断，包括：
步骤S361：根据所述步骤S35中计算出的前景面积值进行判断，如果前景面积大于所设置的阈值，则该区域判为缺陷，否则判断轮廓相似度；
步骤S362：若轮廓相似度小于设置的阈值，则将该区域进行剔除；
步骤S363：根据轮廓相似度与梯度之和作为判决条件，如果大于阈值，则该位置判定为缺陷区域；
步骤S364：在得到所有可能为缺陷区域的位置后，计算候选框区域的质心到注塑件质心的距离，并以此判断候选区域的位置，对于候选区域在外边缘的区域，放宽判决条件，若最终存在缺陷区域，则输出该集光图像的集光判决结果为不合格，否则输出该集光图像的集光判决结果为合格。
本发明的有益效果为：本发明提出的基于视觉的医用注塑件的外观缺陷检测方法在保证流水线进行快速生产的情况下，可以对医用注塑件的进行快速准确的检测。采用的深度学习搭配模板匹配的算法模型，解决了传统方法无法在短时间内对全部样品进行多种缺陷检测的问题，对于单个样品的处理时间只需600ms，完全满足流水线生产的节拍要求，提高产线的自动化程度。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (13)

1.一种基于视觉的医用注塑件的外观缺陷检测方法，其特征在于，包括如下步骤：
步骤S1：在环光和集光两种光源下分别对待测医用注塑件拍照成像，获取待测医用注塑件的环光图像和集光图像；
步骤S2：使用深度学习模型对待测医用注塑件的环光图像进行缺胶、麻点以及合模线的缺陷特征检测，保存该环光图像的环光判决结果；
步骤S3：使用模板匹配方法对待测医用注塑件的集光图像进行披锋、毛边的缺陷特征检测，输出该集光图像的集光判决结果；
步骤S4：将环光判决结果和集光判决结果整合，全部合格时，输出该待测医用注塑件的检测结果为合格品，否则为不良品。
2.根据权利要求1所述的基于视觉的医用注塑件的外观缺陷检测方法，其特征在于，所述深度学习模型的预训练过程包括步骤：
步骤S21：采集医用注塑件在环光光源下的环光图像；
步骤S22：对存在麻点、缺胶、合模线缺陷的环光图像进行标注，生成缺胶、麻点以及合模线的缺陷检测数据集；
步骤S23：将所述步骤S22中生成的缺陷检测数据集作为训练数据集输入至缺陷检测网络中；
步骤S24：训练得到缺陷的种类、中心点、边界框信息；
步骤S25：输出深度学习模型。
3.根据权利要求1所述的基于视觉的医用注塑件的外观缺陷检测方法，其特征在于，所述步骤S3包括：
步骤S31：选取合格医用注塑件样品在集光光源下拍照成像，获取一张合格医用注塑件的模板图像，标注模板图像中的特征点；
步骤S32：按顺序标注出待测医用注塑件的集光图像上与模板图像中的特征点一致的特征点；
步骤S33：对模板图像进行两次仿射变换，将得到的仿射变换图像与集光图像进行作差，得到两幅差分图像，然后对两幅差分图像取与；
步骤S34：对取与后的图像的各个区域进行连通域分析，过滤掉面积较小的区域；
步骤S35：通过面积过滤后的图像区域分别进行前景面积、轮廓相似度、梯度的计算；
步骤S36：综合判断计算后的值是否大于阈值，如果是，则将此部分作为缺陷特征输出，否则进行下一区域的判断。
4.根据权利要求3所述的基于视觉的医用注塑件的外观缺陷检测方法，其特征在于，在所述步骤S31中，在标注模板图像中的特征点之前，还包括对所述模板图像的图像预处理，对所述模板图像的图像预处理包括：
对获取到的所述模板图像进行ROI区域提取，以减小图像大小，加快后续的处理速度。
5.根据权利要求3所述的基于视觉的医用注塑件的外观缺陷检测方法，其特征在于，在所述步骤S32中，在标注待测医用注塑件的集光图像上的特征点之前，还包括对所述集光图像的图像预处理，对所述集光图像的图像预处理包括：
对获取到的所述待测医用注塑件的集光图像进行ROI区域提取，将所述集光图像的尺寸缩放到与所述模板图像的尺寸一致。
6.根据权利要求3所述的基于视觉的医用注塑件的外观缺陷检测方法，其特征在于，在所述步骤S31中，所述标注模板图像中的特征点，包括：
标注模板图像的8个特征点的质心点，按照质心坐标的x值进行编号排序，将8个质心点分为两组。
7.根据权利要求6所述的基于视觉的医用注塑件的外观缺陷检测方法，其特征在于，在所述步骤S32中，所述按顺序标注出待测医用注塑件的集光图像上与模板图像中的特征点一致的特征点，包括：
标注待测医用注塑件的集光图像的8个特征点的质心点，并按照与模板图像中的8个质心点相同的顺序，对集光图像的8个质心点进行编号，并分为两组。
8.根据权利要求7所述的基于视觉的医用注塑件的外观缺陷检测方法，其特征在于，在所述步骤S33中，所述对模板图像进行两次仿射变换，包括：
使用两组对应的质心点，将模板图像进行两次仿射变换，得到仿射变换图像。
9.根据权利要求3所述的基于视觉的医用注塑件的外观缺陷检测方法，其特征在于，在所述步骤S34中，所述对取与后的图像的各个区域进行连通域分析，过滤掉面积较小的区域，包括：
对取与后的图像的各个区域进行连通域分析，找出连通域面积大于5的区域，过滤掉面积小于5的区域。
10.根据权利要求3所述的基于视觉的医用注塑件的外观缺陷检测方法，其特征在于，在所述步骤S35中，所述通过面积过滤后的图像区域进行前景面积计算，包括：
进行前景面积搜索，找出前景面积最大的区域，将模板图像和待测医用注塑件的集光图像的该区域进行截取；
根据计算比较模板图像和待测医用注塑件的集光图像的Hu不变矩，其中，7个不变矩组表示如下：
I1＝y20+y02 (1)
Figure FDA0003352894620000031
I3＝(y30+3y)2+(3y21-y03)2 (3)
I4＝(y30+y12)2+(y21+y03)2 (4)
Figure FDA0003352894620000032
I6＝(y20-y02)[(y30+y12)2-(y21+y03)2]+4y11(y30+y12)(y21+y03) (6)
Figure FDA0003352894620000041
其中,ypq为(p+q)阶矩，p、q为0-3之间的整数，I1-I7为7个不变矩。
11.根据权利要求10所述的基于视觉的医用注塑件的外观缺陷检测方法，其特征在于，在所述步骤S35中，所述通过面积过滤后的图像区域进行轮廓相似度的计算，轮廓相似度的计算表达式为：
Figure FDA0003352894620000042
其中，
Figure FDA0003352894620000043
分别是图像A，B的Hu矩。
12.根据权利要求10所述的基于视觉的医用注塑件的外观缺陷检测方法，其特征在于，在所述步骤S35中，所述通过面积过滤后的图像区域进行梯度计算，梯度计算的表达式为：
Figure FDA0003352894620000044
Figure FDA0003352894620000045
Figure FDA0003352894620000046
其中，G(x,y)为坐标为(x,y)点的灰度值，Gx(x,y)为x方向梯度，Gy(x,y)为y方向梯度，
Figure FDA0003352894620000047
为点(x,y)处的梯度值，θ(x,y)为梯度方向。
13.根据权利要求3所述的基于视觉的医用注塑件的外观缺陷检测方法，其特征在于，在所述步骤S36中，所述综合判断计算后的值是否大于阈值，如果是，则将此部分作为缺陷特征输出，否则进行下一区域的判断，包括：
步骤S361：根据所述步骤S35中计算出的前景面积值进行判断，如果前景面积大于所设置的阈值，则该区域判为缺陷，否则判断轮廓相似度；
步骤S362：若轮廓相似度小于设置的阈值，则将该区域进行剔除；
步骤S363：根据轮廓相似度与梯度之和作为判决条件，如果大于阈值，则该位置判定为缺陷区域；
步骤S364：在得到所有可能为缺陷区域的位置后，计算候选框区域的质心到注塑件质心的距离，并以此判断候选区域的位置，对于候选区域在外边缘的区域，放宽判决条件，若最终存在缺陷区域，则输出该集光图像的集光判决结果为不合格，否则输出该集光图像的集光判决结果为合格。
CN202111343233.8A 2021-11-13 2021-11-13 一种基于视觉的医用注塑件的外观缺陷检测方法 Active CN114004826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111343233.8A CN114004826B (zh) 2021-11-13 2021-11-13 一种基于视觉的医用注塑件的外观缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111343233.8A CN114004826B (zh) 2021-11-13 2021-11-13 一种基于视觉的医用注塑件的外观缺陷检测方法

Publications (2)

Publication Number Publication Date
CN114004826A true CN114004826A (zh) 2022-02-01
CN114004826B CN114004826B (zh) 2024-11-05

Family

ID=79929008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111343233.8A Active CN114004826B (zh) 2021-11-13 2021-11-13 一种基于视觉的医用注塑件的外观缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114004826B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115452844A (zh) * 2022-11-11 2022-12-09 广东海洋大学 一种基于机器视觉的注塑件检测方法及系统
CN115471684A (zh) * 2022-08-18 2022-12-13 武汉理工大学 注塑工件模板匹配方法、电子设备及存储介质
CN116597225A (zh) * 2023-05-30 2023-08-15 常州市升越模塑股份有限公司 一种镂空注塑件的拔模缺陷检测方法及系统
CN118721649A (zh) * 2024-06-25 2024-10-01 荆州市悠进电装有限公司 一种基于人工智能的家电注塑件性能检测系统
CN121540727A (zh) * 2026-01-19 2026-02-17 中国计量大学 一种基于双机械臂协同作业的注塑件缺陷检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636772A (zh) * 2018-10-25 2019-04-16 同济大学 基于深度学习的不规则形状金属加工表面的缺陷检测方法
CN111369545A (zh) * 2020-03-10 2020-07-03 创新奇智(重庆)科技有限公司 边缘缺陷检测方法、装置、模型、设备及可读存储介质
WO2020248439A1 (zh) * 2019-06-11 2020-12-17 江苏农林职业技术学院 一种基于图像处理的皇冠盖表面缺陷在线检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636772A (zh) * 2018-10-25 2019-04-16 同济大学 基于深度学习的不规则形状金属加工表面的缺陷检测方法
WO2020248439A1 (zh) * 2019-06-11 2020-12-17 江苏农林职业技术学院 一种基于图像处理的皇冠盖表面缺陷在线检测方法
CN111369545A (zh) * 2020-03-10 2020-07-03 创新奇智(重庆)科技有限公司 边缘缺陷检测方法、装置、模型、设备及可读存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471684A (zh) * 2022-08-18 2022-12-13 武汉理工大学 注塑工件模板匹配方法、电子设备及存储介质
CN115452844A (zh) * 2022-11-11 2022-12-09 广东海洋大学 一种基于机器视觉的注塑件检测方法及系统
CN115452844B (zh) * 2022-11-11 2023-02-03 广东海洋大学 一种基于机器视觉的注塑件检测方法及系统
CN116597225A (zh) * 2023-05-30 2023-08-15 常州市升越模塑股份有限公司 一种镂空注塑件的拔模缺陷检测方法及系统
CN116597225B (zh) * 2023-05-30 2023-11-03 常州市升越模塑股份有限公司 一种镂空注塑件的拔模缺陷检测方法及系统
CN118721649A (zh) * 2024-06-25 2024-10-01 荆州市悠进电装有限公司 一种基于人工智能的家电注塑件性能检测系统
CN121540727A (zh) * 2026-01-19 2026-02-17 中国计量大学 一种基于双机械臂协同作业的注塑件缺陷检测方法

Also Published As

Publication number Publication date
CN114004826B (zh) 2024-11-05

Similar Documents

Publication Publication Date Title
CN114004826A (zh) 一种基于视觉的医用注塑件的外观缺陷检测方法
CN111650220B (zh) 一种基于视觉的图文缺陷检测方法
CN105067638B (zh) 基于机器视觉的轮胎胎膜表面字符缺陷检测方法
CN106952258B (zh) 一种基于梯度方向直方图的瓶口缺陷检测方法
CN111598856B (zh) 基于缺陷导向多点定位神经网络的芯片表面缺陷自动检测方法及系统
CN111275697B (zh) 一种基于orb特征匹配和lk光流法的电池丝印质量检测方法
CN112508826A (zh) 一种基于特征配准及梯度形状匹配融合的印刷品缺陷检测方法
CN110321815A (zh) 一种基于深度学习的道路裂缝识别方法
CN112257676A (zh) 一种指针式仪表读数方法、系统以及巡检机器人
CN109900711A (zh) 基于机器视觉的工件缺陷检测方法
CN110175982A (zh) 一种基于目标检测的缺陷检测方法
CN107389701A (zh) 一种基于图像的pcb表观缺陷自动检测系统及方法
CN104392240A (zh) 一种基于多特征融合的寄生虫虫卵识别方法
CN108491788A (zh) 一种用于财务报表单元格的智能提取方法及装置
CN114549446A (zh) 一种基于深度学习的气缸套缺陷标检测方法
CN110363196B (zh) 一种倾斜文本的文字精准识别的方法
CN113205099A (zh) 一种镀镍金属表面去料字符视觉检测系统及方法
CN116091505B (zh) 一种蓝宝石衬底自动缺陷检测分类的方法和系统
CN110490826B (zh) 一种照相机中雾滴样本图像处理方法
CN108844961A (zh) 一种温控器壳体视觉检测系统及方法
CN108022245B (zh) 基于面线基元关联模型的光伏面板模板自动生成方法
CN111852792A (zh) 一种基于机器视觉的风机叶片缺陷自诊断定位方法
CN119919410B (zh) 用于o型圈尺寸测量和外观检测的方法
CN110659637A (zh) 一种结合深度神经网络和sift特征的电能表示数与标签自动识别方法
CN118865426A (zh) 一种机场行李标签的关键信息提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant