CN102353683A - 一种基于机器视觉的电纸书外观及装配检测设备及检测方法 - Google Patents

Abstract

本发明公开了一种电纸书外观缺陷及装配检测设备。该设备的检测过程采用3段式在线检测，分段的间隙进行产品背面检测；检测软件基于模式识别算法进行污染、划痕、缺件、装配错误等需求的检查。本发明定义的电纸书检测设备通过传感器，将电纸书的位置传送给相机触发采图，并根据所采图像进行后台分析。该设备的设计，保证检测过程自动化流程，检测状态可监控，根据检测结果对产品进行合格\不合格分类。使用本发明公开的电纸书检测设备可以得到客观、精确的检测。此外，该设备操作方便易懂，不需要专业技能也能精准地检测出电纸书的缺陷，能有效地防止了人为主观因素的判断所造成的纰漏，有利于提高员工的工作效率和企业的经济效益。

Description

一种基于机器视觉的电纸书外观及装配检测设备及检测方法

技术领域

本发明属于检测设备技术领域，具体涉及到对电纸书的外观及装配进行微观自动扫描和检测，应用于机器视觉领域进行自动扫描和检测电纸书外观的缺陷及装配错误，具有自动传送、自动检测、自动分类的功能，可对电纸书产品进行全面无误的污染、划痕、缺件、装配错误等多方面的检测，并根据电纸书的检测结果进行合格与不合格的分类。。

背景技术

随着信息时代的来临，人们也步入″大文化媒体编辑″时代，更宽广的文化背景，更多样化的媒体不断改变整个社会的生活方式。电纸书具备集成内容全面、传播快速便捷等优点的数字出版以传统出版所没有的优势，在短时间内得到了飞速的发展。

电纸书的飞速发展拉动了电纸书生产厂家的生产供应量，但是一般电子行业的质量检测都是品保部专门的工作人员，通过人的肉眼识别的，由于自身身体状况、外界环境等诸多因素的影响，检测过程中难免会出现失误，而且效率低且精度不高，造成不合格产品流出，这样客户在使用时就会出现问题，造成各项资源损失。因此人工视觉质量检测受到各种客观因素的影响，具有一定的局限性，这一问题展现在眼前。

随着科学技术的迅猛发展，高效率、高精度质量检测机器视觉应运而生。而基于机器视觉系统的电纸书外观及装配检测设备的出现就可以解决这一难题。不仅可以确保产品的质量，还可以为企业节省大量的人力，物力，提高经济效益。

发明内容

解决传统的人为检验电纸书外观缺陷存在的判断标准受熟练程度影响，疲劳状态下的误判增多和不同时段的判断差异等问题，本发明公开了一种电纸书外观及装配检测设备，采集电纸书的实体图像，以及基于电纸书制成品的一种有无缺陷鉴定方法，本发明推动电纸书外观检测方法的升级，向客观、准确、易用的方向发展。

本发明的电纸书及装配检测设备通过模式识别算法进行污染、划痕、缺件、装配错误等需求的检查，从多角度安装检测相机以确保所采图像的清晰完整性，从而保证了检测的无误性。操作员可以使用该设备在在线模式下对电纸书的缺陷进行实时检测，并可在离线模式下进行程式制作。检测过程为传送过程中自动检测，流水线式工作。这大大提高了检测效率和产线产能。

本发明采用的技术方案具体如下：

一种电纸书外观检测设备，该检测设备包括控制系统、传感器、光源、基于传输带的传送系统以及多个相机，其特征在于：

待检测电纸书为运动中检测，一直在传输带上传送；

在第一段传输带(C1)和第二段传输带(C2)之间空隙的正下方安装第1相机和辅助摄像的光源、以及第2传感器，所述第2传感器用于判断待检测电纸书是否到达第1相机对应的图像采集位置，该第1相机用于采集电纸书背面图像；

在第二段传输带(C2)入口处安装第2相机和相应的辅助光源、以及第2传感器，所述第2传感器用于判断待检测电纸书是否到达第2相机对应的图像采集位置，该第二段传输带(C2)入口处安装的第2相机用于采集电纸书正面图像；

在第二段传输带(C2)的后半段安装第3相机和辅助光源、以及第3传感器，所述第3传感器用于判断待检测电纸书是否到达第3相机对应的图像采集位置，该第3相机用于采集电纸书的屏幕与固定片之间的图像；各传感器的输出端连接至所述控制系统的输入端，用于将待检测电纸书是否已到达相应的图像采集位置信号传送给所述控制系统；

在第三段传输带(C3)上还安装第4传感器用于感知检测后的待检测电纸书的位置；

所述控制系统的输出端分别与各相机以及传送系统的电机驱动装置相连，当控制系统接收到相应传感器上传的待检测电纸书到达相应的图像采集位置信号时，所述控制系统向传送系统的电机驱动装置输出控制信号调整所述传输带的速度，并控制各相应相机对待检测电纸书的背面或正面或电纸书的屏幕与固定片之间图像的采集；

所述控制系统还通过光源控制器控制各光源，在图像采集时进行调光，以保证相机采图时光源充足；

所述各相机在采图同时将所采集的电纸书图像输入到控制系统中进行外观验证和判断，检测后将检测结果及图像分别进行存储。

本发明还同时公开了一种基于上述电纸书外观检测设备的检测方法，其特征在于，所述方法包括以下步骤：

(1)所述检测设备启动进入检测模式后，监控线程开始启动：

(2)待检测电纸书到达第一段传输带(C1)入口处，所述检测设备准备检测；

(3)待检测电纸书到达第一段传输带(C1)出口处，准备电纸书的背面检测；

(4)待检测电纸书到达第二段传输带(C2)入口处，对待检测电纸书开始背面检测、正面检测和侧面检测；

(5)待检测电纸书到达第二段传输带(C2)出口处，传感器触发相机所采集的图像信息将通过IO卡传至控制系统进行算法检验，从而对电纸书检测结果判断；

(6)待检测电纸书到达第三段传输带(C3)入口处，若检测为不合格，则移动至第三段传输带(C3)不合格端口进行卸载；若为合格，在移动到第三段传输带(C3)合格端口进行卸载。

本发明定义的电纸书外观缺陷及装配检测设备使用简便、易操作、可靠性高。该设备操作方便易懂，检测项目全面化，多样化，不需要专业技能也能精准地检测出电纸书的缺陷，能有效地防止了人为主观因素的判断所造成的纰漏，有利于提高员工的工作效率和企业的经济效益。

附图说明

图1是本发明设备的整体结构示意图；

图2是本发明的背面检测设计图；

图3是本发明的正面检测设计图；

图4是本发明中判断产品合格/不合格的运行图；

图5是本发明检测设备的在线运行状态转换图；

图6是本发明检测方法的简要流程图。

具体实施方式

下面根据说明书附图并结合优选实施例对本发明的技术方案作进一步详细说明。

如附图1所示，所述检测设备包括控制系统、基于3段传输带的传送系统以及安装在三段(C1、C2、C3)传输带上的多个相机、光源、传感器。

传送系统：(3段传输带)

传输带C1：第一段传输带负责与电纸书传输带的转接。由于所有的检验过程是流动的，因此把第一段传输带(C1)段传输带设定为宽180mm，长300mm的范围，不仅可以使操作人员操作方便，而且设置一定的覆盖的边缘可以防止物体脱落。如附图2所示，在第一段传输带(C1)与第二段传输带(C2)之间设置了50mm的间距，在这个间距的正下方安装了第一相机(Cb)(第1相机至少为一个，优选为1个)来采集待检测电纸书的背面图像。当待检测电纸书接触传感器的检测线，相机开始不断捕获待检测电纸书的背面图像。除首次采图为位置传感器所触发外，其余采图均由软件和IO卡所控制。其中，第1传感器至少为一个，优选为一个，优选实例中包括一个安装于第一段传输带出口处的传感器S1，主要用于感应待检测电纸书到达此位置时，传送信号给控制系统准备进行采图。

传输带C2：第二段传输带的目的是加载和检查电纸书所有的正面缺陷。这部分包括位置传感器和六个相机。如附图3所示，第二段传输带(C2)的长度约700mm，有6个相机进行待待检测电纸书的正面检测。第2相机至少为一个，优选为2个，优选实例中包括相机Cf1和相机Cf2，第2相机是通过功能量脉冲安装相机来进行丝印，噪音和显示面板检查。第3相机至少为一个，优选前后左右4个，优选实例中包括相机Cg1、Cg2、Cg3、Cg4。相机Cg1用于前端检查，相机Cg2用于左侧检查，相机Cg3用于右侧检查，相机Cg4用于背面检查。这些相机都是由位置传感器触发采图的。当待检测电纸书接触的位置传感器的检测区域，触发相机拍摄。第2传感器至少为一个，优选为6个，优选实例中包括安装于第二段传输带入口处的的6个传感器(S2/S3/S4/S5/S6/S7/)，安装于第二段传输带的第3传感器至少为一个，优选为2个，优选实例中主要包括2个传感器(S8/S10).在第二段传输带安装这8个传感器的目的都是为了感应待检测电纸书的到达位置，而传感器通过IO卡将信号传至控制系统后，控制系统根据待检测电纸书所处的不同位置作出相应的反应。第一杆后，所引发的相机IO信号由控制系统发送。所有这些图像传送到检测算法模块来检测缺陷，而且所有这些相机都有相对应的光源。以下将对第2、3传感器进行说明：

S2：待检测电纸书到传送至第二段传输带(C2)段S2位置时，S2触发第1相机Cb相机采图，得到背面第1张检测图像；

S3：当待检测电纸书传送至第二段传输带(C2)段S3位置时，S3触发第1相机Cb相机采图，得到背面第2张检测图像；

S4：当待检测电纸书传送至第二段传输带(C2)段S4位置时，S4触发第1相机Cb相机采图，得到背面第3张检测图像，S4触发第2相机(Cf)采图，得到正面第1组图像；

S5：当待检测电纸书传送至第二段传输带(C2)段S5位置，S5触发第1相机Cb相机采图，得到背面第4张检测图像，背面检测图像采集完毕；S5触发第2相机(Cf1、Cf2)采图，得到正面第2组图像；

S6：当待检测电纸书传送至第二段传输带(C2)段S6位置时，S6触发第2相机(Cf1、Cf2)相机，得到正面第3组垂直检测图像；

S7：当待检测电纸书传送至第二段传输带(C2)段S7位置时，S7触发第2相机(Cf1、Cf2)相机，得到正面第4组垂直检测图像；正面垂直检测完毕；

S8：当待检测电纸书传送至第二段传输带(C2)段S8位置时，S8触发第3相机中的(Cgl、Cgr、Cgb)相机采图，得到侧面的3组图像；

S10：当待检测电纸书传送至第二段传输带(C2)段S10位置时，待检测电纸书正向进入，S10触发第3相机中的(Cgl、Cgr、Cgf)相机采图，得到左右缝隙和前缝隙共3组图像。

传输带C3：第三段传输带包括移轴和第4传感器。在一个待检测电纸书经过第二段传输带(C2)后，该检测系统对电纸书是否合格以得出结论。第三段传输带(C3)可对电纸书检测结果进行判断后对电纸书做出相应的合格与不合格分类。当一个产品通过第二段传输带(C2)后，检测系统就知道该产品是否合格。如果它是不合格产品，第三段传输带(C3)将把产品转移至不合格输出传输带。否则，第三段传输带(C3)将把产品直接传至合格输出传输带。由于第三段传输带(C3)与原始位置有些许偏移，但为了避免产品不小心掉出来，在此设计第4传感器(至少为一个，优选为4个，优选实例中包括S31、S32、S33、S34)感知第三段传输带(C3)上待检测电纸书的位置(如附图4所示)，以下对这4个传感器进行说明：

S31：末端产品未触及S31，第三段传输带(C3)就不会做出相应的转移；

S32：若第三段传输带(C3)未触及S32传感器，它意味着第三段传输带(C3)不准备传送的新产品。如果在这段时间内后随产品P2触及第二段传输带(C2)的位置传感器，控制系统应停止第二段传输带(C2)避免P2掉出来。

S33：若第三段传输带(C3)没有触及S33传感器，该传送产品就不能传至不合格传输带。

S34：它是安装在第三段传输带(C3)的末端的，主要用于设备调试。

所述控制系统包括电机控制、IO卡控制、模板数据、检测分类、数据基地、结果显示。(如附图1所示)各部分功能主要有：

控制系统——所有的模块，分布的指令下，收集和转移、数据；

电机控制——到收到移动命令从中央控制模块、传输的移动命令和位置命令电机；

IO控制——IO控制监测两个传感器的和电机的I/O状态，并反馈给中央控制模块；

模板数据——四邻检测模板数据；

检测分类——算法检测模块(核心)与core-image处理模块；

结果显示——从中央控制模块收到检测结果命令；

数据基地——储存数据库的试验结果。

所述控制系统分别与多个相机以及传送系统的电机驱动装置相连，当控制系统接收到传感器上传的待检测电纸书到达图像采集位置信号时，所述控制系统控制向传送系统的电机驱动装置输出控制信号调整所述传输带的转速，并控制所述多角度安装的多个相机及光源对待检测电纸书的背面、正面、缝隙采集图像。所述控制系统是连接传感器和相机的重要枢纽。当产品触发传感器时，它便会通过IO板卡将信息传输到控制系统。然后，控制系统将会控制数码相机捕捉图像或调整电机的转速来控制传输带。输送马达可被8bits IO信号所控制，这意味着输送马达速度可以调整在256的水平以内。如附图1所示每个阶段的工作流程中都安装了位置传感器，传感器的信息经过控制系统向相机发出采图信号，而采集的图像又输送到控制系统中进行缺陷检测判断，并根据判断后的结果控制第三段传输机做出相应的分类。

所述传感器的输出端连接至所述控制系统的IO卡控制，用于判断待检测电纸书是否已通过所述传输带到达图像采集位置。

所述光源连接至控制系统的光源控制，该检测设备有2个光源控制器，8个通道控制8个光源。7个相机都配有自己的光源来辅助采图，而在第二段传输带(C2)入口处的两个相机除了相机各自配备的1个光源外，还在上方放置了一个条形光源以确保所采电纸书正面图像的清晰性。当待检测电纸书到达调光位置时，控制系统会进行调光，以保证相机采图时光源充足；

所述相机分别在第一段传输带(C1)与第二段传输带(C2)之间50mm空隙的正下方安装一个相机用于采集电纸书背面图像，在第二段传输带(C2)入口处安装第2相机用于采集电纸书正面图像，在第二段传输带(C2)的后半段安装第3相机用于采集电纸书的屏幕与固定片之间的图像(如附图1所示)。采图同时相机将所采集的电纸书图像输入到控制系统中进行外观验证和判断，检测后将检测结果及图像分别进行存储。

本发明公开的电纸书检测设备可以直接与生产线相连接，在传输带两侧的限位轨道上，按照一定的位置安装了位置传感器，产品运行到传感器位置时，光源已经调整到对应状态，传感器输出信号触发关联的相机进行图像采集并开始检测，检测后经过传输带传送直接被分类到合格/不合格端，传送过程中同时进行检测，待检产品可一直在流水线上运动无需停止。如附图5所示，系统在运行中，检测部分与待检测电纸书移动同时进行，因此在主线程之外，需要一个监控线程，监视硬件状况和系统状态；另需若干工作线程，执行实际检测。因此，使用该设备就必须与多线程运行库进行链接。以下简要的描述了整个设备系统的运行转化。

系统启动准备阶段：此阶段系统中只能保留一个活动进程，并确保许可合法性，读取默认硬件和软件配置，初始化马达控制、相机控制、光源控制等模块，载入要执行检测的格式，生成待检测对象序列及其镜像版本，准备所需资源。

待机监控：系统启动后，将由主线程创建若干辅助线程，自动进入待机状态，等待待检测电纸书进入检测区域的传感器信号。

实时监测：待检测电纸书进入检测区域后，系统根据当前待检测电纸书的位置，预先打开对应的光源，在既定的FOV位置由传感器触发采图，同时，生成用于检测的对象列表，由工作线程调用算法接口开始检测。其中，背面第一个FOV的图像传来时，需要首先进行待检测电纸书进入时的摆放情况确定。确定之后，才能将获取的FOV图像进行校正，同时更新用于算法检测的目标位置。

分类输出：所有检测都已完毕，系统进入分类输出状态。此时，当前待检测电纸书的所有检测信息已经输出到一个CSV文档，硬件系统中还需要用第三段传输带(C3)将其运送到指定位置进行产品分类。

中止运行：当一个待检测电纸书检测完毕在等待第三段传输带(C3)到位而又有新的待检测电纸书准备进入第二段传输带(C2)时，会有EMG信号来，则立即停止操作或者出现非法状况。

下面结合实例详细说明电纸书外观检测设备的各个工作流程，请参考附图1和附图6：

步骤1：系统启动进入检测模式后，监控线程开始启动。

步骤2：待检测电纸书到达第一段传输带(C1)第一段传输带(C1)入口处，系统准备检测，系统预先调试好光源，等待传感器触发相机采图。

步骤3：待检测电纸书到达第一段传输带(C1)第一段传输带(C1)出口处，即传送至第一段传输带(C1)段S1位置时，系统准备背面检测。

步骤4：待检测电纸书到达第二段传输带(C2)入口处，系统开始背面检测、正面检测和侧面检测：

A.背面检测：

当待检测电纸书传送至第二段传输带(C2)段S2位置时，S2触发第1相机(Cb)采图，得到背面第1张检测图像；

当待检测电纸书传送至第二段传输带(C2)段S3位置时，S3触发第1相机(Cb)采图，得到背面第2张检测图像。

B.正面检测：

当待检测电纸书传送至第二段传输带(C2)段S4位置时，S4触发第1相机(Cb)采图，得到背面第3张检测图像；S4触发第2相机(Cf)采图，得到正面第1组图像。

当待检测电纸书传送至第二段传输带(C2)段S5位置，S5触发第1相机(Cb)采图，得到背面第4张检测图像，背面检测图像采集完毕；S5触发第2相机(Cf)采图，得到正面第2组图像；当待检测电纸书传送至第二段传输带(C2)段S6位置时，S6触发第2相机(Cf1、Cf2)相机，得到正面第3组垂直检测图像；

当待检测电纸书传送至第二段传输带(C2)段S7位置时，S7触发第2相机(Cf1、Cf2)相机，得到正面第4组垂直检测图像；正面垂直检测完毕。

C.侧面检测：

当待检测电纸书传送至第二段传输带(C2)段S8位置时，待检测电纸书正向进入，S8触发第3相机中的(Cgl、Cgr、Cgb)相机采图，得到侧面的3组图像；

当待检测电纸书传送至第二段传输带(C2)段S10位置时，待检测电纸书正向进入，S10触发第3相机中的(Cgl、Cgr、Cgf)相机采图，得到左右缝隙和前缝隙共3组图像；

步骤5：待检测电纸书到达第二段传输带(C2)出口处，所有检测完毕，系统准备输出结果。

步骤6：待检测电纸书到达第三段传输带(C3)入口处，当前待检测电纸书的所有检测信息已经输出到一个CSV文档，系统会根据图像检测后的结果进行判断和合格/不合格分类处理(如附图4所示)。并使用第三段传输带(C3)将其运送到分类后的指定位置。若检测结果为不合格，则把电纸书移动到不合格端口进行卸载；若为合格，则沿着第三段传输带(C3)移动到合格端口进行卸载。

这样，就可以达到了对电纸书外观及装配检测分类的目的了。

本发明公开了一种运用广泛的外观及装配检测设备。所述外观及装配检测设备可对电子产品的外观进行检测，根据检测结果对产品的好次进行分类。本说明书只是以电纸书为实例对该设备的功能进行介绍，在此基础上只需做些许改动即可运用于其他电子产品的外观及装配检测。

Claims (5)

1.一种电纸书外观检测设备，该检测设备包括控制系统、传感器、光源、基于传输带的传送系统以及多个相机，其特征在于：

待检测电纸书为运动中检测，一直在传输带上传送；

在第一段传输带(C1)出口处安装第1传感器，所述第1传感器用于监测待检测电纸书是否到达第一段传输带(C1)出口处的位置信号，该第1传感器的输出端连接至所述控制系统的输入端，当所述控制系统接收到第1传感器上传的位置信号时，控制系统控制所述多个相机进入待采图状态；

在第一段传输带(C1)和第二段传输带(C2)之间空隙的正下方安装第1相机和辅助光源、第二段传输带(C2)入口处安装第2相机和相应的辅助光源、以及第2传感器，所述第2传感器用于判断待检测电纸书是否到达第1相机及第2相机对应的图像采集位置，第一段传输带(C1)和第二段传输带(C2)之间空隙的正下方安装第1相机用于采集待检测电纸书的背面图像，第二段传输带(C2)入口处安装的第2相机用于采集电纸书正面图像；

在第二段传输带(C2)的后半段安装第3相机和相应的辅助光源、以及第3传感器，所述第3传感器用于判断待检测电纸书是否到达该第3相机对应的图像采集位置，该第3相机用于采集电纸书的屏幕与固定片之间的图像；

第2传感器和所述第3传感器的输出端连接至所述控制系统的输入端，用于将待检测电纸书是否已到达相应的图像采集位置信号传送给所述控制系统；

所述控制系统的输出端分别与第1至第3相机以及传送系统的电机驱动装置相连，当控制系统接收到相应第2或第3传感器上传的待检测电纸书到达相应的图像采集位置信号时，所述控制系统向传送系统的电机驱动装置输出控制信号调整所述传输带的速度，并控制各相应相机对待检测电纸书的背面或正面或电纸书的屏幕与固定片之间图像的采集；

所述控制系统还通过光源控制器控制各辅助光源，在图像采集时进行调光，以保证相机采图时光源充足；

所述各相机在采图同时将所采集的电纸书图像输入到控制系统中进行外观验证和判断，检测后将检测结果及图像分别进行存储。

2.根据权利要求1所述的电纸书外观检测设备，其特征在于：

所述第1相机为1个相机；

所述第2相机包括安装在第二段传输带(C2)入口处左右两侧的2个相机；

所述第3相机包括在第二段传输带(C2)的后半段前后左右4个位置的4个相机。

3.根据权利要求1或2所述的电纸书外观检测设备，其特征在于：

待检测电纸书在第一段传输带(C1)和第二段传输带(C2)之间进行背面图像采集同时，控制系统对上传的该背面图像进行外观验证和判断；

当待检测电纸书背面、正面和电纸书的屏幕与固定片之间图像采集完毕且控制系统对所采集的电纸书图像进行检测判断之后，所述控制系统判断待检测电纸书是否合格，并以文档形式加以储存；

根据控制系统依据生产商设定的产品标准对电纸书检测结果做出合格与不合格的结果判断，通过第三段传输带(C3)做出相应的合格和不合格的分类传输。

4.根据权利要求3所述的电纸书外观检测设备，其特征在于：

在第一段传输带(C1)与第二段传输带(C2)之间设置50mm的间距。

5.一种基于权利要求1-4中任一权利要求所述的电纸书外观检测设备的检测方法，其特征在于，所述方法包括以下步骤：

(1)所述检测设备启动进入检测模式后，监控线程开始启动：

(2)待检测电纸书到达第一段传输带(C1)入口处，所述检测设备准备检测；

(3)待检测电纸书到达第一段传输带(C1)出口处，准备电纸书的背面检测；

(4)待检测电纸书到达第二段传输带(C2)入口处，对待检测电纸书开始背面检测、正面检测和侧面检测；

(5)待检测电纸书到达第二段传输带(C2)出口处，传感器触发相机所采集的图像信息将通过IO卡传至控制系统进行算法检验，从而对电纸书检测结果判断；

(6)待检测电纸书到达第三段传输带(C3)入口处，若检测为不合格，则移动至第三段传输带(C3)不合格端口进行卸载；若为合格，在移动到第三段传输带(C3)合格端口进行卸载。

Images