CN101301711A - 集装箱顶角件加强板自动焊接定位系统 - Google Patents

Abstract

本发明公开一种集装箱顶角件加强板自动焊接定位系统，特征是包括一台摄像机，两个激光器，以及一台电脑；其中摄像机光轴垂直工作平台安装，双激光器的光平面平行并捆绑在一起，与摄像机光轴成45°角安装；摄像机通过图像采集卡与电脑连接，电脑通过数据线路与焊接机器人连接，可以控制机器人执行相应操作。本发明集装箱顶角件加强板自动焊接定位系统能够通过简单的图像处理算法和简化的定位处理方式，实现一种快速、有效的初始点加强板姿态识别和定位方法。

Description

集装箱顶角件加强板自动焊接定位系统

技术领域

本发明涉及焊接集装箱顶角件加强板机器人焊接系统领域，特别涉及该领域机器人焊接顶角件过程中使用的定位系统。

背景技术

目前，集装箱制造厂中80％的焊接工作都采用人工焊接，包括波纹焊、直焊、立焊、搭接焊等等。由于工装粗糙很难实现自动化焊接，若改进工装完全实现自动化又增加成本、降低生产速度，是目前竞争激烈的集装箱生产行业无法并不愿付诸实施的方式。但日益上升的以人为本、人性化管理的社会利益驱动，要求工人从恶劣的污染环境中解脱出来，同时保证焊接质量和焊接效率。为解决这一问题，国际最大的集装箱制造厂中国集装箱制造有限公司青岛分公司提出需求，针对不同的焊接工种，研究一种专用的自动焊接机器人。其中，集装箱顶角件加强板的焊接工艺简单，板形、尺寸都已知，但由于生产环境粗糙，工装定位不准确，使得加强板位置、姿态不能精确定位，不能实现自动焊接；另外，这一工种要求加强板被焊在集装箱的四个角上，需要四个工人来完成，造成占用劳动力多、焊接成本过高的现象。因此，为满足生产实际需求，研制开发一套成本低廉、定位精度高、使用方便，而且能够被推广应用的顶角件加强板自动焊接的定位系统已成为迫切之需。

发明内容

本发明的任务在于提供一种集装箱顶角件加强板自动焊接定位系统，该系统能够通过简单的图像处理算法和简化的定位处理方式，实现一种快速、有效的加强板初始点定位和姿态识别方法。

其技术解决方案是：

一种集装箱顶角件加强板自动焊接定位系统，包括一台摄像机，两个激光器，以及一台电脑；其中摄像机光轴垂直工作平台安装，双激光器的光平面平行并捆绑在一起，与摄像机光轴成45°角安装；摄像机通过图像采集卡与电脑连接，电脑通过数据线路与焊接机器人连接，可以控制机器人执行相应操作。

上述摄像机、双激光器、吹风管安装在直角支架上；吹风管固定在直角支架上，管口朝向工作平台；摄像机通过1394卡与电脑连接，吹风管与激光器直接接电源；电脑通过RS232协议与焊接机器人通信。

上述摄像机的图像平面与工作平面平行，图像平面与工作平面形成对应比例关系，并通过标准矩形模板获得这一比例数据；初始安装设备时，首先通过计算机设置工作坐标系原点，以模板的焊接初始点空间坐标为原点，本系统以第一个焊接目标为模板，模板两条外边分别为坐标系统x轴和y轴，并将其图像信息存入模板库；在在线定位过程中，双激光条纹打在加强板外角处，摄像机实时获取带有激光标记的加强板图像，并通过计算机处理获得初始点的图像信息和其姿态信息；最后通过图像信息与空间信息的转换关系得到实时加强板的空间初始点位置和姿态。

上述集装箱顶角件加强板自动焊接定位系统，包含空间目标与其图像之间对应关系的确立方式、在线目标信息与参考模板之间对应关系的确立方式、目标深度信息的获取方式及在线目标信息的获取方式；

上述空间目标与其图像之间对应关系的确立方式如下：

图像平面与工作平面形成对应比例关系式为：

$\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{cc}a& b\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right]---\left(1\right)$

利用摄像机采集一个已知尺寸的矩形模板图像，从图像中获得该矩形模板以像素为单位的长宽尺寸，然后通过a＝x/u，b＝y/v，获得图像空间与物理空间的比例系数a，b；

上述在线目标信息与参考模板之间对应关系的确立方式如下：

在工作平面坐标系中，将在线获得的加强板图像的6个点通过公式(1)转化为空间坐标点 $\{({\tilde{x}}_1,{\tilde{y}}_1),({\tilde{x}}_2,{\tilde{y}}_2),...,({\tilde{x}}_6,{\tilde{y}}_6)\},$ 将

与x轴方向的夹角记为θ，

向量记为t，空间点 $\{({\tilde{x}}_1,{\tilde{y}}_1),({\tilde{x}}_2,{\tilde{y}}_2),...,({\tilde{x}}_6,{\tilde{y}}_6)\}$ 在坐标系x-O-y下的坐标为{(x₁，y₁)，(x₂，y₂)，...，(x₆，y₆)}，可通过下式获得：

$\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}\tilde{x}\\ \tilde{y}\end{array}\right]+t---\left(2\right)$

求出(x₁，y₁)和(x₂，y₂)后，按照加强板的方向及已知尺寸确定其它各点位置；

上述目标深度信息的获取方式如下：

设三个平行平面，平面A为图像平面，平面B和C是不同高度的空间平面，不同高度的同一物体所形成的图像大小不同，具体推导过程如下：

$\frac{\left|\right|\stackrel{\→}{{\mathrm{OO}}_1}\left|\right|}{\left|\right|\stackrel{\→}{{\mathrm{OO}}_3}\left|\right|}=\frac{\left|\right|\stackrel{\→}{a_1{b}_1}\left|\right|}{\left|\right|\stackrel{\→}{c_1{d}_1}\left|\right|}---\left(3\right)$

$\frac{\left|\right|\stackrel{\→}{{\mathrm{OO}}_1}\left|\right|}{\left|\right|\stackrel{\→}{{\mathrm{OO}}_2}\left|\right|}=\frac{\left|\right|\stackrel{\→}{a_2{b}_2}\left|\right|}{\left|\right|\stackrel{\→}{c_2{d}_2}\left|\right|}---\left(4\right)$

其中

的是事先已知的深度信息，

和

是同一目标的长度，由公式(3)和(4)可得：

$\frac{\left|\right|\stackrel{\→}{{\mathrm{OO}}_3}\left|\right|}{\left|\right|\stackrel{\→}{{\mathrm{OO}}_2}\left|\right|}=\frac{\left|\right|\stackrel{\→}{a_2{b}_2}\left|\right|}{\left|\right|\stackrel{\→}{a_1{b}_1}\left|\right|}---\left(5\right)$

为了计算方便，将公式(5)转化为：

$\left|\right|\stackrel{\→}{{\mathrm{OO}}_3}\left|\right|=\frac{\sqrt{S_2}}{\sqrt{S_1}}\left|\right|\stackrel{\→}{{\mathrm{OO}}_2}\left|\right|---\left(6\right)$

S₁是图像平面中小矩形的面积，S₂是大矩形的面积。利用这一公式将目标形状推广到任意多边形，任意姿态都存在这一关系，计算非常方便。这样

为参考模板的深度信息，

为在线检测到的目标深度信息。

上述在线目标信息的获取方式如下：

上述激光标记，为两条红色激光条纹，利用两个激光面在加强板上形成的转折点，获取焊接初始点位置；具体过程是，首先提取RGB颜色空间的R图像，然后选取阈值对其进行二值化、去噪处理，在细化处理后得到光条的单像素图，最后利用列扫描方法获得条纹在加强板上形成的边界点，通过四个边界点拟和直线并求其交点，即焊接初始点的图像坐标(u₁，v₁)，再通过霍夫变换获得以(u₁，v₁)为起点顺时针排序的第一个点(u₂，v₂)。

本发明集装箱顶角件加强板自动焊接定位系统能够通过简单的图像处理算法和简化的定位处理方式，实现一种快速、有效的初始点加强板姿态识别和定位方法。该系统可通过系统设置的箱型参数确定加强板的大小、厚度尺寸，来配合有效算法完成任务。另外，由于加强板的大小、厚度尺寸是已知的，因此，一旦确定初始点位置和加强板姿态即可实现自动焊接任务。

附图说明

图1为本发明一种实施方式的原理简图，同时示出与本发明有关的其他物件。

图2示出了与本发明有关的空间目标与图像之间的一种对应关系。

图3示出了与本发明有关的在线目标信息与参考模板之间的一种对应关系。

图4示出了与本发明有关的目标深度信息的一种获取方式。

图5a～5e示出了与本发明有关的在线目标信息的一种获取方式

下面结合附图对本发明进行说明：

具体实施方式

如图1所示，一种集装箱顶角件加强板自动焊接定位系统，包括一台摄像机1，两个激光器2，一个吹风管7，一台电脑3或其他适宜的运算装置。具体连接方式是摄像机、双激光器、吹风管安装在直角支架8上，其中要求摄像机光轴垂直工作平台安装，双激光器的光平面平行并捆绑在一起，与摄像机光轴成45°角安装；吹风管7固定在直角支架8上，管口朝工作平台；摄像机通过1394卡11与电脑连接；吹风管与激光及直接接电源；电脑3通过RS232协议与焊接机器人4通信，可以控制机器人执行相应操作(任务)。

上述摄像机的图像平面与工作平面平行，图像平面与工作平面形成对应比例关系，并通过标准矩形模板获得这一比例数据；初始安装设备时，首先通过计算机设置工作坐标系原点，以模板的焊接初始点空间坐标为原点，本系统以第一个焊接目标为模板，模板两条外边分别为坐标系统x轴和y轴，并将其图像信息存入模版库；在在线定位过程中，双激光条纹打在位于集装箱顶板6加强板5的外角10处，摄像机实时获取带有激光标记的加强板5的图像，并通过计算机处理获得初始点9的图像信息和其姿态信息；最后通过图像信息与空间信息的转换关系得到实时加强板的空间初始点位置和姿态。

参图2，由于光轴垂直工作平台，即

垂直空间平面x-O″-y和图像平面x-O′-y，并存在如下关系：

$\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{cc}a& b\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right]---\left(1\right)$

利用摄像机采集一个已知尺寸的矩形模板图像，从图像中获得该矩形模板以像素为单位的长宽尺寸，然后通过a＝x/u，b＝y/v，获得图像空间与物理空间的比例系数a，b。

参看图3，在工作平面坐标系中，12为参考模板，13为在线加强板，O为空间坐标原点(0，0，0)，两个外边界分别为坐标x轴和y轴，参考模板的图像信息事先存入模板库。将在线获得的加强板图像的6个点通过公式(1)转化为空间坐标点 $\{({\tilde{x}}_1,{\tilde{y}}_1),({\tilde{x}}_2,{\tilde{y}}_2),...,({\tilde{x}}_6,{\tilde{y}}_6)\}.$ 将与x轴方向的夹角记为θ，

向量记为t，空间点 $\{({\tilde{x}}_1,{\tilde{y}}_1),({\tilde{x}}_2,{\tilde{y}}_2),...,({\tilde{x}}_6,{\tilde{y}}_6)\}$ 在坐标系x-O-y下的坐标为{(x₁，y₁)，(x₂，y₂)，...，(x₆，y₆)}，可通过下式获得：

$\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}\tilde{x}\\ \tilde{y}\end{array}\right]+t---\left(2\right)$

在实际应用中，我们只需求出(x₁，y₁)和(x₂，y₂)，即焊接初始点位置和加强板的方向，按照已知尺寸顺序确定并排列出其他4个点。

参看图4，有三个平行平面，平面A为图像平面，平面B和C是不同高度的空间平面，不同高度的同一物体所形成的图像大小不同，图中显示出，目标的深度信息与所成图像的面积有关系，具体推导过程如下：

$\frac{\left|\right|\stackrel{\→}{{\mathrm{OO}}_1}\left|\right|}{\left|\right|\stackrel{\→}{{\mathrm{OO}}_3}\left|\right|}=\frac{\left|\right|\stackrel{\→}{a_1{b}_1}\left|\right|}{\left|\right|\stackrel{\→}{c_1{d}_1}\left|\right|}---\left(3\right)$

$\frac{\left|\right|\stackrel{\→}{{\mathrm{OO}}_1}\left|\right|}{\left|\right|\stackrel{\→}{{\mathrm{OO}}_2}\left|\right|}=\frac{\left|\right|\stackrel{\→}{a_2{b}_2}\left|\right|}{\left|\right|\stackrel{\→}{c_2{d}_2}\left|\right|}---\left(4\right)$

其中的是事先已知的深度信息，和

是同一目标的长度，是相等的。由公式(3)和(4)可得：

$\frac{\left|\right|\stackrel{\→}{{\mathrm{OO}}_3}\left|\right|}{\left|\right|\stackrel{\→}{{\mathrm{OO}}_2}\left|\right|}=\frac{\left|\right|\stackrel{\→}{a_2{b}_2}\left|\right|}{\left|\right|\stackrel{\→}{a_1{b}_1}\left|\right|}---\left(5\right)$

为了计算方便，将公式(5)转化为：

$\left|\right|\stackrel{\→}{{\mathrm{OO}}_3}\left|\right|=\frac{\sqrt{S_2}}{\sqrt{S_1}}\left|\right|\stackrel{\→}{{\mathrm{OO}}_2}\left|\right|---\left(6\right)$

S₁是图像平面中小矩形的面积，S₂是大矩形的面积。利用这一公式将目标形状推广到任意多边形，任意姿态都存在这一关系，计算非常方便。这样

为参考模板的深度信息，为在线检测到的目标深度信息。

参看图5a～5e，为了提高图像处理效率，在加强板打上两条红色激光条纹，利用两个激光面在加强板上形成的转折点，获取焊接初始点，如图5a。具体方法是首先提取RGB颜色空间的R图像，如图5b；然后选取合理的阈值对其进行二值化、去噪处理，如图5c，在细化处理后得到光条的单像素图，如图5d、5e；最后利用列扫描方法获得条纹在加强板上形成的边界点，通过四个边界点拟和直线并求其交点，即焊接初始点的图像坐标(u₁，v₁)，再通过霍夫变换获得以(u₁，v₁)为起点顺时针排序的第一个点(u₂，v₂)，将(u₁，v₁)与(u₂，v₂)的方向角记为加强板的姿态。

本方法中的列扫描获得边界点，顺时针排序能够实现的前提是，本应用中，加强板位姿变化范围小(位移＜5mm，角度＜5°)，因此，摄像机可以安装在适合图像计算的位置，即图像u轴近似平行激光条纹。

本发明是在焊接之前进行图像采集，所以不会受到弧焊光线的影响，当焊接机器人换向或停顿时，先通过吹风管通风，把摄像机镜头前的烟雾和灰尘吹开，然后进行采集图像。

Claims (4)

1、一种集装箱顶角件加强板自动焊接定位系统，特征是包括一台摄像机，两个激光器，以及一台电脑；其中摄像机光轴垂直工作平台安装，双激光器的光平面平行并捆绑在一起，与摄像机光轴成45°角安装；摄像机通过图像采集卡与电脑连接，电脑通过数据线路与焊接机器人连接，可以控制机器人执行相应操作。

2、根据权利要求1所述的集装箱顶角件加强板自动焊接定位系统，其特征在于：所述摄像机、双激光器、吹风管安装在直角支架上；吹风管固定在直角支架上，管口朝向工作平台；摄像机通过1394卡与电脑连接，吹风管与激光器直接接电源；电脑通过RS232协议与焊接机器人通信。

3、根据权利要求1所述的集装箱顶角件加强板自动焊接定位系统，其特征在于：所述摄像机的图像平面与工作平面平行，图像平面与工作平面形成对应比例关系，并通过标准矩形模板获得这一比例数据；初始安装设备时，首先通过计算机设置工作坐标系原点，以模板的焊接初始点空间坐标为原点，本系统以第一个焊接目标为模板，模板两条外边分别为坐标系统x轴和y轴，并将其图像信息存入模板库；在在线定位过程中，双激光条纹打在加强板外角处，摄像机实时获取带有激光标记的加强板图像，并通过计算机处理获得初始点的图像信息和其姿态信息；最后通过图像信息与空间信息的转换关系得到实时加强板的空间初始点位置和姿态。

4、根据权利要求3所述的集装箱顶角件加强板自动焊接定位系统，其特征在于：所述集装箱顶角件加强板自动焊接定位系统，包含空间目标与其图像之间对应关系的确立方式、在线目标信息与参考模板之间对应关系的确立方式、目标深度信息的获取方式及在线目标信息的获取方式；

上述空间目标与其图像之间对应关系的确立方式如下：

图像平面与工作平面形成对应比例关系式为：

$\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{cc}a& b\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right]---\left(1\right)$

利用摄像机采集一个已知尺寸的矩形模板图像，从图像中获得该矩形模板以像素为单位的长宽尺寸，然后通过a＝x/u，b＝y/v，获得图像空间与物理空间的比例系数a，b；

上述在线目标信息与参考模板之间对应关系的确立方式如下：

在工作平面坐标系中，将在线获得的加强板图像的6个点通过公式(1)转化为空间坐标点将

与x轴方向的夹角记为θ，

向量记为t，空间点

在坐标系x-O-y下的坐标为{(x₁，y₁)，(x₂，y₂)，...，(x₆，y₆)}，可通过下式获得：

$\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}\tilde{x}\\ \tilde{y}\end{array}\right]+t---\left(2\right)$

求出(x₁，y₁)和(x₂，y₂)后，按照加强板的方向及已知尺寸确定其它各点位置；

上述目标深度信息的获取方式如下：

设三个平行平面，平面A为图像平面，平面B和C是不同高度的空间平面，不同高度的同一物体所形成的图像大小不同，具体推导过程如下：

$\frac{\left|\right|\stackrel{\→}{{\mathrm{OO}}_1}\left|\right|}{\left|\right|\stackrel{\→}{{\mathrm{OO}}_3}\left|\right|}=\frac{\left|\right|\stackrel{\→}{a_1{b}_1}\left|\right|}{\left|\right|\stackrel{\→}{c_1{d}_1}\left|\right|}---\left(3\right)$

$\frac{\left|\right|\stackrel{\→}{{\mathrm{OO}}_1}\left|\right|}{\left|\right|\stackrel{\→}{{\mathrm{OO}}_2}\left|\right|}=\frac{\left|\right|\stackrel{\→}{a_2{b}_2}\left|\right|}{\left|\right|\stackrel{\→}{c_2{d}_2}\left|\right|}---\left(4\right)$

其中

的是事先已知的深度信息，

和

是同一目标的长度，由公式(3)和(4)可得：

$\frac{\left|\right|\stackrel{\→}{{\mathrm{OO}}_3}\left|\right|}{\left|\right|\stackrel{\→}{{\mathrm{OO}}_2}\left|\right|}=\frac{\left|\right|\stackrel{\→}{a_2{b}_2}\left|\right|}{\left|\right|\stackrel{\→}{a_1{b}_1}\left|\right|}---\left(5\right)$

为了计算方便，将公式(5)转化为：

$\left|\right|\stackrel{\→}{{\mathrm{OO}}_3}\left|\right|=\frac{\sqrt{S_2}}{\sqrt{S_1}}\left|\right|\stackrel{\→}{{\mathrm{OO}}_2}\left|\right|---\left(6\right)$

S₁是图像平面中小矩形的面积，S₂是大矩形的面积。利用这一公式将目标形状推广到任意多边形，任意姿态都存在这一关系，计算非常方便。这样

为参考模板的深度信息，

为在线检测到的目标深度信息。

上述在线目标信息的获取方式如下：

上述激光标记，为两条红色激光条纹，利用两个激光面在加强板上形成的转折点，获取焊接初始点位置；具体过程是，首先提取RGB颜色空间的R图像，然后选取阈值对其进行二值化、去噪处理，在细化处理后得到光条的单像素图，最后利用列扫描方法获得条纹在加强板上形成的边界点，通过四个边界点拟和直线并求其交点，即焊接初始点的图像坐标(u₁，v₁)，再通过霍夫变换获得以(u₁，v₁)为起点顺时针排序的第一个点(u₂，v₂)。

Images