CN110332887B - 一种基于特征光标点的单目视觉位姿测量系统及方法 - Google Patents

Abstract

本发明提供了一种基于特征光标点的单目视觉位姿测量系统及方法，包括获取图像：通过单目相机获取位姿图像序列；图像二值化：目标物体处于运动状态采用自适应阈值法进行图像二值化；轮廓提取：除去图像中明显的噪声点，提取图像轮廓；圆拟合：采用最小二乘法进行圆拟合，根据圆的性质判断是否为圆；确定圆心坐标，根据圆面积大小依次排序，找到圆之间位置对应关系；位姿解算：建立图像坐标与空间位置间的关系得出运动目标间的距离、速度、角速度等相关信息。本发明具有结构简单、测量视场大、实时性强的特点，降低了特征提取难度和位姿解算的复杂度。

Description

一种基于特征光标点的单目视觉位姿测量系统及方法

技术领域

本发明涉及视觉检测技术领域，具体涉及一种基于特征光标点的单目视觉位姿测量系统及方法。

背景技术

目前基于视觉位姿测量的主要方法包括基于双目视觉的位姿测量和基于单目视觉的位姿测量。基于双目视觉的位姿测量匹配算法计算量大，复杂程度高，测量精度受标定精度、匹配误差和摄像机安装相对误差等因素的影响。而基于单目视觉的位姿测量利用特征点之间的空间位置关系、图像中提取的特征点图像坐标以及成像模型参数求解摄像机坐标系和世界坐标系之间的相对位置和相对姿态，具有测量范围大、结构简单、受干扰小、非接触等优点，已广泛应用于物体识别、跟踪导航、三维姿态估计、场景分析等多个领域。

基于单目视觉的位姿测量大多需要在目标物体上设置特征靶标，建立目标坐标系，预先设定好被测特征点在目标坐标系下的坐标值，再根据经典摄像机小孔成像原理，根据三个或三个以上不在同一条直线上被测特征点在摄像机坐标系与目标坐标系下的坐标值，解算出摄像机坐标系与目标坐标系的相对转换关系，完成了被测目标相对于摄像机坐标系的空间三维姿态。

针对目标物体坐标未知、目标坐标系无法建立的情况下，基于单目视觉的位姿测量仍然存在位姿测量困难的难题。

发明内容

本发明要解决的技术问题在于，针对上述目前针对目标物体坐标未知、目标坐标系无法建立的情况下基于单目视觉的位姿测量存在位姿测量困难的的技术问题，提供一种基于特征光标点的单目视觉位姿测量系统及方法解决上述技术缺陷。

一种基于特征光标点的单目视觉位姿测量系统，包括处理器、单目相机、两个运动目标和两个靶标，其中处理器和单目相机相连；两个靶标分别安装在两个运动目标上，每个靶标上安装有两个圆形光标点，四个圆形光标点的直径各不相同，每个靶标上的两个光标点之间的距离分别为d₁和d₂；单目相机能够获取两个靶标的整体图像，在相机视场内采集运动目标的序列位姿图像；处理器根据相机标定得出像素坐标系和运动物体坐标系之间的变化关系，再利用P4P算法计算出两个运动目标的位姿信息。

一种基于特征光标点的单目视觉位姿测量方法，基于一种基于特征光标点的单目视觉位姿测量系统实现，包括：

S1、单目相机采集序列位姿图像，然后根据张氏标定法对序列位姿图像进行校正，根据校正后的位姿图像采用局部自适应阈值法进行二值化处理，根据每个像素的邻域块的像素值分布确定每个像素位置上的阈值；

S2、根据二值化图像提取所有轮廓，根据圆轮廓的特性遍历所有轮廓得到圆轮廓，对圆轮廓进行圆曲线拟合，根据拟合结果得出圆心坐标；

S3、根据图像处理得到圆心坐标结合相机标定参数求解相对位姿。

进一步的，步骤S2具体包括：

S21、处理二值化图像提取所有轮廓，遍历所有轮廓统计每个轮廓上像素点的数量，根据轮廓上像素点数量过滤噪声点；

S22、根据圆的特性依次检验所有轮廓，采用RANSAC算法进行圆拟合，根据拟合结果计算圆心坐标，根据圆的面积排序确定圆之间位置关系；

S23、根据圆心坐标和圆位置关系计算每个运动目标上发光圆之间像素距离d₁'、d₂'。

进一步的，步骤S3具体包括：

S31、根据前面图像处理得到的特征参数结合相机标定参数求解相对位姿，建立像素坐标系与世界坐标系之间的对应关系，O_w表示世界坐标系原点，O_c表示像素坐标系原点，(U,V)表示成像平面；

从O_w坐标系到(U,V)成像平面之间的转换关系是：

其中，f是相机焦距，dx和dy分别表示每个像素在横轴x和纵轴y的物理尺寸，R和T分别表示相机坐标系和世界坐标系的旋转矩阵和平移向量，X_w、Y_w、Z_w为世界坐标系的三轴坐标，u、v为像素坐标系的两轴坐标；

S32、利用提取的目标物体中的特征靶标距离d₁、d₂和相应的相点坐标距离d₁'、d₂'构成二维成像平面和三维世界的匹配，结合S31中的相机内外参数矩阵，利用P4P算法进行位姿解算，即可得到运动目标的位姿信息。

与现有技术相比，本发明的有益效果在于：本发明提供了一种基于特征光标点的单目视觉位姿测量系统及方法，具有标定简单、特征提取容易和位姿解算简单的特点

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明一种基于特征光标点的单目视觉位姿测量方法流程图；

图2为本发明的坐标转换图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

如图1所示，本发明实施例包括如下步骤：

在两运动目标上安装具有特征光标点的靶标，在相机视场内采集运动目标的序列位姿图像，目标物体处于动态运动状态，舍弃固定阈值法而采用自适应阈值法中Otsu算法对图像进行二值化，通过统计灰度级中每个像素在整幅图像中的个数，计算出每个像素在整幅图像的概率分布。对灰度级进行遍历搜索，计算当前灰度值下前景背景类间概率。通过目标函数计算出类内与类间方差下对应的阈值。

提取整幅图片中所有轮廓，每个轮廓大小不一，那么不同的轮廓上的像素点总数会有很大的差别。4个圆轮廓上的像素点的总数满足一定的范围，为了过滤掉一些比较小的和比较大的轮廓，遍历所有轮廓统计每个轮廓上像素点的数量，根据轮廓上像素点数量结合运动物体上的特征，判断是否轮廓的像素点总数处于一个范围(在实验中设置的范围是4到300)，以此过滤掉一部分不可能是圆的轮廓，简化计算难度。选择轮廓并计算轮廓的质心，然后计算轮廓上的每一个点到质心的距离，最后得到距离的方差。理论上，圆上的每一个点到圆心的距离是等于半径，理想的情况下，距离的方差等于。实际情况中，轮廓上存在一些噪声点，所以实际算得的距离的方差是大于0的，但是值很小，小于某个阈值。对于距离方差的阈值依赖性太强，并且距离方差的阈值不易确定，阈值的变化范围太大。阈值稍稍设小了，就会有圆漏检；一旦设大了，就会存在圆误检的情况。实时检测过程中，没有一个固定的阈值能满足所有的情况。为了减弱算法对于参数的依赖性，提出一种新的方法去识别圆。

圆的面积S＝πR²，周长l＝2πR，根据

这个比例关系，可以判断轮廓是否为圆。由于提取的轮廓存在噪声点，提取的圆的轮廓不会严格的满足

这个比例关系，但是实际的比例在1的左右不会有太大的波动。算法中设定的这个范围为0.8到1.2。这个阈值一旦设定，实时检测时不需要再去改变，且提高了正确检测到圆心的概率。

通过圆的性质准确识别出为圆的轮廓后，进一步就需要计算圆心。对于动态靶标的识别，噪声数据比静态靶标多，最小二乘法拟合速度快但在噪声数据多的情况下拟合效果不理想。提出RANSAC算法进行圆曲线拟合。RANSAC算是随机抽样一致的缩写，它可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。对于含噪声比较多的数据，RANSAC圆拟合能取得不错的效果。

根据前面图像处理得到的特征参数结合相机标定参数求解相对位姿。如图2所示，建立图像坐标与空间位置之间的相互关系。O_w表示实物空间坐标系，O_C表示相机坐标系原点，(U,V)表示成像平面。

从O_w坐标系到(U,V)成像平面之间的转换关系如公式(1)所示：

其中，f是相机焦距，dx和dy分别表示每个像素在横轴x和纵轴y的物理尺寸，R和T分别表示相机坐标系和世界坐标系的旋转矩阵和平移向量。

根据得到的像素坐标在像素坐标系进行坐标变换，在UOV坐标系中首先对获取的图像进行图像识别，将四个圆的圆心识别出来，分别可得到A₁、A₂、B₁、B₂四个点的像素坐标值，分别为(x₁,y₁)、(x₂,y₂)、(x₃,y₃)、(x₄,y₄)，通过坐标系的转换关系，从UOV坐标系到ZP₁Y坐标系的转换，可以看做是先由UOV坐标系做平移转换为MP₁N坐标系，然后MP₁N坐标系经旋转转换为ZP₁Y坐标系。

设一坐标点在UOV坐标系、MP₁N坐标系、ZP₁Y坐标系下的坐标分别为(x_U,y_U)、(x_M,y_M)、(x_Z,y_Z)，MP₁N坐标系经旋转转换为ZP₁Y坐标系的旋转角度为θ。

由UOV坐标系到MP₁N坐标系转换如公式(2)所示：

由MP1N坐标系到ZP1Y坐标系转换如公式(3)所示：

将两个式子联立起来，可以得到由UOV坐标系到ZP₁Y坐标系的转换如公式(4)所示：

对于上面式子的求解，需要知道cosθ和sinθ值的大小，可以通过已知点A₁和A₂的坐标值来求解，A₁在UOV坐标下的坐标为(x₁,y₁)，在ZP₁Y下的坐标为

)将值代入进去，可以分别求得：

由此，我们可以根据已知点A1，A2在UOV下的坐标，得到任意点在ZP₁Y下的坐标值:

通过图像识别能够求得P₂点在UOV坐标系下的坐标值

将此坐标代入上式，可以求得P₂点在ZP₁Y坐标系下的坐标值：

其中

的横、纵坐标代表的就是像素坐标系下P₁、P₂点之间的径向距离和平移距离。

计算A₁A₂的像素距离d₁'，A₁A₂的实际距离d₁是已知的，我们可以得到像素距离与实际距离d₁的比例换算P。计算如下：

1、距离计算

由比例换算P和径向距离和平移距离

可以计算得到两靶标实际径向距离和平移距离

计算如下：

2、夹角计算

已知A₁、A₂、A₃、A₄四点的像素坐标，可以求得向量

和向量

通过向量

和向量

可以计算得到两向量之间的夹角β，此夹角即为靶标A和靶标B之间的夹角，计算如下：

3、速度计算

分别求解图像前一帧的目标物相对距离d₁和后一帧相对距离d₂，同时获得两帧图像的时间间隔t,即可获得靶标A和靶标B之间的相对速度v。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (3)

1.一种基于特征光标点的单目视觉位姿测量系统，其特征在于，包括处理器、单目相机、两个运动目标和两个靶标，其中处理器和单目相机相连；两个靶标分别安装在两个运动目标上，每个靶标上安装有两个圆形光标点，四个圆形光标点的直径各不相同，每个靶标上的两个光标点之间的距离分别为d₁和d₂；单目相机能够获取两个靶标的整体图像，在相机视场内采集运动目标的序列位姿图像；处理器根据相机标定得出像素坐标系和运动物体坐标系之间的变化关系，再利用P4P算法计算两个运动目标的位姿信息；所述计算两个运动目标的位姿信息包括：

处理器确定两个靶标在像素坐标系下的径向距离和平移距离，并根据像素距离与实际距离的比例换算，得到两个靶标的实际径向距离和平移距离；

处理器根据四个圆形光标点的像素坐标，确定两个靶标之间的夹角；

处理器根据序列位姿图像中前一帧中两个运动目标的相对距离和后一帧中两个运动目标的相对距离，确定两个靶标之间的相对速度。

2.一种基于特征光标点的单目视觉位姿测量方法，基于一种基于特征光标点的单目视觉位姿测量系统实现，其特征在于，包括：

S1、单目相机采集序列位姿图像，然后根据张氏标定法对序列位姿图像进行校正，根据校正后的位姿图像采用局部自适应阈值法进行二值化处理，根据每个像素的邻域块的像素值分布确定每个像素位置上的阈值；

S2、根据二值化图像提取所有轮廓，根据圆轮廓的特性遍历所有轮廓得到圆轮廓，对圆轮廓进行圆曲线拟合，根据拟合结果得出圆心坐标；根据圆心坐标和圆位置关系计算每个运动目标上圆形光标点之间的像素距离d₁'、d₂'；

S3、根据图像处理得到圆心坐标结合相机标定参数求解相对位姿，具体过程包括：

建立像素坐标系与世界坐标系之间的对应关系，O_w表示世界坐标系原点，O_c表示像素坐标系原点，(U,V)表示成像平面；从O_w坐标系到(U,V)成像平面之间的转换关系是：

其中，f是相机焦距，dx和dy分别表示每个像素在横轴x和纵轴y的物理尺寸，R和T分别表示相机坐标系和世界坐标系的旋转矩阵和平移向量，X_w、Y_w、Z_w为世界坐标系的三轴坐标，u、v为像素坐标系的两轴坐标；

利用提取的目标物体中的特征靶标距离d₁、d₂和相应的相点坐标距离d₁'、d₂'构成二维成像平面和三维世界的匹配，得到像素距离与实际距离的比例换算；

根据像素坐标系下两个靶标之间的径向距离和平移距离、所述像素距离与实际距离的比例换算，计算两个靶标之间的实际径向距离和平移距离；根据四个圆形光标点的像素坐标，计算两个靶标之间的夹角；根据序列位姿图像中前一帧中两个运动目标的相对距离和后一帧中两个运动目标的相对距离，确定两个靶标之间的相对速度。

3.根据权利要求2所述的一种基于特征光标点的单目视觉位姿测量方法，其特征在于，步骤S2具体包括：

S21、处理二值化图像提取所有轮廓，遍历所有轮廓统计每个轮廓上像素点的数量，根据轮廓上像素点数量过滤噪声点；

S22、根据圆的特性依次检验所有轮廓，采用RANSAC算法进行圆拟合，根据拟合结果计算圆心坐标，根据圆的面积排序确定圆之间位置关系；

S23、根据圆心坐标和圆位置关系计算每个运动目标上发光圆之间像素距离d₁'、d₂'。

Images