CN101251379A - 一种面向水下运载器的实时双目视觉导引方法 - Google Patents

Abstract

本发明提供的是一种面向水下运载器的实时双目视觉导引方法。针对水下运载器运动的海洋环境的特点，提出了一种基于纹理控制的金字塔归一化协方差双目视觉算法，达到了应用水平的实时性，并且精度可以稳定在厘米级。对于环境信息的最终表示，提出了一种虚拟声呐模型，从而将2.5维环境信息表示为一个基于虚拟声呐模型的障碍物(或目标)矩阵，此矩阵包含了障碍物(或目标)的深度和方位信息。

Description

一种面向水下运载器的实时双目视觉导引方法

(一)技术领域

本发明涉及一种能实时地为水下运载器提供目标或障碍物的方位与距离信息的方法。

(二)背景技术

随着各种水下运载器技术的发展，声呐(Sonar)已成为水下深度探测和障碍物探测中使用最广泛的传感技术。但声呐在近距离应用中存在一定限制，包括精度低和存在盲区等问题。而视觉传感技术在近距离的优越性能恰好能弥补这一不足。它能为水下运载器提供高分辨率且高精度(特别是在近距离范围内)的深度信息。近年来，视觉技术在避障、目标识别、坞舱对接、电缆维修、海底地形建模等任务中的应用已成为研究热点。1999年美国迈阿密大学Negahdaripour等人研究了基于视觉的定位和导航系统，利用光流场及水底自然景物估计水下机器人的运动，利用视觉伺服实现水下机器人悬停，利用双目视觉或同时利用声视觉和光视觉进行海底环境建模；澳大利亚CSIRO ICT中心研发的Starbug利用双目视觉实现了海底地形重建和AUV运动估计，并于2006年在南太平洋完成了海试。国内在这方面的研究起步较晚，2000年上海交通大学使用两个单目摄像机对水下管线及故障点进行识别与定位，并完成了水池试验。中科院沈阳自动化所研究了基于单目视觉定位的水下机器人悬停定位技术并于2006年进行了水池演示实验。总而言之，这些实际系统的控制方式不外乎采用“视觉伺服”的闭环控制方式或“先看后动”的开环控制方式。开环控制方式实现简单，但系统动作的精度将直接取决于视觉传感系统的精度和运载器本身的执行精度，这就要求视觉传感器的精度要适当高一些，同时要保证实时性；对于视觉伺服系统，视觉反馈在一定程度上提高了整个系统的执行精度，但其复杂的计算对实时性能提出更高要求。目前，实际系统多采用专用的图像处理芯片来提高双目系统的处理速度。本发明针对水下运载器在避障、目标识别与跟踪等导引任务中所需要环境信息的特点，在普通双目视觉硬件配置的基础上提出一种实时的双目视觉导引系统，即采用基于纹理控制的金字塔归一化协方差法得到目标的深度图，并采用虚拟声呐模型来简化表示它，从而为运载器提供实时有效的方位和距离信息。

双目视觉是计算机被动测距方法中最重要的距离感知技术，一直是计算机视觉领域的研究重点。其基本原理是从两个视点观察同一景物，以获取在不同视点下的感知图像，通过计算共轭像点的视差来获取景物的三维信息。立体匹配是双目视觉的关键，对于校正好的立体图像对，立体匹配过程决定着整个双目系统的性能。

立体匹配可分为基于特征的匹配、基于相位的匹配和基于区域相关的匹配三大类。基于特征的匹配方法有选择地匹配能表示景物自身特性的特征，强调空间景物的结构信息来解决匹配歧义性问题。Ohta等提出了以边缘线为匹配特征的动态规划算法，此算法对多种类型的景物都能得到较好的匹配，但缺点是计算量大，实现复杂，难于实际应用。基于相位的匹配方法是近20年来出现的一种匹配方法，是由Kuglin和Hines等学者提出的。该方法对于图像的高频噪声有很好的抑制作用，对几何畸变也有很好的抵抗能力，并且还能获得亚像素级精度的视差。但存在相位奇点、相位卷绕等问题。基于区域的匹配方法用图像窗口的灰度分布来表征像素，在图像对中寻找灰度分布达到相似性阈值的像素作为匹配点，能得到致密的视差图，而且对图像对之间的线性亮度变化和对比度变化有非常强的适应性，所以适合于应用在水下。但该法对纹理度依赖较大。当存在局部低纹理区域时，该区域的匹配误差增大，导致测距不准。

(三)发明内容

本发明的目的在于提供一种可以提高匹配效率，提高系统的实时性，保证系统的可用精确度的面向水下运载器的实时双目视觉导引方法。

本发明的目的是这样实现的：

对双目摄像机获取的图象首先进行高斯滤波和校正处理。再通过立体匹配进行深度恢复。其立体匹配是采用基于纹理控制的金字塔归一化协方差立体匹配法。

所述的基于纹理控制的金字塔归一化协方差立体匹配法包括：

(1)针对具体任务场景的特点，对金字塔级数、金字塔缩放比例、纹理度阈值、NCC阈值及匹配窗口尺寸和视差范围等参数进行赋值或初始化；

(2)由原始底层图像生成k级金字塔图像；

(3)从顶层图像开始进行纹理阈值检测，对低于纹理度阈值的区域不进行立体匹配；

(4)对纹理度高于阈值的区域，建立匹配寻找矩阵。在视差范围内进行双向匹配获得最佳匹配点；

(5)从金字塔图像顶层到最底层循环进行(3)、(4)，得到视差图；

(6)根据公式 $\mathrm{Depth}=\frac{f\·b}{d}$ (f为焦距，b为基线长，d为视差)由视差图恢复出深度图，即得到距离。

本发明的主要特点体现在：

1双目视觉通过计算视差图提取环境的距离信息。视差图又是通过对立体图像对的立体匹配得到的。立体匹配的过程决定着整个系统的精度和实时性。本发明采用基于纹理控制的金字塔归一化协方差立体匹配法(Normalized cross correlation，以下简称NCC)，具体如下：

错误！未找到引用源。快速NCC法

假设图像对已经过外极线校准，即共轭点均位于同一扫描线上。NCC法计算左右图像上匹配窗口内的归一化协方差值，以达到某一阈值的点作为候选匹配点。NCC匹配示意图见附图1。

$\mathrm{NCC}(x,y,d)=\frac{\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}\underset{j=-m}{\overset{m}{\mathrm{\Σ}}}\left(\begin{array}{c}[I_1(x+i,y+j)-\stackrel{\‾}{I_1(x,y)}]\×\\ [I_2(\stackrel{.}{x}+i,y+j+d)-\stackrel{\‾}{I_2(x,y+d)}\end{array}\right)}{\left(\begin{array}{c}(2n+1)(2m+1)\\ \sqrt{{\mathrm{\δ}}^2\left(I_1\right)\×{\mathrm{\δ}}^2\left(I_2\right)}\end{array}\right)}---\left(1\right)$

其中：

$\stackrel{\‾}{I_k(x,y)}=\frac{\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}\underset{j=-m}{\overset{m}{\mathrm{\Σ}}}{I}_k(x+i,y+j)}{(2n+1)(2m+1)}---\left(2\right)$

$\mathrm{\δ}\left(I_k\right)=\sqrt{\frac{\underset{i=-n}{\overset{m}{\mathrm{\Σ}}}\underset{j=-m}{\overset{m}{\mathrm{\Σ}}}{I_k}^2(x+i,y+j)}{(2n+1)(2m+1)}-\stackrel{\‾}{I_k(x,y)}}---\left(3\right)$

是图像k中像素(x，y)的(2n+1)(2m+1)邻域的像素的平均灰度的大小，δ(I_k)是图像k中像素(x，y)的(2n+1)(2m+1)邻域的像素灰度的标准差。对于图像1中某点，在图像2上找到NCC值大于设定阈值的点组成候选匹配点集。

在NCC算法基础上，使用改进的快速NCC算法，主要是对

和δ(I_k)进行算法优化。

$\stackrel{\‾}{I_k(x,y)}=\frac{\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}\underset{j=-m}{\overset{m}{\mathrm{\Σ}}}{I}_k(x+i,y+i)}{(2n+1)(2m+1)}=\frac{S_1(x,y)}{(2n+1)(2m+1)}---\left(4\right)$

$\mathrm{\δ}\left(I_k\right)=\sqrt{\frac{\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}\underset{j=-m}{\overset{m}{\mathrm{\Σ}}}{I_k}^2(x+i,y+j)}{(2n+1)(2m+1)}-\stackrel{\‾}{I_k(x,y)}}=\frac{1}{(2n+1)(2m+1)}{S}_2(x,y)-S_1(x,y)---\left(5\right)$

S₁(x，y)＝S₁(x，y-1)+DIF₁(x-1，y)+I_k(x-n，y+m+1)+

                                            (6)

I_k(x+n，y+m+1)-I_k(x-n，y-m)-I_k(x+n，y-m)

S₂(x，y)＝S₂(x，y-1)+DIF₂(x-1，y)+I_k ²(x-n，y+m+1)+

                                            (7)

I_k ²(x+n，y+m+1)-I_k ²(x-n，y-m)-I_k ²(x+n，y-m)

${\mathrm{DIF}}_1(x,y)=-\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}(I_k(x+i,y+m+1)-I_k(x+i,y-m))---\left(8\right)$

${\mathrm{DIF}}_2(x,y)=\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}({I_k}^2(x+i,y+m+1)-{I_k}^2(x+i,y-m))---\left(9\right)$

错误！未找到引用源。图像金字塔算法

金字塔算法属于小波理论中多分辨率范畴，在图像处理中应用很广泛。图像金字塔是对一幅图像表示的集合。典型的金子塔每一层是前一层宽度和高度的一半，如果新的一层构建在前一层之上，就可以形成一个图像金字塔。最底层图像包含最多细节，最顶层图像得到最好的平滑，图像金字塔就是一系列多分辨率图像的集合。

构造金字塔需要确定金字塔级数k和逐级缩放比例r：金字塔的每一层是低一层宽度和高度的1/r；高层图像中某点的像素值可用低层图像中相应的r×r区域的像素求平均获得。也可以采用高斯和拉普拉斯滤波的方法求得。本发明选择r＝2，即每一级金字塔的像素数都减少到前一级的1/4，采用平均值滤波法由低一层图像像素得到高一层图像像素。示意图见附图2。

$I_{L+1}(x,y)=\frac{1}{4}[I_L(2x-\mathrm{1,2}y-1)+I_L(2x-\mathrm{1,2}y)+I_L(2x,2y-1)+I_L(2x,2y)]---\left(10\right)$

其中I_L+1(x，y)和I_L(x，y)分别是相邻两层的像素灰度值。易知在低分辨率图像上进行匹配将会大大节省匹配时间。所以由粗到细的多分辨率匹配策略如下：

错误！未找到引用源。由原始图像对生成金字塔图像对；

错误！未找到引用源。从最高层(最粗糙)图像开始匹配；

错误！未找到引用源。利用较高层的匹配结果指导较低层的匹配，如此循环直至最底层。

错误！未找到引用源。纹理控制

由于海水中与陆地上相比，环境复杂度低得多，水下成像往往含有大面积颜色单一的背景区域，目标或障碍物与背景的纹理度差异较大。根据水下成像的这一特点，在NCC计算之前先进行纹理检测。纹理是非常普遍的现象。纹理有许多不同的来源：首先，很多小物体组成的图像被认为是纹理；其次，物体表面上看起来像很多小物体组成的有规律的形状，也可以认为是纹理。一般的一个效果是否被称为纹理，是由观察它的尺度决定的。在已确定NCC窗口尺度前提下，纹理可用图像窗口内的平均值和标准偏差来表示。

本发明采用标准偏差表示法，原因是归一化协方差法在计算NCC值时也需要计算此标准差。则像素I(x，y)处的纹理度T(I)可表示为：

$T\left(I\right)=\mathrm{\δ}\left(I\right)=\sqrt{\frac{\underset{i=-n}{\overset{n}{\mathrm{\Σ}}}\underset{j=-m}{\overset{m}{\mathrm{\Σ}}}(x+i,y+j)}{(2n+1)(2m+1)}-\stackrel{\‾}{I(x,y)}}---\left(11\right)$

为匹配窗口内像素灰度平均值。当T(x，y)低于某一给定阈值时，说明该窗口中心像素的纹理度太低，于是舍弃该点，不再进行匹配。

纹理控制即对纹理进行阈值检测，也就是只对达到一定纹理度阈值的像素进行匹配和视差计算。由于NCC匹配法对纹理的依赖性，纹理控制可以减少误配点，有利于集中有限计算资源处理可能得到更高匹配精度的像素，从而提高匹配效率。另外，当我们只对图像中的个别目标感兴趣时，通过设置适当的纹理度阈值可以大大加快目标物距离的提取。

错误！未找到引用源。视差控制及双向匹配

当运载器执行某个特定任务时，我们会对环境做一些设定，那么双目系统摄取的立体图像对的视差一般也会局限在一个确定范围内，设此范围为(d_min，d_max)，则对于图像1的像素I₁(x，y)，在图像2上搜索匹配点就不必遍历同一扫描线上的全部像素点，而是仅在如下所示的点集中寻找候选匹配点，从而减少匹配时间。

{I₂(x，y+d_min)，I₂(x，y+d_min+1)，…，I₂(x，y+d_max-1)，I₂(x，y+d_max)}

此外，还采用了双向匹配法保证可用的精度。双向匹配又名一致性检验或左-右检验，是指在完成从图1到图2的匹配后，为检验其匹配结果的正确性而进行的反方向即从图2到图1的匹配，当且仅当正反匹配得到的点相一致时，才认为匹配是有效的。采用匹配寻找矩阵的数据结构可加快双向匹配速度。由(12)可知反向匹配的数据可以直接由正向匹配的结果读出。设左右图像宽度均为N，高度均为M，则对于第i个扫描行建立匹配寻找矩阵如(13)所示。正向匹配沿横向进行，反向匹配沿纵向进行。一共需要建立M个这样的寻找矩阵。

NCC(I₁(i，j)，I₂(i，k))＝NCC(I₂(i，k)，I₁(i，J))    (12)

$\left[\begin{array}{cccccc}\mathrm{NCC}(I_1(i,1),I_2(i,1))& \mathrm{NCC}(I_1(i,1),I_2(i,2))& .& .& .& \mathrm{NCC}(I_1(i,1),I_2(i,N))\\ \mathrm{NCC}(I_1(i,2),I_2(i,1))& \mathrm{NCC}(I_1(i,2),I_2(i,2))& .& .& .& \mathrm{NCC}(I_1(i,2),I_2(i,N))\\ .& .& .& & & .\\ .& .& & .& & .\\ .& .& & & .& .\\ \mathrm{NCC}(I_1(i,N),I_2(i,1))& \mathrm{NCC}(I_1(i,N),I_2(i,2))& .& .& .& \mathrm{NCC}\left(I_1(i,N){,I}_2(i,N)\right)\end{array}\right]---\left(13\right)$

综上，基于纹理控制的金字塔NCC匹配框图见附图3。

2虚拟声呐模型

目前工业CCD数字摄像机一般都具有较高分辨率，因此将得到高分辨率的深度图。此深度图包含大量数据，以致于妨碍运载器快速提取出有用信息以采取相应的行动。另一方面，实际上在水下运载器的导引控制中(如避障，目标跟踪等)往往不需要太高的角度分辨率(一般声呐角度分辨率为1.5°)。为使运载器能更有效地利用深度图包含的信息，本发明提出了一种虚拟声呐模型来简化表示视觉传感器最终获得的目标深度信息，该信息是以一系列角度间隔均一的不同方位上的深度值表示的，见附图4。由于这种表示方法与声呐的数据结构类似，因此而得名。

以本系统的一个实现为例进行说明。采用分辨率为1280×1024的数字CCD摄像机，CCD尺寸为4.65um，水平开角47°，垂直开角约35°，焦距为8mm。在水平面内以光心为端点作41条射线，将摄像机的水平视场均等分成42份，角度分辨率约为1°。这41条射线与成像平面图像坐标系的u₁轴成41个交点，从而将u₁轴分为42段线段。为便于循环计算，每段线段包含的像素数可近似为30个。如附图4所示，障碍物点P的像点落在第39段线段内，表明P在摄像机前方39°的方向。同理可将摄像机的垂直视场等分为34层，垂直角度分辨率仍是1°。这样从立体图像对提取出的障碍物方位和深度信息就可以用一个34×42的矩阵表示，见附图5。需要注意的是，前面为了方便起见，将成像平面移到光心前方，这使得目标方位恰与实际情况相反，必须进行调整，方法是将矩阵关于其中心作中心对称变换。对于附图5中每个方格处深度值的计算方法，本文采用最小深度，即求得每个方格内所有像素中深度的最小值作为方格的深度值。这样可能引起下面的情况发生：当运载器还没有进入危险区时提前采取避障措施，也就是造成避障时间的冗余。但该冗余有利于确保运载器的安全。针对其他任务，如目标识别，可以采用平均值法。

该模型可以根据具体任务不同进行分辨率调整。水平和垂直方向的分割份数越多，方位的分辨率也越高，在极限情况，即分割份数趋于CCD像素数时，分辨率最高，深度也达到双目视觉测深的精度。

本发明针对水下运载器运动的海洋环境的特点，提出了一种基于纹理控制的金字塔归一化协方差双目视觉算法，达到了应用水平的实时性，并且精度可以稳定在厘米级。对于环境信息的最终表示，提出了一种虚拟声呐模型，从而将2.5维环境信息表示为一个基于虚拟声呐模型的障碍物(或目标)矩阵，此矩阵包含了障碍物(或目标)的深度和方位信息。

(四)附图说明

图1为NCC匹配示意图；

图2为多级金字塔示意图；

图3为基于纹理控制的金字塔NCC匹配框图；

图4虚拟声呐模型示意图；

图5障碍物矩阵的生成；

图6(a)为tsukuba图像对的右图，图6(b)为其真实视差图；

图7(a)为tsukuba图像对的视差图，图7(b)为其NCC图；

图8(a)和图8(b)为实例2的校正图像对：图8(a)为左图，图8(b)为右图；

图9(a)为图8(a)和图8(b)所示图象对的视差图，图9(b)为NCC图；

图10AUV空间避障模拟试验；

图11AUV避障曲线。

(五)具体实施方式

利用基于纹理控制的金字塔NCC法恢复图像深度的实现框图见附图3，结合框图，其具体实施步骤可表述为：

(1)对金字塔级数k、金字塔缩放比例r、纹理度阈值TextureThresh、NCC阈值、图像尺寸m×n及匹配窗口尺寸WindowHeight和WindowWidth等参数进行设定，对视差范围上限d_max及下限d_min进行初始化。

(2)按照缩放比例r，由左右两幅原始底层图像(左图为基准图、右图为待配准图)分别生成两个k级金字塔图像，以下从L＝k、p＝1开始：

(3)分别计算左右金字塔第L层第p行的n个像素的纹理度Texture_1s，Texture_2t(s，t＝1，2，……，n)。对于Texture_1s＞＝TextureThresh的左图像素和Texture_2t＞＝TextureThresh的右图像素计算匹配寻找矩阵。(4)在视差范围(d_min，d_max)内对第p行像素进行双向匹配，得到最佳匹配像素对。

(5)若p＜m，则p＝p+1，回到(3)；否则，L＝L-1，p＝1，并将视差范围更新为(r×d_min，r×d_max)。当L＞0时，返回(3)，否则跳出循环，执行(6)。

(6)根据最佳匹配计算整幅图像的视差图。

(7)根据公式 $\mathrm{Range}=\frac{f\·b}{d}$ (f为焦距，b为基线长，d为视差)由视差图恢复出深度图，即得到距离。

下面结合附图举例对本发明做更详细的描述：

实例1：

采用使用广泛的Tsukuba人工合成立体图像对进行试验。Tsukuba立体图像对已经过校正，大小为384×288。其真实视差图如附图6(b)所示。试验中采用金字塔级数k＝4，缩放比例为r＝2，15×15匹配窗口，NCC阈值0.5，视差范围为(0，40)，纹理阈值0.1，在Pentium 42.40GHz工控机上，立体匹配求视差的过程平均耗时为164.5ms。NCC值可用来衡量匹配精度。得到的视差图和NCC图如附图7所示。

实例2：

在模拟的自治水下机器人(Autonomous Underwater Vehicle，以下简称AUV)运动环境中进行试验。两个工业数字CCD摄像机的分辨率均为1280×1024。在精确标定基础上，先对拍摄图像对作校正，之后采用上述方法，设定金字塔级数k＝4，缩放比例为r＝2，21×21匹配窗口，NCC阈值0.85，视差范围为(-230，-200)，纹理阈值15。在同上的工控机上运行程序获得视差图平均耗时仅为258ms，由此求得深度图精度可达毫米级。校正后图像对见附图8，视差图和NCC图见附图9。由附图9可以看出基于纹理控制的金字塔NCC算法有效地从模拟海洋环境中提取出了障碍物深度，258ms的运算时间证明，该方法对于实时性要求较高的AUV视觉导引具有实用价值。

实例3：

利用本双目视觉导引系统，在实验室进行了AUV空间避障模拟试验。试验是在一个四自由度AUV模拟运动平台上进行的。该平台由四个高精度步进电机驱动，能够很好地模拟AUV在海洋环境中的进退、横移、升沉和转首。整个避障模拟系统由双目导引系统、避障控制系统和执行机构——AUV模拟运动平台三部分及外围设备组成。

如附图10所示将双目摄像机固定于AUV运动模型前端，在其行走路径上放置一个球形障碍物和一个有平直表面的方形障碍物。球形障碍物位于AUV初始位置正前方偏左的位置，方形障碍物位于AUV正前方偏右稍远的位置。当球形障碍物距AUV小于600mm时，AUV探测到它，并执行右转指令。随后方形障碍物进入AUV的视域，但在安全距离以外，所以AUV仍按第一次转角后的方向直线航行。当进入安全距离以内即间距小于600mm时，AUV执行左转指令，躲避处于其正前方偏右的方形障碍物。第二次转角后AUV视域中没有障碍物，因此执行复航。第三次转角后AUV保持航向朝终点驶去。从附图11可以明显看出两个障碍物朝向AUV的表面分别为球面和平面。这说明本系统所采用的虚拟声呐模型是有效的，本系统对于AUV的避障导引是有效的。

Claims (3)

1、一种面向水下运载器的实时双目视觉导引方法，其特征是：其立体匹配是采用基于纹理控制的金字塔归一化协方差立体匹配法。

2、根据权利要求1所述的面向水下运载器的实时双目视觉导引方法，其特征是：所述的基于纹理控制的金字塔归一化协方差立体匹配法包括：

(1)对金字塔级数k、金字塔缩放比例r、纹理度阈值TextureThresh、NCC阈值、图像尺寸m×n及匹配窗口尺寸WindowHeight和WindowWidth参数进行设定，对视差范围上限d_max及下限d_min进行初始化；

(2)按照缩放比例r，由左右两幅原始底层图像分别生成两个k级金字塔图像，以下从L＝k、p＝1开始；

(3)分别计算左右金字塔第L层第p行的n个像素的纹理度Texture_1s，Texture_2t(s，t＝1，2，……，n)，对于Texture_1s＞＝TextureThresh的左图像素和Texture_2t＞＝TextureThresh的右图像素计算匹配寻找矩阵；

(4)在视差范围(d_min、d_max)内对第p行像素进行双向匹配，得到最佳匹配像素对；

(5)若p＜m，则p＝p+1，回到(3)；否则，L＝L-1，p＝1，并将视差范围更新为(r×d_min，r×d_max)；当L＞0时，返回(3)，否则跳出循环，执行(6)；

(6)根据最佳匹配计算整幅图像的视差图；

(7)根据公式 $\mathrm{Range}=\frac{f\·b}{d},$ 其中f为焦距、b为基线长、d为视差，由视差图恢复出深度图，即得到距离。

3、根据权利要求1或2所述的面向水下运载器的实时双目视觉导引方法，其特征是：用虚拟声呐模型来简化表示视觉传感器最终获得的目标深度信息，该信息是以一系列间隔均一的方位角上的深度值表示的。

Images