CN1906948A - 利用旋转匹配预测运动的图像编码设备和方法 - Google Patents

Abstract

本发明提供了一种通过利用旋转匹配预测运动来提高视频信号的压缩比的图像编码设备和方法。在编码图像信号的图像编码设备中，运动预测器通过估计作为与输入当前帧有关的参考帧的前一帧的运动来计算MV，旋转和匹配单元通过估计前一帧相对于当前帧的旋转来计算当前帧的旋转角，旋转恢复器根据旋转角来恢复参考帧，运动补偿器利用MV重构旋转恢复帧并且输出运动预测帧，编码器生成表示当前帧和运动预测帧之间的差异的差信号，并且编码差信号、MV、和旋转角。

Description

利用旋转匹配预测运动的图像编码设备和方法

技术领域

本发明一般涉及图像编码。具体地说，本发明涉及通过利用旋转匹配预测运动来提高视频信号的压缩比的图像编码设备和方法。

背景技术

众所周知，离散化图像信号比模拟信号提供更好的静止图像质量。如果包含一系列图像帧的视频信号被数字化，则必须发送大量数据以再现高质量的图像。然而，传输信道的可用频带是有限的。因此，发送大量数据需要通过压缩按比例缩小数据规模。

在各种各样的图像压缩技术当中，概率编码和组合时间和空间编码方案的混合编码被认为是最有效的两种。在国际标准化机构标准化的运动图像专家组(MPEG)-1/2/3、H.261/263/264、和联合图像专家组(JPEG)的建议书中广泛公开了这些技术。

大多数混合编码方案利用运动补偿差分脉码调制(DPCM)、离散余弦变换(DCT)、DCT系数量化、和可变长度编码(VLC)。运动补偿DPCM检测前一帧和当前帧之间对象的运动(差异)，根据运动预测当前帧，并且生成代表当前帧和该估计之间的差异的差信号。二维DCT利用或消除视频数据之间的空间冗余。它将数字视频数据块转换成DCT系数。通过对DCT系数进行量化、扫描、和VLC，有效地降低了发送数据量。

尤其，为了消除图像之间的时间冗余，运动补偿DPCM根据前一帧和当前帧之间对象的估计运动从前一帧中预测当前帧。估计运动可以表示成代表前一帧和当前帧之间的位移的二维运动矢量(MV)。

存在几种估计对象位移的手段。对象位移的估计分类成两种类型-利用块匹配算法的基于块的运动估计、和利用像素递归算法的基于像素的运动估计。

在基于像素的运动估计中，为每个像素计算代表位移的MV。尽管存在对像素值的估计更准确和比例改变(例如，缩放)简单的优点，但如果生成大量MV，就不能发送所有MV。

在基于块的运动估计中，将当前帧中预定尺寸的块与前一帧中预定范围的搜索块中、每一个相对于前一块移动一个像素的相应块相比较，并且检测误差最小的最佳匹配块。这种操作的结果是一组前一帧和当前帧之间所有块的位移矢量。利用绝对差之和(SAD)或平方差之和(SSD)确定前一帧和当前帧中两个相应块之间的相似性。

虽然在如上所述的视频压缩的领域中，在为运动预测计算前一帧和当前帧之间的时间差方面正在研究许多技术，但它们通常基于每个搜索块沿垂直和水平方向运动的概念。

能够拍摄静止图像和运动图像的数字摄像机和含有内置袖珍照相机的便携式电话的普及不仅促使专家，而且促使普通用户频繁使用没有照相机支架的照相机。因此，经常发生这样的情况，照相机的垂直和水平摇摆和俯仰引起图像晃动和振动。实际上，照相机在三维空间中绕任何方向旋转，但照相机捕获的图像被映射成二维图像帧。因此，图像晃动和振动被演示成二维图像帧的旋转。

图1例示了手晃动引起的整个图像的旋转的例子。参照图1，尽管前一帧中只有一个块在当前帧中实际发生变化，但由于手晃动引起的整个图像的旋转，前一帧和当前帧之间的差异变得非常大。

图2例示了图像旋转的另一个例子。整个图像未旋转，但前一帧中仅一个对象在当前帧中发生变化。尽管对象本身变化不多，但对象的旋转增大了前一帧和当前帧之间的差异。随着特定块旋转，在旋转前帧和旋转后帧之间总是存在某种差异。随着差异变大，图像压缩比降低了。

如上所述，传统图像编码技术，MPEG和H.26x系列，未解决运动块的二维旋转问题。于是，即使对象未移动，也以为发生了大的移动，从而产生大的MV。这样的大MV提高了图像压缩比，使传输效率降低。尤其在通过无线电接口发送图像数据的移动通信系统中，图像压缩比的提高显著地降低了无线电资源的效率。

发明内容

本发明的目的是至少基本上解决上面的问题和至少提供如下优点。于是，本发明的目的提供利用图像的旋转匹配预测运动的图像编码设备和方法。

本发明的另一个方面是提供一种通过提供图像旋转信息提高图像数据的压缩比的图像编码设备和方法。

上面的目的是通过提供通过利用旋转匹配预测运动提高视频信号的压缩比的图像编码设备和方法实现的。

根据本发明的一个方面，在编码图像信号的图像编码设备中，运动预测器通过估计由与输入当前帧有关的参考帧构成的前一帧的运动来计算运动矢量(MV)，旋转和匹配单元通过估计前一帧与当前帧相比的旋转来计算当前帧的旋转角，旋转恢复器根据旋转角来恢复参考帧并且输出旋转恢复帧，运动补偿器利用MV重构旋转恢复帧并且输出运动预测帧，编码器生成表示当前帧和运动预测帧之间的差异的差信号，并且编码差信号、MV、和旋转角。

根据本发明的另一个方面，在编码图像信号的图像编码方法中，通过估计由与输入当前帧有关的参考帧构成的前一帧的运动来计算运动矢量(MV)，通过估计前一帧相对于当前帧的旋转来计算当前帧的旋转角，根据旋转角恢复参考帧，利用MV重构所得旋转恢复帧，生成表示当前帧和运动预测帧之间的差异的差信号，并且编码差信号、MV、和旋转角。

附图说明

通过结合附图对本发明作如下详细描述，本发明的上面和其它目的、特征和优点将更加清楚，在附图中：

图1例示了利用传统图像捕获设备的由手晃动引起的整个图像的旋转的例子；

图2例示了利用传统图像捕获设备的图像旋转的另一个例子；

图3是传统图像编码设备的方块图；

图4和5例示了利用如图3所示的运动预测器的运动预测的例子；

图6是根据本发明实施例的图像编码设备的方块图；

图7例示了根据本发明实施例的旋转块和扩展块之间的关系；

图8是例示根据本发明实施例的运动补偿操作的流程图；

图9是例示根据本发明实施例的旋转和匹配操作的流程图；和

图10是例示根据本发明实施例的图像编码操作的流程图。

示范性实施例详述

下面将参照附图描述本发明的实施例。在如下的描述中，对众所周知的功能或结构不作详细描述，因为它们会使本发明埋没在不必要的细节之中。

为了进行检测图像之间的差异的运动预测，本发明的实施例通过在为当前帧的块检测最佳匹配块的同时，旋转参考块和将当前帧的块与旋转参考块相比较，使旋转引起的当前帧中的块与参考帧中的参考块之间的差异最小化。

图3是传统图像编码设备的方块图。参照图3，当前帧的输入数据被缓存在输入缓冲器105中。当前帧数据是以帧为单位构成的图像信息。它包含与每个帧的像素数量一样多的像素值。输入缓冲器105将当前帧提供给减法器115和运动预测器110。

运动预测器110计算表示当前帧的块相对于参考帧中它们的相应块的位移的运动矢量(MV)。参考帧是缓存在参考缓冲器160中的重构前一帧。运动预测的原理将在后面参照图4和5加以描述。运动补偿器165通过根据MV补偿缓存在参考缓冲器160中的参考帧的块来重构运动补偿当前帧，并且将运动补偿当前帧提供给减法器115。

现在更详细地描述运动预测器110的操作。运动预测器110将当前帧分段成尺寸N(例如，N＝16个像素)的正方块，在参考帧中搜索每个块，并且为当前帧的块检测最佳匹配块。由于搜索整个参考帧需要太多的计算，通过从参考帧中当前帧的相应块的位置开始同时向上向下移动一个或半个像素的相同尺寸的搜索窗来搜索参考帧。许多搜索方案可用于参考帧搜索，譬如，全搜索、菱形搜索、三步搜索等。但是，它们都是众所周知的和在本发明的范围之外。因此，这里不提供对它们的描述。

当为当前帧的块搜索参考帧中的相应块时，运动预测器110通过匹配两个块而测量这两个块之间的相似性。相似性可以通过已知的计算公式测量。这里使用绝对差之和(SAD)。SAD通过如下方程计算：

$\mathrm{SAD}=\underset{i}{\mathrm{\Σ}}\sqrt{{(A_i-B_i)}^2}...\left(1\right)$

其中，A_i是当前帧的块的第i像素值，和B_i是参考帧的块的第i像素值。

运动预测器110检测相对于当前帧的块具有最小SAD的参考帧的块，并且得出当前帧的块相对于参考帧的检测块的MV。

图4和5例示了运动预测器110中的运动预测的例子。图4例示了在参考帧之后经过一个帧时间间隔接收的当前帧。如图4所示，除了一个对象发生移动之外，当前帧与参考帧相同。如图5所示，对于当前帧中坐标(3，3)上的块，在参考帧中检测到坐标(1，1)上的块。当前帧中的(3，3)块相对于参考帧中的(1，1)块的MV是(-2，2)。

减法器115将从运动补偿器165接收的每个运动补偿块与当前帧的相应块相减，生成包括所得不同像素的差信号。离散余弦变换器(DCT)120将空间域差信号变换成代表频带的一组DCT系数。量化器125利用预定量化步长量化DCT系数。量化的目的是使其余非零小DCT系数变成零和使量化系数的方差降低到原始DCT系数的方差之下，以便有效编码。扫描器130按从二维到一维和从低频到高频的顺序重新排列量化DCT系数。

可变长度编码器(VLC)135一起可变长度编码从扫描器130接收的数据和预定控制信息，并且将相对于当前帧规模压缩了的输出帧提供给输出缓冲器140。可变长度编码指的是将短码指定给发生概率高的值和将长码指定给发生概率低的值的熵编码。控制信息包括当前帧的块相对于它们前一帧的相应块的MV。

同时，去量化器145将量化的数据去量化成DCT系数。逆DCT(IDCT)150将DCT系数变换成空间域差信号。组合器155将从运动补偿器165接收的运动补偿当前帧与从IDCT 150接收的差信号组合在一起，并且将所得帧作为下一个帧的参考帧存储在参考缓冲器160中。

如上所述，运动预测器110一边在参考帧中向上向下和向左向右地移动搜索窗一边检测相应块。因此，使输入图像发生晃动或图像中对象的旋转运动导致压缩比受到损失。根据本发明的实施例，为了解决这个问题，在每次旋转运动预测器110确定的参考块预定角度的同时，检测相应参考块和当前帧的块之间的差异最小的旋转角。只有旋转参考块和当前帧的块之间的差异被压缩，从而防止图像旋转引起的压缩比受到损失。

图6是根据本发明实施例的图像编码设备的方块图。比较图3和图6表明，在图6的图像编码设备中进一步包括了旋转和匹配单元270以及旋转恢复器275。可与如图6所示的包括所有部件的图像编码设备区分开，将与本发明的主题无关的部件，即，减法器215到VLC 235统称为编码器。

参照图6，当前帧的输入数据被缓存在输入缓冲器205中。当前帧数据是以帧为单位构成的图像信息。它包含与每个帧的像素数量一样多的像素值。输入缓冲器205将当前帧提供给减法器215和运动预测器210。

运动预测器210计算表示当前帧的块相对于参考帧中它们的相应块的位移的MV。参考帧是缓存在参考缓冲器260中的重构前一帧。运动补偿器265通过根据MV补偿缓存在参考缓冲器260中的参考帧的块来重构运动补偿当前帧，并且将运动补偿当前帧提供给减法器215。

运动预测器210将当前帧分段成尺寸N(例如，N＝16个像素)的正方块，在参考帧中搜索每个块，并且为当前帧的块检测最佳匹配块。然后，运动预测器210确定当前帧的块相对于参考帧的相应参考块的MV。

旋转和匹配单元270在每次旋转参考块预定角度的同时，检测参考块与当前帧的相应块最相似的旋转角。旋转块是旋转参考块创建的扩展块的一部分。图7例示了旋转块和扩展块之间的关系。如果参考块的尺寸为N×N，则扩展块具有覆盖参考块的旋转形式的尺寸N′×N′。N′利用如下方程计算：

$N^{\′}=\sqrt{2}N\sin (\frac{\mathrm{\π}}{4}+\mathrm{\θ})...\left(2\right)$

其中，N是参考块的水平和垂直长度，θ是旋转块的旋转角。

扩展块的像素利用如下方程计算：

x′＝x cos(θ)+y sin(θ)

y′＝-x sin g(θ)+y cos(θ)                        ...(3)

其中，(x，y)是参考块中像素的坐标，和(x′，y′)是扩展块中像素的坐标。

由于旋转产生的新像素值是实数，通过内插将它们转换成离散图像数据。如果参考块处在参考帧的边缘处，参考帧以外的像素是零。旋转参考块是相对于扩展块的中心切出N×N尺寸的块。也就是说，旋转和匹配单元270每次在-π/4和π/4的范围内增大或减小参考块的旋转角π/180，计算旋转了旋转角的块和当前块的SAD，并且检测其SAD小于旋转前参考块的SAD的旋转块相对于当前块的旋转角。

旋转恢复器275根据旋转和匹配单元270检测的旋转角恢复存储在参考缓冲器260中的参考帧的块。运动补偿器265通过根据运动预测器210计算的MV补偿参考帧的旋转恢复块来重构运动补偿当前帧，并且将运动补偿当前帧提供给减法器215。

减法器215将从运动补偿器265接收的运动补偿块与当前帧的块相减，生成包括差像素值的所得差信号。DCT 220将空间域差信号变换成代表频带的一组DCT系数。量化器225利用预定量化步长量化DCT系数。扫描器230按从二维到一维和从低频到高频的顺序重新排列量化的DCT系数。

VLC 235一起可变长度编码从扫描器230接收的数据和预定控制信息，并且将相对于当前帧规模压缩了的输出帧提供给输出缓冲器240。控制信息包括当前帧的块相对于它们前一帧的相应块的MV和旋转角。

同时，去量化器245将量化的数据去量化成DCT系数。IDCT 250将DCT系数变换成空间域差信号。组合器255将从运动补偿器265接收的运动补偿当前帧与从IDCT 250接收的差信号组合在一起，并且将所得帧作为运动预测和运动补偿下一个帧的参考帧存储在参考缓冲器260中。

现在参照图8、9和10更详细地描述根据本发明实施例的图像编码操作。应该注意到，如下的描述是针对只对当前帧的一个块进行图像编码操作作出的，但对当前帧的每个块都要进行这样的操作。

图8是例示根据本发明实施例的运动预测器210的操作的流程图。

参照图8，运动预测器210在步骤300中接收当前帧的一个N×N块。输入块被称为当前块。在步骤302中，运动预测器210搜索与当前块最相似的块，即，参考帧中相对于当前块具有最小SAD的块。这个块被称为参考块。运动预测器210在步骤304中输出当前块相对于参考块的MV以及参考块和当前块之间的SAD。该SAD被当作参考SAD。

图9是例示根据本发明实施例的旋转和匹配单元270的操作的流程图。虽然在同一过程中描绘从0开始增大和减小旋转角θ的两种情况，但实际上它们是分开进行的。

参照图9，旋转和匹配单元270在步骤310中从运动预测器210接收当前块和它的参考块，并且将旋转角设置成0。在步骤312中，将θ增大(或减小)π/180。在步骤314中确定包括旋转了旋转角的参考块的尺寸N′×N′的扩展块。旋转和匹配单元270在步骤316中，通过将扩展块切成N×N，在扩展块的中心创建旋转块。

在步骤318中，旋转和匹配单元270通过将旋转块的像素与当前块的像素相比较，计算新SAD，即，旋转SAD。在步骤320中将旋转SAD与从运动预测器310接收的参考SAD相比较。如果旋转SAD减去参考SAD的差值小于阈值TH，则旋转和匹配单元270转到步骤322。如果差值大于等于TH，则旋转和匹配单元270转到步骤326。最好，TH大于等于0，小于等于参考SAD的10％或更小。

在步骤322中，旋转和匹配单元270确定旋转SAD是否是从前面旋转角中得出的旋转SAD的最小者。如果是的话，则旋转和匹配单元270在步骤324中存储当前旋转角，并且在步骤326中确定当前旋转角θ是否是π/4(在角度减小的情况下，-π/4)。如果θ不是π/4，则旋转和匹配单元270返回到步骤312。如果θ是π/4，则旋转和匹配单元270转到步骤328(如果还没有进行角度减小操作，则在减小旋转角的操作之后)。在步骤328中，旋转和匹配单元270输出存储的旋转角。如果每个旋转SAD减去参考SAD的差值大于等于TH，则输出旋转角是0。

图10是例示根据本发明实施例的图像编码操作的流程图。图像编码操作发生在如图6所示的包括减法器215到VLC 235的编码器中。

参照图10，减法器215在步骤330中生成当前帧的每个块以及运动预测和旋转恢复帧的相应块之间的差信号。DCT 220在步骤332中将差信号变换成DCT系数，量化器225在步骤334中量化DCT系数。扫描器230在步骤336中重新排列量化的DCT系数，VLC 235在步骤338中通过与在如图7所示的操作中确定的MV、和在如图9所示的操作中确定旋转角一起，编码从扫描器230接收的数据，生成输出帧。在步骤340中，在预定处理之后发送输出帧。

如上所述的本发明实施例的显著优点如下。

本发明的实施例防止了由于输入图像的旋转引起的压缩比降低，从而提高了传输效率。尤其，本发明的实施例有效地防止了由于手晃动引起的图像不稳定而遇到的问题-位数增加。

虽然通过参照本发明的某些实施例，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式和细节上对其作各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。

Claims (18)

1.一种编码图像信号的图像编码设备，包含：

运动预测器，用于通过估计由与输入当前帧有关的参考帧构成的前一帧的运动来计算运动矢量(MV)；

旋转和匹配单元，用于通过估计前一帧与当前帧相比的旋转来检测当前帧的旋转角；

旋转恢复器，用于根据旋转角来恢复参考帧并且输出旋转恢复帧；

运动补偿器，用于利用MV重构旋转恢复帧并且输出运动预测帧；和

编码器，用于编码表示当前帧和运动预测帧之间的差异的差信号、MV、和旋转角，并且输出一个输出帧。

2.根据权利要求1所述的图像编码设备，其中，旋转和匹配单元在使参考块旋转预定单位角度的同时，确定当前帧的每个当前块与参考帧中与当前块相对应的参考块之间的差异最小的旋转角。

3.根据权利要求1所述的图像编码设备，其中，运动预测器计算当前帧的每个当前块的MV，该MV代表当前帧的当前块相对于参考帧与当前块相对应的参考块的位移，并且生成当前块和参考块之间的差值，作为参考差。

4.根据权利要求3所述的图像编码设备，其中，该差值是当前块的像素与参考块的像素之间的差值之和。

5.根据权利要求3所述的图像编码设备，其中，旋转和匹配单元在使参考块旋转旋转角，并且确定包括旋转参考块的扩展块的同时，每个旋转角相对于前一个旋转角改变了预定单位角度，将参考差与旋转参考块与当前块之间的差值相比较，并且输出参考块与当前块之间的差值减去参考差的差值小于预定阈值的参考块的旋转角。

6.根据权利要求5所述的图像编码设备，其中，阈值大于等于0，而小于等于参考差的10％。

7.根据权利要求1所述的图像编码设备，其中，编码器包含：

减法器，用于生成当前帧和旋转恢复帧之间的差信号；

离散余弦变换器(DCT)，用于将差信号DCT处理成DCT系数；

量化器，用于量化DCT系数；

扫描器，用于重新排列量化的DCT系数；

可变长度编码器，用于与MV和旋转角一起可变长度编码重新排列的DCT系数；

去量化器，用于去量化量化的DCT系数；

逆DCT(IDCT)，用于IDCT处理去量化的DCT系数；和

组合器，用于将IDCT的输出与运动补偿帧组合在一起，并且存储组合帧作为新参考帧。

8.一种编码图像信号的图像编码方法，包含如下步骤：

通过估计由与输入当前帧有关的参考帧构成的前一帧的运动来计算运动矢量(MV)；

通过估计前一帧与当前帧相比的旋转计算当前帧的旋转角；

根据旋转角恢复参考帧并且输出旋转恢复帧；

利用MV重构旋转恢复帧并且输出运动预测帧；和

编码表示当前帧和运动预测帧之间的差异的差信号、MV、和旋转角，并且输出一个输出帧。

9.根据权利要求8所述的图像编码方法，其中，旋转角计算步骤包含如下步骤：在使参考块旋转预定单位角度的同时，确定当前帧的每个当前块与参考帧中与当前块相对应的参考块之间的差异最小的旋转角。

10.根据权利要求8所述的图像编码方法，其中，MV计算步骤包含如下步骤：计算当前帧的每个当前块的MV，该MV代表当前帧的当前块相对于参考帧与当前块相对应的参考块的位移，并且生成当前块和参考块之间的差值，作为参考差。

11.根据权利要求10所述的图像编码方法，其中，该差值是当前块的像素与参考块的像素之间的绝对差之和(SAD)。

12.根据权利要求10所述的图像编码方法，其中，旋转角计算步骤包含如下步骤：

使参考块旋转旋转角，每个旋转角相对于前一个旋转角改变了预定单位角度，并且确定包括旋转参考块的扩展块；

通过将扩展块切成当前块的尺寸来生成旋转块；

计算旋转块与当前块之间的差值；和

输出差值比参考差小预定阈值或更大的旋转块当中差值最小的旋转块的旋转角。

13.根据权利要求12所述的图像编码方法，其中，阈值大于等于0，而小于等于参考差的10％。

14.根据权利要求12所述的图像编码方法，其中，预定单位角度是π/180。

15.根据权利要求12所述的图像编码方法，其中，旋转角在-π/4到π/4之间的范围内增大或减小。

16.根据权利要求12所述的图像编码方法，其中，扩展块的宽为 $\sqrt{2}N\sin (\frac{\mathrm{\π}}{4}+\mathrm{\θ})$ 和长为 $\sqrt{2}N\sin (\frac{\mathrm{\π}}{4}+\mathrm{\θ}),$ N是当前块和参考块的宽度和长度，和θ是扩展块的旋转角。

17.根据权利要求12所述的图像编码方法，其中，扩展块的每个像素的坐标(x′，y′)通过如下方程计算：

x′＝xcos(θ)+ysin(θ)

y′＝-xsin g(θ)+ycos(θ)

其中，θ是扩展块的旋转角。

18.根据权利要求8所述的图像编码方法，其中，编码步骤包含如下步骤：

生成当前帧和旋转恢复帧之间的差信号；

将差信号离散余弦变换成离散余弦变换(DCT)系数；

量化DCT系数；

重新排列量化的DCT系数；

与MV和旋转角一起可变长度编码重新排列的DCT系数；

去量化量化的DCT系数；

逆离散余弦变换去量化的DCT系数；和

将IDCT的输出与运动补偿帧组合在一起并且存储组合帧作为新参考帧。

Images