CN108234985A - 用于反向深度图渲染处理的维度变换空间下的滤波方法 - Google Patents

用于反向深度图渲染处理的维度变换空间下的滤波方法 Download PDF

Info

Publication number
CN108234985A
CN108234985A CN201810235544.4A CN201810235544A CN108234985A CN 108234985 A CN108234985 A CN 108234985A CN 201810235544 A CN201810235544 A CN 201810235544A CN 108234985 A CN108234985 A CN 108234985A
Authority
CN
China
Prior art keywords
depth map
image
filtering
filter
reverse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810235544.4A
Other languages
English (en)
Other versions
CN108234985B (zh
Inventor
刘伟
郑扬冰
张玉
张新刚
崔明月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Rongchuang Xinhe Technology Co ltd
Original Assignee
Nanyang Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanyang Normal University filed Critical Nanyang Normal University
Priority to CN201810235544.4A priority Critical patent/CN108234985B/zh
Publication of CN108234985A publication Critical patent/CN108234985A/zh
Application granted granted Critical
Publication of CN108234985B publication Critical patent/CN108234985B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/04—Texture mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了用于反向深度图渲染处理的维度变换空间下的滤波方法，主要包括：步骤1：采用联合滤波器F1，在维度变换域下结合参考视角图像Iori对原始深度图Dori进行联合滤波，生成第一次滤波后的深度图D1；步骤2：采用联合滤波器F2，在维度变换域下对正向3D映射后的深度图D1和正向3D映射后的场景梯度结构G进行联合滤波，生成目标视角下优化后的深度图D2；步骤3：结合深度图D2，对参考视角图像Iori进行反向3D纹理映射，生成新视角图像Inew。本发明的用于反向深度图渲染处理的维度变换空间下的滤波方法，可以实现虚拟视点下深度图的空洞修复和优化，替代了现有方案中复杂的图像修复技术，保证了反向深度图渲染处理过程的运行效率。

Description

用于反向深度图渲染处理的维度变换空间下的滤波方法
技术领域
本发明涉及三维视图技术领域，具体地，涉及用于反向深度图渲染处理的维度变换空间下的滤波方法。
背景技术
目前，三维(3D)视频逐渐普及，中国中央电视台(CCTV)也在2012年元旦之际试播了3D频道，3D视频已经逐渐成为了当前发展的一种趋势。然而，视频源不足成为制约这一产业兴起的主要瓶颈。在这种情况下，将2D视频转为3D视频是解决此问题的有效途径。
虚拟视点合成方法是2D视频转为3D视频中的关键技术之一。目前，在众多合成方法中，基于深度图的渲染(Depth Image-based Rendering，DIBR)已经成为了一种国际上公认的技术方案。它是在原视频的基础上附加了每一帧所对应的深度图，最后由嵌入DIBR处理模块的显示终端输出转换为双目立体视频(参见“电影2D/3D转换技术概述[J]”，刘伟、吴毅红、胡占义，《计算机辅助设计与图形学学报》，2012,24(1):14-28)。这种合成技术在压缩传输效率、不同设备的兼容性以及在实时景深调整和快速渲染合成等方面具有明显的技术优势，在新兴的3DTV、3D移动终端等市场占有绝对的主导地位，是3D渲染技术未来发展的方向。
传统的DIBR渲染基于正向三维图像变换，即在已知参考视点图像和对应深度图的情况下，根据三维映射(3D warping)方程，先恢复出参考视角下每个像素点在空间中的三维坐标，再投影到虚拟视点的二维成像平面，从而得到虚拟视点图像。虽然这种技术有很多的优势，但是仍然存在一些难以避免的问题，如重叠、重采样、空洞现象等。针对这些问题目前常采用如附图1所示的处理流程，通过在DIBR前融合多种深度图预处理方法及在DIBR后融合多种图像修复技术来对应对众多问题。该方案流程虽然处理效果明显，但是由于涉及环节应对问题众多，难以在渲染效果和转换效率上找到一个平衡点。
除此之外，还有一种反向深度图渲染处理方案。在这种方案下，首先通过传统的3D变换获得虚拟视点的深度图像，然后基于虚拟视点下优化后的深度图像进行反向3D变换，从而获得虚拟视点的彩色图像。由于这种方案通过反向流程在原理上避免了传统渲染方法在3D映射时像素的多对一关系，从而可以很好的解决重叠和重采样的问题，使虚拟视图在主观效果上有大幅度的提升。但是在这类方法中，目前针对空洞现象的处理仍然放在了虚拟图像生成后的图像修复环节，计算复杂度较高，在一定程度上影响了整个处理流程的运行效率。
发明内容
本发明的目的在于，针对上述问题，提出用于反向深度图渲染处理的维度变换空间下的滤波方法，以实现虚拟视点下深度图的空洞修复和优化，替代了复杂的图像修复技术，保证了立体图像渲染过程的运行效率的优点。
为实现上述目的，本发明采用的技术方案是：用于反向深度图渲染处理的维度变换空间下的滤波方法，包括如下步骤：
步骤1：采用联合滤波器F1，在维度变换域下结合参考视角图像Iori对原始深度图Dori进行联合滤波，生成第一次滤波后的深度图D1；
步骤2：采用联合滤波器F2，在维度变换域下对正向3D映射后的深度图D1和正向3D映射后的场景梯度结构G进行联合滤波，生成目标视角下优化后的深度图D2；
步骤3：结合深度图D2，对参考视角图像Iori进行反向3D纹理映射，生成新视角图像Inew。
进一步地，步骤1中所述联合滤波器F1采用的滤波函数为：
其中，Dori[n]表示原始深度图上一行或一列的像素值，a∈(0,1)是扩散函数的反馈系数，d1表示联合滤波器F1的维度变换域中相邻样本xn和xn-1之间的距离。
进一步地，所述联合滤波器F1中维度变换域相邻样本xn和xn-1之间的距离定义为：
d1＝ct1(xn)-ct1(xn-1)
其中，ct1(u)表示联合滤波器F1中的维度变换域，
则维度变换过程为:
其中，|I′ori(x)|表示输入参考视角图像的梯度强度，σs和σr分别是联合滤波器空间和值域参数，用来调节滤波的影响，σs取值范围为200～2500，σr取值范围为0.1～10。
进一步地，步骤2中所述联合滤波器F2采用的滤波函数为：
其中，Dwarp[n]表示目标视角下映射后深度图上一行或一列的像素值，运算符ξwarp(αr,β)表示基于参考视角下的深度图αr对参考视角下的图像β进行正向3D映射，a∈(0,1)是扩散函数的反馈系数，d2表示联合滤波器F2的维度变换域中相邻样本xn和xn-1之间的距离。
进一步地，所述联合滤波器F2中维度变换域相邻样本xn和xn-1之间的距离定义为：
d2＝ct2(xn)-ct2(xn-1)
其中，ct2(u)表示联合滤波器F2中的维度变换域，则维度变换过程为:
其中，Gwarp表示映射后目标视角下的场景梯度强度，运算符ξwarp(αr,β)表示基于参考视角下的深度图αr对参考视角下的图像β进行正向3D映射，|I′ori(x)|表示输入参考视角图像的梯度强度，|S′ori|表示参考视角图像对应的视觉显著度分布图的梯度强度，σs和σr分别是联合滤波器空间和值域参数，用来调节滤波的影响，σs取值范围为200～2500，σr取值范围为0.1～10，γ是权重因子，取值范围为1～5。
进一步地，步骤3中所述生成新视角图像Inew的过程为：
其中，运算符表示基于目标视角下的深度图αt对参考视角下的图像β进行反向3D映射。
进一步地，所述联合滤波器F1和联合滤波器F2的滤波过程为迭代过程，且为实现对称滤波，如果在一次迭代中滤波按照从左到右，从上到下的顺序在图像中进行，则下一次迭代中滤波按照从右到左、从下到上的顺序进行。迭代次数为2～10次。
本发明的有益技术效果：
本发明基于反向深度图渲染处理方案，通过维度变换空间中的两个滤波器实现了虚拟视点下深度图的空洞修复和优化，替代了复杂的图像修复技术，保证了立体图像渲染过程的运行效率，从而实现了一种高效的用于反向深度图渲染处理的维度变换空间下的滤波方法。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为传统的DIBR系统处理流程图；
图2为本发明所述用于反向深度图渲染处理的维度变换空间下的滤波方法的流程图；
图3(a)为本发明实施例进行实验的参考视角图像；
图3(b)为本发明实施例进行实验的初始深度图像；
图3(c)为本发明实施例进行实验经过联合滤波器F1处理后的初始深度图；
图3(d)为本发明实施例进行实验经过3D warping映射到虚拟视角下的深度图；
图3(e)为本发明实施例进行实验经过二次滤波优化后得到的虚拟视角下的深度图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1显示了传统的DIBR系统处理流程。该流程是2D/3D转换方法中的重要步骤，它描述了一个精确的点到点的映射关系，可以利用深度信息渲染出虚拟的立体视频，从而最终完成2D到3D“质的转变”。虽然这种技术有很多的优势，但是仍然存在一些难以避免的问题，如重叠、重采样、空洞现象等。针对这些问题，如附图1所示，通过在DIBR前融合多种深度图预处理方法及在DIBR后融合多种图像修复技术来对应对众多问题。该方案流程虽然处理效果明显，但是由于涉及环节应对问题众多，难以在渲染效果和转换效率上找到一个平衡点。
传统的DIBR系统处理流程中3D warping是关键技术，其理论基础是1997年MCMILLAN在“Modeling and rendering architecture from photographs:a hybridgeometry-and image-based approach”中提出的三维映射方程，这是一个正向映射(forward warping)过程，即从参考视点向虚拟视点映射的过程。除此之外，Morvan于2009年在“Acquisition，compression and rendering of depth and texture for multi-view video”提出了一种反向的3D图像映射方法，可以很好的解决重叠和重采样问题，使虚拟视图在主观效果上有大幅度的提升。该方案与传统DIBR处理流程相比具有较大的优势，但目前该类方案仍然多采用图像修复法来处理空洞现象，在一定程度上影响了转换效率的提高。
针对这个问题，本发明方法在维度变换空间中设计了两个滤波器来代替图像修复技术，从而基于虚拟视角下深度图的修复来实现了一种高效的维度变换空间下反向深度图渲染处理方法。
本发明方法是以参考视角图像和初始深度图作为输入的数据源，经过处理后生成新合成视角图像。图2是本发明的方法流程图，结合图2对本发明的具体实施方式进行描述。
本发明方法主要通过反向深度图渲染流程中的两个维度变换域下的联合滤波器来实现，具体包括以下步骤：
采用联合滤波器F1，在维度变换域下结合参考视角图像Iori对原始深度图Dori进行联合滤波，生成第一次滤波后的深度图D1；
滤波函数定义如下：其中，Dori[n]表示原始深度图上一行或一列的像素值，a∈(0,1)是扩散函数的反馈系数，d1表示滤波器F1的维度变换域中相邻样本xn和xn-1之间的距离。联合滤波器F1中维度变换域相邻样本xn和xn-1之间的距离又定义为：d1＝ct1(xn)-ct1(xn-1)。
这里的维度变换域是用2011年Eduardo S.L.Gastal等人在文章“Domaintransform for edge-aware image and video processing”中提出的方法得到的变换空间，它的最大优势是在能够保证图像纹理特征的前提下将多维空间降为一维空间，从而大大提高了计算效率。具体而言，ct1(u)表示联合滤波器F1中的维度变换域，则维度变换过程为:
其中，|I′ori(x)|表示输入参考视角图像的梯度强度，σs和σr分别是滤波器空间和值域参数，用来调节滤波的影响，σs取值范围为200～2500，σr取值范围为0.1～10。
该滤波器位于深度图3D warping之前，因此它的作用与传统DIBR流程中的深度图预处理环节类似，通过深度图预处理，减小图层之间的深度变换梯度，从而减少3D warping中空洞的产生。需要说明的是，传统DIBR流程中的深度图滤波仅仅存在于3D warping前且多采用全局滤波，因此为了尽可能的抑制空洞产生，往往会选择较大的滤波核，由此可能会造成部分直线区域发生形变。本发明方法由于在3D warping后又采用了二次滤波专门处理3D warping中产生的空洞，因此这里滤波核能够受到有限的控制；更重要的是，该滤波器是一种基于维度空间变换的联合滤波器，因而在本质上是一种自适应局部滤波器，能够更有效的针对不同区域进行不同强度的滤波。
采用联合滤波器F2，在维度变换域下对正向3D映射后的深度图D1和正向3D映射后的场景梯度结构G进行联合滤波，生成目标视角下优化后的深度图D2。维度变换域下的联合滤波器F2为:滤波函数定义如下：
其中，Dwarp[n]表示目标视角下映射后深度图上一行或一列的像素值，运算符ξwarp(αr,β)表示基于参考视角下的深度图αr对参考视角下的图像β进行正向3D映射，a∈(0,1)是扩散函数的反馈系数，d2表示滤波器F2的维度变换域中相邻样本xn和xn-1之间的距离。d2可以进一步定义为：
d2＝ct2(xn)-ct2(xn-1)
其中，ct2(u)表示联合滤波器F2中的维度变换域，则维度变换过程为:
其中，Gwarp表示映射后目标视角下的场景梯度强度，运算符ξwarp(αr,β)表示基于参考视角下的深度图αr对参考视角下的图像β进行正向3D映射，|I′ori(x)|表示输入参考视角图像的梯度强度，|S′ori|表示参考视角图像对应的视觉显著度分布图的梯度强度，σs和σr分别是滤波器空间和值域参数，用来调节滤波的影响，σs取值范围为200～2500，σr取值范围为0.1～10，γ是权重因子，取值范围为1～5。
该滤波器的基本框架和滤波器F1类似。虽然滤波器F1已经在很大程度上抑制了空洞的产生，但是仍然不能避免大视差引起的空洞。滤波器F2的作用就是代替现有反向处理流程中的图像修复方法，用滤波方法来消除剩下的空洞。由于本滤波器也是基于维度变换框架，因此其处理效率大大高于图像修复方法。其中Sori为原始图像对应的视觉显著度分布图，本发明实施例中基于“Salient region detection via high-dimensional colortransform and local spatial support”中的方法得到，也可以用其它类似方法获得，其主要作用是加强滤波器F2的联合滤波约束，防止二次滤波对显著度高的区域进行过度平滑。
本发明方法虽然进行了两次滤波，但是在维度变换空间下滤波器的维数降低，其运算效率远远高于传统二维空间下的联合滤波器，可以保证系统的处理效率。传统的深度平滑滤波器是在二维空间下运行的，本发明方法设计的两个滤波器降维到一维空间运行，为了达到同样的效果，在具体的实施例中，滤波都采用迭代的方式来实现。又因为上述定义的维度变换过程非对称，所以为实现对称滤波，如果在一次迭代中滤波按照从左到右，从上到下的顺序在图像中进行，则下一次迭代中滤波按照从右到左、从下到上的顺序进行。迭代次数为2～10次，一般迭代3次滤波效果可达到稳定，仿真实验中迭代次数为3次。
结合深度图D2，对参考视角图像Iori进行反向3D纹理映射，生成新视角图像Inew。
得到虚拟视角下优化后没有空洞的深度图后，就可以按照Morvan在“Acquisition，compression and rendering of depth and texture for multi-viewvideo”提到的反向三维映射过程生成新视角下的图像：
其中，运算符表示基于目标视角下的深度图αt对参考视角下的图像β进行反向3D映射。
以下为本发明方法的实验验证。
1)实验条件：
在CPU为 CoreTM 2 Quad CPU Q9400＠2.66GHz，内存4G，Windows 7系统上进行了实验；
2)实验内容：
以下参照图3来具体描述根据本发明方法的实验实现细节；
图3是对两组实验图像处理时的情况。其中，图3(a)为参考视角图像，图3(b)为初始深度图像。图3(c)是经过滤波器F1处理后的初始深度图像，可以看到在联合滤波的作用下，原始深度图根据场景结构在不同区域实现了不同程度的平滑。图3(d)是经过3Dwarping映射到虚拟视角下的深度图，可以看到有部分空洞区域仍然出现在视差变换较大的图层过度处。图3(e)是经过二次滤波优化后得到的虚拟视角下的深度图，可以看到不仅空洞区域完全被消除，而且在一些背景区域细节得到了加强，如第一组实验图像背景的房子区域，深度图轮廓更加清晰。
本发明方法基于反向深度图渲染处理方案，但与现有方法不同，本发明方法用前后两个基于维度空间变换的滤波过程来代替图像修复来实现空洞问题的解决。一方面，滤波过程能够获得比图像修复方法获得更好的处理效率；另一方面，反向流程的核心是优化虚拟视角下的深度图，而深度图与纹理图像相比，具有多个区域平滑的图层，因此更适合采用滤波技术来处理空洞问题。这样，本发明方法在实现3D视频的转换效果提升的同时能够有效保证算法的运行效率。
至少可以达到以下有益效果：
本发明基于反向深度图渲染处理方案，通过维度变换空间中的两个滤波器实现了虚拟视点下深度图的空洞修复和优化，替代了复杂的图像修复技术，保证了立体图像渲染过程的运行效率，从而实现了一种高效的用于反向深度图渲染处理的维度变换空间下的滤波方法。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.用于反向深度图渲染处理的维度变换空间下的滤波方法，其特征在于，包括如下步骤：
步骤1：采用联合滤波器F1，在维度变换域下结合参考视角图像Iori对原始深度图Dori进行联合滤波，生成第一次滤波后的深度图D1；
步骤2：采用联合滤波器F2，在维度变换域下对正向3D映射后的深度图D1和正向3D映射后的场景梯度结构G进行联合滤波，生成目标视角下优化后的深度图D2；
步骤3：结合深度图D2，对参考视角图像Iori进行反向3D纹理映射，生成新视角图像Inew。
2.根据权利要求1所述的用于反向深度图渲染处理的维度变换空间下的滤波方法，其特征在于，步骤1中所述联合滤波器F1采用的滤波函数为：
其中，Dori[n]表示原始深度图上一行或一列的像素值，a∈(0,1)是扩散函数的反馈系数，d1表示联合滤波器F1的维度变换域中相邻样本xn和xn-1之间的距离。
3.根据权利要求1或2所述的用于反向深度图渲染处理的维度变换空间下的滤波方法，其特征在于，所述联合滤波器F1中维度变换域相邻样本xn和xn-1之间的距离定义为：
d1＝ct1(xn)-ct1(xn-1)
其中，ct1(u)表示联合滤波器F1中的维度变换域，
则维度变换过程为:
其中，|Io′ri(x)|表示输入参考视角图像的梯度强度，σs和σr分别是联合滤波器空间和值域参数，用来调节滤波的影响，σs取值范围为200～2500，σr取值范围为0.1～10。
4.根据权利要求1所述的用于反向深度图渲染处理的维度变换空间下的滤波方法，其特征在于，步骤2中所述联合滤波器F2采用的滤波函数为：
其中，Dwarp[n]表示目标视角下映射后深度图上一行或一列的像素值，运算符ξwarp(αr,β)表示基于参考视角下的深度图αr对参考视角下的图像β进行正向3D映射，a∈(0,1)是扩散函数的反馈系数，d2表示联合滤波器F2的维度变换域中相邻样本xn和xn-1之间的距离。
5.根据权利要求1或4所述的用于反向深度图渲染处理的维度变换空间下的滤波方法，其特征在于，所述联合滤波器F2中维度变换域相邻样本xn和xn-1之间的距离定义为：
d2＝ct2(xn)-ct2(xn-1)
其中，ct2(u)表示联合滤波器F2中的维度变换域，则维度变换过程为:
其中，Gwarp表示映射后目标视角下的场景梯度强度，运算符ξwarp(αr,β)表示基于参考视角下的深度图αr对参考视角下的图像β进行正向3D映射，|Io′ri(x)|表示输入参考视角图像的梯度强度，|So′ri|表示参考视角图像对应的视觉显著度分布图的梯度强度，σs和σr分别是联合滤波器空间和值域参数，用来调节滤波的影响，σs取值范围为200～2500，σr取值范围为0.1～10，γ是权重因子，取值范围为1～5。
6.根据权利要求1所述的用于反向深度图渲染处理的维度变换空间下的滤波方法，其特征在于，步骤3中所述生成新视角图像Inew的过程为：
其中，运算符表示基于目标视角下的深度图αt对参考视角下的图像β进行反向3D映射。
7.根据权利要求2或4所述的用于反向深度图渲染处理的维度变换空间下的滤波方法，其特征在于，所述联合滤波器F1和联合滤波器F2的滤波过程为迭代过程，且为实现对称滤波，如果在一次迭代中滤波按照从左到右，从上到下的顺序在图像中进行，则下一次迭代中滤波按照从右到左、从下到上的顺序进行。迭代次数为2～10次。
CN201810235544.4A 2018-03-21 2018-03-21 用于反向深度图渲染处理的维度变换空间下的滤波方法 Active CN108234985B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810235544.4A CN108234985B (zh) 2018-03-21 2018-03-21 用于反向深度图渲染处理的维度变换空间下的滤波方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810235544.4A CN108234985B (zh) 2018-03-21 2018-03-21 用于反向深度图渲染处理的维度变换空间下的滤波方法

Publications (2)

Publication Number Publication Date
CN108234985A true CN108234985A (zh) 2018-06-29
CN108234985B CN108234985B (zh) 2021-09-03

Family

ID=62659857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810235544.4A Active CN108234985B (zh) 2018-03-21 2018-03-21 用于反向深度图渲染处理的维度变换空间下的滤波方法

Country Status (1)

Country Link
CN (1) CN108234985B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544671A (zh) * 2018-11-12 2019-03-29 浙江大学 一种基于屏幕空间的视频在三维场景中投影映射方法
CN110738626A (zh) * 2019-10-24 2020-01-31 广东三维家信息科技有限公司 渲染图的优化方法、装置及电子设备
CN111669564A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 图像重建方法、系统、设备及计算机可读存储介质
CN112203074A (zh) * 2020-12-07 2021-01-08 南京爱奇艺智能科技有限公司 一种基于两部迭代的相机平移新视点图像生成方法和系统
CN112634339A (zh) * 2019-09-24 2021-04-09 阿里巴巴集团控股有限公司 商品对象信息展示方法、装置及电子设备
US11257283B2 (en) 2019-03-07 2022-02-22 Alibaba Group Holding Limited Image reconstruction method, system, device and computer-readable storage medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831603A (zh) * 2012-07-27 2012-12-19 清华大学 基于深度图后向映射的图像渲染方法和图像渲染装置
CN103208110A (zh) * 2012-01-16 2013-07-17 展讯通信（上海）有限公司 视频图像的转换方法及装置
CN103391446A (zh) * 2013-06-24 2013-11-13 南京大学 一种基于自然场景统计的深度图优化方法
KR101458986B1 (ko) * 2013-04-22 2014-11-13 광운대학교 산학협력단 키넥트 기반 실시간 다시점 영상 생성 방법
CN105103453A (zh) * 2013-04-08 2015-11-25 索尼公司 数据编码和解码
CN106780705A (zh) * 2016-12-20 2017-05-31 南阳师范学院 适用于dibr预处理过程的深度图鲁棒平滑滤波方法
US20180027224A1 (en) * 2016-07-19 2018-01-25 Fotonation Limited Systems and Methods for Estimating and Refining Depth Maps

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103208110A (zh) * 2012-01-16 2013-07-17 展讯通信（上海）有限公司 视频图像的转换方法及装置
CN102831603A (zh) * 2012-07-27 2012-12-19 清华大学 基于深度图后向映射的图像渲染方法和图像渲染装置
CN105103453A (zh) * 2013-04-08 2015-11-25 索尼公司 数据编码和解码
KR101458986B1 (ko) * 2013-04-22 2014-11-13 광운대학교 산학협력단 키넥트 기반 실시간 다시점 영상 생성 방법
CN103391446A (zh) * 2013-06-24 2013-11-13 南京大学 一种基于自然场景统计的深度图优化方法
US20180027224A1 (en) * 2016-07-19 2018-01-25 Fotonation Limited Systems and Methods for Estimating and Refining Depth Maps
CN106780705A (zh) * 2016-12-20 2017-05-31 南阳师范学院 适用于dibr预处理过程的深度图鲁棒平滑滤波方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHUJIE LIU: "Joint Trilateral Filtering for Depth Map Compression", 《SPIE》 *
WEI LIU等: "A Novel Stereoscopic View Generation Approach Based on Visual Attention Analysis", 《PROCEEDINGS OF THE 36TH CHINESE CONTROL CONFERENCE》 *
王震: "自由视点立体电视系统的虚拟视点合成技术研究", 《CNKI》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544671A (zh) * 2018-11-12 2019-03-29 浙江大学 一种基于屏幕空间的视频在三维场景中投影映射方法
CN109544671B (zh) * 2018-11-12 2022-07-19 浙江大学 一种基于屏幕空间的视频在三维场景中投影映射方法
CN111669564A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 图像重建方法、系统、设备及计算机可读存储介质
US11257283B2 (en) 2019-03-07 2022-02-22 Alibaba Group Holding Limited Image reconstruction method, system, device and computer-readable storage medium
US11341715B2 (en) 2019-03-07 2022-05-24 Alibaba Group Holding Limited Video reconstruction method, system, device, and computer readable storage medium
CN111669564B (zh) * 2019-03-07 2022-07-26 阿里巴巴集团控股有限公司 图像重建方法、系统、设备及计算机可读存储介质
US11521347B2 (en) 2019-03-07 2022-12-06 Alibaba Group Holding Limited Method, apparatus, medium, and device for generating multi-angle free-respective image data
CN112634339A (zh) * 2019-09-24 2021-04-09 阿里巴巴集团控股有限公司 商品对象信息展示方法、装置及电子设备
CN112634339B (zh) * 2019-09-24 2024-05-31 阿里巴巴集团控股有限公司 商品对象信息展示方法、装置及电子设备
CN110738626A (zh) * 2019-10-24 2020-01-31 广东三维家信息科技有限公司 渲染图的优化方法、装置及电子设备
CN112203074A (zh) * 2020-12-07 2021-01-08 南京爱奇艺智能科技有限公司 一种基于两部迭代的相机平移新视点图像生成方法和系统
CN112203074B (zh) * 2020-12-07 2021-03-02 南京爱奇艺智能科技有限公司 一种基于两步迭代的相机平移新视点图像生成方法和系统

Also Published As

Publication number Publication date
CN108234985B (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN108234985A (zh) 用于反向深度图渲染处理的维度变换空间下的滤波方法
Li et al. Hole filling with multiple reference views in DIBR view synthesis
CN108596965B (zh) 一种光场图像深度估计方法
CN106504190B (zh) 一种基于3d卷积神经网络的立体视频生成方法
US10095953B2 (en) Depth modification for display applications
CN102254348B (zh) 一种基于自适应视差估计的虚拟视点绘制方法
CN111899295B (zh) 一种基于深度学习的单目场景深度预测方法
CN106408513B (zh) 深度图超分辨率重建方法
CN115802058A (zh) 图像编码/解码方法和计算机可读记录介质
CN102592275A (zh) 虚拟视点绘制方法
Zhao et al. Depth no-synthesis-error model for view synthesis in 3-D video
Wang et al. View generation with DIBR for 3D display system
CN104954780A (zh) 一种适用于高清2d/3d转换的dibr虚拟图像修复方法
WO2022155950A1 (zh) 虚拟视点合成方法、电子设备和计算机可读介质
Kim et al. Multi-perspective stereoscopy from light fields
CN105678687A (zh) 基于图像内容的立体图像拼接方法
CN109767408A (zh) 图像处理方法、装置、存储介质及计算机设备
CN106791770B (zh) 一种适用于dibr预处理过程的深度图融合方法
CN104869386A (zh) 一种基于分层处理虚拟视点合成方法
Xi et al. Depth-image-based rendering with spatial and temporal texture synthesis for 3DTV
CN115482323A (zh) 一种基于神经辐射场的立体视频视差控制与编辑方法
Pan et al. 3D video disparity scaling for preference and prevention of discomfort
CN106780705B (zh) 适用于dibr预处理过程的深度图鲁棒平滑滤波方法
Liu et al. An enhanced depth map based rendering method with directional depth filter and image inpainting
US9787980B2 (en) Auxiliary information map upsampling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20251016

Address after: 474350 Henan Province Nanyang City Neixiang County Chuandong Town Hemin Road Agricultural Equipment Park A9 Building

Patentee after: HENAN RONGCHUANG XINHE TECHNOLOGY CO.,LTD.

Country or region after: China

Address before: 473061 Wolong Road, Wolong District, Henan, No. 1638, No.

Patentee before: Nanyang Normal University

Country or region before: China

TR01 Transfer of patent right