CN112929644A - 多视点裸眼3d显示屏、多视点裸眼3d显示设备 - Google Patents

多视点裸眼3d显示屏、多视点裸眼3d显示设备 Download PDF

Info

Publication number
CN112929644A
CN112929644A CN201911231386.6A CN201911231386A CN112929644A CN 112929644 A CN112929644 A CN 112929644A CN 201911231386 A CN201911231386 A CN 201911231386A CN 112929644 A CN112929644 A CN 112929644A
Authority
CN
China
Prior art keywords
eye
sub
composite
pixels
view naked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911231386.6A
Other languages
English (en)
Other versions
CN112929644B (zh
Inventor
刁鸿浩
黄玲溪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vision Technology Venture Capital Pte Ltd
Beijing Ivisual 3D Technology Co Ltd
Original Assignee
Vision Technology Venture Capital Pte Ltd
Beijing Ivisual 3D Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vision Technology Venture Capital Pte Ltd, Beijing Ivisual 3D Technology Co Ltd filed Critical Vision Technology Venture Capital Pte Ltd
Priority to CN201911231386.6A priority Critical patent/CN112929644B/zh
Priority to PCT/CN2020/133330 priority patent/WO2021110036A1/zh
Priority to US17/779,575 priority patent/US20230008318A1/en
Priority to EP20896528.5A priority patent/EP4068771A4/en
Priority to TW109142885A priority patent/TWI772997B/zh
Publication of CN112929644A publication Critical patent/CN112929644A/zh
Application granted granted Critical
Publication of CN112929644B publication Critical patent/CN112929644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/368Image reproducers using viewer tracking for two or more viewers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the three-dimensional [3D] impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/324Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请涉及裸眼3D显示技术领域,公开一种多视点裸眼3D显示屏,包括:显示面板,具有多个复合像素,多个复合像素中的每个复合像素包括多个复合子像素,多个复合子像素中的每个复合子像素包括呈阵列的多个子像素;和多个球面光栅,覆盖多个复合子像素。该多视点裸眼3D显示屏能够向前后位置的用户播放3D效果且减少传输和渲染计算量。本申请还公开一种多视点裸眼3D显示设备。

Description

多视点裸眼3D显示屏、多视点裸眼3D显示设备
技术领域
本申请涉及3D显示技术领域,例如涉及多视点裸眼3D显示屏、多视点裸眼3D显示设备。
背景技术
目前,裸眼3D显示设备通过柱镜光栅折射像素实现3D显示效果。
在实现本公开实施例的过程中,发现相关技术中至少存在如下问题:固定光学性质的柱镜光栅配合像素能形成沿显示设备横向排列的多个视点,对于与显示设备距离不同的多个用户来说,部分用户看到的3D效果可能不佳,或者看不到3D效果。
发明内容
为了对披露的实施例的一些方面有基本的理解,下面给出了简单的概括。该概括不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围,而是作为后面的详细说明的序言。
本公开实施例提供了一种多视点裸眼3D显示屏、多视点裸眼3D显示设备,以解决前后位置的用户无法同时观看3D效果以及传输和渲染计算量大的问题。
在本公开的一些实施例中,提供了一种多视点裸眼3D显示屏,包括:显示面板,具有多个复合像素,多个复合像素中的每个复合像素包括多个复合子像素,多个复合子像素中的每个复合子像素包括呈阵列的多个子像素;和多个球面光栅,覆盖多个复合子像素。
在一些实施例中,每个复合子像素呈正方形。
在一些实施例中,多个子像素中的每个子像素呈正方形。
在一些实施例中,多个子像素呈i×j阵列,其中,j≥2,i≥2。
在一些实施例中,多个子像素中的每个子像素的纵横比为i/j。
在一些实施例中,i≥3,j≥3。
在一些实施例中,多个复合子像素具有不同颜色,具有不同颜色的多个复合子像素交替排列。
在一些实施例中,具有不同颜色的多个复合子像素呈三角形排列。
在一些实施例中,多个球面光栅中的至少一个球面光栅为圆球面光栅或椭圆球面光栅。
在一些实施例中,多个球面光栅中的至少一个球面光栅还包括至少一个侧面。
在本公开的一些实施例中,提供了一种多视点裸眼3D显示设备,包括:如上所述的多视点裸眼3D显示屏;和3D处理装置,被配置为渲染多视点裸眼3D显示屏中的多个复合子像素中的子像素。
在一些实施例中,每个复合子像素包括呈i×j阵列的多个子像素;其中,i×j阵列的多个子像素对应于多视点裸眼3D显示设备的i个第一方向视点和j个第二方向视点。
在一些实施例中,多视点裸眼3D显示设备还包括:人眼追踪数据获取装置,被配置为获取人眼追踪数据。
在一些实施例中,人眼追踪数据获取装置被配置为获取用户的眼睛的横向位置以确定用户眼睛所处的第一方向视点。
在一些实施例中,3D处理装置被配置为基于用户眼睛所处的第一方向视点渲染呈阵列的多个子像素中对应第一方向视点的子像素。
在一些实施例中,人眼追踪数据获取装置被配置为获取用户眼睛的深度位置和高度位置中至少之一以确定用户眼睛所处的第二方向视点。
在一些实施例中,3D处理装置被配置为基于用户眼睛所处的第二方向视点渲染呈阵列的多个子像素中对应第二方向视点的子像素。
本公开实施例提供的多视点裸眼3D显示屏、多视点裸眼3D显示设备,可以实现以下技术效果:
被球面光栅覆盖的i×j阵列同色子像素向与多视点裸眼3D显示屏距离不同的多个视点所对应的空间位置分别播放3D图像,满足前后位置的用户各自的3D观看需求。此外,以复合像素的方式定义多视点裸眼3D显示屏的显示分辨率,在传输和显示时均以由复合像素定义的显示分辨率为考量因素,在确保高清晰度显示效果的情况下减少了传输和渲染的计算量,实现高质量的裸眼式3D显示。
以上的总体描述和下文中的描述仅是示例性和解释性的,不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明,这些示例性说明和附图并不构成对实施例的限定,附图中具有相同参考数字标号的元件示为类似的元件,附图不构成比例限制,并且其中:
图1是根据本公开实施例的多视点裸眼3D显示屏的示意图;
图2是根据本公开实施例的复合像素的排布示意图;
图3是根据本公开一个实施例的球面光栅与相对应的复合子像素;
图4是根据本公开另一个实施例的球面光栅与相对应的复合子像素;
图5A至图5C是根据本公开实施例的多视点裸眼3D显示设备的结构示意图;
图6是根据本公开实施例的动态渲染的示意图;
图7A至图7E是根据本公开实施例的3D视频信号的视频帧包含的图像的格式。
附图标记:
100:多视点裸眼3D显示设备;110:多视点裸眼3D显示屏;111:显示面板;120:处理器;121:寄存器;130:3D处理装置;131:缓存器;140:视频信号接口;150:人眼追踪装置;160:人眼追踪数据接口;190:球面光栅;191:侧截面;192:圆球面;193:底平面;400:复合像素;410:红色复合子像素;420:绿色复合子像素;430:蓝色复合子像素;601:3D视频信号的视频帧包含的两幅图像之一;602:3D视频信号的视频帧包含的两幅图像之一;603:复合图像。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容,下面结合附图对本公开实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本公开实施例。
在本文中,“裸眼三维(3D)显示”涉及用户无需佩戴3D显示用的眼镜而能在平面显示器上观察到3D的显示图像的技术。
在本文中,“多视点”具有本领域的常规含义,意指在空间中不同位置(视点)处能观看到显示屏的不同像素或子像素显示的不同图像。在本文中,多视点将意味着至少3个视点。
在本文中,常规的“像素”意指2D显示器或者作为2D显示器显示时就其分辨率而言的最小显示单位。
然而,在本文的一些实施例中,当应用于裸眼3D显示领域的多视点技术时所称的“复合像素”指裸眼3D显示器提供多视点显示时的最小显示单位,但不排除用于多视点技术的单个复合像素可包括或呈现为多个2D显示的像素。在本文中,除非具体说明为“3D显示”或“多视点”应用的复合像素或3D像素,像素将指2D显示时的最小显示单位。同样,当描述为多视点的裸眼3D显示“复合子像素”时,将指裸眼3D显示器提供多视点显示时的复合像素中呈现的单个颜色的复合子像素。在本文中,“复合子像素”中的子像素将指单个颜色的最小显示单位,其往往是与视点相对应的。
根据本公开的实施例提供了一种多视点裸眼3D显示屏,可以应用于多视点裸眼3D显示设备。多视点裸眼3D显示屏包括显示面板和多个球面光栅。显示面板具有多个复合像素,每个复合像素包括多个复合子像素,每个复合子像素由i×j阵列子像素构成,其中i≥2,j≥2。多个球面光栅覆盖多个复合子像素。i×j阵列子像素中,i对应于多视点裸眼3D显示设备的第一方向视点(例如行视点,又称为横向视点),j对应于多视点裸眼3D显示设备的第二方向视点(例如列视点,又称为高度或深度视点)。在一些实施例中,每个复合子像素的i×j阵列子像素为i×j阵列同色子像素。
在一些实施例中,多视点裸眼3D显示屏中的球面光栅与复合子像素是一一对应的关系。
在一些实施例中,i≥3,j≥3。
图1至图3示出了根据本公开实施例的多视点裸眼3D显示屏110。多视点裸眼3D显示屏110包括显示面板111和覆盖显示面板111的多个球面光栅190。显示面板111具有多个复合像素400,每个复合像素400包括多个复合子像素。在所示出的实施例中,每个复合像素400包括三个不同颜色的复合子像素,分别为红色复合子像素410、绿色复合子像素420和蓝色复合子像素430。红色复合子像素410由i列j行(i×j阵列)红色子像素R构成,绿色复合子像素420由i列j行(i×j阵列)绿色子像素G构成,蓝色复合子像素430由i列j行(i×j阵列)蓝色子像素B构成。图1示出了由i×j阵列红色子像素R构成的红色复合子像素410作为示例。
在一些实施例中,每个复合子像素呈正方形。在每个复合子像素的i×j阵列同色子像素中,每个子像素的纵横比等于i/j。在一些实施例中,每个复合子像素中的每个子像素为正方形。
如图1和图2所示,红色复合子像素410的i×j阵列红色子像素R中,i=6,j=3。绿色复合子像素420的i×j阵列绿色子像素G中,i=6,j=3。蓝色复合子像素420的i×j阵列绿色子像素G中,i=6,j=3。每个颜色的复合子像素中的6×3阵列同色子像素对应于多视点裸眼3D显示设备的6个行视点和3个列视点。
可以想到在其他实施例中,复合子像素和子像素可以有其他的构型。例如,i×j阵列同色子像素中的每个子像素呈正方形,每个子像素的纵横比i/j=1。
在一些实施例中,不同颜色的复合子像素在所述显示面板中交替排列,每个复合像素的所述多个复合子像素呈三角形排列。
如图2所示,复合子像素400中的红色复合子像素410、绿色复合子像素420和蓝色复合子像素430呈三角形排列。在显示面板111的横向上,红色复合子像素410、绿色复合子像素420和蓝色复合子像素430交替排列。复合像素400之间交错排列。
在一些实施例中,多视点裸眼3D显示屏110的显示面板111可包括m列n行个(即m×n阵列)复合像素并因此限定出m×n的显示分辨率。在一些实施例中,m×n的显示分辨率可以为全高清(FHD)以上的分辨率,包括但不限于:1920×1080、1920×1200、2048×1280、2560×1440、3840×2160等。
在本公开的实施例中,每个复合子像素具有对应于视点的相应子像素。每个复合子像素的多个子像素在多视点裸眼3D显示屏上呈阵列布置,且呈阵列形式的多个子像素的颜色相同。由于3D显示设备的多个视点是大致沿多视点裸眼3D显示屏的横向和纵向排布的,这样,在用户前后和左右移动导致人眼处于不同方位的视点时,需要相应动态渲染每个复合子像素中对应于相应视点的不同子像素。由于每个复合子像素中的同色子像素呈阵列布置,所以能够避免由于视觉暂留带来的串色问题。此外,由于光栅的折射,有可能会在相邻的视点位置看见当前显示子像素的一部分,而通过同色、同行排列,即使当前显示子像素的一部分被看见,也不会出现混色的问题。
在一些实施例中,多个球面光栅在显示面板的表面排列且各自覆盖一个复合子像素。多个球面光栅中的每个球面光栅例如可以包括圆球面从而构成圆球面光栅。在另一些实施例中,多个球面光栅中的每个球面光栅包括椭圆球面从而构成椭圆球面光栅。在另一些实施例中,球面光栅包括圆球面和侧截面。在另一些实施例中,球面光栅包括椭圆球面和侧截面。
图3示出了球面光栅的一个示例。如图所示,一个球面光栅190对应于一个复合子像素,例如红色复合子像素410。球面光栅190包括例如呈正方形的底平面193和与底平面193对置的圆球面192,以及连接在圆球面192与底平面193之间的侧截面191。
图4示出了球面光栅的另一个示例。如图所示,一个球面光栅190对应于一个复合子像素,例如绿色复合子像素420。球面光栅190包括例如呈圆形的底平面193和连接底平面193的圆球面192。
在其他实施例中,球面光栅的底平面可以有其他形状,例如六边形、三角形等。
在一些实施例中,球面光栅的球面侧设有与球面光栅的折射率不同的另一折射层,这另一折射层的朝向球面光栅的表面为凹面并与球面光栅的球面以凹凸配合的方式贴合,背向球面光栅的表面为平面,例如为平行于球面光栅的底平面的平面。
根据本公开实施例的多视点裸眼3D显示屏110可以应用在多视点裸眼3D显示设备中。根据本公开的实施例,多视点裸眼3D显示设备包括多视点裸眼3D显示屏、视频信号接口和3D处理装置。视频信号接口配置为接收3D视频信号的视频帧。3D处理装置配置为依据所接收的3D视频信号的视频帧渲染每个复合子像素中的相关子像素。
图5A示出了根据本公开实施例的多视点裸眼3D显示设备100。如图5A所示,多视点裸眼3D显示设备100包括多视点裸眼3D显示屏110、3D处理装置130和配置为接收3D内容如3D视频信号的3D信号接口(如视频信号接口140)。
在一些实施例中,3D视频信号包括视频帧。
在一些实施例中,3D处理装置为FPGA或ASIC芯片或FPGA或ASIC芯片组。在一些实施例中,多视点裸眼3D显示设备100也可设置有一个以上3D处理装置130,它们并行、串行或串并行结合地处理对多视点裸眼3D显示屏110的各复合像素的各复合子像素的子像素的渲染。本领域技术人员将明白,一个以上3D处理装置可以有其他的方式分配且并行处理多视点裸眼3D显示屏110的多行多列复合像素或复合子像素,这落入本公开实施例的范围内。在一些实施例中,3D处理装置130还可以选择性地包括缓存器131,以便缓存所接收到的视频帧。
在一些实施例中,3D处理装置与多视点裸眼3D显示屏通信连接。在一些实施例中,3D处理装置与多视点裸眼3D显示屏的驱动装置通信连接。
参见图5A,多视点裸眼3D显示设备100还可包括通过视频信号接口140通信连接至3D处理装置130的处理器120。在一些实施例中,处理器被包括在计算机或智能终端中,这样的智能终端例如为移动终端。或者,处理器可以作为计算机或智能终端的处理器单元。但是可以想到,在一些实施例中,处理器120可以设置在多视点裸眼3D显示设备100的外部,例如多视点裸眼3D显示设备100可以为带有3D处理装置的多视点裸眼3D显示器,例如非智能的裸眼3D电视。
在一些实施例中,多视点裸眼3D显示设备内部包括处理器。基于此,3D信号接口140为连接处理器120与3D处理装置130的内部接口。这样的3D显示设备100例如可以是移动终端,3D信号接口140可以为MIPI、mini-MIPI接口、LVDS接口、min-LVDS接口或DisplayPort接口。
在一些实施例中,如图5A所示,多视点裸眼3D显示设备100的处理器120还可包括寄存器121。寄存器121可配置为暂存指令、数据和地址。在一些实施例中,寄存器121可被配置为接收有关多视点裸眼3D显示屏110的显示要求的信息。在一些实施例中,多视点裸眼3D显示设备100还可以包括编解码器,配置为对压缩的3D视频信号解压缩和编解码并将解压缩的3D视频信号经3D信号接口140发送至3D处理装置130。
在一些实施例中,多视点裸眼3D显示屏110的每个复合子像素的i×j阵列同色子像素对应于多视点裸眼3D显示设备的i个第一方向视点和j个第二方向视点。第一方向视点可以是行视点,或者称为横向视点,对应于用户在多视点裸眼3D显示屏横向(X轴方向)上的视点位置。第二方向视点可以是列视点,或者称为深度或高度视点,对应于用户在多视点裸眼3D显示屏竖向(Y轴方向)和/或深度方向(Z轴方向)的视点位置。在本公开实施例中,深度由用户相对于多视点裸眼3D显示屏的距离来限定。
如图6所示,示出了由i×j阵列红色子像素R构成的红色复合子像素410与多视点裸眼3D显示设备的i个第一方向视点和j个第二方向视点的对应关系。为清楚起见,以每个视点对应的子像素的坐标来标识每个视点。每个红色子像素R的坐标以该子像素在红色复合子像素的i×j红色子像素阵列中的位置Riijj为准进行标识。如图所示,i×j红色子像素阵列中,第一行左起第一个红色子像素R的坐标为Ri1j1,第一行左起第二个红色子像素的坐标为Ri2j1,以此类推,第三行左起第六个红色子像素R的坐标为Ri6j3。相应地,与i×j红色子像素阵列中第一行左起第一个红色子像素Ri1j1对应的视点为Vi1j1,与第一行左起第二个红色子像素Ri2j1对应的视点为Vi2j1,以此类推,与第三行左起第六个红色子像素Ri6j3对应的视点为Vi6j3。其它颜色复合子像素与视点的对应关系可以参照上述红色复合子像素与视点的对应关系而类推。
下面参见图7A至图7E来描述根据本公开的实施例的多视点裸眼3D显示设备内的3D视频信号的传输和显示。在所示出的实施例中,多视点裸眼3D显示设备可限定出多个视点,例如i个第一方向视点和j个第二方向视点。用户的眼睛在每个视点(空间位置)可看到显示面板中每个复合像素的复合子像素中相应的子像素的显示。用户的两只眼睛在不同的视点看到的两个不同画面形成视差,在大脑中合成3D的画面。
在本公开的一些实施例中,3D处理装置130通过例如作为内部接口的视频信号接口140从处理器120接收例如为解压缩的3D视频信号的视频帧。每个视频帧可包含两幅图像或者包含复合图像,或者由其构成。
在一些实施例中,两幅图像或复合图像可以包括不同类型的图像以及可以呈各种排布形式。
在图7A所示的实施例中,3D视频信号的视频帧包含并列格式的两幅图像601、602或由其构成。在一些实施例中,两幅图像可以分别为左眼视差图像和右眼视差图像。在一些实施例中,两幅图像可以分别为渲染色彩图像和景深图像。
在图7B所示的实施例中,3D视频信号的视频帧包含上下格式的两幅图像601、602或由其构成。在一些实施例中,两幅图像可以分别为左眼视差图像和右眼视差图像。在一些实施例中,两幅图像可以分别为渲染色彩图像和景深图像。
在图7C所示的实施例中,3D视频信号的视频帧包含左右交织格式的复合图像603。在一些实施例中,复合图像可以为左右交织的左眼和右眼视差复合图像。在一些实施例中,复合图像可以为左右交织的渲染色彩图像和景深图像。
在图7D所示的实施例中,3D视频信号的视频帧包含上下交织格式的复合图像603。在一些实施例中,复合图像可以为上下交织的左眼和右眼视差复合图像。在一些实施例中,复合图像可以为上下交织的渲染色彩图像和景深图像。
在图7E所示的实施例中,3D视频信号的视频帧包含以棋盘形式交织的复合图像603。在一些实施例中,复合图像可以为以棋盘形式交织的左眼和右眼视差复合图像。在一些实施例中,复合图像可以为以棋盘形式交织的渲染色彩图像和景深图像。
本领域技术人员将明白,附图所示的实施例仅是示意性的,3D视频信号的视频帧所包含的两幅图像或复合图像可以包括其他类型的图像以及可以呈其他排布形式,这落入本公开实施例的范围内。
在一些实施例中,至少一个3D处理装置130在接收到包括两幅图像601、602的视频帧后,基于两幅图像之一渲染每个复合子像素中至少一个子像素并基于两幅图像中的另一幅渲染每个复合子像素中至少另一个子像素。
在一些实施例中,至少一个3D处理装置130在接收到包括复合图像的视频帧后,基于复合图像渲染每个复合子像素中至少两个子像素。例如,根据复合图像中的第一图像(部分)渲染至少一个子像素,根据第二图像(部分)渲染至少另一个子像素。
在一些实施例中,这例如是基于实时人眼追踪数据来进行的动态渲染。
在一些实施例中,多视点裸眼3D显示设备还包括配置为获取人眼追踪数据的人眼追踪数据获取装置,例如人眼追踪装置或人眼追踪数据接口。在一些实施例中,人眼追踪数据包括用户的眼睛的空间位置信息,例如用户的眼睛或脸部相对于多视点裸眼3D显示屏或人眼追踪装置的间距(也就是用户的眼睛/脸部的深度)、用户的眼睛或脸部在多视点裸眼3D显示屏竖向上的位置、用户的眼睛或脸部在多视点裸眼3D显示屏横向上的位置、用户的双眼所在的视点位置、用户视角等。
在图5B所示的实施例中,多视点裸眼3D显示设备100包括通信连接至3D处理装置130的人眼追踪装置150,由此3D处理装置130可以直接接收人眼追踪数据。
在一些实施例中,人眼追踪装置包括配置为拍摄用户图像(例如用户脸部图像)的人眼追踪单元、配置为基于所拍摄的用户图像确定人眼空间位置的人眼追踪图像信号处理器和配置为传输人眼空间位置的人眼空间位置信息的人眼追踪数据接口。
在一些实施例中,人眼追踪单元包括配置为拍摄第一图像的第一摄像头和配置为拍摄第二图像的第二摄像头,而人眼追踪图像信号处理器配置为基于第一图像和第二图像中的至少一副图像识别人眼的存在且基于第一图像和第二图像中存在的人眼所在的空间位置确定人眼视点位置。
在一些实施例中,人眼追踪单元包括配置为拍摄至少一幅图像的至少一个摄像头和配置为至少获取用户双眼的深度信息的至少一个深度获取装置,而人眼追踪图像信号处理器配置为基于所拍摄的至少一幅图像识别人眼的存在,并基于该至少一幅图像中存在的人眼所在的位置和用户双眼的深度信息确定人眼的视点位置。
在图5C所示的实施例中,人眼追踪装置(未示出)例如可以直接连接处理器120,而3D处理装置130经由人眼追踪数据接口160从处理器120获得人眼追踪数据。在另一些实施例中,人眼追踪装置可同时连接处理器和3D处理装置,使得一方面3D处理装置130可以直接从人眼追踪装置获取人眼追踪数据,另一方面可以人眼追踪装置获取的其他信息可以被处理器处理。
在一些实施例中,人眼追踪装置实时获取用户眼睛的横向位置以确定所述用户眼睛所处的第一方向视点。3D处理装置基于用户眼睛所处的第一方向视点渲染每个复合子像素的i×j阵列同色子像素中对应第一方向视点的子像素。
在一些实施例中,人眼追踪装置实时获取用户眼睛的深度位置以确定用户眼睛所处的第二方向视点。或者,人眼追踪装置实时获取用户眼睛的高度位置以确定用户眼睛所处的第二方向视点。或者,人眼追踪装置实时获取用户眼睛的高度位置和深度位置以确定用户眼睛所处的第二方向视点。3D处理装置基于用户眼睛所处的第二方向视点渲染每个复合子像素的i×j阵列同色子像素中对应第二方向视点的子像素。
参见图6,示出了在多视点裸眼3D显示设备中基于实时人眼追踪数据来动态渲染复合子像素中相应子像素的一个示例。图中示出了由i×j阵列红色子像素R构成的红色复合子像素410,其中i=6,对应于多视点裸眼3D显示设备的6个行方向视点,而j=3,对应于多视点裸眼3D显示设备的3个列方向视点。实时人眼追踪数据例如可以由人眼追踪装置实时获取。当人眼追踪装置获取一个用户双眼处于视点Vi1j1、Vi2j1时,基于3D视频信号的视频帧生成用户双眼所处的视点的图像,并渲染红色复合子像素410的i×j阵列红色子像素R中对应于视点Vi1j1、Vi2j1的两个红色子像素Ri1j1、Ri2j1。当人眼追踪装置获取另一个用户双眼处于视点Vi3j2、Vi4j2时,基于3D视频信号的视频帧生成用户双眼所处的视点的图像,并渲染红色复合子像素410的i×j阵列红色子像素R中对应于视点Vi3j2、Vi4j2的两个红色子像素R i3j2、Ri4j2。当人眼追踪装置获取又一个用户双眼处于视点Vi5j3、Vi6j3时,基于3D视频信号的视频帧生成用户双眼所处的视点的图像,并渲染红色复合子像素410的i×j阵列红色子像素R中对应于视点Vi5j3、Vi6j3的两个红色子像素R i5j3、Ri6j3。由此,处于显示面板前不同行位置(横向位置)、列位置(包括深度位置、高度位置)的用户都可以看到合适的3D图像。
根据本公开实施例的多视点裸眼3D显示设备可以应用在视频播放设备中,例如可以呈现为移动终端(如手机或平板电脑)、电视、移动电视、电脑、电影院观影系统或家庭观影系统。
以上描述和附图充分地示出了本公开的实施例,以使本领域技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。除非明确要求,否则单独的部件和功能是可选的,并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围,以及权利要求书的所有可获得的等同物。本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。当用于本申请中时,术语“包括”等指陈述的特征中至少一项的存在,但不排除其它特征的存在。
本领域技术人员可以意识到,结合本文中所公开的实施例描述的每个示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。本领域技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能,但是这种实现不应认为超出本公开实施例的范围。
本文所披露的实施例中,所揭露的方法、产品(包括但不限于装置、设备等),可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,可以仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。作为分离部件说明的单元可以是或不是物理上分开的,作为单元显示的部件可以是不是物理单元。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外,在本公开实施例中的每个功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中,不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生,有时不同的操作或步骤之间不存在特定的顺序。例如,两个连续的操作或步骤实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

Claims (17)

1.一种多视点裸眼3D显示屏,其特征在于,包括:
显示面板,具有多个复合像素,所述多个复合像素中的每个复合像素包括多个复合子像素,所述多个复合子像素中的每个复合子像素包括呈阵列的多个子像素;和
多个球面光栅,覆盖所述多个复合子像素。
2.根据权利要求1所述的多视点裸眼3D显示屏,其特征在于,所述每个复合子像素呈正方形。
3.根据权利要求2所述的多视点裸眼3D显示屏,其特征在于,所述多个子像素中的每个子像素呈正方形。
4.根据权利要求2所述的多视点裸眼3D显示屏,其特征在于,所述多个子像素呈i×j阵列,其中,j≥2,i≥2。
5.根据权利要求4所述的多视点裸眼3D显示屏,其特征在于,所述多个子像素中的每个子像素的纵横比为i/j。
6.根据权利要求4所述的多视点裸眼3D显示屏,其特征在于,i≥3,j≥3。
7.根据权利要求1所述的多视点裸眼3D显示屏,其特征在于,所述多个复合子像素具有不同颜色,具有不同颜色的所述多个复合子像素交替排列。
8.根据权利要求7所述的多视点裸眼3D显示屏,其特征在于,具有不同颜色的所述多个复合子像素呈三角形排列。
9.根据权利要求1至8任一项所述的多视点裸眼3D显示屏,其特征在于,所述多个球面光栅中的至少一个球面光栅为圆球面光栅或椭圆球面光栅。
10.根据权利要求9所述的多视点裸眼3D显示屏,其特征在于,所述多个球面光栅中的至少一个球面光栅还包括至少一个侧面。
11.一种多视点裸眼3D显示设备,其特征在于,包括:
如权利要求1至10任一项所述的多视点裸眼3D显示屏;和
3D处理装置,被配置为渲染所述多视点裸眼3D显示屏中的多个复合子像素中的子像素。
12.根据权利要求11所述的多视点裸眼3D显示设备,其特征在于,所述每个复合子像素包括呈i×j阵列的多个子像素;
其中,所述i×j阵列的多个子像素对应于所述多视点裸眼3D显示设备的i个第一方向视点和j个第二方向视点。
13.根据权利要求11所述的多视点裸眼3D显示设备,其特征在于,还包括:人眼追踪数据获取装置,被配置为获取人眼追踪数据。
14.根据权利要求13所述的多视点裸眼3D显示设备,其特征在于:
所述人眼追踪数据获取装置被配置为获取用户的眼睛的横向位置以确定所述用户眼睛所处的第一方向视点。
15.根据权利要求14所述的多视点裸眼3D显示设备,其特征在于,所述3D处理装置被配置为基于所述用户眼睛所处的第一方向视点渲染呈阵列的所述多个子像素中对应所述第一方向视点的子像素。
16.根据权利要求14或15所述的多视点裸眼3D显示设备,其特征在于,所述人眼追踪数据获取装置被配置为获取所述用户眼睛的深度位置和高度位置中至少之一以确定所述用户眼睛所处的第二方向视点。
17.根据权利要求16所述的多视点裸眼3D显示设备,其特征在于,所述3D处理装置被配置为基于所述用户眼睛所处的第二方向视点渲染呈阵列的所述多个子像素中对应所述第二方向视点的子像素。
CN201911231386.6A 2019-12-05 2019-12-05 多视点裸眼3d显示屏、多视点裸眼3d显示设备 Active CN112929644B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201911231386.6A CN112929644B (zh) 2019-12-05 2019-12-05 多视点裸眼3d显示屏、多视点裸眼3d显示设备
PCT/CN2020/133330 WO2021110036A1 (zh) 2019-12-05 2020-12-02 多视点3d显示屏、多视点3d显示设备
US17/779,575 US20230008318A1 (en) 2019-12-05 2020-12-02 Multi-viewpoint 3d display screen and multi-viewpoint 3d display device
EP20896528.5A EP4068771A4 (en) 2019-12-05 2020-12-02 MULTI-VIEW 3D DISPLAY SCREEN AND MULTI-VIEW 3D DISPLAY DEVICE
TW109142885A TWI772997B (zh) 2019-12-05 2020-12-04 多視點3d顯示屏、多視點3d顯示設備

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911231386.6A CN112929644B (zh) 2019-12-05 2019-12-05 多视点裸眼3d显示屏、多视点裸眼3d显示设备

Publications (2)

Publication Number Publication Date
CN112929644A true CN112929644A (zh) 2021-06-08
CN112929644B CN112929644B (zh) 2025-06-10

Family

ID=76160840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911231386.6A Active CN112929644B (zh) 2019-12-05 2019-12-05 多视点裸眼3d显示屏、多视点裸眼3d显示设备

Country Status (5)

Country Link
US (1) US20230008318A1 (zh)
EP (1) EP4068771A4 (zh)
CN (1) CN112929644B (zh)
TW (1) TWI772997B (zh)
WO (1) WO2021110036A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115047645A (zh) * 2022-05-20 2022-09-13 北京芯海视界三维科技有限公司 显示屏及显示装置
CN115047646A (zh) * 2022-05-20 2022-09-13 北京芯海视界三维科技有限公司 显示屏及显示装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118043736A (zh) * 2021-09-24 2024-05-14 华为技术有限公司 投影光机、电子设备和投影成像方法
CN116996661B (zh) * 2023-09-27 2024-01-05 中国科学技术大学 三维视频展示方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110102423A1 (en) * 2009-11-04 2011-05-05 Samsung Electronics Co., Ltd. High density multi-view image display system and method with active sub-pixel rendering
US20150085089A1 (en) * 2013-09-26 2015-03-26 Nlt Technologies, Ltd. Stereoscopic image display device, terminal device, stereoscopic image display method, and program thereof
CN207320118U (zh) * 2017-08-31 2018-05-04 昆山国显光电有限公司 像素结构、掩膜版及显示装置
US20190356907A1 (en) * 2018-05-18 2019-11-21 Sharp Kabushiki Kaisha Three-dimensional display
CN211128025U (zh) * 2019-12-05 2020-07-28 北京芯海视界三维科技有限公司 多视点裸眼3d显示屏、多视点裸眼3d显示设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6961045B2 (en) * 2001-06-16 2005-11-01 Che-Chih Tsao Pattern projection techniques for volumetric 3D displays and 2D displays
US7215479B1 (en) * 2006-02-10 2007-05-08 Micron Technology, Inc. Integrated lens system for image sensor and method for manufacturing the same
US8762846B2 (en) * 2009-11-16 2014-06-24 Broadcom Corporation Method and system for adaptive viewport for a mobile device based on viewing angle
CN103995374B (zh) * 2014-05-22 2016-08-24 深圳市华星光电技术有限公司 一种显示面板及显示装置
KR102415502B1 (ko) * 2015-08-07 2022-07-01 삼성전자주식회사 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
EP3422724B1 (en) * 2017-06-26 2024-05-01 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110102423A1 (en) * 2009-11-04 2011-05-05 Samsung Electronics Co., Ltd. High density multi-view image display system and method with active sub-pixel rendering
US20150085089A1 (en) * 2013-09-26 2015-03-26 Nlt Technologies, Ltd. Stereoscopic image display device, terminal device, stereoscopic image display method, and program thereof
CN207320118U (zh) * 2017-08-31 2018-05-04 昆山国显光电有限公司 像素结构、掩膜版及显示装置
US20190356907A1 (en) * 2018-05-18 2019-11-21 Sharp Kabushiki Kaisha Three-dimensional display
CN211128025U (zh) * 2019-12-05 2020-07-28 北京芯海视界三维科技有限公司 多视点裸眼3d显示屏、多视点裸眼3d显示设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115047645A (zh) * 2022-05-20 2022-09-13 北京芯海视界三维科技有限公司 显示屏及显示装置
CN115047646A (zh) * 2022-05-20 2022-09-13 北京芯海视界三维科技有限公司 显示屏及显示装置
CN115047645B (zh) * 2022-05-20 2024-04-19 北京芯海视界三维科技有限公司 显示屏及显示装置

Also Published As

Publication number Publication date
TW202127870A (zh) 2021-07-16
WO2021110036A1 (zh) 2021-06-10
CN112929644B (zh) 2025-06-10
EP4068771A4 (en) 2023-12-13
US20230008318A1 (en) 2023-01-12
TWI772997B (zh) 2022-08-01
EP4068771A1 (en) 2022-10-05

Similar Documents

Publication Publication Date Title
TWI772997B (zh) 多視點3d顯示屏、多視點3d顯示設備
EP1143747B1 (en) Processing of images for autostereoscopic display
TWI420152B (zh) A Method of Multi - view Three - dimensional Image Display
Schmidt et al. Multiviewpoint autostereoscopic dispays from 4D-Vision GmbH
US9185432B2 (en) Method and system for encoding a 3D image signal, encoded 3D image signal, method and system for decoding a 3D image signal
CN112929636B (zh) 3d显示设备、3d图像显示方法
CN104519334A (zh) 立体图像显示装置、终端装置、立体图像显示方法及其程序
US8723920B1 (en) Encoding process for multidimensional display
TW201320717A (zh) 一種三次元影像顯示之方法
CN211128024U (zh) 3d显示设备
CN111323935A (zh) N视点三维显示装置及其驱动方法
KR102515026B1 (ko) 무안경 입체 영상 표시장치
US20170108700A1 (en) Display device
CN208257981U (zh) 一种基于子像素的led裸眼3d显示装置
US10642061B2 (en) Display panel and display apparatus
CN211128025U (zh) 多视点裸眼3d显示屏、多视点裸眼3d显示设备
EA010474B1 (ru) Устройство и способ линзового автостереоскопического дисплея и соответствующий способ синтеза автостереоскопического изображения
WO2007085194A1 (fr) Dispositif d'affichage d'image stéréo faisant appel à un obturateur à cristaux liquides et procédé d'affichage de ce dernier
JP2008244835A (ja) 立体表示装置および立体画像表示方法
CN102630027B (zh) 裸眼3d显示方法和装置
WO2021110032A1 (zh) 多视点3d显示设备和3d图像显示方法
US20050012814A1 (en) Method for displaying multiple-view stereoscopic images
CN115691369A (zh) 显示面板的显示方法及其显示控制装置、显示装置
KR100525410B1 (ko) 입체 영상 표시 장치
CN112925430A (zh) 实现悬浮触控的方法、3d显示设备和3d终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant