KR101905528B1

KR101905528B1 - Method of obtaining depth information and display apparatus

Info

Publication number: KR101905528B1
Application number: KR1020130009075A
Authority: KR
Inventors: 서성주; 최창규; 박두식
Original assignee: 삼성전자주식회사
Priority date: 2012-12-28
Filing date: 2013-01-28
Publication date: 2018-10-08
Anticipated expiration: 2033-01-28
Also published as: KR20140086779A

Abstract

깊이 정보를 획득하는 방법 및 디스플레이 장치를 제공한다. 일실시예에 따른 디스플레이 장치는, 오브젝트로부터의 거리에 따라 센서 패널의 센서 영역을 변경하고, 변경된 센서 영역에 기초하여, 오브젝트의 깊이 정보를 획득할 수 있다.A method and a display device for acquiring depth information are provided. The display device according to the embodiment can change the sensor area of the sensor panel according to the distance from the object and acquire the depth information of the object based on the changed sensor area.

Description

[0001] METHOD OF OBTAINING DEPTH INFORMATION AND DISPLAY APPARATUS [0002]

이하의 실시예들은 깊이 정보를 획득하는 방법 및 상기 방법을 구현하는 디스플레이 장치에 관한 것이다.The following embodiments are directed to a method of obtaining depth information and a display device implementing the method.

차세대 멀티미디어 서비스로 주목 받고 있는 3차원 영상 제공 서비스는, 두 시점 이상의 영상을 이용하여 사용자가 입체감을 느낄 수 있게 하는 서비스일 수 있다.A three-dimensional image providing service, which is attracting attention as a next-generation multimedia service, can be a service that enables a user to feel stereoscopic feeling by using images at two or more view points.

상기 3차원 영상 제공 서비스의 구현하는 방법으로, 예컨대 깊이 카메라(depth camera)를 이용하여 촬영하고자 하는 물체로 광을 발사하고, 발사된 광이 되돌아오는 시간차를 계산하여 물체의 깊이를 산출하며, 이를 통해 입체감 있는 입체 영상을 작성하는 방식이 있을 수 있다.As a method of implementing the 3D image providing service, for example, a depth camera is used to emit light to an object to be photographed, a time difference between the returned light and an object is calculated, A stereoscopic stereoscopic image may be generated through a stereoscopic image.

실시예에 따른 깊이 정보를 획득하는 방법은, 오브젝트로부터의 거리에 따라 센서 패널의 센서 영역을 변경하는 단계, 및 상기 변경된 센서 영역에 기초하여, 상기 오브젝트의 깊이 정보를 획득하는 단계를 포함할 수 있다.The method for acquiring depth information according to an embodiment may include the steps of changing a sensor area of the sensor panel according to the distance from the object and acquiring depth information of the object based on the changed sensor area have.

또한, 실시예에 따른 깊이 정보를 획득하는 방법은, 기준 거리를 추정하는 단계와, 상기 센서 패널에서, 상기 기준 거리에 따른 센서 데이터를 선택하는 단계와, 상기 센서 데이터를 이용하여 오브젝트에 대한 멀티 뷰 영상(multi-view images)을 생성하는 단계, 및 상기 멀티 뷰 영상으로부터 상기 오브젝트의 깊이 영상을 획득하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of acquiring depth information, comprising: estimating a reference distance; selecting sensor data according to the reference distance in the sensor panel; Generating multi-view images, and obtaining depth images of the objects from the multi-view images.

또한, 실시예에 따른 깊이 정보를 획득하는 방법은, 기준 거리를 추정하는 단계와, 상기 센서 패널에서, 상기 기준 거리에 따른 센서 데이터를 선택하는 단계와, 상기 센서 데이터를 이용하여 오브젝트에 대한 멀티 뷰 영상(multi-view images)을 생성하는 단계와, 상기 멀티 뷰 영상을 이용하여, 복수의 리포커스 영상을 생성하는 단계, 및 상기 복수의 리포커스 영상으로부터 상기 오브젝트의 깊이 영상을 획득하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of acquiring depth information, comprising: estimating a reference distance; selecting sensor data according to the reference distance in the sensor panel; The method of claim 1, further comprising: generating multi-view images; generating a plurality of refocus images using the multi-view images; and acquiring depth images of the objects from the plurality of refocus images .

또한, 실시예에 따른 깊이 정보를 획득하는 방법은, 기준 거리에 따라 상기 센서 패널에서 선택되는 센서 데이터를 이용하여 오브젝트에 대한 멀티 뷰 영상을 생성하는 단계와, 상기 멀티 뷰 영상을 이용하여, 복수의 리포커스 영상을 생성하는 단계, 및 상기 멀티 뷰 영상 및 상기 복수의 리포커스 영상을 이용하여, 상기 오브젝트의 깊이 영상을 획득하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of acquiring depth information, comprising: generating a multi-view image of an object using sensor data selected from the sensor panel according to a reference distance; And acquiring a depth image of the object using the multi-view image and the plurality of refocus images.

실시예에 따른 디스플레이 장치는, 기준 거리를 추정하는 기준 결정부와, 상기 센서 패널에서, 상기 기준 거리에 따른 센서 데이터를 선택하는 센서 선택부와, 상기 센서 데이터를 이용하여 오브젝트에 대한 멀티 뷰 영상(multi-view images)을 생성하는 데이터 디코딩부, 및 상기 멀티 뷰 영상으로부터 상기 오브젝트의 깊이 영상을 획득하는 깊이 획득부를 포함할 수 있다.A display device according to an embodiment of the present invention includes a reference determination unit for estimating a reference distance; a sensor selection unit for selecting sensor data according to the reference distance in the sensor panel; a data decoding unit for generating multi-view images, and a depth acquiring unit for acquiring depth images of the objects from the multi-view images.

또한, 실시예에 따른 디스플레이 장치는, 기준 거리를 추정하는 기준 결정부와, 상기 센서 패널에서, 상기 기준 거리에 따른 센서 데이터를 선택하는 센서 선택부와, 상기 센서 데이터를 이용하여 오브젝트에 대한 멀티 뷰 영상(multi-view images)을 생성하고, 상기 멀티 뷰 영상을 이용하여, 복수의 리포커스 영상을 생성하는 데이터 디코딩부, 및 상기 복수의 리포커스 영상으로부터 상기 오브젝트의 깊이 영상을 획득하는 깊이 획득부를 포함할 수 있다.According to another aspect of the present invention, there is provided a display apparatus including a reference determining unit for estimating a reference distance, a sensor selecting unit for selecting sensor data corresponding to the reference distance in the sensor panel, A data decoding unit for generating multi-view images and generating a plurality of refocus images using the multi-view images, and a depth acquiring unit for acquiring depth images of the objects from the plurality of refocus images, Section.

또한, 실시예에 따른 디스플레이 장치는, 기준 거리에 따라 상기 센서 패널에서 선택되는 센서 데이터를 이용하여 오브젝트에 대한 멀티 뷰 영상을 생성하고, 상기 멀티 뷰 영상을 이용하여, 복수의 리포커스 영상을 생성하는 데이터 디코딩부, 및 상기 멀티 뷰 영상 및 상기 복수의 리포커스 영상을 이용하여, 상기 오브젝트의 깊이 영상을 획득하는 깊이 획득부를 포함 할 수 있다.In addition, the display device according to the exemplary embodiment may generate a multi-view image of an object using sensor data selected from the sensor panel according to a reference distance, and generate a plurality of refocus images using the multi- And a depth acquiring unit that acquires a depth image of the object using the multi-view image and the plurality of refocus images.

도 1는 일실시예에 따른 깊이 정보를 획득하는 디스플레이 장치의 개략적인 구조를 설명하는 도면이다.
도 2는 센서 패널의 영상획득 영역과 멀티 뷰 영상에 대한 일례를 설명하기 위한 도면이다.
도 3은 센서 데이터를 감지하는 영상획득 영역과 센서 영역과의 관계를 상세히 설명하기 위한 도면이다.
도 4는 일실시예에 따라 센서 영역의 크기를, 오브젝트와의 거리에 따라 변경하는 일례를 설명하기 위한 도면이다.
도 5는 일실시예에 따른 깊이 정보를 획득하는 디스플레이 장치의 구체적인 구성을 나타내는 도면이다.
도 6은 일실시예에 따라 센서 영역을 선택하기 위한 기준 거리를 결정하는 방법을 설명하기 위한 도면이다.
도 7은 센서 패널에서 감지된 센서 데이터를 가변적으로 선택하는 일례를 설명하기 위한 도면이다.
도 8a와 도 8b는 대응점을 이용하여 멀티 뷰 영상을 매칭하여 깊이 영상을 획득하는 일례를 설명하기 위한 도면이다.
도 9는 멀티 뷰 영상으로부터 리포커스 영상을 생성하는 개념을 설명하기 위한 도면이다.
도 10은 멀티 뷰 영상으로부터 리포커스 영상을 생성하는 실례를 설명하기 위한 도면이다.
도 11은 경계면을 이용하여 리포커스 영상을 매칭하여 깊이 영상을 획득하는 일례를 설명하기 위한 도면이다.
도 12는 제1 깊이 영상 및 제2 깊이 영상을 재조합하여 오브젝트에 대한 깊이 영상을 획득하는 것을 설명하기 위한 도면이다.
도 13은 일실시예에 따른 디스플레이 장치의 깊이 정보를 획득하는 방법을 구체적으로 도시한 작업 흐름도이다.1 is a view for explaining a schematic structure of a display device for obtaining depth information according to an embodiment.
2 is a view for explaining an example of a multi-view image and an image acquisition area of the sensor panel.
3 is a view for explaining the relationship between an image acquisition area for sensing sensor data and a sensor area in detail.
4 is a diagram for explaining an example of changing the size of the sensor area according to the distance from the object according to an embodiment.
5 is a view showing a specific configuration of a display device for acquiring depth information according to an embodiment.
6 is a view for explaining a method of determining a reference distance for selecting a sensor region according to an embodiment.
7 is a view for explaining an example of variably selecting sensor data sensed by the sensor panel.
8A and 8B are views for explaining an example of acquiring a depth image by matching multi view images using corresponding points.
9 is a diagram for explaining a concept of generating a refocus image from a multi-view image.
10 is a diagram for explaining an example of generating a refocus image from a multi-view image.
11 is a view for explaining an example of acquiring a depth image by matching a refocus image using a boundary surface.
FIG. 12 is a view for explaining a depth image for an object by reconstructing a first depth image and a second depth image.
13 is a flowchart illustrating a method of acquiring depth information of a display apparatus according to an exemplary embodiment of the present invention.

이하에서, 실시예들을, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 실시 가능한 예시는, 명세서에 기재된 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. However, the examples that can be practiced are not limited or limited by the embodiments described in the specification. Like reference symbols in the drawings denote like elements.

일실시예에 따른 디스플레이 장치는, 이미징 패턴을 포함하여 상기 이미징 패턴 내 어퍼쳐를 통해 오브젝트의 입력광을 통과시키는 디스플레이 패널과, 상기 이미징 패턴을 통과한 입력광에 의해 코딩된 데이터(이하, 센서 데이터라 함)를 감지하여 상기 오브젝트의 영상을 복원하기 위한 센서 패널을 포함할 수 있다. 상기 센서 패널은 상기 센서 데이터가 감지될 수 있는 최대 영역으로서의 영상획득 영역을 포함할 수 있다. 상기 영상획득 영역의 크기는 상기 이미징 패턴의 크기에 대응되도록 설정될 수 있다.A display device according to an exemplary embodiment includes a display panel including an imaging pattern and allowing an input light of an object to pass through an aperture in the imaging pattern and data coded by input light passing through the imaging pattern (Hereinafter referred to as " data ") and restoring the image of the object. The sensor panel may include an image acquisition area as a maximum area where the sensor data can be sensed. The size of the image acquisition area may be set to correspond to the size of the imaging pattern.

디스플레이 장치는, 오브젝트로부터의 거리, 예컨대 오브젝트와 디스플레이 패널 사이의 거리를 고려하여, 상기 영상획득 영역 중 적어도 일부를 센서 영역으로 선택할 수 있다. 상기 센서 영역은 상기 오브젝트의 영상을 복원하기 위한 디코딩 처리에서, 실제 활용되는 센서 데이터를 선택하기 위한 영역일 수 있다.The display device can select at least a part of the image acquisition area as the sensor area, taking into account the distance from the object, for example, the distance between the object and the display panel. The sensor region may be an area for selecting actual sensor data in a decoding process for restoring the image of the object.

일실시예에 따른 디스플레이 장치는, 오브젝트가 위치하는 거리에 기초한 센서 영역의 가변적인 선택에 따라, 최적의 깊이 영상을 생성할 수 있다.The display device according to the embodiment can generate an optimum depth image in accordance with the variable selection of the sensor area based on the distance at which the object is located.

도 1는 일실시예에 따른 깊이 정보를 획득하는 디스플레이 장치의 개략적인 구조를 설명하는 도면이다.1 is a view for explaining a schematic structure of a display device for obtaining depth information according to an embodiment.

도 1에 도시한 바와 같이, 디스플레이 장치(100)는 디스플레이 패널(110)과 센서 패널(120)을 포함할 수 있다.As shown in FIG. 1, the display device 100 may include a display panel 110 and a sensor panel 120.

디스플레이 패널(display panel)(110)은 영상을 디스플레이 하기 위한 패널일 수 있다. 예를 들어, 디스플레이 패널(110)에는 LCD 픽셀 구성의 패널, 또는 OLED 픽셀 구성의 패널이 이용될 수 있으며, 이들에 한정되지 않는다. 실시예에 따라, 디스플레이 패널(110)은 외부로부터의 입력광(input light)을 통과시켜 센서 패널(120)이 센서 데이터(sensor data)를 획득(acquire)할 수 있도록 한다. 상기 센서 데이터(sensor data)는 센서 패널(120)에 포함된 센서에 의하여 감지(detect)된 데이터일 수 있다.The display panel 110 may be a panel for displaying an image. For example, a panel of an LCD pixel configuration or a panel of an OLED pixel configuration may be used for the display panel 110, but is not limited thereto. According to an embodiment, the display panel 110 allows input light from the outside to pass through and allow the sensor panel 120 to acquire sensor data. The sensor data may be data detected by a sensor included in the sensor panel 120.

상기 입력광을 통과시키기 위해, 디스플레이 패널(110)은 복수의 이미징 패턴(112)을 포함할 수 있다. 이미징 패턴(imaging pattern)(112)은 디스플레이 패널(110)를 구성하는 디스플레이 픽셀의 종류에 따라, 형성하는 과정에서 차이가 있을 수 있다.In order to pass the input light, the display panel 110 may include a plurality of imaging patterns 112. The imaging pattern 112 may vary depending on the type of display pixels that make up the display panel 110.

일례로, 상기 디스플레이 픽셀(display pixel)을 LCD 픽셀(LCD pixel)로 구성하는 경우, 디스플레이 패널(110)은 복수 LCD 픽셀의 조합에 근거하여 이미징 패턴(112)을 광학적으로 형성할 수 있다. 이때, LCD 픽셀의 디스플레이 패널(110)은 시분할되어 미리 결정된 시간, 예컨대 방송 영상신호가 디스플레이 되지 않는 시간 동안에 이미징 패턴(112)을 형성하여 외부의 상기 입력광을 통과시킬 수 있다.For example, when the display pixel is configured as an LCD pixel, the display panel 110 may optically form the imaging pattern 112 based on a combination of a plurality of LCD pixels. At this time, the display panel 110 of the LCD pixel may pass the external input light by forming the imaging pattern 112 for a predetermined time, for example, during a time when the broadcast image signal is not displayed.

예를 들어, LCD 픽셀의 디스플레이 패널(110)은 시분할 기법(time multiplexing)을 이용하여, 일정한 시간 동안에 디스플레이 모드로 동작하고, 다른 일정한 시간 동안에 영상획득 모드로 구분하여 동작할 수 있다.For example, the display panel 110 of the LCD pixel may operate in a display mode for a predetermined time using time multiplexing, and may operate in an image acquisition mode for another predetermined period of time.

상기 디스플레이 모드에서 디스플레이 패널(110)은 상기 LCD 픽셀을 이용하여 방송 영상신호를 디스플레이 할 수 있다. 또한, 상기 영상획득 모드에서 디스플레이 패널(110)은 상기 LCD 픽셀들의 광학적인 조합으로 이미징 패턴(112)을 형성하고, 형성된 이미징 패턴(112)으로 외부의 입력광을 통과시켜 디스플레이 패널(110)의 후면에 있는 센서 패널(120)이 센서 데이터를 감지할 수 있도록 할 수 있다.In the display mode, the display panel 110 may display a broadcast image signal using the LCD pixels. In addition, in the image acquisition mode, the display panel 110 forms an imaging pattern 112 by optical combination of the LCD pixels, passes the external input light through the formed imaging pattern 112, So that the sensor panel 120 on the rear side can detect the sensor data.

상기 LCD 픽셀들의 광학적인 조합으로 형성되는 이미징 패턴(112)은, 예컨대 투명하게 광조합되는 이미지와 불투명하게 광조합되는 이미지를, 선정된 규칙에 따라 배열하여, 다양한 양태로 설계될 수 있다.The imaging pattern 112 formed by the optical combination of the LCD pixels can be designed in various ways, for example, by arranging images that are optically combined optically and optically opaque, in accordance with a predetermined rule.

일례로, 이미징 패턴(112)은, 상기 투명하게 광조합되는 이미지의 주위로 상기 불투명하게 광조합되는 이미지를 다수 배치하여 핀 홀 패턴으로 설계될 수 있다. 다른 일례로서, 이미징 패턴(112)은 상기 투명하게 광조합되는 이미지와, 상기 불투명하게 광조합되는 이미지를, 교차하여 정해진 문양이 되게 배치하여, 무라(MURA: Modified Uniformly Redundant Array) 패턴으로 설계될 수 있다. 다른 일례로, 상기 디스플레이 픽셀을 OLED 픽셀로 구성하는 경우, 디스플레이 패널(110)은 패널 제조 단계에서 미리 설계된 이미징 패턴(112)을 포함할 수 있다.In one example, the imaging pattern 112 may be designed in a pinhole pattern by placing a plurality of opaque optically combined images around the transparent optically combined image. As another example, the imaging pattern 112 may be designed in a Modified Uniformly Redundant Array (MURA) pattern by arranging the transparently optically combined image and the opaque optically combined image in a predetermined pattern crossing . In another example, when configuring the display pixel as an OLED pixel, the display panel 110 may include a pre-designed imaging pattern 112 in the panel fabrication step.

이미징 패턴(112)의 설계에 있어, 디스플레이 패널(110)을 구성하는 OLED 픽셀의 일부는, 투명창을 포함하여 상기 입력광을 통과시킬 수 있게 한다. 상기 투명창을 포함하는 OLED 픽셀은, 예컨대 OLED 픽셀 내 윈도우를 투명(transparent)하게 조정하여 제작할 수 있다.In the design of the imaging pattern 112, a portion of the OLED pixels that make up the display panel 110 include a transparent window to allow the input light to pass. The OLED pixel including the transparent window can be manufactured by, for example, transparently adjusting a window in an OLED pixel.

또한, 상기 OLED 픽셀의 다른 일부는, 불투명창을 포함하여 상기 입력광을 통과시키지 않을 수 있다. 상기 불투명창을 포함하는 OLED 픽셀은, 예컨대 OLED 픽셀 내 윈도우를 불투명(opaque)하게 조정하여 제작할 수 있다.Also, another portion of the OLED pixel may not pass the input light, including an opaque window. The OLED pixel including the opaque window can be fabricated, for example, by opaquely adjusting the window in the OLED pixel.

이미징 패턴(112)은, 상기 투명창을 포함하는 OLED 픽셀과, 상기 불투명창을 포함하는 OLED 픽셀을, 선정된 규칙에 따라 배열하여, 다양한 양태로 설계될 수 있다. 예컨대, 이미징 패턴(112)은, 상기 투명창을 포함하는 OLED 픽셀의 주위로 상기 불투명창을 포함하는 OLED 픽셀을 다수 배치하여 핀 홀 패턴으로 설계될 수 있다. 다른 일례로서, 이미징 패턴(112)은 상기 투명창을 포함하는 OLED 픽셀과, 상기 불투명창을 포함하는 OLED 픽셀을, 교차하여 정해진 문양이 되게 배치하여, 무라 패턴으로 설계될 수 있다. 도 1에서는, 이미징 패턴(112)으로, 4개의 무라 패턴을 정방형으로 타일링(tiling)하는 것을 예시하고 있다.The imaging pattern 112 can be designed in various ways, arranging OLED pixels including the transparent window and OLED pixels including the opaque window according to a predetermined rule. For example, the imaging pattern 112 may be designed with a pinhole pattern by arranging a plurality of OLED pixels including the opaque window around the OLED pixel including the transparent window. As another example, the imaging pattern 112 may be designed in a non-uniform pattern by arranging the OLED pixels including the transparent window and the OLED pixels including the opaque window so as to cross the predetermined pattern. In Fig. 1, four imaging patterns are tilted in a square shape with the imaging pattern 112. In Fig.

디스플레이 패널(110)에서의 이미징 패턴(112)의 개수와, 이미징 패턴(112)의 위치는, 상기 입력광을 받아 들이는 디스플레이 패널(110)의 크기, 패널의 제조 환경 등을 고려하여 결정 될 수 있다.The number of imaging patterns 112 in the display panel 110 and the position of the imaging pattern 112 are determined in consideration of the size of the display panel 110 receiving the input light and the manufacturing environment of the panel .

상기 입력광의 통과에 있어, 상기 OLED 픽셀의 디스플레이 패널(110)은 시분할 기법을 이용하여, 일정한 시간 동안에 디스플레이 모드로 동작하고, 다른 일정한 시간 동안에 영상획득 모드로 구분하여 동작할 수 있다.In the passage of the input light, the display panel 110 of the OLED pixel may operate in a display mode for a predetermined period of time using the time division technique, and may be classified into an image acquisition mode for another predetermined period of time.

상기 디스플레이 모드에서 디스플레이 패널(110)은 상기 OLED 픽셀을 이용하여 방송 영상신호를 디스플레이 할 수 있다. 또한, 상기 영상획득 모드에서 디스플레이 패널(110)은 미리 설계되어 패널에 포함되어 있는 이미징 패턴(112)으로 상기 외부의 입력광을 통과시켜 디스플레이 패널(110)의 후면에 있는 센서 패널(120)이 센서 데이터를 감지할 수 있도록 할 수 있다.In the display mode, the display panel 110 may display a broadcast image signal using the OLED pixels. In addition, in the image acquisition mode, the display panel 110 is previously designed and passed through the external input light with the imaging pattern 112 included in the panel, so that the sensor panel 120 on the rear surface of the display panel 110 It is possible to detect the sensor data.

또한, OLED 픽셀의 디스플레이 패널(110)은 이미징 패턴(112)이 패널 내에 포함되어 있으므로, 실시예에 따라, 방송 영상신호를 디스플레이하면서 동시적으로 상기 입력광을 통과시킬 수도 있다.In addition, since the display panel 110 of the OLED pixel includes the imaging pattern 112 in the panel, according to the embodiment, the input light may be passed simultaneously while displaying the broadcast image signal.

예컨대, OLED 픽셀의 디스플레이 패널(110)은 OLED 픽셀에 포함되는 투명창 또는 비투명창 이용하여 시분할 없이, 디스플레이하면서 동시적으로 상기 입력광을 통과시킬 수 있다. 이 경우, 방송 영상신호를 디스플레이 하는 광이, 오브젝트에 반사되어 추가로 입력됨에 따라, 디스플레이 패널(110)을 보다 많은 광량의 입력광을 통과시킬 수 있고, 이로 인해 후단의 센서 패널(120)에 감지되는 센서 데이터의 품질을 향상시킬 수도 있다.For example, the display panel 110 of an OLED pixel can pass the input light simultaneously while displaying it, without using a time division manner, using a transparent window or a non-transparent window included in an OLED pixel. In this case, as the light for displaying the broadcast video signal is reflected by the object and is additionally input, the display panel 110 can pass more input light to the light source, It is possible to improve the quality of sensed sensor data.

디스플레이 패널(110)의 이미징 패턴(112)을 통과한 입력광은, 영상에 관한 센서 데이터로 코딩되고, 상기 센서 데이터는 센서 패널(sensor panel)(120)에 의해 감지된다. 예컨대, 센서 패널(120)은, 복수의 이미징 패턴(112) 각각을 통과한 입력 광에 의한 센서 데이터를, 복수의 영상획득 영역(image capture areas)에서 감지할 수 있다.The input light having passed through the imaging pattern 112 of the display panel 110 is coded with sensor data relating to the image and the sensor data is sensed by the sensor panel 120. For example, the sensor panel 120 can sense sensor data by input light passing through each of the plurality of imaging patterns 112 in a plurality of image capture areas.

이후 디스플레이 장치(100)는 센서 패널(120)에서 감지된 센서 데이터를 디코딩 처리 함으로써, 상기 입력광과 관련한 오브젝트의 영상을, 영상획득 영역 별로 복수 개 복원하여, 멀티 뷰 영상(multi-view image)을 생성할 수 있다.Thereafter, the display device 100 decodes the sensor data sensed by the sensor panel 120, thereby restoring a plurality of images of the object related to the input light, for each image acquisition area, to generate a multi-view image, Can be generated.

이러한 실시예에 따른 디스플레이 장치(100)는, 별도의 깊이 카메라를 사용하지 않더라도, 깊이 영상을 획득할 수 있다.The display apparatus 100 according to this embodiment can acquire a depth image even if a separate depth camera is not used.

도 2는 센서 패널의 영상획득 영역과 멀티 뷰 영상에 대한 일례를 설명하기 위한 도면이다.2 is a view for explaining an example of a multi-view image and an image acquisition area of the sensor panel.

멀티 뷰 영상은 하나의 오브젝트에 대해 시점을 각기 달리하는 복수의 영상일 수 있고, 실시예에서, 복수의 영상획득 영역과 관련하여 생성되는 영상들의 통칭일 수 있다. 디스플레이 장치는, 개별의 영상획득 영역으로 감지되는 센서 데이터를 각각 디코딩하여, 상기 영상획득 영역의 개수에 상응하는 복수의 영상을 상기 멀티 뷰 영상으로 생성할 수 있다.The multi-view image may be a plurality of images that differ in viewpoint from one object, and in the embodiment, it may be a generic name of images generated in relation to a plurality of image acquisition regions. The display device may decode the sensor data sensed by the individual image acquisition areas and generate a plurality of images corresponding to the number of the image acquisition areas as the multi-view image.

센서 데이터의 감지에 있어서, 센서 패널은, 이미징 패턴에 포함된 어퍼쳐(aperture)(예컨대 투명창을 포함하는 OLED 픽셀의 투명창)를 통과하는 입력 광으로부터, 이미징 패턴의 수에 대응하는 복수의 센서 데이터를 감지할 수 있다.In sensing the sensor data, the sensor panel is configured to detect, from the input light passing through an aperture included in the imaging pattern (e.g., a transparent window of an OLED pixel including a transparent window), a plurality of Sensor data can be detected.

도 2(a)에는, 디스플레이 패널이 3x3의 9개의 이미징 패턴을 포함하는 경우, 상기 9개의 이미징 패턴을 통과한 입력광에 의한 센서 데이터를, 센서 패널의 영상획득 영역(210)에서 감지하는 일례를 도시하고 있다. 예컨대, 오브젝트의 입력광은 상기 9개의 이미징 패턴에서 각각 상이한 각도로 통과하며, 센서 패널은 상기 9개의 이미징 패턴(112)에 의해 코딩된 센서 데이터를, 3x3의 9개의 영상획득 영역(210)에서 각각 감지할 수 있다.2 (a) shows an example in which, when the display panel includes nine imaging patterns of 3x3, the sensor data by the input light passing through the nine imaging patterns is detected in the image acquisition region 210 of the sensor panel Respectively. For example, the input light of the object passes through each of the nine imaging patterns at different angles, and the sensor panel converts the sensor data coded by the nine imaging patterns 112 into nine image acquisition regions 210 of 3x3 Respectively.

영상획득 영역(210)에 감지되는 센서 데이터는, 상기 입력광과 관련한 오브젝트와의 거리(오브젝트와 디스플레이 패널 사이의 이격 거리)에 따라, 영상획득 영역(210) 내 특정 부분에 집중되어 분포할 수 있다. 이에 따라, 디스플레이 장치는 상기 오브젝트와의 거리를 고려하여 센서 패널의 영상획득 영역(210)으로부터, 실제 디코딩할 센서 데이터를 결정하기 위한 센서 영역(220)을 선택할 수 있다.The sensor data sensed in the image acquiring region 210 can be distributed and concentrated in a specific portion within the image acquiring region 210 according to the distance between the object and the display panel have. Accordingly, the display device can select the sensor area 220 for determining the sensor data to be actually decoded from the image acquisition area 210 of the sensor panel in consideration of the distance to the object.

예컨대, 디스플레이 장치는 상기 오브젝트와의 거리(distance from the object)를, 기준 거리(reference distance)로 우선 추정(estimate)할 수 있고, 상기 기준 거리에 기초하여 센서 패널의 영상획득 영역(210) 중 적어도 일부를 센서 영역(220)으로 선택할 수 있다. 기준 거리의 추정에 관해서는 후술한다.For example, the display device may estimate a distance from the object to a reference distance, and determine a distance between the image acquisition region 210 of the sensor panel At least a portion of which can be selected as the sensor region 220. Estimation of the reference distance will be described later.

도 2(b)에는 9개의 영상획득 영역(210)에서 각각 선택된 센서 영역(220) 내 센서 데이터를 독립적으로 디코딩 처리하여, 3x3의 9개의 멀티 뷰 영상(231 내지 239)을 생성하는 것을 예시한다.FIG. 2B illustrates that the sensor data in the sensor area 220 selected in each of the nine image acquisition areas 210 is independently decoded to generate nine multi-view images 231 to 239 of 3 × 3 .

도 2(b)에서와 같이, 멀티 뷰 영상(231 내지 239)은, 하나의 오브젝트에 대해, 복수의 시점을 갖는 복수의 영상(복수의 영상의 각각은 각각의 시점에 대응)일 수 있다.As shown in Fig. 2 (b), the multi-view images 231 to 239 may be a plurality of images (each of the plurality of images corresponds to each viewpoint) having a plurality of viewpoints for one object.

예컨대, 도 2(b)의 9개의 멀티 뷰 영상 중에서 중앙에 생성되는 영상(235)(이하, '센터 영상'이라 함)은, 상기 오브젝트의 입력광이 이미징 패턴을 수직에 근사하는 각도로 통과하여 센서 패널 내 중앙에 위치한 영상획득 영역(220)으로 감지되는 센서 데이터를 디코딩 함에 따라 생성되는 영상일 수 있다. 상기 센터 영상(235)의 시점은 상기 오브젝트를 정면에서 바라보는 각도일 수 있다.For example, among the nine multi-view images shown in FIG. 2B, a center-generated image 235 (hereinafter, referred to as a "center image") passes through an image at a direction approximately perpendicular to the imaging pattern And may be an image generated by decoding the sensor data sensed by the image acquisition area 220 located at the center of the sensor panel. The viewpoint of the center image 235 may be an angle at which the object is viewed from the front.

또한, 상기 센터 영상(235)과 횡으로 인접하는 영상들(234, 236)은, 상기 센터 영상(235)과 수평 시점에서 차이를 가지고 생성되는 영상으로, 상기 오브젝트를, 상기 센터 영상(235)에 비해 좌측 또는 우측에서 바라보는 영상일 수 있다.The images 234 and 236 transversely adjacent to the center image 235 are images generated with a difference between the center image 235 and the center image 235, It may be a video viewed from the left or right side.

유사하게, 상기 센터 영상(235)과 종으로 인접하는 영상들(232, 238)은, 상기 센터 영상(235)과 수직 시점에서 차이를 가지고 생성되는 영상으로, 상기 오브젝트를, 상기 센터 영상(235)에 비해 위 또는 아래에서 바라보는 영상일 수 있다.Similarly, the center image 235 and the adjacent images 232 and 238 are images generated with a difference between the center image 235 and the center image 235, ) May be viewed from above or below.

또한, 센터 영상(235)과 대각으로 인접하는 영상들(231, 233, 237, 239)은 상기 센터 영상(235)과 수평 및 수직 시점 모두 차이를 가지고 생성되는 영상일 수 있다. 예컨대 멀티 뷰 영상(231)은 상기 센터 영상(235)에 비해, 좌측 위로 올려다 보는 영상일 수 있다.In addition, the images 231, 233, 237, and 239 adjacent to the center image 235 in a diagonal direction may be images generated with a difference between the center image 235 and both the horizontal and vertical viewpoints. For example, the multi-view image 231 may be an image looking up to the left of the center image 235.

도 2(b)의 멀티 뷰 영상(231 내지 239)은, 센터 영상(235)을 기준으로, 상기 오브젝트를 바라 보는 시점이 조금씩 틀어져 보이는 복수의 영상으로 생성될 수 있다.The multi-view images 231 to 239 in FIG. 2B can be generated as a plurality of images in which the viewpoint of the object is slightly shifted with respect to the center image 235.

도 2(b)의 멀티 뷰 영상은 설명의 목적으로 제시된 것이며, 실시예에 따라서 멀티 뷰 영상은 9개 이상 또는 9개 이하의 영상으로 구성될 수 있다.The multi-view image of FIG. 2 (b) is presented for the purpose of explanation, and the multi-view image may be composed of 9 or more images or 9 or less images according to an embodiment.

도 3은 센서 데이터를 감지하는 영상획득 영역(image capture area)과 센서 영역(sensor area)과의 관계를 상세하기 위한 도면이다.3 is a view for explaining the relationship between an image capture area and a sensor area for sensing sensor data.

상술한 바와 같이, 디스플레이 패널에는 복수의 이미징 패턴이 포함될 수 있고, 도 3에는, 일례에 따른, 복수의 이미징 패턴 중 하나의 이미징 패턴(310)이 도시되어 있다. 일례에 따르면, 각각의 이미징 패턴(310)은, 도 3과 같이, 한 변이 r인 4개의 무라 패턴(321 내지 324)을 정방형(square)으로 배치하여 구성할 수 있다.As described above, a plurality of imaging patterns may be included in the display panel, and in Fig. 3, one imaging pattern 310 of a plurality of imaging patterns is shown, according to one example. According to one example, each imaging pattern 310 can be configured by arranging four uneven patterns 321 to 324 each having a side r in a square as shown in Fig.

무라 패턴(321 내지 324)은 내부에 형성된 어퍼쳐, 예컨대 투명창을 포함하는 OLED 픽셀을 통해, 오브젝트(350)로부터의 입력광을 통과시켜 코딩 함으로써 후단의 센서 패널(120)에서 센서 데이터가 감지되도록 할 수 있다.Uneven patterns 321 to 324 are formed by passing the input light from the object 350 through an OLED pixel including an aperture formed therein, for example, a transparent window so that sensor data is detected in the sensor panel 120 at the subsequent stage .

센서 패널(120)은 영상획득 영역(330)을 포함하고, 이미징 패턴(310)에 의해 코딩되는 센서 데이터를 영상획득 영역(330)에서 감지할 수 있다.The sensor panel 120 includes an image acquisition area 330 and can sense the sensor data coded by the imaging pattern 310 in the image acquisition area 330.

영상획득 영역(330)은 상기 센서 데이터를 감지할 수 있는 최대 영역일 수 있고, 도 3에서는 이미징 패턴(310)의 크기에 상응하여, 한 변을 2r(상기 r은 무라 패턴(320)의 일변 길이)로 갖는 정사각 영역으로 설정될 수 있다.The image acquisition area 330 may be a maximum area capable of sensing the sensor data. In FIG. 3, one side is 2r (where r is one side of the uneven pattern 320) corresponding to the size of the imaging pattern 310 Length).

일실시예의 디스플레이 장치(300)는, 오브젝트(350)로부터의 거리를 고려하여, 센서 영역(340)의 범위(range)를 변경하여 선택할 수 있다. 여기서, 센서 영역(340)은 영상획득 영역(330)에 포함되는 영역으로서, 예를 들어, 영상획득 영역(330) 중 깊이 영상 획득을 위하여 사용되는 영역을 지칭할 수 있다. 또는, 예를 들어, 센서 영역(340)은 영상획득 영역(330) 중 센서 데이터(sensor data)가 실제로 분포되는 영역을 지칭할 수 있다. 실시예에 따라서, 센서 영역(340)은 오브젝트(350)로부터의 거리에 기초하여 그 범위가 결정될 수 있다.The display device 300 of one embodiment can select and change the range of the sensor area 340 in consideration of the distance from the object 350. [ Here, the sensor region 340 may be an area included in the image acquisition region 330, for example, an area used for acquiring a depth image in the image acquisition region 330. Alternatively, for example, the sensor region 340 may refer to an area in which the sensor data in the image acquisition region 330 is actually distributed. Depending on the embodiment, the range of sensor area 340 may be determined based on the distance from object 350.

예컨대, 디스플레이 장치(300)는 오브젝트(350)와 디스플레이 패널(110)과의 거리를 이용하여, 영상획득 영역(330)의 적어도 일부를 센서 영역(340)으로 선택할 수 있다.For example, the display device 300 can select at least a part of the image acquisition area 330 as the sensor area 340, using the distance between the object 350 and the display panel 110. [

도 3에서, 오브젝트(350)와 디스플레이 패널(110) 사이의 거리(오브젝트(350)로부터의 거리)는 Z로 참조된다. 앞에서 설명한 바와 같이, 디스플레이 패널은 이미징 패턴(310)을 포함한다.In Figure 3, the distance between the object 350 and the display panel 110 (the distance from the object 350) is referred to as Z. As described above, the display panel includes an imaging pattern 310.

디스플레이 패널(110)과 센서 패널(120) 사이의 거리는 F로 참조(refer)된다. 이때, 영상획득 영역(330)의 한 변의 길이가 2r일 경우, 실시예에 따라서, 디스플레이 장치(300)는 한 변의 길이를 (1+(F/Z))r로 갖는 센서 영역(340)을, 영상획득 영역(330)으로부터 선택할 수 있다.The distance between the display panel 110 and the sensor panel 120 is referred to as " F ". In this case, when the length of one side of the image acquisition area 330 is 2r, the display device 300 may include a sensor area 340 having a length of one side of (1+ (F / Z)) r , And an image acquisition area (330).

도 3에 도시한 바와 같이, 센서 영역(340)으로 선택되는 (1+(F/Z))r는, 예컨대 오브젝트(350)와의 거리에 따라, 입력광이, 무라 패턴(324)을 통과하여 영상획득 영역(330)에 도달하는 좌측 끝단과, 무라 패턴(323)을 통과하여 영상획득 영역(330)에 도달하는 우측 끝단 사이의 길이에 해당할 수 있다.3, the (1+ (F / Z)) r selected as the sensor area 340 is obtained by passing the input light through the mura pattern 324 according to the distance to the object 350 May correspond to the length between the left end reaching the image acquisition region 330 and the right end passing through the mura pattern 323 and reaching the image acquisition region 330.

오브젝트(350)와의 거리를 고려하여 영상획득 영역(330)으로부터 선택되는, 센서 영역(340)에는 상기 입력광에 의해 생성되는 센서 데이터가 집중적으로 분포될 수 있다.Sensor data generated by the input light may be intensively distributed in the sensor area 340, which is selected from the image acquisition area 330 in consideration of the distance from the object 350.

실시예에서, 디스플레이 장치(300)는 오브젝트(350)로부터의 거리가 변화 됨에 따라 센서 영역(340)의 크기(size)를 변경하여 선택할 수 있다. 예컨대, 디스플레이 장치(300)는 오브젝트(350)와 디스플레이 패널(110) 사이의 이격된 거리가 멀어짐에 따라, 센서 영역(340)의 크기를 보다 작게 변경하여 선택할 수 있다. 상기 (1+(F/Z))r에서 Z의 증가로 인해, 선택되는 센서 영역(340)의 크기는 작게 변경될 수 있다.In an embodiment, the display device 300 may select and change the size of the sensor region 340 as the distance from the object 350 changes. For example, as the distance between the object 350 and the display panel 110 increases, the display device 300 may select the sensor area 340 with a smaller size. Due to the increase of Z in (1+ (F / Z)) r, the size of the selected sensor region 340 can be changed small.

역으로, 디스플레이 장치(300)는 오브젝트(350)와 디스플레이 패널(110) 사이의 이격된 거리가 가까워짐에 따라, 센서 영역(340)의 크기를 보다 크게 변경하여 선택할 수 있다. 예컨대 상기 (1+(F/Z))r에서 Z의 감소로 인해, 선택되는 센서 영역(340)의 크기는 오히려 크게 변경될 수 있다.Conversely, as the distance between the object 350 and the display panel 110 approaches, the display device 300 can change the size of the sensor area 340 to be larger. For example, due to the reduction of Z in (1+ (F / Z)) r, the size of the selected sensor region 340 may be rather largely changed.

센서 영역(340)은 이미징 패턴(310)의 개수에 상응하여 복수 개 결정되며, 디스플레이 장치(300)는 결정된 센서 영역(340)에 속하는 각각의 센서 데이터를 이용한 디코딩 처리를 통해, 다시점의 멀티 뷰 영상을 생성할 수 있다.A plurality of sensor regions 340 are determined corresponding to the number of imaging patterns 310 and the display device 300 decodes the multi-view image data through the decoding process using each sensor data belonging to the determined sensor region 340. [ A view image can be generated.

따라서, 실시예에 따르면, 오브젝트(350)로부터의 거리에 따라 센서 영역(340)의 크기를 조절함으로써, 디스플레이 장치(300)로부터 멀리 위치한 오브젝트뿐만 아니라, 디스플레이 장치(300)에 근접한 오브젝트의 깊이 영상도 생성할 수 있다.Thus, according to the embodiment, by adjusting the size of the sensor area 340 according to the distance from the object 350, not only the object located away from the display device 300, but also the depth image of the object close to the display device 300 Can also be generated.

또한, 본 실시예에 따르면, 디스플레이 장치(300)로부터 근접한 사용자의 손 동작 등을 인식하여 그에 대응한 처리를 할 수 있기 때문에, 사용자에게 터치스크린과 같은 사용자 경험(user experience)을 제공할 수도 있다.In addition, according to the present exemplary embodiment, since a hand operation of a nearby user can be recognized from the display device 300 and a corresponding process can be performed, a user experience such as a touch screen can be provided to the user .

또한, 일실시예에 따른 디스플레이 장치(300)는 오브젝트(350)와의 거리를 고려하여 가변적으로 선택되는 센서 영역(340) 내 센서 데이터를 이용한, 디코딩 처리를 통해 멀티 뷰 영상을 생성하고, 상기 멀티 뷰 영상을 조합하여 궁극적으로 오브젝트(350)에 관한 깊이 영상을 획득하는 환경을 마련할 수 있다.In addition, the display apparatus 300 according to an embodiment generates a multi-view image through decoding processing using sensor data in a sensor area 340, which is variably selected in consideration of the distance to the object 350, An environment for acquiring a depth image of the object 350 can be provided by combining view images.

도 4는 일실시예에 따라 센서 영역의 크기를, 오브젝트와의 거리에 따라 변경하는 일례를 설명하는 도면이다.4 is a view for explaining an example of changing the size of the sensor area according to the distance to the object according to an embodiment.

도 4에서는 오브젝트(420)로부터의 거리에 따라 센서 영역의 크기를 변경하는 동작을 설명하고 있다.In Fig. 4, the operation of changing the size of the sensor region according to the distance from the object 420 is described.

도 4는, 디스플레이 패널(430)과 센서 패널(440) 사이의 거리가 F일 경우, 오브젝트(420)를 디스플레이 패널(430)과 Z₀만큼 떨어트릴 때에 선택되는 센서 영역의 크기와, 오브젝트(420)를 상기 Z₀ 보다 먼 Z₁만큼 떨어트릴 때에 선택되는 센서 영역의 크기를 비교하기 위한 예시도이다.4 is a graph showing the relationship between the size of the sensor area selected when the object 420 is separated from the display panel 430 by Z ₀ and the size of the object area 420 when the distance between the display panel 430 and the sensor panel 440 is F. [ 420) is shifted away from Z ₀ by Z ₁ .

도 4(a)에서, 디스플레이 장치는 디스플레이 패널(430)로부터 Z₀만큼 떨어진 거리에 있는 오브젝트(420)에 관한 센서 데이터를 센서 패널(440)에서 감지할 수 있다. 여기서, 오브젝트(420)의 입력광은 이미징 패턴의 어퍼쳐(410)를 각도 θ₀로 통과하게 되고, 디스플레이 장치는, 이미징 패턴에 의해 코딩된 센서 데이터를 센서 패널(440)의 범위 S₀에서 감지할 수 있다. 디스플레이 장치는 상기 범위 S₀를, 센서 영역으로 선택할 수 있다.4A, the display device can sense sensor data about the object 420 at a distance Z ₀ from the display panel 430 on the sensor panel 440. Herein, the input light of the object 420 passes through the aperture 410 of the imaging pattern at an angle? ₀ , and the display device displays the sensor data coded by the imaging pattern in the range S ₀ of the sensor panel 440 Can be detected. The display device can select the range S ₀ as the sensor area.

상기 각도 θ₀는 수학식 1을 만족하여 계산될 수 있다.The angle &thetas; ₀ can be calculated by satisfying Equation (1).

또한, 도 4(b)에서, 디스플레이 장치는 디스플레이 패널(430)로부터 Z₁만큼 떨어진 거리에 있는 오브젝트(420)에 대한 영상을 획득할 수 있다. 상기 Z₁은 도 4(a)의 Z₀ 보다, 디스플레이 패널(430)로부터 더 멀리 떨어진 거리일 수 있다.4 (b), the display device can acquire an image of the object 420 at a distance of Z ₁ from the display panel 430. The Z ₁ may be a distance further away from the display panel 430 than Z ₀ in FIG. 4 (a).

여기서, 오브젝트(420)의 입력광은 이미징 패턴의 어퍼쳐(410)를 각도 θ₁로 통과할 수 있다. 이때, 각도 θ₁은, 상기 거리 Z₁가 앞선 도 4(a)의 Z₀ 보다 상대적으로 멀어지게 됨에 따라, 도 4(a)의 θ₀보다 작은 각을 가질 수 있다.Here, the input light of the object 420 can pass the aperture 410 of the imaging pattern at an angle? ₁ . At this time, the angle θ ₁ is the distance as the Z ₁ becomes relatively far more Z ₀ of the preceding Figure 4 (a), may have a smaller angle than θ ₀ in FIG. 4 (a).

또한, 디스플레이 장치는 이미징 패턴에 의해 코딩된 센서 데이터를 센서 패널(440)의 범위 S₁에서 감지할 수 있다. 디스플레이 장치는 상기 범위 S₁을, 센서 영역으로 선택할 수 있다. 상기 S₁은 입력광이 어퍼쳐(410)를 통과하는 각도의 감소로 인해, 도 4(a)의 S₀ 보다 좁은 크기일 수 있다.In addition, the display device can sense the sensor data coded by the imaging pattern in the range S ₁ of the sensor panel 440. The display device can select the range S ₁ as the sensor area. The S ₁ may be of a size narrower than the S ₀ of FIG. 4 (a) due to the reduction of the angle at which the input light passes through the aperture 410.

다시 말해, 디스플레이 장치는 오브젝트(420)로부터의 거리가 멀수록, 센서 영역의 크기를 보다 작게 선택할 수 있다.In other words, the larger the distance from the object 420 is, the smaller the size of the sensor area can be selected.

상기 각도 θ₁은 수학식 2을 만족하여 계산할 수 있다.The angle? ₁ can be calculated by satisfying Equation (2).

디스플레이 장치는 오브젝트(420)로부터의 거리에 따라 센서 패널(440)의 센서 영역의 크기를 변경하여 결정 함으로써, 거리를 고려한 멀티 뷰 영상으로의 복원을 가능하게 할 수 있고, 궁극적으로 오브젝트(420)의 깊이 정보를 추정할 수 있게 하는 환경을 마련할 수 있다.The display device can change the size of the sensor area of the sensor panel 440 according to the distance from the object 420, thereby making it possible to restore the multi-view image considering the distance, It is possible to provide an environment in which the depth information of the object can be estimated.

예컨대, 디스플레이 장치는 오브젝트(420)로부터의 거리에 따라 센서 패널(440)의 센서 영역을 변경하고, 변경된 센서 영역에 기초하여, 오브젝트(420)의 깊이 정보를 획득할 수 있다. 여기서, 센서 영역의 변경은, 오브젝트(420)로부터의 상기 거리에 따라 센서 패널(440)의 센서 영역의 크기를 변경하는 것일 수 있다. 예를 들어, 오브젝트(420)로부터의 상기 거리가 멀수록, 센서 영역의 크기는, 작아질 수 있다. 반면, 오브젝트(420)로부터의 상기 거리가 작아질수록, 센서 영역의 크기는, 크게 될 수 있다.For example, the display device can change the sensor area of the sensor panel 440 according to the distance from the object 420, and obtain the depth information of the object 420 based on the changed sensor area. Here, the change of the sensor area may be to change the size of the sensor area of the sensor panel 440 according to the distance from the object 420. [ For example, the greater the distance from the object 420, the smaller the size of the sensor region. On the other hand, the smaller the distance from the object 420, the larger the size of the sensor area.

도 5는 일실시예에 따른 깊이 정보를 획득하는 디스플레이 장치의 구체적인 구성을 나타내는 도면이다.5 is a view showing a specific configuration of a display device for acquiring depth information according to an embodiment.

디스플레이 장치(500)는 디스플레이 패널(550) 및 센서 패널(560)에 추가하여, 기준 결정부(510), 센서 선택부(520), 데이터 디코딩부(530) 및 깊이 획득부(540)를 더 포함할 수 있다.The display apparatus 500 further includes a reference determining unit 510, a sensor selecting unit 520, a data decoding unit 530, and a depth obtaining unit 540 in addition to the display panel 550 and the sensor panel 560 .

우선, 기준 결정부(reference distance estimating unit)(510)는 기준 거리(reference distance)를 추정(estimate)할 수 있다. 상기 기준거리는 어떤 거리에 오브젝트가 있음을 가정하여, 후술하는 센서 선택부(520)에서 센서 영역을 우선하여 선택하게 하는 거리일 수 있다.First, a reference distance estimating unit 510 may estimate a reference distance. The reference distance may be a distance that causes the sensor selection unit 520, which will be described later, to preferentially select the sensor region on the assumption that an object exists at a certain distance.

일 실시예에 따르면, 상기 기준거리의 추정에 있어, 기준 결정부(510)는 복수의 후보 거리를 선택하고, 상기 복수의 후보 거리 각각에 대응하여, 센서 패널(560)과 연관하여 생성된 영상의 선명도에 따라, 상기 복수의 후보 거리 중에서 상기 기준 거리를 결정할 수 있다.According to one embodiment, in the estimation of the reference distance, the reference determining unit 510 may select a plurality of candidate distances, and may generate a plurality of candidate distances corresponding to each of the plurality of candidate distances, The reference distance may be determined among the plurality of candidate distances.

예를 들어, 기준 결정부(510)는 각 후보 거리(candidate distance)에 대해, 센서 패널(560)에서 후보 센서 영역(candidate sensor area)을 각각 선택하고, 상기 선택된 후보 센서 영역의 센서 데이터를 디코딩하여 생성된 멀티 뷰 영상의 선명도(degree of definition)를 비교할 수 있다. 선명도 비교에 있어, 기준 결정부(510)는 각 후보 거리와 연관된 생성된 멀티 뷰 영상 중에서 센터 영상의 선명도를 비교할 수 있다. 여기서 센터 영상(center image)은, 멀티 뷰 영상 중에서, 이미징 패턴의 어퍼쳐를 수직에 근사하는 각도로 통과한 입력광에 의해 생성되는 영상일 수 있다(도 2에서 도번 235로 도시한 영상).For example, the reference determining unit 510 may select a candidate sensor area in the sensor panel 560 for each candidate distance, and may decode the sensor data of the selected candidate sensor area The degree of definition of the generated multi-view image can be compared. In comparing sharpness, the reference determining unit 510 may compare the sharpness of the center image among the generated multi-view images associated with each candidate distance. Here, the center image may be an image generated by the input light passing through an approximation of the vertical direction of the aperture pattern of the imaging pattern among the multi-view images (the image shown as drawing number 235 in Fig. 2).

기준 결정부(510)는 선명도 비교를 통해 선명도가 가장 좋은 센터 영상을 레퍼런스 영상을 결정하고, 상기 레퍼런스 영상의 생성과 관련된 후보 거리를, 상기 기준 거리로 결정할 수 있다. 예컨대, 기준 결정부(510)는 센터 영상 중에서, 영상 내 블러(blur)가 적게 포함될수록 상기 선명도가 높은 것으로 판단할 수 있다.The reference determining unit 510 may determine a reference image having a best sharpness through comparison of sharpness and a candidate distance related to generation of the reference image as the reference distance. For example, the reference determining unit 510 can determine that the sharpness of the center image is higher as the blur in the image is less included.

실시예에서, 기준 결정부(510)는 선택된 제1 거리에 따라, 센서 패널(560)에서 제1 센서 영역을 선택하고, 상기 제1 센서 영역에 기초하여 생성되는 멀티 뷰 영상 중에서 센터 영상을 선별할 수 있다. 유사하게, 기준 결정부(510)는 상기 제1 거리와 상이한 제2 거리에 따라, 센서 패널(560)에서 제2 센서 영역을 선택하고, 상기 제2 센서 영역에 기초하여 생성되는 멀티 뷰 영상 중에서 센터 영상을 선별할 수 있다. 이후, 기준 결정부(510)는 선별된 각 센터 영상 중에서, 선명도가 상대적으로 우수한 레퍼런스 영상과 관련한 거리를, 상기 기준거리로 선정할 수 있다.In the embodiment, the reference determination unit 510 selects the first sensor region in the sensor panel 560 according to the selected first distance, selects the center image among the multi-view images generated based on the first sensor region can do. Similarly, the reference determining unit 510 may select a second sensor region from the sensor panel 560 according to a second distance different from the first distance, and may select one of the multi-view images generated based on the second sensor region Center images can be selected. Thereafter, the reference determining unit 510 can select, as the reference distance, a distance related to the reference image having a relatively high sharpness among the selected center images.

도 6은 일 실시예에 따라 센서 영역을 선택하기 위한 기준 거리를 결정하는 방법을 설명하기 위한 도면이다.6 is a view for explaining a method of determining a reference distance for selecting a sensor region according to an embodiment.

도 6에는 복수의 후보 거리에 따라 복수의 후보 센서 영역을 선택하고, 선택된 후보 센서 영역 내 센서 데이터를 이용한 디코딩 처리 결과에 따라, 상기 복수의 후보 거리 중에서 기준 거리를 결정하는 일례가 도시되어 있다.6 shows an example of selecting a plurality of candidate sensor regions according to a plurality of candidate distances and determining a reference distance among the plurality of candidate distances in accordance with decoding processing results using sensor data in the selected candidate sensor region.

우선, 도 5의 기준 결정부(510)는, 복수의 후보 거리에 따른 복수의 후보 센서 데이터를 선택하고, 상기 후보 센서 데이터를 디코딩하여 제1 영상을 생성할 수 있다. 예컨대, 기준 결정부(510)는 도 6(a)에서와 같이, 임의의 후보 거리 30cm와 50cm 각각에 대해 후보 센서 영역을 선택하고, 선택된 후보 센서 영역에 속하는 후보 센서 데이터를 이용한 디코딩(610)을 통해, 후보 거리 30cm에 대응하는 제1 영상(670) 및 후보 거리 50cm에 대응하는 제1 영상(680)을 생성할 수 있다.5 may select a plurality of candidate sensor data corresponding to a plurality of candidate distances and decode the candidate sensor data to generate a first image. For example, as shown in FIG. 6 (a), the reference determining unit 510 may select a candidate sensor region for each of the candidate distances 30 cm and 50 cm, decode 610 using candidate sensor data belonging to the selected candidate sensor region, A first image 670 corresponding to a candidate distance of 30 cm and a first image 680 corresponding to a candidate distance of 50 cm.

또한, 기준 결정부(510)는 상기 제1 영상에 대해 잡음 제거 처리를 수행하여 제2 영상을 생성할 수 있다. 예컨대, 기준 결정부(510)는 상기 후보 거리 30cm와 50cm와 관련하여 생성된 제1 영상들에 대해, Non-Local Means 등을 이용한 잡음 제거 처리(620)를 수행할 수 있다.In addition, the reference determining unit 510 may generate a second image by performing noise removal processing on the first image. For example, the reference determining unit 510 may perform noise removal processing 620 using Non-Local Means or the like on the first images generated in relation to the candidate distances 30 cm and 50 cm.

또한, 기준 결정부(510)는 상기 제2 영상에 대해 이진화(binarization)(630)를 수행하여 제3 영상을 생성할 수 있다.In addition, the reference determining unit 510 may binarize the second image 630 to generate a third image.

또 다른 실시예에 따르면, 기준 결정부(510)는 각 후보 거리에 대한 센서 영상(670, 680) 및 이진화된 제3 영상을 조합하여 생성된 영상들 간의 선명도를 비교할 수 있다. 예를 들어, 기준 결정부(510)는 후보 거리 30cm에 대한 센서 영상(670) 및 후보 거리 30cm에 대한 이진화된 제3 영상을 조합한다. 이진화된 영상은 각 픽셀에 대해 세그먼트된(segmented) 2개의 값(예를 들어, 0과 255)만을 가질 수 있다. 기준 결정부(510)는 후보 거리 30cm에 대한 센서 영상(670) 및 후보 거리 30cm에 대한 이진화된 제3 영상을, 예를 들어, AND 연산함으로써 조합된 영상을 생성할 수 있다. 기준 결정부(510)는 이렇게 후보 거리 30cm 및 50cm에 대해 각각 조합된 영상을 생성하고, 상기 조합된 영상들 간의 선명도를 비교할 수 있다.According to another embodiment, the reference determining unit 510 may compare the sharpness between the images generated by combining the sensor images 670 and 680 for each candidate distance and the binarized third image. For example, the reference determining unit 510 combines the sensor image 670 for a candidate distance of 30 cm and the binarized third image for a candidate distance of 30 cm. The binarized image may have only two values segmented for each pixel (e.g., 0 and 255). The reference determining unit 510 may generate a combined image by, for example, ANDing the sensor image 670 with respect to the candidate distance of 30 cm and the binarized third image with respect to the candidate distance of 30 cm. The criterion determining unit 510 may generate the combined images for the candidate distances of 30 cm and 50 cm, respectively, and compare the sharpness of the combined images.

이때, 선명도의 비교를 위해서는, Edge영역의 평균절대변화율(Mean Absolute Gradient) 값이 이용될 수 있다(640).At this time, in order to compare the sharpness, the Mean Absolute Gradient value of the edge area may be used (640).

상기 선명도 비교 결과, 기준 결정부(510)는 블러(blur)가 발생하지 않아 평균절대변화율이 우수한 후보 거리 30cm에 대한 센서 영상(670)을 상대적으로 보다 선명한 것으로 판단할 수 있다(650).As a result of the sharpness comparison, the reference determining unit 510 may determine that the sensor image 670 with respect to the candidate distance of 30 cm, which is excellent in the average absolute change rate, is relatively clear because no blur occurs.

또한, 기준 결정부(510)는 선명도가 높은 것으로 판단된 후보 거리 30cm에 대한 센서 영상(670)을 레퍼런스 영상으로 결정하고, 결정된 레퍼런스 영상과 관련한 거리(예를 들어, 30cm)를 기준 거리(reference distance)로 결정할 수 있다(660).The reference determining unit 510 determines the reference image as a reference image for a candidate distance of 30 cm that is determined to be high in sharpness and sets a distance (for example, 30 cm) related to the determined reference image as a reference distance distance (660).

이러한 기준 거리의 추정을 통해, 디스플레이 장치는 오브젝트에 대한 깊이 영상의 획득시, 추정된 기준 거리에 따라 센서 영역을 빠르게 선택할 수 있다.Through the estimation of the reference distance, the display device can quickly select the sensor area according to the estimated reference distance when acquiring the depth image for the object.

다시 도 5를 살펴 보면, 센서 선택부(sensor selecting unit)(520)는 센서 패널(560)에서, 상기 기준 거리에 따른 센서 데이터(sensor data)를 선택할 수 있다. 예컨대 센서 선택부(520)는, 상기 기준 거리와 연관하여 가변적으로 선택되는 센서 영역을 고려하여, 센서 데이터를 선택할 수 있다.Referring again to FIG. 5, a sensor selecting unit 520 may select sensor data according to the reference distance in the sensor panel 560. For example, the sensor selection unit 520 can select the sensor data in consideration of the sensor area variably selected in association with the reference distance.

센서 데이터의 선택시, 센서 선택부(520)는 상기 기준 거리에 따라, 선택되는 센서 데이터의 수를 변화시킬 수 있다. 이때, 센서 선택부(520)는 상기 기준 거리가 멀수록, 상기 센서 데이터의 수를 감소하여 선택할 수 있다. 반면, 상기 기준 거리가 작아질수록, 센서 선택부(520)는 선택하는 센서 데이터의 수를 증가시킬 수 있다.When the sensor data is selected, the sensor selecting unit 520 may change the number of the selected sensor data according to the reference distance. At this time, the sensor selection unit 520 can decrease the number of the sensor data and select the sensor data as the reference distance becomes larger. On the other hand, as the reference distance decreases, the sensor selection unit 520 can increase the number of sensor data to be selected.

도 7은 센서 패널에서 감지된 센서 데이터를 가변적으로 선택하는 일례를 설명하기 위한 도면이다.7 is a view for explaining an example of variably selecting sensor data sensed by the sensor panel.

앞서 설명한 것과 같이, 센서 패널(700)은, 이미징 패턴의 어퍼쳐(예컨대 OLED 픽셀의 투명창)를 통과하는 입력광으로부터, 이미징 패턴의 수에 대응하는 복수의 센서 데이터를 감지할 수 있다. 상기 이미징 패턴은 4개의 무라 패턴을 정방형으로 타일링하여 구성할 수 있다(도 1, 도 3 참조).As described above, the sensor panel 700 can sense a plurality of sensor data corresponding to the number of imaging patterns from input light passing through an aperture of an imaging pattern (e.g., a transparent window of an OLED pixel). The imaging pattern can be formed by tiling four square patterns in a square shape (see Figs. 1 and 3).

도 7에는 3x3의 9개의 이미징 패턴을 통과한 입력광에 의한 센서 데이터를, 센서 패널(700)의 영상획득 영역(710)에서 감지하는 일례를 도시하고 있다.FIG. 7 shows an example of sensing sensor data by input light having passed through nine imaging patterns of 3x3 in an image acquisition area 710 of the sensor panel 700. FIG.

도 5의 센서 선택부(520)는 영상획득 영역(710)으로부터 상기 기준 거리에 따른 센서 영역(720)을 선택 함으로써, 오브젝트의 영상 복원을 위해 실제 디코딩되는 센서 데이터를 선택할 수 있다.The sensor selector 520 of FIG. 5 may select sensor data that is actually decoded for image restoration of an object by selecting a sensor area 720 according to the reference distance from the image obtaining area 710.

예컨대, 상기 기준 거리를 Z, 디스플레이 패널(550)과 센서 패널(560) 사이의 거리를 F라 하고, 이미징 패턴을 구성하는 정방형의 4개의 무라 패턴의 한 변의 길이가 r일 경우, 센서 영역(720)은 한 변의 길이를 (1+(F/Z))r로 갖는 정사각형일 수 있다.For example, if the reference distance is Z, the distance between the display panel 550 and the sensor panel 560 is F, and the length of one side of the four square patterns constituting the imaging pattern is r, 720 may be a square having a length of one side (1+ (F / Z)) r.

상기 (1+(F/Z))r로부터 알 수 있는 바와 같이, 만약 기준 거리가 멀어져 Z가 커지는 경우, 센서 선택부(520)는 센서 영역(720)의 한 변의 길이를 보다 짧게 선택할 수 있다. 반면, 기준 거리가 짧아져 Z가 작아지면, 센서 선택부(520)는 센서 영역(720)의 한 변의 길이를 보다 길게 선택할 수 있다As can be seen from the above (1+ (F / Z)) r, if the reference distance increases and Z becomes large, the sensor selection unit 520 can select a shorter length of one side of the sensor region 720 . On the other hand, if the reference distance is shortened and Z becomes small, the sensor selection unit 520 can select a longer length of one side of the sensor region 720

선택된 센서 영역(720)에 포함되는 센서 데이터의 수는, 센서 픽셀 개수 Rp를 이용하여 표현할 수 있다.The number of sensor data included in the selected sensor area 720 can be expressed using the sensor pixel number Rp.

상기 센서 픽셀 개수 Rp는 수학식 3을 만족하여 정해질 수 있다.The number of sensor pixels Rp can be determined by satisfying Equation (3).

여기서, 상기 (1+(F/Z))r은 센서 선택부(520)에 의해 선택된 센서 영역(720)의 한 변의 길이이고, 상기 Sp는 픽셀 피치를 의미할 수 있다.Here, (1+ (F / Z)) r is the length of one side of the sensor region 720 selected by the sensor selection unit 520, and Sp can denote the pixel pitch.

수학식 3에 따른 센서 픽셀 개수 Rp는, 센서 영역(720)의 한 변의 길이와, 센서 영역(720)의 픽셀 피치(Pixel Pitch)와의 비에 대한 반올림 값 임을 알 수 있다.The sensor pixel number Rp according to Equation (3) is a rounding value for the ratio of the length of one side of the sensor region 720 to the pixel pitch of the sensor region 720.

선택된 센서 영역(720)에 포함되는 센서 데이터의 수는, 상기 센서 픽셀 개수 Rp의 제곱(Rp * Rp)으로 표현될 수 있다.The number of sensor data included in the selected sensor area 720 can be expressed by the square of the sensor pixel number Rp (Rp * Rp).

도 7과 수학식 3을 통해, 알 수 있듯이, 센서 선택부(520)는 오브젝트와의 거리로 추정된 기준 거리를 고려하여, 영상획득 영역(710)으로부터 가변적으로 센서 영역, 또는 센서 영역에 포함되는 센서 데이터를 선택할 수 있다.7 and Equation 3, the sensor selection unit 520 may variably include the sensor region or the sensor region from the image acquisition region 710 in consideration of the reference distance estimated as the distance to the object Sensor data can be selected.

다시 도 5를 살펴보면, 데이터 디코딩부(data decoding unit)(530)는 상기 센서 데이터를 이용하여 오브젝트에 대한 멀티 뷰 영상(multi-view images)을 생성할 수 있다. 데이터 디코딩부(530)는 선택된 센서 데이터를 디코딩하여, 해석(interpret)함으로써, 오브젝트에 관해 다양한 시점(viewpoint)으로 바라본 다시점의 멀티 뷰 영상을 생성할 수 있다(도 2(b) 참조).Referring again to FIG. 5, a data decoding unit 530 may generate multi-view images of objects using the sensor data. The data decoder 530 decodes the selected sensor data and interprets the selected sensor data to generate a multi-view image of the multi-viewpoint viewed from various viewpoints of the object (see FIG. 2 (b)).

센서 데이터의 디코딩의 일례로서, 데이터 디코딩부(530)는 센서 데이터 및 이미징 패턴을 컨볼루션(convolution)하여 오브젝트에 대한 멀티 뷰 영상을 생성할 수 있다. 예컨대, 데이터 디코딩부(530)는, 센서 영역에 포함되는 센서 데이터를, 이미징 패턴 내 무라 패턴과 컨볼루션 연산을 하여 디코딩 함으로써, 오브젝트에서 송출된 다양한 각도의 입력광에 기인하여 생성되는 복수의 영상을 시각화하여 복원할 수 있다.As an example of the decoding of the sensor data, the data decoding unit 530 can generate a multi-view image for the object by convolving the sensor data and the imaging pattern. For example, the data decoding unit 530 decodes the sensor data included in the sensor region by performing a convolution operation with the pattern of the pattern in the imaging pattern, thereby generating a plurality of images Can be visualized and restored.

또한, 깊이 획득부(depth acquiring unit)(540)는 상기 멀티 뷰 영상으로부터 오브젝트의 깊이 영상을 획득할 수 있다. 예컨대, 깊이 획득부(540)는 오브젝트에 대한 대응점을 결정하고, 상기 대응점을 이용하여 상기 멀티 뷰 영상 각각을 매칭하여 상기 깊이 영상을 획득할 수 있다.Also, a depth acquiring unit 540 may acquire a depth image of the object from the multi-view image. For example, the depth acquiring unit 540 may determine a corresponding point to an object, and may acquire the depth image by matching each of the multi-view images using the corresponding point.

도 8a와 도 8b는 대응점(corresponding points)을 이용하여 멀티 뷰 영상을 매칭하여 깊이 영상을 획득하는 일례를 설명하기 위한 도면이다.8A and 8B are views for explaining an example of acquiring a depth image by matching multi view images using corresponding points.

도 8a에서는 멀티 뷰 영상의 생성을 위한 디스플레이 패널(802) 및 센서 패널(804)을 예시하고 있다.8A illustrates a display panel 802 and a sensor panel 804 for generating a multi-view image.

도 8a에서와 같이, 디스플레이 장치(800)는 디스플레이 패널(802)와 센서 패널(804)를 포함하고, 오브젝트(손, 806)와 연관되는 입력광을 입력받는다. 상기 입력광은 디스플레이 패널(802)에 포함되는 복수의 이미징 패턴을 통과하면서 영상에 관한 센서 데이터로 코딩되고, 상기 센서 데이터는 센서 패널(804)의 복수의 영상획득 영역에서 감지된다. 멀티 뷰 영상의 생성을 위한 디코딩의 경우, 센서 패널(804)에서는 추정된 기준 거리(reference distance)에 따라, 상기 디코딩에 관여될 센서 데이터의 수가, 상기 영상획득 영역 별로 가변적으로 선택될 수 있다. 이후, 도 5의 데이터 디코딩부(530)는 상기 선택된 센서 데이터를, 상기 영상획득 영역 별로 디코딩 함으로써, 오브젝트(806)에 관해 다양한 시점으로 바라본 다시점의 멀티 뷰 영상을 생성할 수 있다8A, the display device 800 includes a display panel 802 and a sensor panel 804, and receives input light associated with an object (a hand 806). The input light passes through a plurality of imaging patterns included in the display panel 802 and is coded into sensor data relating to an image, and the sensor data is sensed in a plurality of image capturing areas of the sensor panel 804. [ In the case of decoding for generation of a multi-view image, the sensor panel 804 can variably select the number of sensor data to be involved in the decoding according to the estimated reference distance. 5 may decode the selected sensor data for each of the image acquisition regions, thereby generating a multi-view image of a multi-viewpoint that is viewed at various points in time with respect to the object 806

도 8b에서는 멀티 뷰 영상을 단일의 깊이 영상으로 매칭하는 것을 예시하고 있다.In FIG. 8B, a multi-view image is matched to a single depth image.

먼저, 도 5의 깊이 획득부(540)는 도 8a의 오브젝트(806)를 바라보는 기준 시점의 영상(830-1, 830-2)과, 상기 기준 시점과 시점이 상이한 복수의 멀티 뷰 영상 페어(810, 820)의 각각으로부터 오브젝트(806)의 특징 부위를 대응점으로 추출할 수 있다. 여기서, 상기 멀티 뷰 페어 중 제1 멀티 뷰 영상(810)은 오브젝트(806)에 대한 왼쪽 시점으로부터의 영상일 수 있고, 상기 멀티 뷰 페어 중 제2 멀티 뷰 영상(820)은 오브젝트(806)에 대한 오른쪽 시점으로부터의 영상일 수 있다. 또한, 상기 기준 시점의 영상(830-1, 830-2)은 오브젝트(806)에 대한 중앙 시점으로부터의 영상일 수 있다.First, the depth acquiring unit 540 of FIG. 5 acquires the images 830-1 and 830-2 of the reference time point at which the object 806 of FIG. 8A is viewed, and a plurality of multi- view image pairs The feature points of the object 806 can be extracted from corresponding points 810 and 820 as corresponding points. The first multi-view image 810 of the multi-view pair may be an image from the left viewpoint of the object 806, and the second multi-view image 820 of the multi-view pair may be displayed on the object 806 May be the image from the right point of view. In addition, the reference images 830-1 and 830-2 may be images from the center point of view of the object 806. [

깊이 획득부(540)는 기준 시점의 영상(830-1, 830-2)과, 상기 멀티 뷰 영상 페어(810, 820)의 각각으로부터 대응점을 추출할 수 있다. 예컨대, 도 8b에 도시한 바와 같이, 깊이 획득부(540)는 제1 멀티 뷰 영상(810)과 기준 시점의 영상(830-1)에 대해, 손바닥 부위의 특징부(feature)를 점(points)으로 표시하여 상기 대응점을 추출할 수 있다. 또한, 깊이 획득부(540)는 제2 멀티 뷰 영상(820)과 기준 시점의 영상(830-2)에 대해, 팔목 부위의 특징부를 점으로 표시하여 상기 대응점을 추출할 수 있다. 도 8b에서 대응점은 손바닥과 팔목에 특징부를 점으로 표시하고 있지만, 이는 설명의 목적을 위한 것이며, 더 많거나 더 적은 대응점이 선택될 수 있음을 기술분야에서 통상의 지식을 가진 자는 이해할 수 있다.The depth acquisition unit 540 can extract corresponding points from the reference view images 830-1 and 830-2 and the multi view image pairs 810 and 820, respectively. 8B, the depth acquiring unit 540 acquires the features of the palm area from the first multi-view image 810 and the reference view image 830-1, ) So as to extract the corresponding point. In addition, the depth acquiring unit 540 can extract the corresponding points by displaying the feature of the cuff portion as a point with respect to the second multi-view image 820 and the reference view image 830-2. In FIG. 8B, the corresponding point is indicated by a dot on the palm and cuff, but this is for the purpose of illustration, and it is understood by those of ordinary skill in the art that more or fewer corresponding points can be selected.

또한, 깊이 획득부(540)는 기준 시점의 영상(830-1)에 표시되는 특징부를 참조하여, 제1 멀티 뷰 영상(810)에 표시된, 상기 손바닥 부위 내 특징부를 조정하여 확정할 수 있다. 유사하게, 깊이 획득부(540)는 기준 시점의 영상(830-2)에 표시되는 특징부를 참조하여, 제2 멀티 뷰 영상(820)에 표시된, 상기 팔목 부위 내 특징부를 조정하여 확정할 수 있다.In addition, the depth acquiring unit 540 can refer to the feature displayed in the image 830-1 at the reference time point, and can determine and adjust the feature in the palm area displayed on the first multi-view image 810. [ Similarly, the depth acquiring unit 540 can refer to the feature displayed in the image of the reference time point 830-2 to adjust the feature in the cuff portion displayed on the second multi-view image 820 .

이후, 깊이 획득부(540)는 상기 손바닥 부위 내 특징부를 표시하는 제1 멀티 뷰 영상(810)과, 상기 팔목 부위 내 특징부를 표시하는 제2 멀티 뷰 영상(820)을 조합하여 오브젝트(806)에 관한 깊이 영상(840)을 획득할 수 있다. 예를 들어, 깊이 획득부(540)는 복수의 멀티 뷰 영상 페어(810, 820) 간의 대응점, 또는 상기 대응점을 포함하는 대응영역을 이용하여 오브젝트(806)에 관한 깊이 영상(840)을 획득할 수 있다. 상기 대응점을 구하는 방법으로는, 특징 정합법(feature matching), 스테레오 정합(stereo matching) 기법 등을 예시할 수 있고, 깊이 획득부(540)는 작업 환경에 따라 상기 기법들을 유연하게 선택하여 상기 대응점을 구하는 데에 이용할 수 있다.Then, the depth acquiring unit 540 combines the first multi-view image 810, which displays the features in the palm area, and the second multi-view image 820, which represents the features in the cuff area, The depth image 840 can be obtained. For example, the depth acquiring unit 540 acquires a depth image 840 related to an object 806 using a corresponding point between a plurality of multi-view image pairs 810 and 820, or a corresponding region including the corresponding point . Feature matching, stereo matching, and the like may be exemplified as a method for obtaining the corresponding points, and the depth acquiring unit 540 may flexibly select the techniques according to the working environment, Can be obtained.

이를 통해, 일실시예에 따른 디스플레이 장치는, 기준거리에 따라 선택되는 센서 데이터와 연관하여 생성된 멀티 뷰 영상으로부터 대응점을 식별하고, 상기 대응점에 대응하는 깊이 정보를 갖는 오브젝트의 깊이 영상을 획득 할 수 있다.Accordingly, the display apparatus according to the embodiment identifies the corresponding point from the multi-view image generated in association with the sensor data selected in accordance with the reference distance, and obtains the depth image of the object having the depth information corresponding to the corresponding point .

다른 실시예에서 디스플레이 장치는 상기 멀티 뷰 영상으로부터 리포커스 영상(refocused image)을 생성하고, 상기 리포커스 영상을 이용하여 오브젝트의 깊이 영상을 획득할 수 있다.In another embodiment, the display device may generate a refocused image from the multi-view image and acquire a depth image of the object using the refocus image.

이를 위해, 도 5의 데이터 디코딩부(530)은 멀티 뷰 영상을 이용하여, 복수의 리포커스 영상을 생성할 수 있다. 예컨대, 데이터 디코딩부(530)은 상기 멀티 뷰 영상 중 센터 영상을 중심으로, 상기 멀티 뷰 영상 각각을 픽셀 단위로 쉬프트하고, 상기 쉬프트에 따라 상기 센터 영상에 대해 중첩되는 영상을, 상기 리포커스 영상으로 생성할 수 있다. 상기 리포커스 영상 각각은, 쉬프트 되는 픽셀 값에 기초하여, 상기 오브젝트의 일부를 선명하게 표현하는 영상일 수 있다.To this end, the data decoding unit 530 of FIG. 5 can generate a plurality of refocus images using the multi-view image. For example, the data decoding unit 530 shifts each of the multi-view images on a pixel-by-pixel basis, centering on the center image among the multi-view images, and superimposes the images superimposed on the center image according to the shift, Can be generated. Each of the refocus images may be an image expressing a part of the object clearly based on the pixel value to be shifted.

도 9는 멀티 뷰 영상으로부터 리포커스 영상을 생성하는 개념을 설명하기 위한 도면이다.9 is a diagram for explaining a concept of generating a refocus image from a multi-view image.

도 9(a)에는 상이한 깊이를 갖는 제1 내지 제3 오브젝트(910, 920, 930)의 입력광이, 핀 홀 패턴(pin hole pattern)을 통과 함에 따라, 센서 패널에서 깊이 정보를 갖는 멀티 뷰 영상(영상 #1 내지 #3)을 감지하는 것을 예시하고 있다. 도 9(a)에 도시된 핀 홀 패턴은 이미징 패턴의 일례이며, 핀 홀 패턴 이외의 다른 패턴이 사용될 수도 있다.9A, as the input light of the first to third objects 910, 920 and 930 having different depths passes through the pin hole pattern, And detects images (images # 1 to # 3). The pinhole pattern shown in Fig. 9 (a) is an example of an imaging pattern, and a pattern other than the pinhole pattern may be used.

예컨대, 센서 패널은, 핀 홀과 각 오브젝트(910, 920, 930)와의 시점 차이로 인해, 멀티 뷰 영상(영상 #1 내지 #3) 내 오브젝트 관련 이미지들 간의 거리를 서로 다른 거리로 감지할 수 있다.For example, due to the viewpoint difference between the pinhole and the objects 910, 920, and 930, the sensor panel can detect distances between object-related images in the multi-view images (images # 1 to # 3) have.

이후, 도 5의 데이터 디코딩부(530)은 상기 멀티 뷰 영상 중 센터 영상(영상 #2)을 중심으로, 영상 #1와 영상 #3을 픽셀 단위로 쉬프트 할 수 있다.Then, the data decoding unit 530 of FIG. 5 may shift the image # 1 and the image # 3 on a pixel-by-pixel basis, centering on the center image (image # 2) among the multi-view images.

예컨대, 도 9(b)에서, 데이터 디코딩부(530)는 센터 영상인 영상 #2를 중심으로, 영상 #1을 오른쪽으로 3픽셀 쉬프트하고, 영상 #3을 왼쪽으로 3픽셀 쉬프트 함으로써, 가장 큰 깊이를 갖는 깊이 3의 제3 오브젝트(930) 관련 이미지의 사이에서 중첩이 이루어져, 제3 오브젝트(930)를 선명하게 표현하는 리포커싱 영상(940)을 생성할 수 있다. 이 때, 제1 오브젝트(910)와 제2 오브젝트(920) 관련 이미지는 중첩을 위한 쉬프트 량이 부족하여 리포커싱을 완성할 수 없다.For example, in FIG. 9 (b), the data decoding unit 530 shifts the image # 1 to the right by 3 pixels and the image # 3 to the left by 3 pixels, centering on the center image # A superimposition is made between the images related to the third object 930 having a depth of 3 to generate a refocused image 940 that expresses the third object 930 in a clear manner. At this time, the images related to the first object 910 and the second object 920 can not complete the refocusing due to insufficient amount of shift for superposition.

또한, 데이터 디코딩부(530)는 영상 #2를 중심으로, 영상 #1을 오른쪽으로 2픽셀 쉬프트하고, 영상 #3을 왼쪽으로 2픽셀 쉬프트 함으로써, 중간 깊이를 갖는 깊이 2의 오브젝트(920) 관련 이미지의 사이에서 중첩이 이루어져, 제2 오브젝트(920)를 선명하게 표현하는 리포커싱 영상(950)을 생성할 수 있다. 이 때, 제1 오브젝트(910) 관련 이미지는 중첩을 위한 쉬프트 량이 부족하여 리포커싱을 완성하지 못하고, 반면 제3 오브젝트(930) 관련 이미지는 중첩을 위한 쉬프트 량이 많아 역시 리포커싱을 완성할 수 없다.The data decoding unit 530 shifts the image # 1 to the right by 2 pixels and shifts the image # 3 to the left by 2 pixels around the image # 2, A superimposition is made between the images to generate a refocused image 950 that expresses the second object 920 clearly. In this case, the image related to the first object 910 does not complete the re-focusing due to insufficient amount of shift for superposition, whereas the image related to the third object 930 can not complete the re-focusing because there is a large amount of shift for superposition .

또한, 데이터 디코딩부(530)는 센터 영상인 영상 #2를 중심으로, 영상 #1을 오른쪽으로 1픽셀 쉬프트하고, 영상 #3을 왼쪽으로 1픽셀 쉬프트 함으로써, 가장 작은 깊이를 갖는 깊이 1의 제1 오브젝트(910) 관련 이미지의 사이에서 중첩이 이루어져, 제1 오브젝트(910)를 선명하게 표현하는 리포커싱 영상(960)을 생성할 수 있다. 이 때, 제2 오브젝트(920)와 제3 오브젝트(930) 관련 이미지는 중첩을 위한 쉬프트 량이 많아 리포커싱을 완성할 수 없다.The data decoding unit 530 shifts the image # 1 to the right by one pixel and shifts the image # 3 to the left by one pixel, centering on the center image # 2, A superimposition is made between images related to one object 910 to generate a refocused image 960 that expresses the first object 910 clearly. At this time, the images related to the second object 920 and the third object 930 can not complete the re-focusing due to a large amount of shift for superposition.

이와 같이, 데이터 디코딩부(530)은 쉬프트 되는 픽셀 값에 기초하여, 오브젝트의 일부를 선명하게 표현하는 리포커스 영상을 생성할 수 있다.In this manner, the data decoding unit 530 can generate a refocus image that expresses a part of the object clearly based on the pixel value to be shifted.

도 10은 멀티 뷰 영상으로부터 리포커스 영상을 생성하는 실례를 설명하기 위한 도면이다.10 is a diagram for explaining an example of generating a refocus image from a multi-view image.

우선, 도 5의 기준 결정부(510)는 기준 거리에 따라, 센서 패널에서 센서 영역을 선택하고, 상기 선택된 센서 영역에 기초하여 멀티 뷰 영상(1000)을 생성할 수 있다. 도 10에서는, 상기 생성된 멀티 뷰 영상(1000)에 대해, 센터 영상(1005)을 중심으로, 멀티 뷰 영상(1000) 각각을 픽셀 단위로, 예컨대, 가로 방향, 세로 방향, 대각선 방향 등으로 쉬프트 하는 것을 예시하고 있다. 도 10에서, 멀티 뷰 영상(multi-view images)(1000)은 25개의 멀티 뷰 영상을 포함하고 있다.5 may select a sensor area in the sensor panel according to the reference distance, and generate the multi-view image 1000 based on the selected sensor area. 10, the multi-view images 1000 are shifted, for example, in the horizontal direction, the vertical direction, the diagonal direction, and the like, with respect to the generated multi-view image 1000 with the center image 1005 as the center . In FIG. 10, a multi-view image 1000 includes 25 multi-view images.

예컨대, 도 5의 데이터 디코딩부(530)는 센터 영상(1005)을 제외한 모든 멀티 뷰 영상(1000)을, 상기 센터 영상(1005)을 중심으로 16 픽셀(실제 약 23cm) 쉬프트하고, 상기 쉬프트에 따라 상기 센터 영상(1005)에 대해 중첩되는 영상을, 리포커스 영상(1010)으로 생성할 수 있다. 이때, 리포커스 영상(1010)은 오브젝트의 부위 중, 예컨대 좌측 팔 부위가 선명하게 표현되는 영상일 수 있다.For example, the data decoding unit 530 of FIG. 5 shifts all the multi-view images 1000 except for the center image 1005 by 16 pixels (about 23 cm in actual) about the center image 1005, Accordingly, an image superimposed on the center image 1005 can be generated as a refocus image 1010. At this time, the refocus image 1010 may be an image in which, for example, the left arm part of the object is clearly displayed.

또한, 데이터 디코딩부(530)는 센터 영상(1005)을 제외한 모든 멀티 뷰 영상(1000)을, 상기 센터 영상(1005)을 중심으로 13 픽셀(실제 약 28cm) 쉬프트하고, 상기 쉬프트에 따라 상기 센터 영상(1005)에 대해 중첩되는 영상을, 리포커스 영상(1020)으로 생성할 수 있다. 이때, 리포커스 영상(1020)은 오브젝트의 부위 중, 예컨대 가슴 부위가 선명하게 표현되는 영상일 수 있다.The data decoding unit 530 shifts all the multi view images 1000 except for the center image 1005 by 13 pixels (actually about 28 cm) around the center image 1005, An image superimposed on the image 1005 can be generated as a refocus image 1020. [ At this time, the refocus image 1020 may be an image in which, for example, the chest area of the object is clearly displayed.

또한, 데이터 디코딩부(530)는 센터 영상(1005)을 제외한 모든 멀티 뷰 영상(1000)을, 상기 센터 영상(1005)을 중심으로 10 픽셀(실제 약 37cm) 쉬프트하고, 상기 쉬프트에 따라 상기 센터 영상(1005)에 대해 중첩되는 영상을, 리포커스 영상(1030)으로 생성할 수 있다. 이때, 리포커스 영상(1030)은 오브젝트의 부위 중, 예컨대 우측 팔 부위가 선명하게 표현되는 영상일 수 있다.The data decoding unit 530 may shift all the multi view images 1000 except for the center image 1005 by 10 pixels (about 37 cm in actual) about the center image 1005, An image superimposed on the image 1005 can be generated as a refocus image 1030. [ At this time, the refocus image 1030 may be an image in which, for example, the right arm portion of the object is clearly displayed.

이에 따라, 데이터 디코딩부(530)는 오브젝트의 일부(좌측 팔 부위, 가슴 부위, 우측 팔 부위)를 특징적으로 선명하게 표현하는 복수의 리포커스 영상(1010, 1020, 1030)을 각각 생성할 수 있다.Accordingly, the data decoding unit 530 can generate a plurality of refocus images 1010, 1020, and 1030 that characteristically express a part of the object (the left arm, the chest, and the right arm) .

리포커스 영상의 생성 후, 도 5의 깊이 획득부(540)는 상기 복수의 리포커스 영상(1010, 1020, 1030)으로부터 상기 오브젝트의 깊이 영상을 획득할 수 있다. 예컨대, 깊이 획득부(540)는 상기 복수의 리포커스 영상(1010, 1020, 1030) 각각에서 경계면을 결정하고, 상기 경계면을 이용하여 리포커스 영상(1010, 1020, 1030) 각각을 매칭하여 상기 깊이 영상을 획득할 수 있다.After generating the refocus image, the depth acquiring unit 540 of FIG. 5 may acquire the depth image of the object from the plurality of refocus images 1010, 1020, and 1030. For example, the depth acquiring unit 540 determines a boundary surface in each of the plurality of refocus images 1010, 1020, and 1030, and matches the refocus images 1010, 1020, and 1030 using the boundary surface, Images can be acquired.

도 11은 경계면을 이용하여 리포커스 영상을 매칭하여 깊이 영상을 획득하는 일례를 설명하기 위한 도면이다.11 is a view for explaining an example of acquiring a depth image by matching a refocus image using a boundary surface.

도 11에서는 복수의 리포커스 영상을 단일의 깊이 영상으로 매칭하는 것을 예시하고 있다.In Fig. 11, a plurality of refocus images are matched to a single depth image.

먼저, 도 5의 깊이 획득부(540)는 리포커스 영상(1110 내지 1140) 각각으로부터 영상의 경계면을 추출할 수 있다.First, the depth acquiring unit 540 of FIG. 5 may extract an image boundary from each of the refocus images 1110 to 1140.

예컨대, 깊이 획득부(540)는 오브젝트의 손가락에 리포커싱된 제1 리포커스 영상(1110)으로부터 주변에 비해 밝게 표현된 상기 손가락을 포함한 에지(edge) 관련 경계면 영상을 추출할 수 있다. 또한, 깊이 획득부(540)는 오브젝트의 손바닥에 리포커싱된 제2 리포커스 영상(1120)으로부터 주변에 비해 밝게 표현된 상기 손바닥을 포함한 에지 관련 경계면 영상을 추출할 수 있다.For example, the depth acquisition unit 540 may extract an edge-related interface image including the finger, which is bright compared to the surroundings, from the first refocused image 1110 refocused on the finger of the object. In addition, the depth acquiring unit 540 can extract an edge-related interface image including the palm, which is expressed brighter than the surroundings, from the second refocused image 1120 refocused on the palm of the object.

유사하게, 깊이 획득부(540)는 오브젝트의 팔목과 팔뚝에 각각 리포커싱된 제3, 4 리포커스 영상(1130, 1140)으로부터 주변에 비해 밝게 표현된 상기 팔목을 포함한 에지 관련 경계면 영상과 상기 팔뚝을 포함한 에지 관련 경계면 영상을 각각 추출할 수 있다.Similarly, the depth acquiring unit 540 acquires the edge-related interface image including the cuff, which is brighter than the surroundings, from the third and fourth refocus images 1130 and 1140 refocused on the cuff and the forearm of the object, Can be extracted.

이후, 깊이 획득부(540)은, 추출된 복수의 에지 관련 경계면 영상을, 에지의 선명도(edge sharpness)를 고려하여 하나의 영상으로 조합 함으로써, 오브젝트에 관한 깊이 영상(1150)을 획득할 수 있다. 상기 복수의 에지 관련 경계면을 조합하는 방법으로는, 예컨대 DFF(Depth-From-Focus), 윤곽선 이미지 매칭법(boundary image matching) 기법 등을 활용할 수 있다.Then, the depth acquiring unit 540 can acquire the depth image 1150 related to the object by combining the plurality of extracted edge related interface images into one image in consideration of the edge sharpness . As a method of combining the plurality of edge-related interfaces, for example, a Depth-From-Focus (DFF), a boundary image matching method, or the like can be utilized.

이를 통해, 일실시예에 따른 디스플레이 장치는, 기준거리와 관련하여 생성된 멀티 뷰 영상으로부터, 오브젝트의 특정 부위에 대한 에지값이 상대적으로 높은 리포커싱 영상들을 생성하여 조합 함으로써, 오브젝트의 각 부위를 최적하게 표현하면서 깊이 정보를 갖는 오브젝트의 깊이 영상을 획득 할 수 있다.Accordingly, the display device according to the embodiment generates and combines re-focusing images having relatively high edge values for a specific portion of an object from a multi-view image generated with respect to a reference distance, It is possible to obtain a depth image of an object having depth information while expressing it optimally.

또 다른 실시예에서, 디스플레이 장치는 멀티 뷰 영상을 조합하여 얻은 제1 깊이 영상과, 리포커스 영상을 조합하여 얻은 제2 깊이 영상을, 재조합하여 오브젝트에 관한 보다 선명한 깊이 영상을 획득하는 것에 대해 설명한다.In another embodiment, the display device describes a method of reconstructing a first depth image obtained by combining a multi-view image and a second depth image obtained by combining a refocus image to acquire a sharper depth image of the object do.

이를 위해, 도 5의 깊이 획득부(540)는, 상기 멀티 뷰 영상의 점(point)에 관한 깊이 정보 및 상기 리포커스 영상의 에지(edge)에 관한 깊이 정보를 이용하여 오브젝트의 깊이 영상을 획득할 수 있다.To this end, the depth acquisition unit 540 of FIG. 5 acquires the depth image of the object using the depth information about the point of the multi-view image and the depth information about the edge of the refocus image can do.

예컨대, 깊이 획득부(540)는, 오브젝트에 대한 대응점을 이용하여 상기 멀티 뷰 영상 각각을 매칭하여 상기 멀티 뷰 영상에 관한 제1 깊이 영상을 생성하고, 상기 리포커스 영상 내 경계면을 이용하여 상기 리포커스 영상 각각을 매칭하여 상기 리포커스 영상에 관한 제2 깊이 영상을 생성하며, 상기 제1 깊이 영상과 상기 제2 깊이 영상을 재조합하여 깊이 영상을 획득할 수 있다.For example, the depth acquisition unit 540 may generate a first depth image of the multi-view image by matching each of the multi-view images using a corresponding point of the object, A second depth image of the refocus image is generated by matching each of the focus images, and the depth image is acquired by recombining the first depth image and the second depth image.

도 12는 제1 깊이 영상 및 제2 깊이 영상을 재조합하여 오브젝트에 대한 깊이 영상을 획득하는 것을 설명하기 위한 도면이다.FIG. 12 is a view for explaining a depth image for an object by reconstructing a first depth image and a second depth image.

우선, 디스플레이 장치는 기준 거리에 따라, 센서 패널 내에서 센서 영역(1212)을 선택할 수 있다(1210). 예컨대, 디스플레이 장치는 오브젝트(예를 들어, 사람의 손)에 관한 입력광이 이미징 패턴을 통과함에 따라 코딩된 센서 데이터를 센서 패널에서 감지하고, 상기 센서 데이터가 집중되어 분포하는 영역을, 상기 기준 거리를 고려하여 센서 영역(1212)으로 선택할 수 있다.First, the display device can select the sensor area 1212 in the sensor panel according to the reference distance (1210). For example, the display device senses coded sensor data in the sensor panel as the input light for an object (e.g., a human hand) passes through the imaging pattern, and displays an area in which the sensor data is concentrated, The sensor area 1212 can be selected in consideration of the distance.

센서 영역(1212)은 하나의 변을 '(1+F/z)r'의 길이를 갖도록 선택될 수 있다. 여기서, 상기 Z는 오브젝트와 디스플레이 패널 사이의 거리이고, 상기 F는 디스플레이 패널과 센서 패널 사이의 거리이며, 상기 r은 상기 영상획득 영역의 1/2 변의 길이일 수 있다.The sensor region 1212 can be selected so that one side has a length of (1 + F / z) r '. Here, Z is a distance between the object and the display panel, F is a distance between the display panel and the sensor panel, and r may be a length of a half of the image acquisition area.

또한, 디스플레이 장치는 선택된 센서 영역(1212)과 관련하여 멀티 뷰 영상을 생성할 수 있다(1220). 예컨대, 디스플레이 장치는 이미징 패턴의 개수에 해당하는 복수의 센서 영역(1212)을 선택할 수 있고, 상기 복수의 센서 영역(1212)에 포함되는 센서 데이터 각각에 대해, 디코딩 처리를 통해 다시점의 멀티 뷰 영상을 생성할 수 있다.In addition, the display device may generate a multi-view image in relation to the selected sensor area 1212 (1220). For example, the display device may select a plurality of sensor regions 1212 corresponding to the number of imaging patterns, and for each sensor data contained in the plurality of sensor regions 1212, Images can be generated.

또한, 디스플레이 장치는 상기 멀티 뷰 영상을 이용하여, 복수의 리포커스 영상을 생성할 수 있다(1230). 예컨대, 디스플레이 장치는 상기 멀티 뷰 영상 내 센터 영상을 중심으로, 상기 멀티 뷰 영상 각각을 픽셀 단위로 쉬프트하고, 상기 쉬프트에 따라 상기 센터 영상에 대해 중첩되는 영상을, 상기 리포커스 영상으로 생성할 수 있다.In addition, the display device may generate a plurality of refocus images using the multi-view image (1230). For example, the display device may shift each of the multi-view images on a pixel-by-pixel basis around a center image in the multi-view image, and generate an image superimposed on the center image according to the shift as the refocus image have.

이어서, 디스플레이 장치는 단계(1220)에서 생성된 멀티 뷰 영상에 대해 특징 정합법(feature matching) 등을 실행하여, 오브젝트의 대응점과 관련한 상기 멀티 뷰 영상의 제1 깊이 영상을 생성할 수 있다(1240). 예컨대, 디스플레이 장치는 멀티 뷰 영상 각각으로부터 오브젝트의 특징 부위(손바닥, 팔목, 팔뚝)를 대응점으로 추출하고, 상기 특징 부위와 관련한 부분 영상을 조합하여, 상기 멀티 뷰 영상의 점(point)에 관한 깊이 정보를 갖는 제1 깊이 영상을 생성할 수 있다.Then, the display device may perform feature matching or the like on the multi-view image generated in step 1220 to generate a first depth image of the multi-view image related to the corresponding point of the object (step 1240 ). For example, the display device extracts feature points (palm, cuff, and forearm) of the object from each of the multi-view images as corresponding points, combines the partial images related to the feature points, A first depth image having information can be generated.

또한, 디스플레이 장치는 단계(1230)을 통해 생성된 리포커스 영상의 각 픽셀에 대해 DFF(depth-from-focus) 등을 실행하여, 경계면과 관련한 상기 리포커스 영상의 제2 깊이 영상을 생성할 수 있다(1250). 예컨대. 오브젝트의 특징 부위(손가락, 손바닥, 팔목, 팔뚝)로 각각 리포커싱된 복수의 리포커싱 영상으로부터 각각 복수의 경계면 영상을 추출하고, 이들 경계면 영상들을 조합하여, 상기 리포커스 영상의 에지(edge)에 관한 깊이 정보를 갖는 제2 깊이 영상을 생성할 수 있다(1250).In addition, the display device may perform a depth-from-focus (DFF) or the like for each pixel of the generated refocus image through step 1230 to generate a second depth image of the refocus image associated with the interface (1250). for example. A plurality of interface images are respectively extracted from a plurality of re-focused refocused images each having a feature region (a finger, a palm, a cuff, and a forearm) of the object, and these boundary images are combined to form an edge of the refocus image A second depth image having depth information relating to the first depth image may be generated (1250).

이후, 디스플레이 장치는 단계(1240)과 단계(1250)의 결과를 재조합하여, 오브젝트에 관한 깊이 영상을 생성한다(1260). 예컨대, 디스플레이 장치는, 상기 제2 깊이 영상을 통해 오브젝트의 손과 팔의 경계면(예, 윤곽선)을 표현하고, 상기 제1 깊이 영상을 통해 오브젝트의 손과 팔의 내부 점들을 표현하도록, 재조합 할 수 있다.The display device then recombines the results of step 1240 and step 1250 to generate a depth image 1260 for the object. For example, the display device displays the interface (e.g., a contour) between the hand and the arm of the object through the second depth image, and reconstructs the object so that the interior points of the hand and the arm of the object are represented through the first depth image .

이를 통해, 일실시예에 따른 디스플레이 장치는 무렌즈 방식의 코딩된 어퍼쳐 이미지를 이용하여, 부호화된 센서 영역으로부터 가변적으로 센서 영역을 선택하고, 멀티 뷰 영상 및 리포커스 영상을 생성하여, 두 영상의 조합으로 보다 정밀한 깊이 영상을 생성할 수 있다.Accordingly, the display device according to an embodiment variably selects the sensor area from the coded sensor area using the lensless coded aperture image, generates a multi-view image and a refocus image, It is possible to generate a more accurate depth image.

이하, 깊이 정보를 획득하는 디스플레이 장치의 동작에 대한 흐름을 상세히 설명한다.Hereinafter, the flow of the operation of the display device for acquiring the depth information will be described in detail.

도 13은 일실시예에 따른 디스플레이 장치의 깊이 정보를 획득하는 방법을 구체적으로 도시한 작업 흐름도이다.13 is a flowchart illustrating a method of acquiring depth information of a display apparatus according to an exemplary embodiment of the present invention.

실시예에 따른 깊이 정보 획득 방법은, 디스플레이 패널 및 센서 패널을 포함한 도 5의 디스플레이 장치(500)에 의해 수행될 수 있다.The depth information obtaining method according to the embodiment can be performed by the display device 500 of FIG. 5 including the display panel and the sensor panel.

일실시예에서, 디스플레이 장치(500)는, 멀티 뷰 영상의 점에 관한 깊이 정보를 획득할 수 있다.In one embodiment, the display device 500 may obtain depth information about the points of the multi-view image.

일실시예에서, 디스플레이 장치(500)는 기준 거리(reference distance)를 추정(estimate)할 수 있다(1310). 본 단계(1310)에서 디스플레이 장치(500)는 어떤 거리에 오브젝트가 있음을 가정하여, 센서 영역을 우선하여 선택하게 하는 거리로서의 기준거리를 결정할 수 있다. 실시예에 따르면, 오브젝트로부터의 거리에 따라 영상획득 영역 내에서 센서 영역의 크기를 결정하는데, 상기 센서 영역의 크기를 결정하기 위한 거리가 단계(1310)에서 추정될 수 있다.In one embodiment, the display device 500 may estimate 1310 a reference distance. In this step 1310, the display device 500 can determine a reference distance as a distance for preferentially selecting the sensor area, assuming that there is an object at a certain distance. According to an embodiment, the distance to determine the size of the sensor region may be estimated in step 1310, in order to determine the size of the sensor region within the image acquisition region according to the distance from the object.

상기 기준거리의 추정에 있어, 디스플레이 장치(500)는 복수의 후보 거리를 선택하고, 상기 복수의 후보 거리 각각에 대응하여, 센서 패널과 연관하여 생성된 영상의 선명도에 따라, 상기 복수의 후보 거리 중에서 상기 기준 거리를 결정할 수 있다. 상기 후보 거리(candidate distance)는 디스플레이 장치(500)로부터 오브젝트까지의 거리를 추정한 값이다.In the estimation of the reference distance, the display device 500 selects a plurality of candidate distances, and corresponding to each of the plurality of candidate distances, according to the sharpness of the image generated in association with the sensor panel, The reference distance can be determined. The candidate distance is a value obtained by estimating a distance from the display device 500 to an object.

디스플레이 장치(500)는 각 후보 거리에 대해, 센서 패널에서 후보 센서 영역을 각각 선택하고, 상기 선택된 후보 센서 영역의 센서 데이터를 디코딩하여 생성된 멀티 뷰 영상의 선명도를 비교할 수 있다. 선명도 비교에 있어, 디스플레이 장치(500)는 상기 후보 센서 영역의 센서 데이터를 이용하여 생성되는 멀티 뷰 영상의 선명도로서, 평균절대변화율(Mean Absolute Gradient) 값을 계산할 수 있다. 예컨대, 디스플레이 장치(500)는 상기 평균절대변화율이 우수하여, 영상 내 블러가 적게 포함된 것으로 판단되는 멀티 뷰 영상을 선명도가 높은 것으로 판단할 수 있다.The display device 500 can select the candidate sensor area from the sensor panel for each candidate distance and compare the sharpness of the generated multi-view image by decoding the sensor data of the selected candidate sensor area. In the sharpness comparison, the display device 500 can calculate a mean absolute gradient value as a sharpness of the multi-view image generated using the sensor data of the candidate sensor area. For example, the display apparatus 500 can determine that the multi-view image having a high average absolute change rate and having low blur in the image is high in sharpness.

이에 따라, 디스플레이 장치(500)는 선명도가 높은 것으로 판단된 멀티 뷰 영상을 레퍼런스 영상으로 결정하고, 결정된 레퍼런스 영상과 관련한 거리를 상기 기준 거리로 결정할 수 있다.Accordingly, the display apparatus 500 may determine the multi-view image determined to have high sharpness to be the reference image, and determine the distance related to the determined reference image as the reference distance.

또한, 디스플레이 장치(500)는 센서 패널에서, 상기 기준 거리에 따른 센서 데이터를 선택하고, 선택된 센서 데이터를 이용하여 오브젝트에 대한 멀티 뷰 영상(multi-view images)을 생성할 수 있다(1320). 본 단계(1320)에서 디스플레이 장치(500)는 상기 기준 거리와 연관하여 가변적으로 선택되는 센서 영역을 고려하여, 센서 데이터를 선택할 수 있다.In addition, the display device 500 may select sensor data according to the reference distance in the sensor panel and generate multi-view images for the object using the selected sensor data (1320). In this step 1320, the display device 500 can select the sensor data in consideration of the sensor area that is variably selected in association with the reference distance.

상기 센서 데이터의 선택시, 디스플레이 장치(500)는 상기 기준 거리에 따라, 선택되는 센서 데이터의 수를 변화시킬 수 있다. 이때, 디스플레이 장치(500)는 상기 기준 거리가 멀수록, 상기 센서 데이터의 수를 감소하여 선택할 수 있다. 반면, 상기 기준 거리가 좁아질수록, 디스플레이 장치(500)는 선택하는 센서 데이터의 수를 증가시킬 수 있다.When the sensor data is selected, the display device 500 may change the number of sensor data to be selected according to the reference distance. At this time, the display device 500 can reduce the number of the sensor data and select the sensor data as the reference distance becomes larger. On the other hand, as the reference distance is narrowed, the display device 500 can increase the number of sensor data to be selected.

본 단계(1320)에서 디스플레이 장치(500)는 선택된 센서 데이터를 디코딩하여, 시각화 함으로써, 오브젝트에 관해 다양한 시점으로 바라본 다시점의 멀티 뷰 영상을 생성할 수 있다.In this step 1320, the display device 500 may decode the selected sensor data and visualize the selected sensor data, thereby generating a multi-view image of the multi-viewpoint viewed from various viewpoints on the object.

센서 데이터의 디코딩 일례로서, 디스플레이 장치(500)는 센서 데이터 및 이미징 패턴을 컨볼루션하여 오브젝트에 대한 멀티 뷰 영상을 생성할 수 있다. 예컨대, 디스플레이 장치(500)는 센서 영역에 포함되는 센서 데이터를, 이미징 패턴 내 무라 패턴과 컨볼루션 연산을 하여 디코딩 함으로써, 오브젝트에서 송출된 다양한 각도의 입력광에 기인하여 생성되는 복수의 영상을, 시각화하여 복원할 수 있다.As an example of decoding the sensor data, the display device 500 may generate a multi-view image for the object by convolving the sensor data and the imaging pattern. For example, the display device 500 decodes the sensor data included in the sensor area by performing a convolution operation with a pattern of patterns in the imaging pattern to generate a plurality of images, which are generated due to input light of various angles, Visualization can be restored.

계속해서, 디스플레이 장치(500)는 대응점을 이용하여, 상기 멀티 뷰 영상으로부터 제1 깊이 영상을 생성할 수 있다(1330). 단계(1330)에서 디스플레이 장치는 상기 멀티 뷰 영상의 점(point)에 관한 깊이 정보를 생성할 수 있다. 예컨대, 디스플레이 장치는, 오브젝트에 대한 대응점을 이용하여 상기 멀티 뷰 영상 각각을 매칭하여 상기 멀티 뷰 영상에 관한 제1 깊이 영상을 생성할 수 있다.Subsequently, the display apparatus 500 can generate the first depth image from the multi-view image using the corresponding point (1330). In step 1330, the display device may generate depth information about a point of the multi-view image. For example, the display device may generate a first depth image of the multi-view image by matching each of the multi-view images using a corresponding point on the object.

예를 들어, 디스플레이 장치는 3개의 멀티 뷰 영상에서 대응점으로 각각 추출된, 오브젝트의 손바닥, 팔목, 팔뚝과 관련한 부분 영상을, 특징 정합법 등으로 조합 함으로써, 오브젝트에 관한 상기 제1 깊이 영상을 획득할 수 있다(도 8b 참조).For example, the display device acquires the first depth image on the object by combining the partial images related to the palm, cuff, and forearm of the object extracted by the corresponding points in the three multi-view images with the feature matching method or the like (See FIG. 8B).

이를 통해, 일실시예에 따른 디스플레이 장치는, 기준거리에 따라 선택되는 센서 데이터와 연관하여 생성된 멀티 뷰 영상으로부터 대응점을 식별하고, 상기 대응점에 대응하는 깊이 정보를 갖는 오브젝트의 깊이 영상을 획득할 수 있다.Accordingly, the display apparatus according to the embodiment identifies the corresponding point from the multi-view image generated in association with the sensor data selected in accordance with the reference distance, and obtains the depth image of the object having the depth information corresponding to the corresponding point .

다른 실시예에서, 디스플레이 장치(500)는, 리포커스 영상의 에지에 관한 깊이 정보를 획득할 수 있다.In another embodiment, the display device 500 may obtain depth information about the edge of the refocus image.

다른 실시예에서, 디스플레이 장치(500)는 기준 거리를 추정하고(1310), 추정된 기준 거리에 따라 선택된 센서 데이터를 이용하여 오브젝트에 대한 멀티 뷰 영상을 생성할 수 있다(1320). 단계(1310)과 단계(1320)은 상술의 일실시예에서 설명한 것으로 갈음하고 여기서는 생략한다.In another embodiment, the display device 500 may estimate a reference distance 1310 and generate 1320 a multi-view image of the object using the selected sensor data according to the estimated reference distance. Steps 1310 and 1320 are the same as those described in the above embodiment, and are omitted here.

단계(1310)과 단계(1320)을 수행한 이후, 디스플레이 장치(500)는 상기 멀티 뷰 영상으로부터 리포커스 영상을 생성할 수 있다(1340). 단계(1340)에서 디스플레이 장치(500)는 상기 멀티 뷰 영상 내 센터 영상을 중심으로, 상기 멀티 뷰 영상 각각을 픽셀 단위로 쉬프트하고, 상기 쉬프트에 따라 상기 센터 영상에 대해 중첩되는 영상을, 상기 리포커스 영상으로 생성할 수 있다. 상기 리포커스 영상 각각은, 쉬프트 되는 픽셀 값에 기초하여, 상기 오브젝트의 일부를 선명하게 표현하는 영상일 수 있다.After performing steps 1310 and 1320, the display device 500 may generate a refocus image from the multi-view image (1340). In step 1340, the display device 500 shifts each of the multi-view images on a pixel-by-pixel basis, centering on the center image in the multi-view image, and superimposes the images superimposed on the center image according to the shift, It can be generated as a focus image. Each of the refocus images may be an image expressing a part of the object clearly based on the pixel value to be shifted.

예컨대, 디스플레이 장치(500)는 센터 영상을 제외한 모든 멀티 뷰 영상을, 상기 센터 영상을 중심으로 픽셀 단위로 순차적으로 쉬프트하고, 각 쉬프트에 따라 오브젝트의 손가락이 선명하게 표현되는 리포커스 영상, 오브젝트의 손바닥 부위가 선명하게 표현되는 리포커스 영상, 오브젝트의 팔목이 선명하게 표현되는 리포커스 영상, 오브젝트의 팔뚝이 선명하게 표현되는 리포커스 영상을 생성할 수 있다.For example, the display device 500 sequentially shifts all the multi-view images except for the center image on a pixel-by-pixel basis with respect to the center image, and displays a refocus image in which the fingers of the object are clearly displayed according to each shift, It is possible to generate a refocus image in which the palm area is clearly displayed, a refocus image in which the cuff of the object is clearly displayed, and a refocus image in which the forearm of the object is clearly displayed.

이어서, 디스플레이 장치(500)는 경계면을 이용하여 제2 깊이 영상을 생성할 수 있다(1350). 단계(1350)에서 디스플레이 장치는 상기 리포커스 영상의 에지(edge)에 관한 깊이 정보를 생성할 수 있다. 디스플레이 장치(500)는, 상기 리포커스 영상 내 경계면을 이용하여 상기 리포커스 영상 각각을 매칭하여 상기 리포커스 영상에 관한 제2 깊이 영상을 생성할 수 있다The display device 500 may then generate a second depth image using the interface (1350). In step 1350, the display device may generate depth information about an edge of the refocus image. The display apparatus 500 can generate a second depth image of the refocus image by matching each of the refocus images using the interface in the refocus image

예를 들어, 디스플레이 장치(500)는 4개의 리포커스 영상에서 포커스 된 오브젝트의 손가락, 손바닥, 팔목, 팔뚝을 각각 포함한 에지 관련 경계면 영상을, DFF(Depth-From-Focus) 등을 이용하여 하나의 영상으로 조합 함으로써, 오브젝트에 관한 상기 제2 깊이 영상을 획득할 수 있다(도 11 참조).For example, the display device 500 can display an edge-related interface image including a finger, a palm, a cuff, and a forearm of a focused object in four refocus images using a depth-from-focus (DFF) By combining with the image, the second depth image relating to the object can be obtained (see FIG. 11).

이를 통해, 다른 실시예에 따른 디스플레이 장치는, 기준거리와 관련하여 생성된 멀티 뷰 영상으로부터, 오브젝트의 특정 부위에 대한 에지값이 상대적으로 높은 리포커싱 영상들을 생성하여 조합 함으로써, 오브젝트의 각 부위를 최적하게 표현하면서 깊이 정보를 갖는 오브젝트의 깊이 영상을 획득 할 수 있다.Thereby, the display device according to another embodiment generates and combines re-focusing images having relatively high edge values for a specific portion of the object from the multi-view image generated in relation to the reference distance, It is possible to obtain a depth image of an object having depth information while expressing it optimally.

또 다른 실시예에서, 디스플레이 장치(500)는, 제1 깊이 영상 및 제2 깊이 영상을 재조합하여 오브젝트에 대한 깊이 영상을 획득할 수 있다.In yet another embodiment, the display device 500 may reconstruct the first depth image and the second depth image to obtain a depth image for the object.

또 다른 실시예에서, 디스플레이 장치(500)는, 기준 거리를 추정하고(1310), 멀티 뷰 영상과 제1 깊이 영상을 생성하며(1320, 1330), 리포커스 영상과 제2 깊이 영상을 생성할 수 있다(1340, 1350). 단계(1310) 내지 단계(1350)은 상술의 일실시예 및 다른 실시예에서 설명한 것으로 갈음하고 여기서는 생략한다.In yet another embodiment, the display device 500 estimates a reference distance 1310, generates a multi-view image and a first depth image 1320 and 1330, and generates a refocus image and a second depth image (1340, 1350). Steps 1310 to 1350 are the same as those described in the above embodiment and other embodiments, and are omitted here.

단계(1310) 내지 단계(1350)을 수행한 이후, 디스플레이 장치(500)는 상기 멀티 뷰 영상 및 상기 복수의 리포커스 영상을 이용하여, 상기 오브젝트의 깊이 영상을 획득할 수 있다(1360). 본 단계(1360)는, 상기 멀티 뷰 영상의 점(point)에 관한 깊이 정보 및 상기 리포커스 영상의 에지(edge)에 관한 깊이 정보를 이용하여 상기 오브젝트의 깊이 영상을 획득할 수 있다.After performing steps 1310 to 1350, the display apparatus 500 may acquire a depth image of the object using the multi-view image and the plurality of refocus images (1360). In this step 1360, the depth image of the object can be obtained using depth information about a point of the multi-view image and depth information about an edge of the refocus image.

예컨대, 디스플레이 장치(500)는 상기 멀티 뷰 영상과 관련하여 조합된 상기 제1 깊이 영상, 및 상기 리포커스 영상과 관련하여 조합된 상기 제2 깊이 영상을 재조합하여 오브젝트의 깊이 영상을 생성할 수 있다.For example, the display apparatus 500 may generate the depth image of the object by recombining the first depth image combined with the multi-view image and the second depth image combined with the refocus image .

상기 제1 및 제2 깊이 영상의 재조합에 있어서, 디스플레이 장치(500)는 오브젝트의 특정 부위의 에지를 선명하게 표현하는 제2 깊이 영상에 대해, 해당 부위의 내부 점들을 선명하게 표현하고 있는 제1 깊이 영상을 매칭하여 조합할 수 있다. 예컨대, 디스플레이 장치(500)는, 상기 제2 깊이 영상을 통해 오브젝트의 손과 팔의 경계면(예, 윤곽선)을 표현하고, 상기 제1 깊이 영상을 통해 오브젝트의 손과 팔의 내부 점들을 표현하도록, 조합할 수 있다(도 12 참조).In the recombination of the first depth image and the second depth image, the display apparatus 500 displays the first depth image, which clearly expresses the edge of the specific region of the object, Depth images can be matched and combined. For example, the display device 500 displays an interface (e.g., a contour) between the hand and the arm of the object through the second depth image, and expresses the internal points of the object hand and the arm through the first depth image (See Fig. 12).

이를 통해, 일실시예에 따른 깊이 정보 획득 방법은 무렌즈 방식의 코딩된 어퍼쳐 이미지를 이용하여, 부호화된 센서 영역으로부터 가변적으로 센서 영역을 선택하고, 멀티 뷰 영상 및 리포커스 영상을 생성하여, 두 영상의 조합으로 보다 정밀한 깊이 영상을 생성할 수 있다.Accordingly, in the depth information obtaining method according to an exemplary embodiment, the sensor area is variably selected from the coded sensor area using the coded aperture image of the non-lens system, a multi-view image and a refocus image are generated, It is possible to generate a more precise depth image by combining two images.

실시예에 따른 깊이 정보 획득 방법은 디스플레이 패널 내 어퍼쳐를 렌즈 대신 이용하여 깊이 추정을 할 수 있어, 플랫 패널 디스플레이(Flat Panel Display)로의 최적한 적용을 가능하게 할 수 있다.The depth information obtaining method according to the embodiment can estimate the depth by using the aperture in the display panel instead of the lens, thereby making it possible to optimally apply to a flat panel display.

또한, 실시예에 따른 깊이 정보 획득 방법은 종래의 센싱 음영 영역과 같은 오브젝트 인지 불능 영역이 없어, 오브젝트의 거리에 무관하게 깊이 추정이 가능하여, 터치, 고해상도 스캐닝, 공간 조작 등의 입체 영상이 활용되는 모든 분야로의 적용이 가능할 수 있다.Also, the depth information acquisition method according to the embodiment does not have the same object or inoperable area as the conventional sensing shadow area, and it is possible to estimate the depth irrespective of the distance of the object, so that stereoscopic images such as touch, high resolution scanning, It can be applied to all fields.

또한, 실시예에 따른 깊이 정보 획득 방법은 3D 디스플레이와 결합하는 경우, 스크린 밖으로 물체를 조작하는 사용자의 손을 화면 정면에서 캡쳐하도록 하는 깊이 영상을 생성 함으로써 사용자로 하여금 실감하는 인터랙션을 제공할 수 있다.In the depth information acquisition method according to the embodiment, when combined with the 3D display, a depth image for capturing a hand of a user operating an object outside the screen on the front of the screen is generated, thereby providing a user with an interaction .

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.　While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

500 : 디스플레이 장치
510 : 기준 결정부 520 : 센서 선택부
530 : 데이터 디코딩부 540 : 깊이 획득부
550 : 디스플레이 패널 560 : 센서 패널500: display device
510: reference determination unit 520: sensor selection unit
530: Data decoding unit 540: Depth acquisition unit
550: Display panel 560: Sensor panel

Claims

A method of acquiring depth information in a display device including a display panel and a sensor panel,
Changing a sensor area of the sensor panel based on a reference distance selected on the assumption of an object position; And
Acquiring depth information of an object based on the changed sensor area
/ RTI >

The method according to claim 1,
Selecting a plurality of candidate distances;
Comparing the sharpness of an image generated in association with the sensor panel corresponding to each of the plurality of candidate distances; And
Determining a candidate distance of an image having the best sharpness among the plurality of candidate distances as the reference distance,
To obtain depth information.

The method according to claim 1,
The larger the reference distance, the larger the size of the sensor area,
Small
A method for acquiring depth information.

A method of acquiring depth information of an object in a display device including a display panel and a sensor panel,
Estimating a reference distance selected based on the position of the object;
Selecting sensor data according to the reference distance in the sensor panel;
Generating multi-view images of the object using the sensor data; And
Acquiring a depth image of the object using the multi-view image
/ RTI >

5. The method of claim 4,
Wherein the step of acquiring the depth image of the object using the multi-
Determining a corresponding point for the object; and
Acquiring the depth image by matching each of the multi view images using the corresponding point
/ RTI >

5. The method of claim 4,
Generating a plurality of refocus images using the multi-view image;
Further comprising:
Wherein the acquiring of the depth image of the object comprises:
Acquiring a depth image of the object from the plurality of refocus images
/ RTI >

The method according to claim 6,
Wherein the generating of the plurality of refocus images comprises:
Shifting each of the multi-view images on a pixel-by-pixel basis around a center image in the multi-view image; And
Generating an image superimposed on the center image according to the shift as the refocus image;
/ RTI >

8. The method of claim 7,
Each of the refocus images includes:
Based on the pixel value to be shifted, the image which clearly expresses a part of the object
A method for acquiring depth information.

The method according to claim 6,
Wherein the step of acquiring the depth image of the object from the plurality of refocus images comprises:
Determining an interface in each of the plurality of refocus images; and
Acquiring the depth image by matching each of the refocus images using the boundary surface
/ RTI >

5. The method of claim 4,
Wherein the step of selecting sensor data according to the reference distance comprises:
Selecting and varying the number of sensor data according to the reference distance
/ RTI >

11. The method of claim 10,
As the reference distance increases, the number of sensor data increases,
Declining
A method for acquiring depth information.

5. The method of claim 4,
Wherein the step of estimating the reference distance comprises:
Selecting a plurality of candidate distances;
Comparing the sharpness of an image generated in association with the sensor panel corresponding to each of the plurality of candidate distances; And
Determining a candidate distance of an image having the best sharpness among the plurality of candidate distances as the reference distance,
/ RTI >

13. The method of claim 12,
Wherein the step of determining the candidate distance of the image having the best sharpness as the reference distance comprises:
Determining that the sharpness is higher as the in-image blur is less included;
/ RTI >

13. The method of claim 12,
Wherein the step of determining the candidate distance of the image having the best sharpness as the reference distance comprises:
Selecting, in the sensor panel, a plurality of candidate sensor data according to the plurality of candidate distances; And
Calculating a Mean Absolute Gradient value as a sharpness of the image generated using the candidate sensor data,
/ RTI >

15. The method of claim 14,
Wherein the step of calculating the average absolute rate of change comprises:
Decoding the candidate sensor data to generate a first image;
Performing a non-local means on the first image to generate a second image;
Generating a third image by performing binarization on the second image; And
Calculating the average absolute rate of change value for the third image
/ RTI >

A method for estimating depth information of an object in a display device including a display panel and a sensor panel,
Generating a multi-view image for the object using sensor data selected from the sensor panel according to a reference distance selected based on a position of the object;
Generating a plurality of refocus images using the multi view image; And
Acquiring a depth image of the object using the multi-view image and the plurality of refocus images;
/ RTI >

17. The method of claim 16,
Wherein the acquiring of the depth image of the object comprises:
Acquiring a depth image of the object using depth information about a point of the multi-view image and depth information of an edge of the refocus image;
/ RTI >

17. The method of claim 16,
Wherein the acquiring of the depth image of the object comprises:
Generating a first depth image of the multi-view image by matching each of the multi-view images using a corresponding point of the object;
Generating a second depth image of the refocus image by matching each of the refocus images using the interface in the refocus image; And
Acquiring the depth image by combining the first depth image and the second depth image
/ RTI >

A display device including a display panel and a sensor panel,
A reference determining unit that estimates a reference distance selected based on a position of the object;
In the sensor panel, a sensor selection unit selects sensor data according to the reference distance.
A data decoding unit for generating multi-view images of an object using the sensor data; And
A depth acquiring unit for acquiring a depth image of the object using the multi-
And acquires depth information including the depth information.

20. The method of claim 19,
Wherein the depth acquiring unit includes:
Determines a corresponding point to the object, and acquires the depth image by matching each of the multi view images using the corresponding point
A display device for acquiring depth information.

20. The method of claim 19,
Wherein the data decoding unit generates a plurality of refocus images using the multi-view image,
Wherein the depth obtaining unit obtains a depth image of the object from the plurality of refocus images
A display device for acquiring depth information.

22. The method of claim 21,
Wherein the data decoding unit comprises:
Shifting each of the multi-view images on a pixel-by-pixel basis around a center image in the multi-view image, and generating an image superimposed on the center image according to the shift as the refocus image
A display device for acquiring depth information.

23. The method of claim 22,
Each of the refocus images includes:
Based on the pixel value to be shifted, the image which clearly expresses a part of the object
A display device for acquiring depth information.

22. The method of claim 21,
Wherein the depth acquiring unit includes:
Determining a boundary surface in each of the plurality of refocus images, and acquiring the depth image by matching each of the refocus images using the boundary surface
A display device for acquiring depth information.

20. The method of claim 19,
Wherein the sensor selection unit comprises:
According to the reference distance, the number of the sensor data is changed and selected
A display device for acquiring depth information.

26. The method of claim 25,
As the reference distance increases, the number of sensor data increases,
Declining
A display device for acquiring depth information.

20. The method of claim 19,
Wherein the reference determination unit determines,
A plurality of candidate distances are selected and the sharpness of images generated in association with the sensor panel is compared with each of the plurality of candidate distances; and as a result of the comparison, a candidate of the image having the best sharpness among the plurality of candidate distances The distance is determined as the reference distance
A display device for acquiring depth information.

28. The method of claim 27,
Wherein the reference determination unit determines,
It is determined that the more the blur in the image is included, the higher the sharpness
A display device for acquiring depth information.

28. The method of claim 27,
Wherein the reference determination unit determines,
Wherein the sensor panel selects a plurality of candidate sensor data corresponding to the plurality of candidate distances and calculates a mean absolute gradient value as a sharpness of the image generated using the candidate sensor data
A display device for acquiring depth information.

30. The method of claim 29,
Wherein the reference determination unit determines,
Generating a first image by decoding the candidate sensor data, performing a non-local means on the first image to generate a second image, and binarizing the second image To generate a third image and to calculate the average absolute rate of change for the third image
A display device for acquiring depth information.

A display device including a display panel and a sensor panel,
A method for generating a multi-view image for an object using sensor data selected from the sensor panel according to a reference distance selected on the assumption of an object position, A decoding unit; And
A depth acquiring unit that acquires a depth image of the object using the multi view image and the plurality of refocus images,
And acquires depth information including the depth information.

32. The method of claim 31,
Wherein the depth acquiring unit includes:
A depth image of the object is acquired using depth information of a point of the multi-view image and depth information of an edge of the refocus image
A display device for acquiring depth information.

32. The method of claim 31,
Wherein the depth acquiring unit includes:
A first depth image of the multi-view image is generated by matching each of the multi-view images using a corresponding point on the object, and the plurality of the focus images are matched using the boundary surface in the refocus image, A second depth image relating to the image is generated, and the depth image is acquired by combining the first depth image and the second depth image
A display device for acquiring depth information.