KR20120025052A - 깊이 센서 및 이를 이용한 거리 추정 방법 - Google Patents

Abstract

깊이 센서를 이용한 거리 추정 방법이 개시된다. 상기 거리 추정 방법은 (a) 다수의 열들을 순차적으로 리셋하고, 리셋되는 순서에 따라서 게이팅 신호를 상기 다수의 열들로 순차적으로 인가하는 단계; (b) 상기 다수의 열들 각각에서 동일한 적분 시간(Integration Time) 동안 대상 물체로부터 반사되는 광신호 및 상기 게이팅 신호에 응답하여 발생하는 광전 하를 축적하는 단계; 및 (c) 광전하 축적 동작이 완료되는 순서에 따라서 광전하 축적 결과를 상기 다수의 열들로부터 순차적으로 리드(Read)하는 단계를 포함할 수 있다. 여기서, 상기 (a) 내지 (c) 단계는 순차적으로 복수 사이클 수행되며, 리드 동작이 완료되는 열에 인가되는 상기 게이팅 신호의 위상은 미리 정해진 위상만큼 가변되며, 상기 리드 동작이 완료된 후 리셋된 적어도 하나의 열의 상기 위상이 가변된 게이팅 신호에 기초한 광전하 축적 구간은 위상이 가변되기 전의 게이팅 신호에 기초한 광전자 축적 동작을 수행 중인 적어도 하나의 열의 광전자 축적 구간과 오버랩될 수 있다.

Description

깊이 센서 및 이를 이용한 거리 추정 방법{DEPTH SENSOR AND METHOD OF ESTIMATING DISTANCE USING THE SAME}

본 발명은 대상 물체까지의 거리 추정 기술에 관한 것으로, 보다 상세하게는 롤링 셔터(Rolling Shutter) 방식을 이용하여 대상 물체까지의 거리를 추정함으로써 깊이 이미지(Depth Image)를 발생할 수 있는 깊이 센서 및 이를 이용한 거리 추정 방법에 관한 것이다.

2차원 센서에서 일반적으로 이용되는 롤링 셔터 방식을 3차원 센서(즉, 깊이 센서)에 적용할 경우에는, 상기 3차원 센서의 프레임 레이트(Frame Rate)는 낮아질 수밖에 없다. 왜냐하면, 일반적인 롤링 셔터 방식을 3차원 센서에 적용할 경우, 다음 프레임에서 대한 광전하 축적 및 광전하 축적 결과 출력을 위하여 대상 물체로 방사되는 광신호의 위상을 가변하기 전에, 현재 프레임에서의 광전하 축적에 오랜 시간이 소요되기 때문이다.

따라서 본 발명이 이루고자 하는 기술적인 과제는 롤링 셔터 방식을 이용하면서도 프레임 레이트를 높일 수 있는 깊이 센서 및 이를 이용한 거리 추정 방법을 제공하는 것이다.

상기 기술적 과제를 해결하기 위한 본 발명의 일실시예에 따른 깊이 센서를 이용한 거리 추정 방법은 (a) 다수의 열들을 순차적으로 리셋하고, 리셋되는 순서에 따라서 게이팅 신호를 상기 다수의 열들로 순차적으로 인가하는 단계; (b) 상기 다수의 열들 각각에서 동일한 적분 시간(Integration Time) 동안 대상 물체로부터 반사되는 광신호 및 상기 게이팅 신호에 응답하여 발생하는 광전 하를 축적하는 단계; 및 (c) 광전하 축적 동작이 완료되는 순서에 따라서 광전하 축적 결과를 상기 다수의 열들로부터 순차적으로 리드(Read)하는 단계를 포함할 수 있다.

여기서, 상기 (a) 내지 (c) 단계는 순차적으로 복수 사이클 수행되며, 리드 동작이 완료되는 열에 인가되는 상기 게이팅 신호의 위상은 미리 정해진 위상만큼 가변되며, 상기 리드 동작이 완료된 후 리셋된 적어도 하나의 열의 상기 위상이 가변된 게이팅 신호에 기초한 광전하 축적 구간은 위상이 가변되기 전의 게이팅 신호에 기초한 광전자 축적 동작을 수행 중인 적어도 하나의 열의 광전자 축적 구간과 오버랩될 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 깊이 센서를 이용한 거리 추정 방법은 (a) 다수의 열들을 순차적으로 리셋하고, 리셋되는 순서에 따라서 서로 미리 정해진 위상 차이를 갖는 게이팅 신호 쌍을 상기 다수의 열들로 순차적으로 인가하는 단계; (b) 상기 다수의 열들 각각에서 동일한 적분 시간(Integration Time) 동안 대상 물체로부터 반사되는 광신호 및 상기 게이팅 신호 쌍에 응답하여 발생하는 광전하를 축적하는 단계; 및 (c) 광전하 축적 동작이 완료되는 순서에 따라서 광전하 축적 결과를 상기 다수의 열들로부터 순차적으로 리드(Read)하는 단계를 포함할 수 있다.

여기서, 상기 (a) 내지 (c) 단계는 순차적으로 반복 수행되며, 리드 동작이 완료되는 열에 인가되는 상기 게이팅 신호쌍 각각의 위상은 미리 정해진 위상만큼 가변되며, 상기 리드 동작이 완료된 후 리셋된 적어도 한 쌍의 열들 각각의 상기 위상이 가변된 게이팅 신호쌍에 기초한 광전하 축적 구간은 위상이 가변되기 전의 게이팅 신호쌍에 기초한 광전하 축적 동작을 수행 중인 적어도 하나의 열의 광전하 축적 구간과 오버랩될 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 깊이 센서는 깊이 센서는 각각이 다수의 깊이 픽셀들을 포함하고, 대상 물체로부터 반사되는 광신호 및 게이팅 신호에 응답하여 발생하는 광전하를 동일한 적분 시간 동안 축적하며, 광전하 축적 동작이 완료되는 순서에 따라서 광전하 축적 결과를 순차적으로 출력하는 다수의 열들을 포함하는 깊이 센서 어레이; 및 상기 다수의 열들을 순차적으로 리셋하고, 리셋되는 순서에 따라서 상기 게이팅 신호를 상기 다수의 열들로 순차적으로 인가하는 로우 컨트롤 블록을 포함할 수 있다.

여기서, 상기 로우 컨트롤 블록은 상기 광전하 축적 결과 출력 동작이 완료되는 열에 인가되는 상기 게이팅 신호의 위상을 미리 정해진 위상만큼 가변하면서 하나의 프레임 전체에 대한 리셋 및 게이팅 신호 인가 동작을 복수 사이클 수행하며, 리셋된 적어도 하나의 열의 상기 위상이 가변된 게이팅 신호에 기초한 광전하 축적 구간은 위상이 가변되기 전의 게이팅 신호에 기초한 광전자 축적 동작을 수행 중인 적어도 하나의 열의 광전자 축적 구간과 오버랩될 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 깊이 센서는 각각이 다수의 깊이 픽셀들을 포함하고, 대상 물체로부터 반사되는 광신호 및 게이팅 신호쌍에 응답하여 발생하는 광전하를 동일한 적분 시간 동안 축적하며, 광전하 축적 동작이 완료되는 순서에 따라서 광전하 축적 결과를 순차적으로 출력하는 다수의 열들을 포함하는 깊이 센서 어레이; 및 상기 다수의 열들을 순차적으로 리셋하고, 리셋되는 순서에 따라서 상기 게이팅 신호쌍을 상기 다수의 열들로 순차적으로 인가하는 로우 컨트롤 블록을 포함할 수 있다.

여기서, 상기 로우 컨트롤 블록은 상기 광전하 축적 결과 출력 동작이 완료되는 열에 인가되는상기 게이팅 신호쌍 각각의 위상을 미리 정해진 위상만큼 가변하면서 하나의 프레임 전체에 대한 리셋 및 게이팅 신호쌍 인가 동작을 복수 사클 수행하며,

리셋된 적어도 한 쌍의 열들 각각의 상기 위상이 가변된 게이팅 신호쌍에 기초한 광전하 축적 구간은 위상이 가변되기 전의 게이팅 신호쌍에 기초한 광전자 축적 동작을 수행 중인 적어도 하나의 열의 광전자 축적 구간과 오버랩될 수 있다.

상술한 바와 같이 본 발명에 따른 롤링 셔터 방식을 이용하는 깊이 센서 및 이를 이용한 거리 추정 방법은 대상 물체로 방사되는 광신호의 위상을 고정하고, 깊이 픽셀 어레이의 열들(Rows)로 인가되는 게이팅 신호의 위상을 제어함으로써 프레임 레이트를 증가시킬 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 깊이 센서의 블락도이다.
도 2는 다수의 열들에 대한 종래의 롤링 셔터 방식과 본 발명의 실시예에 따른 깊이 센서에서 수행하는 롤링 셔터 방식을 비교하기 위한 도면이다.
도 3은 하나의 프레임에 대한 종래의 롤링 셔터 방식과 1 탭(1-tap) 구조의 본 발명의 실시예에 따른 깊이 센서 깊이 센서에서 수행되는 롤링 셔터 방식을 비교하기 위한 도면이다.
도 4는 1-탭 구조의 본 발명의 실시예에 따른 깊이 센서에서 깊이 센서 어레이의 다수의 열들에 인가되는 게이팅 신호의 변화를 설명하기 위한 도면이다.
도 5는 1-탭 구조의 깊이 센서의 깊이 센서 어레이에 포함된 깊이 픽셀의 레이아웃을 나타낸다.
도 6은 도 5에 도시된 2-탭 픽셀 구조의 깊이 픽셀에 인가되는 게이팅 신호를 나타내는 그래프이다.
도 7은 도 5에 도시된 제1액티브 영역에 구현된 광전 변환 소자와 트랜지스터들을 나타내는 회로도의 일 예이다.
도 8은 도 1에 도시된 로우 컨트롤 블록의 일 실시예를 개략적으로 나타내는 구성 블록도이다.
도 9는 도 1에 로우 컨트롤 블록의 다른 일 실시예를 개략적으로 나타내는 구성 블록도이다.
도 10은 도 1에 도시된 로우 컨트롤 블록의 또 다른 일 실시예의 일부를 나타내는 구성 블록도이다.
도 11은 도 10에 도시된 로우 컨트롤 블록의 동작을 나타내는 개략적인 타이밍도이다.
도 12a 내지 도 12c는 도 10에 도시된 플립플롭의 구현예, 진리치표(truth table) 및 동작 다이어그램이다.
도 13은 도 1에 도시된 로우 컨트롤 블록의 또 다른 일 실시예의 일부를 나타내는 구성 블록도이다.
도 14는 도 13에 도시된 로우 컨트롤 블록의 동작을 나타내는 개략적인 타이밍도이다.
도 15는 본 발명의 또 다른 일 실시예에 따른 로우 컨트롤 블록의 일부를 나타내는 구성 블록도이다.
도 16 및 도 17은 각각 본 발명의 일 실시예에 따른 깊이 센서의 동작 타이밍도이다.
도 18은 본 발명의 실시예에 따른 깊이 센서를 이용한 거리 추정 방법을 나타내는 순서도이다.
도 19는 1탭 구조의 깊이 픽셀 어레이를 포함하는 깊이 센서에서 도 18에 도시된 프레임 신호 발생 단계를 수행하는 과정을 나타내는 순서도이다.
도 20은 2-탭 구조의 깊이 센서의 깊이 센서 어레이에 포함된 깊이 픽셀의 레이아웃을 나타낸다.
도 21은 하나의 프레임에 대한 종래의 롤링 셔터 방식과 2-탭 구조의 본 발명의 실시예에 따른 깊이 센서 깊이 센서에서 수행되는 롤링 셔터 방식을 비교하기 위한 도면이다.
도 22는 2-탭 구조의 본 발명의 실시예에 따른 깊이 센서에서 깊이 센서 어레이의 다수의 열들에 인가되는 게이팅 신호의 변화를 설명하기 위한 도면이다.
도 23은 2-탭 구조의 깊이 픽셀 어레이를 포함하는 깊이 센서에서 도 18에 도시된 프레임 신호 발생 단계를 수행하는 과정을 나타내는 순서도이다.
도 24는 본 발명의 실시 예에 따른 3차원 이미지 센서의 블락도를 나타낸다.
도 25는 본 발명의 실시 예에 따른 깊이 센서를 포함하는 신호 처리 시스템의 블락도를 나타낸다.
도 26은 도 24에 도시된 3차원 이미지 센서를 포함하는 이미지 처리 시스템의 블락도를 나타낸다.

본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

예컨대, 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송 또는 출력'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터 또는 신호를 '전송 또는 출력'할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터 또는 신호를 상기 다른 구성요소로 '전송 또는 출력'할 수 있음을 의미한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 실시예에 따른 깊이 센서(10)의 블락도이다. 상기 깊이 센서(10)는 TOF(Time Of Flight) 원리 및 롤링 셔터 방식을 이용하여 대상 물체까지의 거리를 추정하여 깊이 이미지를 생성할 수 있다. 상기 깊이 센서(10)는 롤링 셔터 방식을 이용하면서 대상 물체로 방사되는 광신호의 위상을 고정하고, 깊이 픽셀 어레이의 열들(Rows)로 인가되는 게이팅 신호의 위상을 제어함으로써 프레임 레이트를 증가시킬 수 있다.

실시 예에 따라 상기 깊이 센서(10)는 하나의 칩(chip)으로 구현되어 깊이 정보를 계산할 수 있을 수도 있고, 컬러 이미지 센서 칩과 함께 사용되어 3차원 이미지 정보와 깊이 정보를 동시에 측정하는데 이용될 수도 있다.

또한, 본 발명의 실시 예에 3차원 이미지 센서에서, 깊이 정보를 검출하기 위한 깊이 픽셀과 이미지 정보를 검출하기 위한 픽셀들은 하나의 픽셀 어레이에 함께 구현될 수도 있다.TOF 원리를 이용하는 상기 깊이 센서(10)는 적외선 광원(12)을 이용하여 광신호(EL)를 방사하고, 상기 적외선 신호(EL)와 상기 대상 물체(11)에 의하여 반사되어 입사되는 적외선 신호(RL)의 위상 차이에 기초하여 상기 대상 물체(11)까지의 거리를 추정할 수 있다.

도 2는 다수의 열들에 대한 종래의 롤링 셔터 방식과 본 발명의 실시예에 따른 깊이 센서(10)에서 수행하는 개선된 롤링 셔터 방식을 비교하기 위한 도면이다. 도 2를 참조하면, 종래의 롤링 셔터 방식에 따르면 하나의 열에 대한 리셋(RESET), 적분 시간(INTEGRATION TIME) 동안의 광전하 축적, 축적된 광전하에 대한 리드(READ)가 완료된 후에야 다음 열에 대한 리셋 광전하 축적, 및 광전하 리드 동작이 수행된다((a) 참조).

그러나 본 발명의 실시예에 따른 깊이 센서(10)의 개선된 롤링 방식에 따르면 다수의 열들은 일정한 시간 간격으로 리셋되며, 다수의 열들에 대한 광전하 축적 및 광전하 리드 동작이 병렬적으로 수행될 수 있음을 알 수 있다((b) 참조). 그러므로 본 발명의 실시예에 따른 깊이 센서(10)의 롤링 셔터 방식에서의 프레임 레이트는 종래의 롤링 셔터 방식에서의 프레임 레이트보다 높을 수 있다.

도 1에 도시된 바와 같이, 상기 깊이 센서(10)는 적외선 광원(12), 깊이 센서 어레이(14), 적외선 통과 필터(17), CDS/ADC 회로(18), 클락 발생기(19), 타이밍 컨트롤러(20), 디코더(22), 메모리(24), 로우 컨트롤 블록(23), 게이팅 신호 드라이버(PG driver, 25) 및 깊이 추정기(26)를 포함할 수 있다. 또한, 상기 깊이 센서(10)는 타이밍 컨트롤러(20)의 제어 하에 컬럼 라인의 신호를 CDS/ADC 회로(18)로 전송하기 위한 액티브 로드 회로(미 도시)를 더 포함할 수 있다.

상기 깊이 센서(10)는 대상 물체(11)로부터 반사된 후 입사되는 반사 광을 적외선 통과 필터(17)로 집광시키기 위한 렌즈(미 도시)를 더 포함할 수 있다. 상기 렌즈를 포함하는 렌즈 모듈(미 도시)의 동작은 타이밍 컨트롤러(20)에 의하여 제어될 수 있다.

상기 광원(12)은 상기 타이밍 컨트롤러(20)에 의하여 제어된 위상을 갖는 적외선 광신호(EL)를 외부로 방사(emit)할 수 있다. 상기 적외선 광원(12)은 LED(light emitting diode) 또는 OLED(organic light emitting diode)로 구현될 수 있다. 상기 깊이 센서(10)는 깊이 센서 어레이(14) 주변에 배치된 다수의 적외선 광원들을 포함할 수 있으나, 도 1에서는 설명의 편의를 위하여 하나의 적외선 광원(12)만을 도시한다. 본 발명의 실시예에 따른 깊이 센서(10)에서 상기 대상 물체(11)로 방사되는 광신호(EL)의 위상은 가변되지 않고 일정하게 유지된다.

깊이 센서 어레이(14)는 다수의 열들과 행들로 매트릭스 형태로 배열된 다수의 깊이 픽셀들(미도시)을 포함할 수 있다. 상기 다수의 깊이 픽셀들 각각은 상기 대상 물체(11)로부터 반사되는 광신호(RL) 및 깊이 픽셀에 인가되는 일정한 위상 차이로 주기적으로 인가되는 다수의 게이팅 신호들에 기초하여 다수의 프레임 신호들을 발생할 수 있다. 디코더(22)는 로우 어드레스(row address) 신호를 디코딩하여 출력함으로써, 상기 게이팅 신호들 및 상기 다수의 깊이 픽셀들을 열 단위로 리셋하기 위한 리셋 신호들이 인가될 열(로우, row)을 지정할 수 있다.

즉, 상기 깊이 센서 어레이(14)는 롤링 셔터 방식에 따라서 열 단위로 대상 물체로부터 반사되는 광신호(RL) 및 상기 게이팅 신호에 응답하여 발생하는 광전하를 동일한 적분 시간 동안 축적하며, 광전하 축적 동작이 완료되는 순서에 따라서 광전하 축적 결과를 순차적으로 출력할 수 있다. 이때, 상기 로우 컨트롤 블록(23)은 상기 리셋 신호를 상기 다수의 열들을 순차적으로 출력하고, 리셋되는 순서에 따라서 상기 게이팅 신호를 상기 다수의 열들로 순차적으로 인가할 수 있다.

상기 로우 컨트롤 블록(23)은 하나의 프레임 전체에 대한 리셋 및 게이팅 신호 인가 동작을 복수 사이클 수행할 수 있다. 좀더 구체적으로 살펴보면, 상기 로우 컨트롤 블록(23)은 상기 광전하 축적 결과 출력 동작이 완료되는 열에 인가되는 상기 게이팅 신호의 위상을 미리 정해진 위상만큼 가변하면서 하나의 프레임 전체에 대한 리셋 및 게이팅 신호 인가 동작을 복수 사이클 수행할 수 있다. 예컨대, 1-탭 구조의 깊이 센서 어레이에 있어서, 상기 로우 컨트롤 블록(23)에 의한 하나의 프레임 전체에 대한 리셋 및 게이팅 신호 인가 동작은 게이팅 신호의 위상을 90도씩 가변하면서 4 사이클 수행될 수 있다.

이때, 첫 번째 사이클의 상기 다수의 열들로 순차적으로 인가되는 상기 게이팅 신호의 위상은 상기 대상 물체(11)로 방사되는 광신호(EL)의 위상과 동일할 수 있다. 예컨대, 상기 깊이 센서 어레이(14)가 1-탭 구조인 경우, 상기 게이팅 신호의 위상 및 상기 광신호(EL)의 위상 각각은 0도일 수 있다.

사이클이 반복될 때마다 광전하 축적 결과에 대한 리드 동작이 완료되는 열에 인가되는 상기 게이팅 신호의 위상은 상기 대상 물체(11)로 방사되는 광신호(EL)의 위상에서 상기 미리 정해진 위상만큼 가변될 수 있다. 예컨대, 상기 깊이 센서 어레이(14)가 1-탭 구조이고 첫 번째 사이클의 게이팅 신호의 위상이 0도라고 가정하면, 사이클 수가 증가함에 따라 상기 리드 동작이 완료되는 열에 인가되는 게이팅 신호의 위상은 0도에서 90도, 180도, 270도 순서로 가변될 수 있다. 반대로, 사이클 수가 증가할수록 상기 게이팅 신호의 위상은 90도씩 감소할 수도 있다.

PG 드라이버(25)는 로우 컨트롤 블록(23)에서 출력되는 게이팅 신호와 리셋 신호를 해당 열로 구동하기 위한 회로로서, 각 열에 대응하여 구비되는 다수의 버퍼를 포함할 수 있다.

도 3은 하나의 프레임에 대한 종래의 롤링 셔터 방식의 일예와 1-탭(1-tap) 구조의 본 발명의 실시예에 따른 깊이 센서 깊이 센서(10)에서 수행되는 롤링 셔터 방식을 비교하기 위한 도면이다. 이때, 상기 적외선 광원(12)으로부터 방사되는 광신호(EL)의 위상은 0도라고 가정한다.

종래의 롤링 셔터 방식에 따르면 하나의 프레임에 대하여 0도, 90도, 180도 위상을 갖는 게이팅 신호들 각각에 기초한 광전하 축적 결과 리드 동작이 완료된 다음에야 90도, 180도, 270도 위상을 갖는 게이팅 신호들 각각에 기초한 광전하 축적 결과 리드 동작이 수행된다((a) 참조).

그러나 본 발명의 실시예에 따른 깊이 센서(10)의 롤링 셔터 방식에 따르면 하나의 프레임에 대한 0도 위상을 갖는 게이팅 신호에 기초한 광전하 축적 결과 리드 동작이 수행 중인 동안에도 광전하 축적 결과 리드 동작 수행이 완료된 열들에 대해서는 90도 위상을 갖는 게이팅 신호에 기초한 광전하 축적이 시작된다. 이는 게이팅 신호의 위상이 90도에서 180도로 가변되는 경우, 180도에서 270도로 가변되는 경우에도 마찬가지이다((b) 참조).

즉, 본 발명의 실시예에 따른 깊이 센서(10)의 롤링 셔터 방식에 따르면 리셋된 적어도 하나의 열의 상기 위상이 가변된 게이팅 신호에 기초한 광전하 축적 구간은 위상이 가변되기 전의 게이팅 신호에 기초한 광전자 축적 동작을 수행 중인 적어도 하나의 열의 광전자 축적 구간과 오버랩된다.

도 3을 참조하면, 게이팅 신호의 위상이 0도에서 90도로 가변되는 T1에서 T2 구간의 T3 시점에서는, 리셋된 열(ROW_X)의 위상이 90도로 가변된 게이팅 신호에 기초한 광전하 축적 구간이 다른 열(ROW_Y)의 위상이 0도인 게이팅 신호에 기초한 광전하 축적 구간과 오버랩됨을 알 수 있다. 이는 케이팅 신호의 위상이 90도에서 180도로 가변되는 경우, 180도에서 270도로 가변되는 경우에도 마찬가지이다.

그러므로 1-탭 구조의 깊이 픽셀 어레이에 있어서, 본 발명의 실시예에 따른 깊이 센서(10)의 롤링 셔터 방식에서의 깊이 프레임은 종래의 롤링 셔터 방식에서의 깊이 프레임(Depth Frame)에 비하여 짧다.

도 4는 1-탭 구조의 본 발명의 실시예에 따른 깊이 센서(10)에서 깊이 센서 어레이(14)의 다수의 열들에 인가되는 게이팅 신호의 변화를 프레임 단위로 설명하기 위한 도면이다. 도 4를 참조하면, 대상 물체(11)로 방사되는 광신호(EL)의 위상은 0도로 고정되어 있으며, 다수의 열들에 인가되는 게이팅 신호의 위상만이 90도씩 증가함을 알 수 있다.

먼저, 다수의 열들이 순차적으로 리셋되면서 위상이 0도인 게이팅 신호(CLK_row)가 다수의 열들에 순차적으로 인가되기 시작한다((a) 참조). 그런 다음, 상기 위상이 0도인 게이팅 신호(CLK_row)가 인가된 다수의 열들로부터 광전하 축적 결과가 리드되기 시작한다. 이때, 하나의 프레임에는 위상이 0도인 클락만이 인가될 수 있음을 알 수 있다((a) 참조).

그런 다음, 상기 위상이 0도인 게이팅 신호(CLK_row)에 기초한 광전하 축적 결과 리드 동작이 진행되면서 리드 동작이 완료되는 열들은 순차적으로 리셋되며, 리셋된 열들에는 위상이 90도인 게이팅 신호(CLK_row)가 순차적으로 인가된다. 이때, 하나의 프레임에는 위상이 0도인 게이팅 신호와 90도인 게이팅 신호(CLK_row)가 동시에 인가될 수 있음을 알 수 있다((c) 참조).

그런 다음, 상기 위상이 90도인 게이팅 신호(CLK_row)가 인가된 다수의 열들로부터 광전하 축적 결과가 리드되기 시작한다. 이때, 하나의 프레임에는 위상이 90도인 클락만이 인가될 수 있음을 알 수 있다((d) 참조).

그런 다음, 상기 위상이 90도인 게이팅 신호(CLK_row)에 기초한 광전하 축적 결과 리드 동작이 진행되면서 리드 동작이 완료되는 열들은 순차적으로 리셋되며, 리셋된 열들에는 위상이 180도인 게이팅 신호(CLK_row)가 순차적으로 인가된다. 이때, 하나의 프레임에는 위상이 90도인 게이팅 신호(CLK_row)와 180도인 게이팅 신호(CLK_row)가 동시에 인가될 수 있음을 알 수 있다((e) 참조).

이상에서 살펴본 과정은 게이팅 신호(CLK_row)의 위상이 180도에서 270도로 가변되는 과정에서도 동일하게 적용될 수 있으며, 이는 이상에서 살펴본 과정으로부터 당업자에게 자명한 사항이라 할 것인바, 그에 대한 상세한 설명은 생략한다.

이상에서 살펴본 바와 같이, 1-탭 구조의 깊이 센서 어레이(14)에 대한 롤링 셔터 방식을 이용하는 본 발명의 실시예에 따른 깊이 센서(10)는 대상 물체(11)로 방사되는 광신호(EL)의 위상은 고정한 상태에서, 깊이 센서 어레이(14)의 다수의 열들로 인가되는 게이팅 신호(CLK_row)의 위상만을 제어함을 알 수 있다.

도 5는 1-탭 구조의 깊이 센서(10)의 깊이 센서 어레이(14)에 포함된 깊이 픽셀의 레이아웃을 나타낸다. 도 6은 도 5에 도시된 2-탭 픽셀 구조의 깊이 픽셀(10)에 인가되는 게이팅 신호(Ga, Gb, Gc, Gd)를 나타내는 그래프이다.

깊이 센서 어레이(14)에 포함된 다수의 깊이 픽셀들 각각은 도 5에 도시된 바와 같이 1-탭 픽셀 구조를 갖는 깊이 픽셀(14A)로 구현될 수 있다. 1-탭 픽셀 구조를 갖는 깊이 픽셀(14A)은 90도의 위상 차를 갖는 4개의 게이트 신호들(Ga, Gb, Gc, Gd)에 응답하여 프레임 신호들(A0, A1, A2, A3)을 발생할 수 있다. 여기서 프레임 신호들(A0, A1, A2, A3)이라 함은 하나의 프레임에 대하여 위상이 0도, 90도, 180도, 279도인 게이팅 신호들 각각에 대한 광전하 축적 결과를 리드한 결과를 의미한다.

상기 프레임 신호들(A0, A1, A2, A3)은 상기 CDS/ACD 회로(18)에 의한CDS(correlated double sampling) 동작과 ADC(analog to digital converting) 과정을 거치면서 디지털 신호로 변환되어, 상기 메모리(24)에 저장된다. 상기 깊이 추정기(26)는 상기 메모리(24)로부터 출력되는 프레임 신호들(A0, A1, A2, A3)에 기초하여 상기 대상 물체(11)까지의 거리를 추정할 수 있다. 도 1에 도시된 깊이 센서(10)는 깊이 센서 어레이(14)에 구현된 다수의 컬럼 라인들로부터 출력된 프레임 신호들을 CDS/ADC 회로(18)로 전송하기 위한 액티브 로드 회로들(미도시)을 더 포함할 수 있다.

도 7는 도 5에 도시된 제1액티브 영역(14A1)에 구현된 광전 변환 소자와 트랜지스터들을 나타내는 회로도의 일 예이다. 도 5에 도시된 바와 같이, 1-탭 픽셀 구조를 갖는 깊이 픽셀은 각 액티브 영역(14A1)에 구현된 각 광전 변환 소자(14A2)를 포함한다.

도 7에 도시된 바와 같이 액티브 영역(14A1)에는 광전 변환 소자(14A2)와 4개의 트랜지스터들(RX, TX, DX, 및 SX)이 구현된다. 도 7을 참조하면, 광전 변환 소자(14A2)는 도 6에 도시된 각 게이트 신호(Ga, Gb, Gc, 또는 Gd)와 반사광(RL)에 기초하여 광전하를 생성할 수 있다. 상기 광전 변환 소자(14A2)에서 생성된 광전하는 로우 컨트롤 블록(23)으로부터 출력되는 다수의 제어 신호들(RS, TG, SEL)에 응답하여 출력될 수 있다.

상기 광전 변환 소자(14A2)는 광 감지 소자로서 포토다이오드(photo diode), 포토트랜지스터(photo transistor), 포토게이트(photo gate), 또는 핀드포토다이오드(PPD; pinned photo diode)로 구현될 수 있다.

도 8은 도 1에 도시된 로우 컨트롤 블록(23)의 일 실시예(23a)를 개략적으로 나타내는 구성 블록도이다.

이를 참조하면, 로우 컨트롤 블록(23a)은 로우들의 수만큼의 멀티플렉서들(80-1 ~ 80-n)을 포함할 수 있다. 각 멀티플렉서(80-1 ~ 80-n)는 4X1 멀티플렉서로서 상응하는 선택신호(Si1 및 Si2, i=1~n)에 응답하여 4개의 게이팅 신호들 중 하나를 선택하여 출력한다. 예컨대, 제1 멀티플렉서(80-1)의 경우 선택신호(S11, S12)에 응답하여 0도 게이팅 신호(Ga), 90도 게이팅 신호(Gb), 180도 게이팅 신호(Gc) 및 270도 게이팅 신호(Gd) 중 하나를 선택하여 제1 로우(row 1)로 출력한다. 다른 멀티플렉서(80-2 ~ 80-n) 역시 제1 멀티플렉서(80-1)와 유사하게 상응하는 선택신호에 응답하여 0도 게이팅 신호(Ga), 90도 게이팅 신호(Gb), 180도 게이팅 신호(Gc) 및 270도 게이팅 신호(Gd) 중 하나를 선택하여 해당 로우(row 2 ~ row n)로 출력한다. 각 멀티플렉서(80-1 ~ 80-n)가 4X1 멀티플렉서이므로, 선택신호(Si1 및 Si2, i=1~n)는 2비트 신호 디지털 신호로 구성될 수 있다.

도 9는 도 1에 로우 컨트롤 블록의 다른 일 실시예(23b)를 개략적으로 나타내는 구성 블록도이다. 이를 참조하면, 로우 컨트롤 블록(23b)은 두 개의 글로벌 멀티플렉서들(91, 92) 및 로우들의 수만큼의 로컬 멀티플렉서들(90-1 ~ 90-n)을 포함한다. 각 글로벌 멀티플렉서(91, 92) 및 로컬 멀티플렉서(90-1 ~ 90-n)는 2X1 멀티플렉서이다. 제1 글로벌 멀티플렉서(91)는 제1 글로벌 선택 신호(G1)에 응답하여 0도 게이팅 신호(Ga)와 180도 게이팅 신호(Gc) 중 어느 하나를 선택하여 출력하고, 제2 글로벌 멀티플렉서(92)는 제2 글로벌 선택 신호(G2)에 응답하여 90도 게이팅 신호(Gb)와 290도 게이팅 신호(Gd) 중 어느 하나를 선택하여 출력한다. 각 로컬 멀티플렉서(90-1 ~ 90-n)는 상응하는 로컬 선택신호(Si, i=1~n)에 응답하여 제1 및 제2 글로벌 멀티플렉서의 출력 신호들 중 하나를 선택하여 출력한다. 제1 및 제2 글로벌 선택 신호(G1, G2)는 각각 원 비트 신호일 수 있으며, 동일한 로직 레벨을 갖는 신호일 수도 있고, 서로 다른 로직 레벨을 갖는 신호일 수 있다. 만약 제1 및 제2 글로벌 선택 신호(G1, G2)가 모두 '0'이라면 0도 게이팅 신호(Ga)와 90도 게이팅 신호(Gb)가 선택되어 출력된다. 이 경우, 제1 로컬 멀티플렉서(90-1)는 로컬 선택신호(S1)에 응답하여 0도 게이팅 신호(Ga), 및 90도 게이팅 신호(Gb) 중 하나를 선택하여 제1 로우(row 1)로 출력한다. 다른 멀티플렉서(90-2 ~ 90-n) 역시 제1 멀티플렉서(90-1)와 유사하게 상응하는 선택신호에 응답하여 0도 게이팅 신호(Ga) 및 90도 게이팅 신호(Gb) 중 하나를 선택하여 해당 로우로 출력한다. 만약 제1 및 제2 글로벌 선택 신호(G1, G2)가 모두 '1'이라면 180도 게이팅 신호(Gc)와 270도 게이팅 신호(Gd)가 선택되어 출력된다. 이 경우, 제1 로컬 멀티플렉서(90-1)는 로컬 선택신호(S1)에 응답하여 180도 게이팅 신호(Gc), 및 270도 게이팅 신호(Gd) 중 하나를 선택하여 제1 로우(row 1)로 출력한다. 다른 멀티플렉서(90-2 ~ 90-n) 역시 제1 멀티플렉서(90-1)와 유사하게 상응하는 선택 신호에 응답하여 180도 게이팅 신호(Gc) 및 270도 게이팅 신호(Gd) 중 하나를 선택하여 해당 로우로 출력한다.

도 10은 도 1에 도시된 로우 컨트롤 블록의 또 다른 일 실시예의 일부를 나타내는 구성 블록도이다. 이를 참조하면, 로우 컨트롤 블록(23c)은 플립플롭(110) 및 멀티플렉서(120)를 포함한다. 플립플롭(110)의 구현예, 진리치표(truth table) 및 동작 다이어그램이 도 12a 내지 도 12c에 도시된다. 도 12a 내지 도 12c를 참조하면, 플립플롭(110)은 다수의 인버터들(IV1~IV6), 및 다수의 노아 게이트들(NOR1~NOR2)을 포함한다.

도 12b의 진리치표와 도 12c를 참조하여, 플립플롭의 동작을 설명하면 다음과 같다. RN이 1인 상태에서, 클럭 신호(CK)가 제1 로직 레벨(예컨대, 로우 레벨)에서 제2 로직 레벨(예컨대, 하이레벨)로 천이하면 천이 이전의 QN 값(QN(n))이 Q 출력(Q(n+1))으로 출력된다. 즉, Q(n+1)은 QN(n)을 반전한 값이 된다. RN이 1인 상태에서, 클럭 신호(CK)가 하이 레벨에서 로우 레벨로 천이하면 천이 이전의 Q 값(Q(n))이 Q 출력(Q(n+1))으로 출력된다. 즉, Q(n+1)은 QN(n)과 동일한 값으로 유지된다.

RN이 0인 상태에서는 클럭 신호(CK)와 상관없이 Q(n+1)은 0이고, QN(n+1)은 1이다.

도 11은 도 10에 도시된 로우 컨트롤 블록의 동작을 나타내는 개략적인 타이밍도이다. 도 10 및 도 11을 참조하여 로우 컨트롤 블록(23c)의 동작을 설명하면 다음과 같다.

플립플롭(110)의 클럭(CK) 단자로는 디코딩된 로우 어드레스(RPG<0>)가 입력되고, RN 단자로는 게이팅 리셋 신호(PGH_RS)가 입력된다. 게이팅 리셋 신호(PGH_RS), 및 디코딩된 로우 어드레스(RPG<0>)는 도 11에 도시된 바와 같을 수 있다.

디코딩된 로우 어드레스(RPG<0>)가 '0'에서 '1'로 천이하면 Q<0>는 '0'에서 '1'로 되고, 디코딩된 로우 어드레스(RPG<0>)가 '1'에서 '0'으로 천이하면 Q<0>는 '1'로 계속 유지된다. 디코딩된 로우 어드레스(RPG<0>)가 '0'에서 '1'로 다시 천이하면 Q<0>는 '1'에서 '0'으로 반전되고, 디코딩된 로우 어드레스(RPG<0>)가 '1'에서 '0'으로 다시 천이하면 Q<0>는 '0'으로 계속 유지된다. Q<0>는 '0'인 동안에는 멀티플렉서(120)는 먼저 0도 게이팅 신호(Ga)를 선택하여 출력한 다음 180도 게이팅 신호(Gc)를 선택하여 출력한다. Q<0>는 '1'인 동안에는 멀티플렉서(120)는 90도 게이팅 신호(Gb)를 선택하여 출력한 다음 270도 게이팅 신호(Gd)를 선택하여 출력한다.

도 13은 도 1에 도시된 로우 컨트롤 블록의 또 다른 일 실시예의 일부를 나타내는 구성 블록도이다. 이를 참조하면, 로우 컨트롤 블록(23d)은 플립플롭들(130, 131) 및 멀티플렉서들(140, 141)을 포함한다.

도 14는 도 13에 도시된 로우 컨트롤 블록(23d)의 동작을 나타내는 개략적인 타이밍도이다. 도 13 및 도 14를 참조하여 로우 컨트롤 블록(23d)의 동작을 설명하면 다음과 같다.

제1 및 제2 플립플롭(130, 131)의 각 구현예, 진리치표(truth table) 및 동작 다이어그램은 도 12a 내지 도 12c에 도시된 바와 동일하므로, 이에 대한 설명은 생략한다.

제1 및 제2 플립플롭(130, 131)의 RN 단자로는 게이팅 리셋 신호(PGH_RS)가 입력되고, 제1 및 제2 플립플롭(130, 131)의 클럭(CK) 단자로는 제1 디코딩된 로우 어드레스(RPG<0>) 및 제2 디코딩된 로우 어드레스(RPG<1>)가 각각 입력된다. 게이팅 리셋 신호(PGH_RS), 제1 디코딩된 로우 어드레스(RPG<0>) 및 제2 디코딩된 로우 어드레스(RPG<1>)는 도 14에 도시된 바와 같을 수 있다.

제1 디코딩된 로우 어드레스(RPG<0>)가 첫 번째로 '0'에서 '1'로 천이하면 Q<0>는 '0'에서 '1'로 되고, 디코딩된 로우 어드레스(RPG<0>)가 '1'에서 '0'으로 천이했다가 다시 '0'에서 '1'로 천이하면 Q<0>는 '1'에서 '0'으로 반전된다. 제2 디코딩된 로우 어드레스(RPG<1>)가 제1 디코딩된 로우 어드레스(RPG<0>)에 뒤이어 첫 번째로 '0'에서 '1'로 천이하면 Q<1>는 '0'에서 '1'로 되고, 제2 디코딩된 로우 어드레스(RPG<1>)가 '1'에서 '0'으로 천이했다가 다시 '0'에서 '1'로 천이하면 Q<1>는 '1'에서 '0'으로 반전된다. Q<0>가 '0'인 동안에는 멀티플렉서(140)는 0도 게이팅 신호(Ga)를 선택하여 출력하고, Q<0>가 '1'인 동안에는 멀티플렉서(140)는 90도 게이팅 신호(Gb)를 선택하여 출력한다. 제2 멀티플렉서(141)의 동작 역시 제1 멀티플렉서(140)의 동작과 유사하다.

도 15는 본 발명의 또 다른 일 실시예에 따른 로우 컨트롤 블록(23)의 일부를 나타내는 구성 블록도이다. 이를 참조하면, 로우 컨트롤 블록(23e)는 제1 및 제2 인버터(701, 702), 제1 및 제2 래치(730, 740), 플립플롭(750) 및 제1 내지 제3 멀티플렉서(710, 720, 760)를 포함한다. 도 15의 로우 컨트롤 블록(23e)은 도 13의 로우 컨트롤 블록(23d) 대비 제1 및 제2 래치(730, 740) 및 제1 및 제2 인버터(701, 702)를 더 구비한다. 제1 인버터(701)는 선택 신호(SEL)가 하이(High)일 때만 디코딩된 로우 어드레스(RPG<1>)를 제1 래치(730)로 전달하여 래치되도록 하고, 제2 인버터(702)는 선택 신호(SEL)가 하이(High)일 때만 플립 플롭(750)의 Q 출력(TFF_Q<1>)을 제2 래치(740)로 전달하여 래치되도록 한다.

따라서, 선택 신호(SEL)가 하이(High)가 되면, 디코딩된 로우 어드레스(RPG<1>)가 로우 컨트롤 블록(23e)에 입력되어 제1 래치(730)에 의해 래치되고, 플립플롭(750)의 클럭 단자(CK)로 입력된다. 이 경우 도 13 및 도 14를 참조하여 설명한 바와 마찬가지로, 디코딩된 로우 어드레스(RPG<1>)가 첫 번째로 '0'에서 '1'로 천이하면 TFF_Q<1>는 '0'에서 '1'로 되고, 디코딩된 로우 어드레스(RPG<1>)가 '1'에서 '0'으로 천이했다가 다시 '0'에서 '1'로 천이하면 TFF_Q<1>는 '1'에서 '0'으로 반전된다.

선택 신호(SEL)가 로우(Low)가 되면, 디코딩된 로우 어드레스(RPG<1>)는 로우 컨트롤 블록(23e)에 입력되지 않는다.

도 15에 도시된 로우 컨트롤 블록(23)의 일부는 제1 로우에 대한 구성만을 나타내나, 다른 로우에 대해서도 도 15에 도시된 구성과 동일하게 구성될 수 있다.

도 16 및 도 17은 각각 본 발명의 또 다른 일 실시예에 따른 로우 컨트롤 블록(23e)을 구비하는 깊이 센서(10)의 동작 타이밍도이다.

도 16을 참조하면, 로우 어드레스(row_addr)는 게이팅 신호(PGA, 또는 PGB), 및 리셋 신호가 인가될 열 또는 샘플/독출할 열을 지정하기 위하여 입력된다. 여기서는, 31번째 로우 어드레스와 32번째 로우 어드레스가 입력되는 것으로 가정한다. 그러나, 로우 어드레스(row_addr)가 입력되더라도, 선택 신호(Sel)가 로우(Low)인 동안에는 로우 컨트롤 블록(23e)으로 입력되지 않는다. 따라서, 31번째 로우용 플립플롭의 Q 출력(TFF_Q<31>) 및 32번째 로우용 플립플롭의 Q 출력(TFF_Q<32>) 역시 로우로 유지된다. 플립플롭의 Q 출력이 로우일 때의 게이팅 신호(PGA<31>, PGA<32>)는 0도 게이팅 신호(Ga)가 입력된다.

선택 신호(Sel)가 하이(High)가 되면 그 때의 로우 어드레스가 로우 컨트롤 블록(23e)으로 입력된다. 그러면, 31번째 로우용 플립플롭의 Q 출력(TFF_Q<31>)이 로우에서 하이로 천이된다. 이에 따라, 31번째 로우에 인가되는 게이팅 신호(PGA<31>)는 90도 게이팅 신호로 변경되어 입력된다.

도 17을 참조하면, 로우 어드레스(row_addr)는 게이팅 신호(PGA, 또는 PGB) 및 리셋 신호가 인가될 열 또는 샘플/독출할 열을 지정하기 위하여 입력된다. 여기서는, 31번째 로우 어드레스와 32번째 로우 어드레스가 입력되는 것으로 가정한다.

선택 신호(Sel)가 첫 번째 하이(High)가 되면 그 때의 로우 어드레스(31번째 로우 어드레스)가 로우 컨트롤 블록(23e)으로 입력된다. 그러면, 31번째 로우용 플립플롭의 Q 출력(TFF_Q<31>)이 로우에서 하이로 천이된다. 이에 따라, 31번째 로우에 인가되는 게이팅 신호(PGA<31>)는 0도 게이팅 신호에서 90도 게이팅 신호로 변경되어 입력된다.

선택 신호(Sel)가 두 번째 하이(High)가 되면 그 때의 로우 어드레스(32번째 로우 어드레스)가 로우 컨트롤 블록(23e)으로 입력된다. 그러면, 32번째 로우용 플립플롭의 Q 출력(TFF_Q<32>)이 로우에서 하이로 천이된다. 이에 따라, 32번째 로우에 인가되는 게이팅 신호(PGA<32>)는 0도 게이팅 신호에서 90도 게이팅 신호로 변경되어 입력된다.

선택 신호(Sel)가 세 번째 하이(High)가 되면 그 때의 로우 어드레스(31번째 로우 어드레스)가 로우 컨트롤 블록(23e)으로 입력된다. 그러면, 31번째 로우용 플립플롭의 Q 출력(Q<32>)이 하이에서 로우로 천이된다. 이에 따라, 31번째 로우에 인가되는 게이팅 신호(PGA<32>)는 90도 게이팅 신호에서 180도 게이팅 신호로 변경되어 입력된다.

도 18은 본 발명의 실시예에 따른 깊이 센서(10)를 이용한 거리 추정 방법을 나타내는 순서도이다. 이하에서는 도 1 및 도 18을 참조하여 그 과정을 순차적으로 살펴본다.

먼저, 적외선 광원(12)로부터 광신소(EL)가 대상 물체(11)로 방사되며(S80), 로우 컨트롤 블록(23)은 게이팅 신호를 깊이 센서 어레이(14)의 다수의 열들로 순차적으로 인가한다. 그러면, 깊이 센서 어레이(14)는 상기 대상 물체(11)로부터 반사되는 광신호(RL) 및 상기 게이팅 신호에 응답하여 다수의 열들 각각에서 축적된 광전하(즉, 프레임 신호)를 발생한다(S81). 상기 S81 단계는 차후 도 19를 참조하여 좀더 상세히 살펴본다.

그런 다음, CDS/ACD 회로(18)는 상기 깊이 센서 어레이(14)로부터 출력되는 프레임 신호들을 디지털 신호로 변환하여 출력하며(S83), 깊이 추정기(26)는 상기 다수의 프레임 신호들에 기초하여 대상 물체(11)까지의 거리를 추정할 수 있다(S83).

도 19는 1-탭 구조의 깊이 픽셀 어레이를 포함하는 깊이 센서(10)에서 도 18에 도시된 프레임 신호 발생 단계(S81)를 수행하는 과정을 나타내는 순서도이다.

먼저, 하나의 프레임에 대하여 다수의 열들을 순차적으로 리셋하고 리셋된 열들에 0도 위상의 게이팅 신호를 순차적으로 인가한다(S81A). 그러면, 0도 위상의 게이팅 신호가 인가된 열들 각각에서는 광전하를 축적한다(S81B). 그런 다음, 적분 시간이 경과된 순서에 따라서 상기 다수의 열들로부터 광전하 축적 결과를 리드하며(S81C), 리드 동작이 완료되는 순서에 따라서 상기 다수의 열들에 인가되는 게이팅 신호의 위상은 순차적으로 90도로 증가된다(S81D).

그런 다음, 상기 깊이 센서(10)는 각 열의 게이팅 신호의 위상 증가가 270도 이상인 열인지를 판단한다(S81E). 만약, 특정 열의 게이팅 신호가 90도씩 증가하여 360도가 되면 상기 S81 단계는 종료되며, 그렇지 않으면 위상이 증가된 게이팅 신호가 리셋된 열들로 순차적으로 인가된 후 S81B 내지 S81E 단계가 반복적으로 수행된다.

이상에서는 1-탭 구조의 깊이 센서 어레이(14)를 포함하는 깊이 센서(10)에서의 롤링 셔터 방식을 이용한 깊이 추정 기술에 대하여 살펴 보았다. 그러나 광원의 위상은 고정하고 게이팅 신호의 위상만을 제어하여 프레임 레이트를 증가시킬 수 있는 롤링 셔터 방식은 2-탭 구조의 깊이 센서 어레이를 포함하는 깊이 센서에도 적용될 수 있다.

2-탭 구조의 깊이 센서는 1-탭 구조의 깊이 센서와 비교할 때, 그 구조와 동작은 1-탭 구조의 깊이 센서와 유사하나, 깊이 픽셀의 구조, 깊이 픽셀에 인가되는 게이팅 신호, 및 깊이 픽셀로부터 출력되는 신호에 있어서는 차이점이 있다. 이하에서는 상기 차이점들을 중심으로 2-탭 구조의 깊이 센서 어레이에서의 롤링 셔터 방식에 대하여 살펴본다.

도 20은 2-탭 구조의 깊이 센서의 깊이 센서 어레이에 포함된 깊이 픽셀의 레이아웃을 나타낸다. 도 2를 참조하면, 2-탭 구조의 깊이 픽셀(14B)는 도 5에 도시된 깊이 픽셀(14A)와 달리 2개의 액티브 영역들(14B1, 14B3) 및 2개의 광전 변환 소자(14B2, 14B4)를 가짐을 알 수 있다.

도 5의 깊이 픽셀(14A)에서는 순차적으로 증가되는 위상을 갖는 게이팅 신호들에 의하여 프레임 신호가 순차적으로 발생되었으나, 도 20의 깊이 픽셀(14B)은광신호와 동일한 위상을 갖는 게이팅 신호(Ga)와 광신호와 반대의 위상을 갖는 게이팅 신호(Gc)에 응답하여 프레임 신호쌍(A0, A2)를 발생한 다음, 광신호와 90도 위상차를 갖는 게이팅 신호(Gb)와 광신호와 반대의 위상을 갖는 게이팅 신호(Gd)에 응답하여 프레임 신호쌍(A1, A4)을 발생할 수 있다.

도 21은 하나의 프레임에 대한 종래의 롤링 셔터 방식과 2-탭 구조의 본 발명의 실시예에 따른 깊이 센서 깊이 센서에서 수행되는 롤링 셔터 방식을 비교하기 위한 도면이다. 이때, 상기 적외선 광원(12)으로부터 방사되는 광신호(EL)의 위상은 0도라고 가정한다.

종래의 롤링 셔터 방식에 따르면 하나의 프레임에 대하여 0도 및 180도 위상을 갖는 게이팅 신호들 각각에 기초한 광전하 축적 결과 리드 동작이 완료된 다음에야 90도 및 270도 위상을 갖는 게이팅 신호들 각각에 기초한 광전하 축적 결과 리드 동작이 수행된다((a) 참조).

그러나 본 발명의 실시예에 따른 깊이 센서의 롤링 셔터 방식에 따르면 하나의 프레임에 대한 0도 및 180도 위상을 갖는 게이팅 신호들 각각에 기초한 광전하 축적 결과 리드 동작이 수행 중인 동안에도, 광전하 축적 결과 리드 동작 수행이 완료된 열들에 대해서는 90도 및 270도 위상을 갖는 게이팅 신호들 각각에 기초한 광전하 축적이 시작된다((b) 참조).

즉, 본 발명의 실시예에 따른 2-탭 구조의 깊이 센서(10)의 롤링 셔터 방식에 따르면 리셋된 적어도 한 쌍의 열들(ROW_X1, ROW_X2) 각각의 상기 위상이 가변된 게이팅 신호쌍에 기초한 광전하 축적 구간은 위상이 가변되기 전의 게이팅 신호쌍에 기초한 광전자 축적 동작을 수행 중인 적어도 하나의 열(ROW_Y1, ROW_Y2)의 광전자 축적 구간과 오버랩된다.

도 22는 2-탭 구조의 본 발명의 실시예에 따른 깊이 센서에서 깊이 센서 어레이의 다수의 열들에 인가되는 게이팅 신호의 변화를 설명하기 위한 도면이다.

도 22를 참조하면, 대상 물체(11)로 방사되는 광신호(EL)의 위상은 0도로 고정되어 있으며, 다수의 열들에 인가되는 게이팅 신호쌍의 위상만이 90도씩 증가함을 알 수 있다.

먼저, 다수의 열들이 순차적으로 리셋되면서 위상이 0도 및 180도인 게이팅 신호쌍(CLK_row)이 다수의 열들에 순차적으로 인가되기 시작한다((a) 참조). 그런 다음, 상기 위상이 0도 및 180도인 게이팅 신호쌍(CLK_row)이 인가된 다수의 열들로부터 광전하 축적 결과가 리드되기 시작한다. 이때, 하나의 프레임에는 위상이 0도 및 180도인 게이팅 신호쌍만이 인가되고 있음을 알 수 있다((a) 참조).

그런 다음, 상기 위상이 0도 및 180도인 게이팅 신호(CLK_row)에 기초한 광전하 축적 결과 리드 동작이 진행되면서 리드 동작이 완료되는 열들은 순차적으로 리셋되며, 리셋된 열들에는 위상이 90도 및 270도인 게이팅 신호쌍(CLK_row)이 순차적으로 인가된다. 이때, 하나의 프레임에는 위상이 0도, 90도, 180도, 270도인 게이팅 신호(CLK_row)가 동시에 인가될 수 있음을 알 수 있다((b) 참조).

그런 다음, 상기 위상이 90도 및 270도인 게이팅 신호쌍(CLK_row)이 인가된 다수의 열들로부터 광전하 축적 결과가 리드되기 시작한다. 이때, 하나의 프레임에는 위상이 90도 및 270도인 게이팅 신호(CLK_row)가 인가될 수 있음을 알 수 있다((c) 참조).

그런 다음, 상기 위상이 90도 및 270도인 게이팅 신호(CLK_row)에 기초한 광전하 축적 결과 리드 동작이 진행되면서 리드 동작이 완료되는 열들은 순차적으로 리셋되며, 리셋된 열들에는 위상이 0도 및 180도인 게이팅 신호(CLK_row)가 순차적으로 인가된다. 이때, 하나의 프레임에는 위상이 90도, 90도, 180도, 270도인 게이팅 신호(CLK_row)와 180도인 게이팅 신호(CLK_row)가 동시에 인가될 수 있음을 알 수 있다((d) 참조). 그런 다음 이상에서 살펴본 과정((e) 포함)이 다음 프레임에서 대해서도 도 동일하게 수행된다.

이상에서 살펴본 바와 같이, 2-탭 구조의 깊이 센서 어레이(14)에 대한 롤링 셔터 방식을 이용하는 본 발명의 실시예에 따른 깊이 센서 역시 대상 물체(11)로 방사되는 광신호(EL)의 위상은 고정한 상태에서, 깊이 센서 어레이(14)의 다수의 열들로 인가되는 게이팅 신호상(CLK_row)의 위상만을 제어함으로써 프레임 레이트를 증가시킬 수 있을 알 수 있다.

도 23은 2-탭 구조의 깊이 픽셀 어레이를 포함하는 깊이 센서에서 도 18에 도시된 프레임 신호 발생 단계(S81)에 대응하는 단계(이하 S81' 이라 함)를 수행하는 과정을 나타내는 순서도이다. 이하 그 과정을 순차적으로 살펴본다.

먼저, 하나의 프레임에 대하여 다수의 열들을 순차적으로 리셋하고 리셋된 열들에 0도 및 180도 위상의 게이팅 신호쌍를 순차적으로 인가한다(S81A'). 그러면, 0도 및 180도 위상의 게이팅 신호쌍이 인가된 열들 각각에서는 광전하를 축적한다(S81B'). 그런 다음, 적분 시간이 경과된 순서에 따라서 상기 다수의 열들로부터 광전하 축적 결과가 리드되며(S81C'), 리드 동작이 완료되는 순서에 따라서 상기 다수의 열들에 인가되는 게이팅 신호쌍 각각의 위상은 순차적으로 90도로 증가된다(S81D').

그런 다음, 깊이 센서는 각 열의 게이팅 신호의 위상 증가가 180도 이상인지를 판단한다(S81E'). 만약, 특정 열의 게이팅 신호가 90도씩 증가하여 180도가 되면 상기 S81' 단계는 종료되며, 그렇지 않으면 위상이 증가된 게이팅 신호가 리셋된 열들로 순차적으로 인가된 후 S81A' 내지 S81E' 단계가 다시 한번 수행된다.

이상에서 살펴본, 본 발명의 실시예에 따른 깊이 센서(10)의 구성요소들 각각 또는 그들의 조합은 다양한 형태들의 패키지를 이용하여 실장될 수 있다. 예를 들면, 상기 패키지는 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), 또는 Wafer-Level Processed Stack Package(WSP) 일 수 있다.

또한, 본 발명의 실시예에 따른 깊이 센서(10)를 이용한 거리 추정 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 본 발명의 실시예에 따른 깊이 센서(10)를 이용한 거리 추정 방법은 컴퓨터로 읽을 수 있는 기록 매체에 저장된 상기 깊이 센서(10)를 이용한 거리 추정 방법을 실행하기 위한 컴퓨터 프로그램을 실행함으로써 구현될 수 있다.

컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 예컨대, 컴퓨터가 읽을 수 있는 기록매체에는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다.

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명의 실시예에 따른 깊이 센서(10)를 이용한 거리 추정 방법을 구현하기 위한 기능적인 (functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

도 24는 본 발명의 실시 예에 따른 3차원 이미지 센서(100)의 블락도를 나타낸다. 여기서 3차원 이미지 센서라 함은 깊이 픽셀을 이용하여 깊이 정보를 측정하는 기능과 각 컬러 픽셀들(R, G, 및 B)을 이용하여 각 컬러 정보(예컨대, 레드 컬러 정보, 그린 컬러 정보, 또는 블루 컬러 정보)를 측정하는 기능을 함께 결합하여 3차원 이미지 정보를 얻을 수 있는 장치를 의미한다.

도 24를 참조하면, 3차원 이미지 센서(100)는 디코더(22'), 로우 컨트롤 블록(23'), PG 드라이버(25'), 깊이 센서 어레이(14), 이미지 센서 어레이(110), CDS/ACD(18'), 및 이미지 신호 프로세서(120)를 포함한다. 실시 예에 따라 3차원 이미지 센서(100)는 컬럼 디코더(미도시)를 더 포함할 수 있다. 상기 컬럼 디코더는 타이밍 컨트롤러(200)로부터 출력된 컬럼 어드레스들을 디코딩하여 컬럼 선택 신호들을 출력할 수 있다. 참고로, 도 24에서는 설명의 편의를 위하여 상기 3차원 이미지 센서(100)에 포함될 수 있는 다수의 구성 요소들은 도시하지 않았다.

로우 컨트롤 블록(23')는 깊이 센서 어레이(14) 및 이미지 센서 어레이(110)에 구현된 각 픽셀의 동작을 제어하기 위한 제어 신호들을 생성할 수 있다. 상기 깊이 센서 어레이(14)는 도 1 내지 도 23을 참조하여 설명한 바와 같이, 대상 물체(11)까지의 거리 추정을 위한 깊이 정보를 발생하며, 상기 이미지 센서 어레이(110)는 이미지 정보를 발생하여 출력할 수 있다.

상기 CDS/ADC 회로(130)는 상기 깊이 센서 어레이(14) 및 상기 이미지 센서 어레이(110)로부터 출력되는 신호를 디지털 신호로 변환하여 출력하며, 상기 이미지 신호 프로세서(150)는 CDS/ADC 회로(130)로부터 출력된 디지털 신호에 기초하여 3차원 이미지 신호를 발생할 수 있다.

실시 예에 따라 이미지 신호 프로세서(150)는 도 1에 도시된 메모리(24) 및/또는 깊이 추정기(26)를 포함할 수 있다. 따라서, 이미지 신호 프로세서(150)는 앞서 설명한 바 있는 본 발명의 실시 예에 따른 깊이 센서 및 그를 이용한 깊이 추정 방법을 적용하여 깊이 정보를 추정하고 추정된 깊이 정보와 각 컬러 정보를 결합하여 3차원 이미지 신호를 생성할 수 있다.

도 25는 본 발명의 실시 예에 따른 깊이 센서를 포함하는 신호 처리 시스템(200)의 블락도를 나타낸다. 도 25를 참조하면, 거리 측정 센서로서만 동작할 수 있는 신호 처리 시스템(200)은 시스템 버스(201)을 통하여 서로 연결되는 본 발명의 실시예에 따른 깊이 센서(10), 프로세서(210), 메모리, 인터페이스(230)를 포함할 수 있음을 알 수 있다.

도 26은 도 24에 도시된 3차원 이미지 센서(100)를 포함하는 이미지 처리 시스템(300)의 블락도를 나타낸다. 상기 이미지 처리 시스템(300)은 3차원 이미지 정보를 생성하고 생성된 3차원 이미지 정보를 디스플레이를 통하여 디스플레이할 수 있다. 도 26을 참조하면, 상기 이미지 처리 시스템(300)은 시스템 버스(201)를 통하여 서로 연결되는 본 발명의 실시예에 따른 3차원 이미지 센서(100), 프로세서(210), 메모리(220), 및 인터페이스(230)를 포함할 수 있음을 알 수 있다.

발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

10: 깊이 센서 19: 클락 발생기
20: 타이밍 컨트롤러 12: 적외선 광원
11: 대상 물체 14: 깊이 센서 어레이
17: 적외선 필터 18: CDS/ADC 회로
24: 메모리 26: 깊이 추정기
100: 3차원 이미지 센서 110: 이미지 센서 어레이
120: 이미지 신호 프로세서 200: 신호 처리 시스템
201: 시스템 버스 210: 프로세서
220: 메모리 230: 인터페이스
300: 이미지 처리 시스템

Claims (10)

1. (a) 다수의 열들을 순차적으로 리셋하고, 리셋되는 순서에 따라서 게이팅 신호를 상기 다수의 열들로 순차적으로 인가하는 단계;
   (b) 상기 다수의 열들 각각에서 동일한 적분 시간(Integration Time) 동안 대상 물체로부터 반사되는 광신호 및 상기 게이팅 신호에 응답하여 발생하는 광전 하를 축적하는 단계; 및
   (c) 광전하 축적 동작이 완료되는 순서에 따라서 광전하 축적 결과를 상기 다수의 열들로부터 순차적으로 리드(Read)하는 단계를 포함하며,
   상기 (a) 내지 (c) 단계는 순차적으로 복수 사이클 수행되며,
   리드 동작이 완료되는 열에 인가되는 상기 게이팅 신호의 위상은 미리 정해진 위상만큼 가변되며, 상기 리드 동작이 완료된 후 리셋된 적어도 하나의 열의 상기 위상이 가변된 게이팅 신호에 기초한 광전하 축적 구간은 위상이 가변되기 전의 게이팅 신호에 기초한 광전자 축적 동작을 수행 중인 적어도 하나의 열의 광전자 축적 구간과 오버랩되는 것을 특징으로 하는 깊이 센서를 이용한 거리 추정 방법.
2. 제1항에 있어서, 상기 대상 물체로 반사되는 광신호를 발생하기 위하여 상기 대상 물체로 방사되는 광신호의 위상은 일정하게 유지되는 것을 특징으로 하는 깊이 센서를 이용한 거리 추정 방법.
3. 제2항에 있어서, 첫 번째 사이클의 상기 (a) 단계에서 상기 다수의 열들로 순차적으로 인가되는 상기 게이팅 신호의 위상은 상기 대상 물체로 방사되는 광신호의 위상과 동일한 것을 특징으로 하는 깊이 센서를 이용한 거리 추정 방법.
4. 제3항에 있어서, 상기 리드 동작이 완료되는 열에 인가되는 상기 게이팅 신호의 위상은 상기 대상 물체로 방사되는 광신호의 위상에서 상기 미리 정해진 위상만큼 가변되는 것을 특징으로 하는 깊이 센서를 이용한 거리 추정 방법.
5. 제4항에 있어서, 상기 (a) 내지 (c) 단계는 하나의 프레임 전체에 대하여 4 사이클 수행되며,
   상기 하나의 프레임 전체에 대한 각 사이클에서 상기 리드 동작이 완료되는 열에 인가되는 상기 게이팅 신호의 위상은 90도씩 증가 또는 감소되는 것을 특징으로 하는 깊이 센서를 이용한 거리 추정 방법.
6. (a) 다수의 열들을 순차적으로 리셋하고, 리셋되는 순서에 따라서 서로 미리 정해진 위상 차이를 갖는 게이팅 신호 쌍을 상기 다수의 열들로 순차적으로 인가하는 단계;
   (b) 상기 다수의 열들 각각에서 동일한 적분 시간(Integration Time) 동안 대상 물체로부터 반사되는 광신호 및 상기 게이팅 신호 쌍에 응답하여 발생하는 광전하를 축적하는 단계; 및
   (c) 광전하 축적 동작이 완료되는 순서에 따라서 광전하 축적 결과를 상기 다수의 열들로부터 순차적으로 리드(Read)하는 단계를 포함하며,
   상기 (a) 내지 (c) 단계는 순차적으로 반복 수행되며,
   리드 동작이 완료되는 열에 인가되는 상기 게이팅 신호쌍 각각의 위상은 미리 정해진 위상만큼 가변되며, 상기 리드 동작이 완료된 후 리셋된 적어도 한 쌍의 열들 각각의 상기 위상이 가변된 게이팅 신호쌍에 기초한 광전하 축적 구간은 위상이 가변되기 전의 게이팅 신호쌍에 기초한 광전하 축적 동작을 수행 중인 적어도 하나의 열의 광전하 축적 구간과 오버랩되는 것을 특징으로 하는 깊이 센서를 이용한 거리 추정 방법.
7. 제6항에 있어서, 상기 대상 물체로 반사되는 광신호를 발생하기 위하여 상기 대상 물체로 방사되는 광신호의 위상은 일정하게 유지되는 것을 특징으로 하는 깊이 센서를 이용한 거리 추정 방법.
8. 제7항에 있어서, 첫 번째 사이클의 상기 (a) 단계에서 상기 다수의 열들로 순차적으로 인가되는 상기 게이팅 신호쌍은 상기 대상 물체로 방사되는 광신호의 위상과 동일한 위상을 갖는 신호 및 상기 대상 물체로 방사되는 광신호의 위상과 반대 위상을 갖는 신호를 포함하는 것을 특징으로 하는 깊이 센서를 이용한 거리 추정 방법.
9. 제8항에 있어서, 상기 리드 동작이 완료되는 열에 인가되는 상기 게이팅 신호쌍 각각의 위상은 상기 미리 정해진 위상만큼 가변되는 것을 특징으로 하는 깊이 센서를 이용한 거리 추정 방법.
10. 제4항에 있어서, 상기 (a) 내지 (c) 단계는 하나의 프레임 전체에 대하여 2사이클 수행되며,
    상기 하나의 프레임 전체에 대한 2 번째 사이클에서 상기 리드 동작이 완료되는 열에 인가되는 상기 게이팅 신호쌍 각각의 위상은 90도 증가 또는 감소되는 것을 특징으로 하는 깊이 센서를 이용한 거리 추정 방법.

Images