KR20160147670A - 높은 동적 범위 프레임 및 강제된 낮은 동적 범위 프레임 양자 모두를 인코딩하기 위한 방법 및 디바이스 - Google Patents

Abstract

본 개시는 일반적으로 프레임을 인코딩하기 위한 방법 및 디바이스에 관한 것이다. 그 방법은:
- 프레임으로부터 백라이트 프레임을 결정하는 단계 (101);
- 프레임 및 백라이트 프레임에 응답하여 레지듀얼 프레임을 계산하는 단계 (103); 및
- 강제된 프레임 (IMF) 으로부터 계산된 (109) 레지듀얼 프레임의 예측자를 사용하여 레지듀얼 프레임을 예측적 인코딩하는 단계 (110) 로서, 상기 강제된 프레임은 인코딩될 프레임의 낮은 동적 버전인, 상기 예측적 인코딩하는 단계 (110) 를 포함한다.
본 개시는 또한 프레임을 표현하는 적어도 하나의 비트스트림을 디코딩하기 위한 방법 및 디바이스에 관한 것이다.

Description

높은 동적 범위 프레임 및 강제된 낮은 동적 범위 프레임 양자 모두를 인코딩하기 위한 방법 및 디바이스{METHOD AND DEVICE FOR ENCODING BOTH A HIGH-DYNAMIC RANGE FRAME AND AN IMPOSED LOW-DYNAMIC RANGE FRAME}

본 개시는 일반적으로 프레임/비디오 인코딩 및 디코딩에 관한 것이다. 특히, 본 개시의 기술 분야는 그 화소 값들이 높은 동적 범위에 속하는 프레임 및 그 화소 값들이 낮은 동적 범위에 속하는 프레임의 인코딩/디코딩에 관련된다.

본 섹션은 이하에 기술되고 및/또는 청구되는 본 개시의 여러 양태들에 관련될 수도 있는, 기술의 여러 양태들로 독자를 도입시키도록 의도된다. 본 논의는 본 개시의 여러 양태들의 더 양호한 이해를 용이하게 하기 위해 독자에게 배경 정보를 제공하는데 유용한 것으로 생각된다. 이에 따라, 이들 진술들은 종래 기술의 인정들로서가 아니라, 이러한 것에 비추어 읽혀져야 한다는 것이 이해되어야 한다.

표준-동적-범위 프레임들 (SDR 프레임들) 은 그 휘도 값들이 비트들의 제한된 수 (가장 종종 8 또는 10) 로 표현되는 프레임들이다. 이러한 제한된 표현은 특히 어두운 휘도 범위 및 밝은 휘도 범위에서 작은 신호 변동들의 올바른 렌더링을 허용하지 않는다. 높은 동적 범위 프레임들 (HDR 프레임들) 에서, 신호 표현은 그것의 전체 범위상에서 신호의 높은 정확성을 유지하기 위해 확장된다. HDR 프레임들에서, 화소 값들은 보통 부동소수점 포맷 (각각의 컴포넌트에 대해 32-비트 또는 16-비트, 즉 플로우트 또는 하프-플로우트) 으로, (가장 인기있는 포맷은 openEXR 하프-플로우트 포맷 (RGB 컴포넌트당 16-비트, 즉 화소 당 48 비트들) 임) 또는 긴 표현을 갖는 정수들, 통상 적어도 16 비트들로 표현된다.

HDR 프레임을 인코딩하기 위한 통상적인 접근법은 (초기에 SDR 프레임들을 인코딩하도록 구성된) 레거시 인코딩 스킴에 의해 프레임을 인코딩하기 위해 프레임의 동적 범위를 감소시키는 것이다.

잘 알려진 접근법에 따르면, 백라이트 프레임이 입력 HDR 프레임의 휘도 컴포넌트로부터 결정된다. 레지듀얼 프레임이 그 후 백라이트 프레임으로 입력 HDR 프레임을 나눔으로써 획득되고, 백라이트 프레임 및 레지듀얼 프레임 양자 모두는 H.264/AVC (("Advanced video coding for generic audiovisual Services", SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Recommendation ITU-T H.264, Telecommunication Standardization Sector of ITU, January 2012).) 또는 HEVC, SHVC ("High Efficiency Video Coding", SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Recommendation ITU-T H.265, Telecommunication Standardization Sector of ITU, October 2014) 와 같은 레거시 인코더에 의해 인코딩된다.

그러한 인코딩 접근법은 HDR 프레임의 휘도 성분으로부터 획득된 백라이트 프레임에 의해 HDR 프레임을 나눔으로써 SDR 프레임을 자동적으로 생성한다.

결과적으로, 그러한 인코딩 접근법은 SDR 프레임이 강제되는, 즉 인코딩의 입력이며 또한 인코딩될 경우 적응되지 않으며, 그 이유는 임포즈된 SDR 프레임에 (비쥬얼 컨텐츠 면에서) 충분히 가까운, HDR 프레임으로부터의 자동적인 낮은 동적 범위 프레임을 얻을 기회가 사실상 없기 때문이다.

이것은, 예를 들어 스튜디오로부터 2 개의 상이한 칼라 그레이딩을 획득하는 것이 기대되는 시네마-지향 사용 케이스들에서 발생한다: HDR 프레임으로부터 획득된 SDR 프레임에 대해 하나 및 HDR 프레임 자체를 위해 하나. HDR 프레임을 인코딩하기 위한 통상의 백라이트-기반 방법으로부터, 예술적으로 그레이드된 SDR 프레임에 (비쥬얼 컨텐츠 면에서) 충분히 가까운 (백라이트 프레임에 의해 SDR 프레임을 나눔으로써) 자동적 SDR 프레임을 얻는 것은 사실상 불가능하다.

본 개시는 프레임을 인코딩하기 위한 방법으로 종래 기술의 단점들의 일부를 치유하기 위해 착수하며, 상기 방법은:

- 프레임으로부터 백라이트 프레임을 결정하는 단계;

- 프레임 및 백라이트 프레임에 응답하여 레지듀얼 프레임을 계산하는 단계; 및

- 임포즈된 프레임으로부터 계산된 레지듀얼 프레임의 예측자를 사용하여 레지듀얼 프레임을 예측적 인코딩하는 단계로서, 상기 임포즈된 프레임은 인코딩될 프레임의 낮은 동적 버전인, 상기 예측적 인코딩하는 단계를 포함한다.

이것은 레지듀얼 프레임이 레지듀얼 프레임과 비쥬얼 컨텐츠 면에서 유사한 임포즈된 SDR 프레임으로부터 획득된 예측자를 사용하여 예측적 인코딩되기 때문에, HDR 프레임 및 임포즈된 SDR 프레임 양자 모두를 인코딩하기 위한 고효율적 방법을 제공한다. 이것은 임포즈된 SDR 프레임 및 HDR 프레임을 독립적으로 인코딩할 인코딩 방법에 비해 인코딩될 레지듀얼 프레임의 역학을 감소시키고, 따라서 코딩 효율을 증가시킨다.

게다가, 상기의 시네마-지향 사용 케이스들에서, 예술적 의향들 (칼라 그레이드 등...) 이 HDR 프레임 및 임포즈된 SDR 프레임 양자 모두에 대해 보존된다.

다음에, 방법은 단지 로우 (low) 내지 중간 비트-깊이 인코더들, 통상적으로 8-12 비트들만을 사용하며, 이것은 통상의 인프라스트럭쳐들과 백워드 호환성을 보장한다.

일 실시형태에 따르면, 레지듀얼 프레임의 예측자는 임포즈된 프레임의 디코딩된 버전으로부터 계산된다.

일 실시형태에 따르면, 레지듀얼 프레임의 예측자를 계산하는 것은 칼라 맵핑 함수에 의해 레지듀얼 프레임에 임포즈된 프레임의 디코딩된 버전을 맵핑하는 것을 포함한다.

일 실시형태에 따르면, 칼라 맵핑 함수는 3D 칼라 룩업 테이블을 사용한다.

일 실시형태에 따르면, 백라이트 프레임이 또한 임포즈된 프레임으로부터 결정된다.

일 실시형태에 따르면, 백라이트 프레임을 결정하는 것은 프레임 IMF 의 컴포넌트에 의해 프레임의 각 컴포넌트를 나누는 것을 포함한다.

일 실시형태에 따르면, 방법은 백라이트 프레임을 결정하기 전에 임포즈된 프레임의 각 컴포넌트를 예측적 인코딩 및 역 맵핑하기 전에 레지듀얼 프레임을 맵핑하는 것을 더 포함한다.

일 실시형태에 따르면, 레지듀얼 프레임을 예측적 인코딩하는 것은 SHVC 표준에 따른다.

본 개시는 또한 적어도 하나의 비트스트림으로부터 프레임을 디코딩하기 위한 방법과 관련된다. 방법은:

- 비트스트림의 적어도 부분적인 디코딩에 의해 백라이트 프레임을 획득하는 단계;

- 비트스트림을 적어도 부분적으로 디코딩함으로써 디코딩된 임포즈된 프레임을 획득하는 단계로서, 상기 디코딩된 임포즈된 프레임은 디코딩될 프레임의 낮은 동적 버전인, 상기 디코딩된 임포즈된 프레임을 획득하는 단계;

- 디코딩된 임포즈된 프레임으로부터 예측자를 획득하는 단계;

- 비트스트림을 적어도 부분적으로 디코딩함으로써 그리고 디코딩된 임포즈된 프레임으로부터 획득된 예측자를 사용함으로써 디코딩된 레지듀얼 프레임을 예측적 디코딩하는 단계; 및

- 디코딩된 레지듀얼 프레임 및 디코딩된 백라이트 프레임에 응답하여 프레임을 디코딩하는 단계를 포함한다.

일 실시형태에 따르면, 방법은:

- 비트스트림을 적어도 부분적으로 디코딩함으로써 3D 칼라 LUT 와 관련된 파라미터들을 획득하는 단계; 및

- 디코딩된 임포즈된 프레임 및 획득된 파라미터들로부터 예측자를 획득하는 단계를 더 포함한다.

일 실시형태에 따르면, 예측자는 3D 칼라 LUT 의 각 영역에 대해 특정의 예측자를 포함한다.

일 실시형태에 따르면, 디코딩된 레지듀얼 프레임을 예측적 디코딩하는 것은 SHVC 표준에 따른다.

다른 그의 양태들에 따르면, 본 개시는 상기 방법을 구현하도록 구성된 프로세서를 포함하는 디바이스, 프로그램이 컴퓨터상에서 실행되는 경우 상기 방법의 단계들을 실행하도록하는 프로그램 코드 명령들을 포함하는 컴퓨터 프로그램 제품, 프로세서로 하여금 적어도 상기 방법의 단계들을 수행하게 하는 명령들을 저장한 프로세서 판독가능 매체, 및 상기 프로그램이 컴퓨팅 디바이스상에서 실행되는 경우 상기 방법의 단계들을 실행하기 위한 프로그램 코드의 명령들을 반송하는 비일시적 저장 매체와 관련된다.

본 개시의 특정의 특성 뿐아니라 본 개시의 다른 목적들, 이점들, 특징들 및 사용들은 첨부하는 도면들과 결합하여 취해진 바람직한 실시형태의 다음의 설명으로부터 명백하게 될 것이다.

실시형태들은 다음의 도면들을 참조하여 기술될 것이다.
- 도 1 은 본 원리들의 일 예에 따라 프레임 I 를 인코딩하는 방법의 단계들의 블록도를 도시한다.
- 도 2 는 본 원리들의 일 예에 따라 프레임 I 를 인코딩하는 방법의 단계들의 블록도를 도시한다.
- 도 3 은 본 원리들의 일 예에 따른 방법의 단계의 블록도를 도시한다.
- 도 4 는 본 원리들의 일 예에 따른 방법의 단계의 블록도를 도시한다.
- 도 5 는 본 원리들의 일 예에 따른 방법의 단계의 블록도를 도시한다.
- 도 6 은 본 원리들의 일 예에 따라 3D 칼라 LUT 를 생성하는 방법의 플로우챠트를 도시한다.
- 도 7 및 도 8 은 3D 칼라 LUT 의 예를 도시한다.
- 도 9 는 칼라 맵핑 함수가 3D 칼라 LUT 를 사용하는 경우 단계 (109) 의 서브 단계들의 다이어그램을 도시한다.
- 도 10 은 백라이트 프레임에 의해 프레임을 나눔으로써 계산된 레지듀얼 프레임을 표현하는 비트스트림을 디코딩하기 위한, 본 원리들의 일 예에 따른, 방법의 단계들의 블록도를 도시한다.
- 도 11 은 디바이스의 아키텍쳐의 예를 도시한다.
- 도 12 는 통신 네트워크를 통해 통신하는 2 개의 원격 디바이스들을 도시한다.

본 개시는 본 개시의 실시형태들이 도시되는 첨부하는 도면들을 참조하여 이하에 더욱 완전히 기술될 것이다. 그러나, 본 개시는 다수의 대안적인 형태들로 구현될 수도 있고 여기에 진술된 실시형태들에 제한되는 것으로서 해석되지 않아야 한다. 이에 따라, 본 개시는 여러 변경들 및 대안적인 형태들을 허용가능하지만, 그의 특정의 실시형태들이 도면들에서 예로써 도시되고 여기에 상세히 설명될 것이다. 그러나, 본 개시를 개시된 특정의 형태들로 제한할 의도는 없고, 반대로, 본 개시는 청구범위에 의해 정의된 본 개시의 사상 및 범위 내에 있는 모든 변경들, 등가물들, 및 대안들을 커버하는 것이 이해되어야 한다. 유사한 번호들은 도명들의 설명 전체에 걸쳐 유사한 엘리먼트들을 지칭한다.

여기에 사용된 용어는 특정의 실시형태들만을 기술할 목적이며, 본 개시의 제한인 것으로 의도되지 않는다. 여기에 사용된 바와 같이, 단수 형태들 "a", "an" 및 "the" 는 콘텍스트가 명확히 다르게 표시하지 않는 한, 마찬가지로 복수의 형태들을 포함하는 것으로 의도된다. 본 명세서에서 사용될 때 용어들 "구비한다", "구비하는", "포함한다", 및/또는 "포함하는" 은 진술된 특징들, 정수들, 단계들, 동작들, 엘리먼트들 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 엘리먼트들, 컴포넌트들, 이들의 그룹들의 존재 또는 추가를 배제하지 않는다는 것이 또한 이해될 것이다. 게다가, 엘리먼트가 다른 엘리먼트에 "응답적인" 또는 "연결된" 것로서 지칭되는 경우, 그것은 다른 엘리먼트에 직접 응답적이거나 연결될 수 있거나, 개재하는 엘리먼트들이 존재할 수도 있다. 대조적으로, 엘리먼트가 다른 엘리먼트에 "직접적으로 응답적인" 또는 "직접적으로 연결된" 으로서 지칭되는 경우, 어떠한 개재하는 엘리먼트들도 존재하지 않는다. 여기에 사용되는 바와 같이, 용어 "및/또는" 은 하나 이상의 연관된 리스트된 아이템들의 임의의 및 모든 조합들을 포함하고 "/" 로서 축약될 수도 있다.

용어들 제 1, 제 2 등은 여기서 여러 엘리먼트들을 기술하기 위해 사용될 수도 있지만, 이들 엘리먼트들은 이들 용어들에 의해 제한되지 않아야 한다는 것이 이해될 것이다. 이들 용어들은 단지 하나의 엘리먼트를 다른 엘리먼트로부터 구별하기 위해서만 사용된다. 예를 들어, 제 1 엘리먼트는 제 2 엘리먼트로 지칭될 수 있을 것이며, 유사하게 제 2 엘리먼트는 본 개시의 교시들로부터 일탈하지 않고 제 1 엘리먼트로 지칭될 수 있을 것이다.

다이어그램들의 일부는 통신의 일차적 방향을 도시하기 위해 통신 경로들상에 화살표들을 포함하지만, 통신이 묘사된 화살표들에 대해 반대인 방향으로 발생할 수도 있다는 것이 이해되어야 한다.

일부 실시형태들은 각각의 블록이 특정된 로지컬 함수(들) 을 구현하는 하나 이상의 실행가능한 명령들을 포함하는 회로 엘리먼트, 모듈, 또는 코드의 부분을 표현하는 블록도들 및 동작 플로우챠트들에 대해 기술된다. 다른 구현들에서, 블록들로 표시된 기능(들) 은 표시된 순서 밖에서 발생할 수도 있다는 것을 주의해야 한다. 예를 들어, 연속적으로 도시된 2 개의 블록들은 사실상 실질적으로 동시에 실행될 수도 있거나, 그 블록들은 때때로 수반된 기능성에 따라 역방향 순서로 실행될 수도 있다.

여기의 "하나의 실시형태" 또는 "일 실시형태" 에 대한 기재는 그 실시형태와 관련하여 기술된 특정의 특징, 구조, 또는 특성이 본 개시의 적어도 하나의 구현에 포함될 수 있다는 것을 의미한다. 본 명세서의 여러 곳에서의 어구 "하나의 실시형태에서" 또는 "일 실시형태에 따르면" 의 출현들은 반드시 모두 동일한 실시형태를 지칭하고 있는 것도 아니고, 다른 실시형태들을 반드시 상호 배제하는 별개이거나 대안적인 실시형태들도 아니다.

청구범위에 나타나는 참조 번호들은 단지 예시적인 것이고 청구범위의 범위에 대한 제한하는 효과를 갖지 않을 것이다.

명백히 기술되지 않지만, 본 실시형태들 및 변형들은 임의의 조합 또는 서브 조합으로 채용될 수도 있다.

본 개시는 프레임을 인코딩/디코딩하는 것에 대해 기술되지만, 프레임들의 시퀀스의 각 프레임이 실질적으로 아래에 기술된 바와 같이 인코딩/디코딩되기 때문에 프레임들의 시퀀스 (비디오) 의 인코딩/디코딩에 연장된다.

도 1 은 본 원리들의 일 예에 따라 프레임 I 를 인코딩하는 방법의 단계들의 블록도를 도시한다.

단계 (100) 에서, 모듈 IC 는 인코딩될 프레임 I 의 적어도 하나의 컴포넌트 I^j 를 획득한다.

다음에, 컴포넌트 I^{j =1} 은 프레임 I 의 휘도 컴포넌트이고 컴포넌트 I^{j ≠1} 는 인코딩될 프레임 I 의 칼라 컴포넌트이다.

예를 들어, 프레임 I 가 칼라 공간 (X,Y,Z) 에 속하는 경우, 휘도 컴포넌트 I¹ 은 컴포넌트 Y 의 변환 f(.), 예를 들어 I¹ = f(Y) 에 의해 획득된다.

프레임 I 가 칼라 공간 (R,G,B) 에 속하는 경우, 휘도 컴포넌트 I¹ 이:

에 의해 주어지는 선형 조합의 함수에 의해, 예를 들어 709 색영역 (gamut) 에서 획득된다.

단계 (101) 에서, 모듈 BAM 은 프레임 I 의 각각의 컴포넌트 I^j 로부터 백라이트 프레임 Ba 의 컴포넌트 Ba^j 를 결정한다.

도 3 에 도시된 단계 (101) 의 실시형태에 따르면, 모듈 BI 는:

에 의해 주어진 형상 함수들

의 가중된 선형 조합인 것으로서 백라이트 프레임 Ba 의 컴포넌트 Ba^j 를 결정하며,

는 컴포넌트 Ba^j 에 대한 가중 계수들이다.

따라서, 컴포넌트 I^j 로부터 백라이트 프레임 Ba 의 컴포넌트 Ba^j 를 결정하는 것은 백라이트 프레임 Ba 의 컴포넌트 Ba^j 가 컴포넌트 I^j 에 피팅 (fitting) 되도록 최적의 가중 계수들 (및 잠재적으로 또한 미리 알려져 있지 않은 경우 최적의 형상 함수들) 을 발견하는 것에 있다.

컴포넌트 Ba^j 에 대해 가중 계수들

를 발견하는 다수의 잘 알려진 방법들이 존재한다. 예를 들어, 컴포넌트 Ba^j 와 컴포넌트 I^j 사이의 평균 제곱 에러를 최소화하기 위해 최소 평균 제곱 에러법를 사용할 수도 있다.

본 개시는 백라이트 프레임 Ba 을 획득하는 임의의 특정의 방법으로 제한되지 않는다.

형상 함수들은 (각각의 형상 함수가 하나의 LED 의 응답에 대응하는, 예를 들어 LED 들로 이루어진) 디스플레이 백라이트의 진정한 물리적 응답일 수도 있거나, 휘도 컴포넌트와 최선으로 피팅되기 위해 순수한 수학적 구성일 수도 있다.

이러한 실시형태에 따르면, 단계 (101) 로부터 출력된 백라이트 프레임 Ba 은 식 (1) 에 의해 주어진 적어도 하나의 컴포넌트를 포함하는 백라이트 프레임 Ba 이다.

도 4 에 도시된 단계 (101) 의 실시형태에 따르면, 모듈 BM 은 모듈 HL 의 평균에 의해 획득된 평균 값 L_mean 으로 (식 (1) 에 의해 주어진) 백라이트 프레임 Ba 의 적어도 하나의 컴포넌트 Ba^j 를 변조한다.

프레임의 컴포넌트의 평균 값으로 백라이트 프레임의 적어도 하나의 컴포넌트를 변조하는 것은 프레임의 컴포넌트와 레지듀얼 프레임의 컴포넌트 사이의 글로벌 휘도 코히어런스를 향상시키며, 예를 들어 프레임 내의 밝은 영역은 레지듀얼 프레임에서 밝게 보이고 프레임 내의 어두운 영역은 레지듀얼 프레임에서 어둡게 보인다.

다수의 컴포넌트들은 그들의 톤들을 변경하지 않고 이들 컴포넌트들의 동적 범위를 감소시키기 위해 동일한 평균 값으로 변조된다.

이러한 실시형태에 따르면, 단계 (101) 로부터 출력된 백라이트 프레임 Ba 은 변조된 백라이트 프레임이다.

일 실시형태에 따르면, 모듈 HL 은 전체 루마 컴포넌트 I¹ 에 대한 평균 값 L_mean 을 계산하도록 구성된다.

이러한 실시형태의 변형에 따르면, 모듈 HL 은,

에 의해 평균 값 L_mean 을 계산하도록 구성되며, β는 1 보다 작은 계수이고 E(X) 는 컴포넌트 I¹ 의 수학적 기대값 (평균) 이다.

이러한 마지막 변형은 그것이 평균 값 L_mean 이 프레임 I 가 프레임들의 시퀀스에 속하는 경우 매우 성가신 일시적인 평균 밝기 불안정성을 보통 초래하는 매우 높은 값들을 갖는 소수의 화소들에 의해 영향을 받는 것으로부터 방지하기 때문에 이롭다.

본 개시는 평균 값 L_mean 을 계산하기 위한 특정의 실시형태에 제한되지 않는다.

도 5 에 도시된 변형에 따르면, 모듈 N 은 프레임에 대해 (또는 프레임 I 가 프레임들의 시퀀스에 속한다면 모든 프레임들에 대해) 미드-그레이-앳-원 (mid-gray-at-one) 컴포넌트

를 얻도록 루마 평균 값 E(Ba¹) 에 의해 (식 (1) 에 의해 주어진) 백라이트 프레임 Ba 의 적어도 하나의 컴포넌트 Ba^j 를 정규화한다:

그 후, 모듈 BM 은 다음의 관계:

를 사용함으로써, 컴포넌트 I^j 의 평균 값 L_mean 으로 미드-그레이-앳-원 컴포넌트

를 변조하도록 구성되며, cst_mod 는 변조 계수이고, α 는 1 보다 작은, 통상적으로 0.3 과 0.5 사이의 다른 변조 계수이다.

이러한 변형에 따르면, 단계 (101) 로부터 출력된 백라이트 프레임 Bal 은 식 (2) 에 의해 주어진 적어도 하나의 컴포넌트

를 포함하는 백라이트 프레임이다.

변조 계수 cst_mod 는 레지듀얼 프레임에 대한 보기 좋은 밝기를 얻도록 튜닝되며 백라이트 프레임을 획득하는 프로세스에 고도로 의존한다는 것이 주목될 수도 있다. 예를 들어, 최소 평균 제곱들에 의해 획득된 모든 컴포넌트들에 대해 cst_mod

1.7 이다.

실제로, 선형성에 의해, 백라이트 프레임의 컴포넌트 Ba^j 를 변조하는 모든 동작들은,

를 얻도록 계수들

을 새로운 계수들

로 변환하는 정정 팩터로서 백라이트 계수들

에 적용된다.

단계 (102) (도 1) 에서, 단계 (101) 로부터 출력된 백라이트 프레임 Ba 을 결정하기 위해 필요한 데이터는 인코더 ENC1 에 의해 인코딩되고, 통신 네트워크를 통해 송신 및/또는 저장될 수도 있는 비트스트림 F1 에 추가된다.

예를 들어, 인코딩될 데이터는 알려진 비적응형 형상 함수들이 사용되는 경우 가중 계수들

또는

로 제한되지만, 형상 함수들 ψ_i 는 또한 선험적으로 알려져 있지 않을 수도 있고, 그 후 예를 들어 더 양호한 피팅을 위한 다소 최적인 수학적 구성의 경우에 비트스트림 F1 에서 인코딩될 수도 있다. 따라서, 모든 가중 계수들

또는

(및 잠재적으로 형상 함수들

) 은 비트스트림 F1 에서 인코딩된다.

이롭게도, 가중 계수들

또는

은 비트스트림 F1 의 사이즈를 감소시키기 위해 인코딩되기 전에 양자화된다.

다른 예에 따르면, 백라이트 프레임 Ba 의 각 컴포넌트 Ba^j 는 인코더 ENC1 에 의해 비트스트림 F1 에서 인코딩되는 화상인 것으로 고려된다.

단계 (103) 에서, 레지듀얼 프레임 Res 는 백라이트 프레임의 디코딩된 버전으로 프레임 I 을 나눔으로써 계산된다.

인코더 측 및 디코더 측 양자 모두에서 동일한 백라이트 프레임을 보장하기 위해 백라이트 프레임의 디코딩된 버전을 사용하여, 최종 디코딩된 프레임

의 더 양호한 정밀도를 야기하는 것이 이롭다.

더욱 상세하게는, 모듈 IC 로부터 획득된 프레임 I 의 각 컴포넌트 I^j 는 백라이트 프레임의 컴포넌트의 디코딩된 버전

에 의해 나누어진다. 이러한 제산은 화소 단위로 행해진다.

예를 들어, 프레임 I 의 컴포넌트들 R, G, B 가 칼라 공간 (R,G,B) 에서 표현되는 경우, 컴포넌트 Res¹, Res² 및 Res³ 는 다음과 같이 획득된다:

예를 들어, 프레임 I 의 컴포넌트들 X, Y 또는 Z 가 칼라 공간 (X,Y,Z) 에서 표현되는 경우, 컴포넌트 Res¹, Res² 및 Res³ 는 다음과 같이 획득된다:

일 실시형태에 따르면, 단계 (104) 에서, 백라이트 프레임의 적어도 하나의 디코딩된 버전

은 디코더 DEC1 에 의해 비트스트림 F1 을 적어도 부분적으로 디코딩함으로써 획득된다.

상술된 바와 같이, 단계 (101) 의 출력인 백라이트 프레임의 컴포넌트를 획득하기 위해 필요한 일부 데이터는 인코딩되었고 (단계 (102)), 그 후 비트스트림 F1 을 적어도 부분적으로 디코딩함으로써 획득되었다.

위에서 주어진 예를 따르면, 가중 계수들

(및 잠재적으로 형상 함수들

) 는 그 후 단계 (104) 의 출력으로서 획득된다.

그 후, 단계 (105) 에서, 모듈 BAG 은:

에 의해 일부 알려진 비적응형 형상 함수들 또는 형상 함수들

중 어느 것 및 가중 계수들

로부터 백라이트 프레임의 컴포넌트의 디코딩된 버전

을 생성한다.

다른 예에 따르면, 백라이트 프레임의 컴포넌트의 디코딩된 버전

은 비트스트림 F1 을 디코딩함으로써 직접 획득된다.

단계 (106) 에서, 모듈 MAP 는 상기 적어도 하나의 톤 맵핑된 컴포넌트 Res^j _v 로부터 구축된 시인가능한 (viewable) 레지듀얼 프레임 Res_v 을 얻기 위해 레지듀얼 프레임 Res 의 적어도 하나의 컴포넌트 Resj 를 톤 맵핑함으로써 적어도 하나의 톤 맵핑된 컴포넌트 Res^j _v 를 획득한다.

레지듀얼 프레임 Res 은 그것의 동적 범위가 너무 높기 때문에 그리고 이러한 레지듀얼 프레임 Res 의 디코딩된 버전이 높은 가시적인 아티팩트들을 보여주기 때문에 시인가능하지 않을 수도 있다. 레지듀얼 프레임의 적어도 하나의 컴포넌트를 톤 맵핑하는 것은 톤 맵핑된 레지듀얼 프레임이 인코딩될 프레임에서의 오리지날 장면에 비해 장면의 합리적으로 잘 그리고 일관성 있게 톤 맵핑된 버전을 예술적으로 렌더링한다는 의미에서 시인가능한 레지듀얼 프레임을 제공한다. 따라서, 이러한 방법은 시인가능한 레지듀얼 프레임이 높은 동적 범위를 핸들링할 수 없는 전통적인 장치에 의해 디코딩 및/또는 디스플레이될 수도 있기 때문에 백워드 호환가능하다.

인코딩된 레지듀얼 프레임으로부터 시인가능한 SDR 프레임을 자동적으로 제공하는 능력은 그것이 HDR 프레임 (비디오) 을 디코딩하기 위해 백라이트 프레임 및 레지듀얼 프레임 양자 모두를 포스트-프로세싱하는 것에 전용이 아닌 표준 SDR TV 세트들 및 수신 디바이스가 구비된 고객들에게 HDR 프레임 (비디오) 를 배포하는 것을 허용하기 때문에 중요한 이점이다.

게다가, 그러한 방법에 의해 HDR 프레임을 인코딩하는 것은 고도로 공간적으로 상관되는 (및 프레임들의 동일한 시퀀스의 다른 프레임들과 시간적으로 상관되는) 톤 맵핑된 레지듀얼 프레임 Res, 및 백라이트 프레임이 별개로 인코딩되기 때문에 효율적인 인코딩 스킴을 야기한다. 따라서, 코딩 이득은 톤 맵핑된 레지듀얼 프레임의 높은 압축 레이트 및 백라이트 프레임을 인코딩하기 위한 데이터의 작은 양으로 인해 도달된다.

본 개시는 임의의 특정의 맵핑 연산자에 제한되지 않는다. 이러한 단일의 조건은 톤 맵핑 연산자가 가역적일 수 있을 것이라는 것이다.

예를 들어, Reinhard (Reinhard, E., Stark, M., Shirley, P., and Ferwerda, J., "Photographic tone reproduction for digital frames", ACM Transactions on Graphics 21 (July 2002)), 또는 Boitard, R., Bouatouch, K., Cozot, R., Thoreau, D., & Gruson, A. (2012) 에 의해 정의된 톤 맵핑 연산자가 사용될 수도 있다. 비디오 톤 맵핑을 위한 시간적 코히어런시. A. M. J. van Eijk, C. C. Davis, S. M. Hammel, & A. K. Majumdar (Eds.), Proc. SPIE 8499, Applications of Digital Frame Processing (p. 84990D-84990D-10)).

단계 (106) 의 실시형태에 따르면, 레지듀얼 프레임의 컴포넌트 Res^j 를 맵핑하는 것은 레지듀얼 프레임의 컴포넌트 Res¹ 의 화소 값들에 따라 감마 정정 또는 SLog 정정 중 어느 것을 포함한다.

시인가능한 레지듀얼 프레임 Res_v 의 컴포넌트 Res^j _v 는 그 후 예를 들어:

에 의해 주어지며, A 는 상수 값이고, γ^j 는 예를 들어 1/2.4 와 동일한 감마 곡선의 계수이다.

대안적으로, 시인가능한 레지듀얼 프레임 Res_v 의 컴포넌트 Res^j _v 는 예를 들어:

에 의해 주어지며, a^j, b^j, c^j 는 0 및 1 이 불변이도록 결정된 SLog 곡선의 계수들이고, SLog 곡선의 도함수는 1 아래의 감마 곡선에 의해 연장되는 경우 1 에서 연속이다. 따라서, a^j, b^j, c^j 는 파라미터 γ^j 의 함수들이다.

일 실시형태에 따르면, 레지듀얼 프레임의 컴포넌트에 대한 감마-SLog 곡선의 파라미터 γ^j 는 인코더 ENC1 에 의해 인코딩되고 비트스트림 F1 에서 추가된다.

레지듀얼 프레임 Res 의 루마 컴포넌트에 대해 감마 정정을 적용하는 것은 어두운 영역들을 풀 업 (pull up) 하지만, 밝은 화소들의 버닝 (burning) 을 피하기에 충분히 높은 광들을 낮추지는 않는다.

레지듀얼 프레임 Res 의 루마 컴포넌트에 대해 SLog 정정을 적용하는 것은 높은 광들을 충분히 낮추지만, 어두운 영역들을 풀 업하지 않는다.

그 후, 단계 (106) 의 바람직한 실시형태에 따르면, 모듈 MAP 은 레지듀얼 프레임 Res 의 컴포넌트의 화소 값들에 따라 SLog 정정 또는 감마 정정 중 어느 것을 적용한다.

어두운 및 밝은 정보의 손실이 존재하지 않도록 감마 및 SLog 정정들은 높은 정밀도로 레지듀얼 프레임 및 백라이트 프레임으로부터 HDR 프레임의 재구성을 야기한다. 게다가, 감마 및 S-log 정정들은 재구성된 HRD 프레임 및 시인가능한 레지듀얼 프레임 양자 모두에서의 평평한 클리핑된 영역들을 회피한다.

예를 들어, 레지듀얼 프레임 Res 의 컴포넌트의 화소 값이 (1 과 동일한) 임계값 아래에 있는 경우, 감마 정정이 적용되고, 그렇지 않은 경우 SLog 정정이 적용된다.

구성에 의해, 시인가능한 레지듀얼 프레임 Res_v 의 컴포넌트는 보통 프레임 I 의 연관된 컴포넌트의 밝기에 따라 1 과 다소 가까운 평균 값을 가져, 상기 감마-Slog 조합의 사용을 특히 효율적이게 한다.

방법의 실시형태에 따르면, 단계 (107) 에서, 모듈 SCA 는 스케일링 팩터 cst_scaling 에 의해 상기 컴포넌트를 승산함으로써 인코딩 (단계 (110)) 하기 전에 레지듀얼 프레임의 적어도 하나의 컴포넌트 Res^j 또는

를 스케일링한다.

레지듀얼 프레임의 컴포넌트 j 를 스케일링하는 것은 레지듀얼 프레임으로부터 획득된 프레임의 평균 그레이를 뷰잉 및 코딩 양자 모두에 대해 적절한 값에 둔다.

레지듀얼 프레임 Res_s 의 결과의 컴포넌트

는 그 후 방법의 실시형태들에 따라

에 의해 주어진다.

바람직하게는, 스케일링 팩터 cst_scaling 는 0 에서 최대값 2^N-1 까지의 레지듀얼 프레임의 컴포넌트의 값들을 맵핑하도록 정의되며, 여기서 N 은 인코더 ENC2 에 의한 코딩을 위한 입력으로서 허용되는 비트들의 수이다.

이것은 당연히 미드-그레이 루마 값 2^N-1 에 (레지듀얼 프레임의 컴포넌트의 대략 평균값인) 루마 값 1 을 맵핑함으로써 획득된다. 따라서, 비트들의 표준 수 N=8 을 갖는 레지듀얼 프레임의 컴포넌트에 대해, 120 과 동일한 스케일링 팩터는 2⁷=128 에서 중성 그레이에 매우 근접되기 때문에 매우 일관성있는 값이다.

방법의 일 실시형태에 따르면, 단계 (108) 에서, 모듈 CLI 는 예를 들어 인코더 ENC2 의 능력들에 따라 정의되는 타겟팅된 동적 범위 TDR 로 그의 동적 범위를 제한하기 위해 인코딩 전에 레지듀얼 프레임의 적어도 하나의 컴포넌트를 클립핑한다.

레지듀얼 프레임을 클립핑하는 것은 비트들의 제한된 수를 보장하고, 그것을 인코딩하기 위한 전통적인 인코딩/디코딩 스킴의 사용을 허용한다. 또한, 그 인코딩/디코딩 스킴은, 낮은 동적 범위, 통상적으로 8-10 비트들을 갖는 레지듀얼 프레임만이 프레임의 낮은 동적 범위 버전을 디스플레이하기 위해 그러한 인프라스트럭쳐를 통해 송신될 수도 있기 때문에, 현존하는 인프라스트럭쳐 (코덱, 디스플레이들, 배포 채널들 등) 와 백워드 호환가능하다. 백라이트 데이터를 포함하는 작은 비트-스트림은 프레임 (즉, HDR 프레임) 의 오리지날 버전을 배포하기 위해 전용 인트라스트럭쳐를 통해 사이드 컨테이너 (side container) 에서 반송될 수도 있다.

이러한 마지막 실시형태에 따르면, 결과의 레지듀얼 프레임 Res_c 의 컴포넌트

는 방법의 실시형태들에 따라 예를 들어

에 의해 주어진다.

본 개시는 그러한 클립핑 (max(.)) 에 제한되지 않고, 임의의 종류의 클립핑으로 확장된다.

스케일링 및 클림핑 실시형태들을 결합하는 것은 방법의 실시형태들에 따라

에 의해 주어지는 레지듀얼 프레임 Res_sc 의 컴포넌트

를 야기한다.

레지듀얼 프레임의 컴포넌트의 맵핑 및 스케일링은 파라메트릭 프로세스이다. 파라미터들은 고정되거나 고정되지 않을 수도 있고, 이후의 케이스에서 그들은 인코더 ENC1 에 의해 비트스트림 F1 에서 인코딩될 수도 있다.

방법의 일 실시형태에 따르면, 감마 정정의 상수 값 γ, 스케일링 팩터 cst_scaling 은 비트스트림 F1 에서 인코딩되는 파라미터들일 수도 있다.

파라미터들 α, cst_mod, cst_scaling, γ^j, β 의 선택은 포스트-프러덕션 및 칼라 그레이딩에서의 전문가의 기호에 따라 컨텐츠를 최선으로 적합시키는 맵핑의 선택에 대한 여유를 제공한다.

한편, 보편적인 파라미터들이 매우 다양한 프레임들 모두에 대해 수락가능하도록 정의될 수도 있다. 그 후, 어떠한 파라미터들도 비트스트림 F1 에서 인코딩되지 않는다.

본 개시에 따르면, 단계 (110) 에서, 레지듀얼 프레임 Res (Res_v, Res_s 또는 Res_c) 는 예측자 Pred 를 사용하여 인코더 ENC2 에 의해 예측적 인코딩되고, 통신 네트워크를 통해 송신 및/또는 저장될 수도 있는 비트스트림 F2 에서 추가된다.

본 개시에 따르면, 단계 (109) 에서, 레지듀얼 프레임 Res (Res_v, Res_s 또는 Res_c) 의 예측자 Pred 는 단계 (112) 의 출력인, 임포즈된 프레임 IMF 의 디코딩된 버전

으로부터 계산된다.

용어 "임포즈된 (imposed") 은 프레임 IMF 가 레지듀얼 프레임 Res (Res_v, Res_s 또는 Res_c) 과 상이하다는 것을 나타낸다. 프레임 IMF 는 프레임 I 의 낮은 동적 범위 버전이다. 프레임 IMF 및 프레임 I 은 아티스트들에 의해 상이하게 칼라-그레이드되었을 수도 있고 및/또는 상이한 칼라 공간들 (예를 들어 프레임 IMF 에 대해 Rec. 709 및 프레임 I 에 대해 REC.2020 칼라 공간) 에서 표현될 수도 있다.

단계 (109) 의 일 실시형태에 따르면, 예측자 Pred 를 계산하는 것은 칼라 맵핑 함수 (CMF) 에 의해 레지듀얼 프레임 Res (Res_v, Res_s 또는 Res_c) 로 임포즈된 프레임 IMF 의 디코딩된 버전

을 맵핑하는 것을 포함한다.

레지듀얼 프레임과 예측자 Pred 사이에 계산된 레지듀얼의 역학이 그 후 감소되기 때문에, 이것은 예측적 인코더 ENC2 의 코딩 효율을 향상시킨다.

칼라 맵핑 함수 CMF 는 프레임들 I 및 IMF 의 칼라 공간들에, 그리고 또한 컨텐츠 자체에 의존할 수도 있다. 실제로, 프레임 컨텐츠 생성에서, 일부 칼라 정정들이 컨텐츠 생성자 예술적 의향에 따라 프레임 I 또는 프레임 IMF 중 어느 것 또는 양자 모두에 동작된다. 프레임들 I 및 IMF 의 컴포넌트들에 적용된 이들 칼라 변환들은 상이할 수 있다. 그 후, 일반적인 케이스에서, 칼라 맵핑 함수 CMF 는 간단한 결정론적 칼라 공간 변환으로 감소되지 않는다.

일 실시형태에 따르면, 칼라 맵핑 함수 CMF 는 신택스에 대한 HEVC 서브섹션 F.7.3.2.3.5 "칼라 맵핑 옥탄트들 신택스" 및 시맨틱스들에 대한 서브섹션 F.7.4.3.3.5 "칼라 맵핑 옥탄트들 시맨틱스" 에서 정의된 바와 같은 3D 칼라 룩업 테이블 (3D 칼라 LUT) 을 사용한다.

3D 칼라 LUT 는 보통 3D 칼라 공간에 대해 도 7 에 도시된 바와 같은 옥탄트들의 그리드로서 표현된다. 그 그리드는 칼라 공간을 N 개의 영역들 Ri 로 분할하며, i ∈ [0,N-1] 이고, N 은 정수이다. 그 영역 파티셔닝은 대칭적이거나 비대칭적일 수도 있다 (동일하지 않게 분할될 수도 있다). 영역은 또한 옥탄트 (octant) 로 불린다. 적어도 하나의 파라미터는 HEVC 의 서브섹션들 F.7.3.2.3.4 "일반 칼라 맵핑 테이블 신택스" 및 F.7.3.2.3.5 "칼라 맵핑 옥탄트들 신택스" 에서 기술된 바와 같은 각 옥탄트와 연관된다. 칼라 맵핑 함수 CMF 는 그 후 모든 옥탄트들이 적어도 하나의 연관된 파라미터를 가질 때 정의된다. 보통, 칼라 맵핑 함수 CMF 는 또한 서브섹션들 H.8.1.4.3.1 "루마 샘플 값들의 칼라 맵핑 프로세스" 및 H.8.1.4.3.2 "크로마 샘플 값들의 칼라 맵핑 프로세스" 에서 HEVC 에서 기술된 보간 함수와 연관된다.

도 2 에 도시된 방법의 일 실시형태에 따르면, 단계 (100) 에서, 모듈 IC 은 프레임 IMF 의 적어도 컴포넌트 IMF^j 를 획득한다.

레지듀얼 프레임 Res_v 의 적어도 하나의 컴포넌트가 스케일링되는 경우 (단계 (107)), 단계 (200) 에서, 모듈 ISCA 는 로컬 메모리로부터 또는 디코더 DEC1 에 의한 비트스트림 F1 의 적어도 부분적인 디코딩에 의해 획득되는 파라미터

에 의해 상기 컴포넌트를 나눔으로써 프레임 IMF 의 적어도 하나의 컴포넌트 IMF^j 에 역 스케일링을 적용했다.

단계 (113) 에서, 모듈 IMAP 는 상기 적어도 하나의 획득된 컴포넌트에 역 맵핑 연산자를 적용함으로써, 단계 (100) 로부터 또는 단계 (200) 로부터 획득된 적어도 하나의 컴포넌트의 역 맵핑된 버전을 획득한다. 상기 역 맵핑 연산자는 단계 (106) 에서 레지듀얼 프레임의 컴포넌트(들) 에 적용되는 맵핑 연산자의 역이다.

파라미터들

은 로컬 메모리로부터 또는 디코더 DEC1 에 의한 비트스트림 F1 의 적어도 부분적인 디코딩에 의해 획득된다.

다음에, 프레임 IMF 의 컴포넌트의 역 스케일링된 버전 (단계 (200) 의 출력), 또는 그의 역 맵핑된 버전 (단계 (113) 의 출력) 은 컴포넌트 IIMF^j 로 불린다.

단계 (103) 에서, 컴포넌트 D^j, 단계 (101) 의 입력은 그 후 컴포넌트 IIMF^j 에 의해 프레임 I 의 각 컴포넌트 I^j 를 나눔으로써 계산된다.

단계 (101) 에서, 모듈 BAM 은 프레임 I 의 컴포넌트 I^j 에 대해 상술된 바와 같은 각 컴포넌트 D 로부터 백라이트 프레임 Ba 의 컴포넌트 Ba^j 를 결정한다.

도 6 은 본 개시의 예시적인 실시형태에 따라 3D 칼라 LUT 를 생성하는 방법의 플로우챠트를 도시한다.

단계 (60) 에서, 3D 칼라 LUT 의 구조가 결정된다. 여기서, 3D 칼라 LUT 는 보통 3D 칼라 공간에 대해 도 7 에 도시되고 상술된 바와 같은 옥탄트를 나타내는 파라미터들에 의해 표현된다.

단계 (61) 에서, 일부 영역들은 가능하게는 다수의 옥탄트들 R_k 로 분할될 수 있다.

단계 (62) 에서, 각 영역 R_k 에 대해, 적어도 파라미터가 프레임 IMF 의 디코딩된 버전의 화소들 p 로부터 또는 그의 칼라 값이 상기 영역 R_k 에 속하는 그들 중 일부로부터 그리고 레지듀얼 프레임 Res (또는 본 개시의 실시형태들에 따라 Res_v, Res_s 또는 Res_c) 내의 공간적으로 대응하는 화소들 p' 로부터 각 옥탄트에 대해 결정된다.

일 변형에 따르면, 프레임 IMF 의 디코딩된 버전의 화소들의 서브세트 (예를 들어, 2 중 하나) 만이 프로세스를 스피드-업 (speed-up) 하기 위해 고려된다.

일 변형에 따르면, 공간적으로 대응하는 화소 p' 는 동일 장소에 배치된 (colocated) 화소 또는 공간 변환 (예를 들어, 업샘플링, 병진 등) 을 받는 대응하는 공간 위치를 갖는 화소이다.

따라서, 옥탄트들과 연관된 파라미터들은 영역에 따라 국부적으로 결정되며, 이것은 파라미터들의 더 낮은 수가 한번에 핸들링되기 때문에 계산들을 용이하게 한다.

단계 (62) 의 일 실시형태에 따르면, 현재의 영역 R_k 의 옥탄트와 연관된 적어도 파라미터를 결정하는 것은, 그의 칼라 값들이 상기 영역 R_k 에 속하는 프레임 IMF 의 디코딩된 버전의 화소들 p (또는 그들의 서브세트) 의 칼라 값들

의 (칼라 맵핑 함수 CMF_k 에 의한) 재맵핑된 버전과, 레지듀얼 프레임 Res (Res_v 또는 Res_s 또는 Res_c) 내의 공간적으로 대응하는 화소들 p' 의 칼라 값들 Res(p) 사이의 거리를 최소화하는 칼라 맵핑 함수 CMF_k 의 파라미터들을 결정하는 것을 포함한다. 예를 들어, 영역 R_k 에 대한 CMF_k 의 파라미터들은 다음의 식:

을 최소화하는 것들이며, 여기서 dist 는 거리 메트릭이다. 일 예로서, dist 는 L1-norm 또는 L2-norm 이다.

일 변형에 따르면, dist 는 가중된 차이이다.

일 예에 따르면, CMF_k 의 파라미터들은 잘 알려딘 최소 제곱 에러 최소화 기법에 의해 결정된다.

일단 CMF_k 의 파라미터들이 결정되었으면, 영역 R_k 의 옥탄트들의 파라미터들이 그 후 결정된다. 옥탄트 Oc(x,y,z) 에 대해, 그것의 연관된 파라미터들 값(들) 은 CMF_k(Oc(x,y,z)) 로서 설정된다.

수학적으로 말하면, 레지듀얼 프레임 Res 이 3 개의 컴포넌트들을 포함하는 경우, 칼라 맵핑 함수 CMF_k 는 3x3 매트릭스 파라미터들:

및 3 개의 오프셋 파라미터들

을 갖는 파라메트릭 모델일 수 있으며, 여기서 영역 R_k 에 대한 예측자 Pred_k 의 컴포넌트

는

에 의해 주어지고, Δ¹(p), Δ²(p) 및 Δ³(p) 는 컴포넌트 Res¹ (각각 Res² 및 Res³) 의 값과 현재의 옥탄트 좌표들의 상대적인 컴포넌트 사이의 차이들이다. 파라미터들

은 3D 칼라 LUT 로부터 획득된다.

SHVC 섹션 H.8.1.4.3 에서 기술된 바와 같은 일 변형에서, Δ¹(p), Δ²(p) 및 Δ³(p) 는 컴포넌트 Res¹ (각각 Res² 및 Res³) 의 값이다.

본 개시는 오프셋 함수를 갖는 3x3 매트릭스의 사용에 제한되지 않고, 그들의 편도함수들을 제공하는 임의의 파라메트릭 맵핑 함수로 확장될 수도 있다.

프레임 IMF 의 디코딩된 버전은 프레임들의 제 1 시퀀스에 의해 대체될 수 있고, 레지듀얼 프레임은 프레임들의 제 2 시퀀스에 의해 대체될 수 있다. 이러한 경우에, 각각의 영역 또는 옥탄트 R_k 에 대해, 파라미터들은 (그의 칼라 값들이 상기 영역 R_k 에 속하는) 프레임들의 제 1 시퀀스의 화소들 p 의 칼라 값들의 재맵핑된 버전으로부터 그리고 프레임들의 제 2 시퀀스에서의 공간적으로 대응하는 화소들 p' 의 칼라 값들로부터 결정된다. 이러한 경우에, 프레임들의 제 2 시퀀스에서의 공간적으로 대응하는 화소 p' 는 화소 p 가 속하는 프레임과 시간적으로 정렬된 프레임에 속한다.

수개의 칼라 파라미터들은 3D 칼라 LUT 의 각각의 옥탄트, 예를 들어 RGB 칼라 값들, Y'CbCr 또는 YUV 와 같은 4 개의 칼라 값들과 연관될 수 있다.

식 (3) 의 최소화는 해를 항상 갖는 것은 아니다. 실제로, 그 최소화는 매트릭스 역변환을 사용한다. 일부 경우들에서, 매트릭스는 부정확하게 구성되고, 그 역변환은 실패한다 (예를 들어, 매트릭스의 행렬식이 널 (null) 이다). 또한, 그의 칼라 값들이 주어진 영역 있는 화소들의 수가 임계값 아래에 있는 경우, 최소화는 정확하지 않다. 이러한 경우에, 상기 거리를 최소화하는 것이 상기 영역 R_k 에 대해 실패하는 경우, 칼라 파라미터들을 획득하는 것은 R_k 를 포함하는 영역의 파라미터들로부터 상기 영역의 파라미터들을 보간하는 것 또는 상기 현재 영역을 포함하는 영역에 대해 계산된 칼라 변환의 파라미터들로부터 직접 그들을 계산하는 것을 포함한다. 일 예로서, R_k 의 칼라 파라미터들은 도 8 에 도시된 바와 같은 영역 R_k 을 포함하는 영역 R'_k 에 대해 결정된 파라미터들을 갖는 3x3 매트릭스 및 오프셋 함수로부터 계산된다.

일 변형에 따르면, 영역 R_k 의 칼라 파라미터들은 영역 R'_k 의 칼라 파라미터들로부터 보간된다.

일 변형에 따르면, 영역 R_k 의 칼라 파라미터들은 영역 R'_k 의 칼라 파라미터들로부터 예측되고 레지듀얼들은 인코딩된다.

일 실시형태에 따르면, 파라미터들 Param 은 인코더 ENC1 에 의해 인코딩되고 비트스트림 F1 에서 추가된다. 이들 파라미터들 Param 은 3D 칼라 LUT 의 옥탄트, 레지듀얼 프레임의 각 화소가 속하는 옥탄트를 결정하는 데이터, 및 각각의 칼라 맵핑 함수 CMF_k 의 파라미터들 (

) 과 연관될 수도 있다. 일 변형에서, 3D 칼라 LUT 의 옥탄트와 연관된 파라미터들 및 각각의 칼라 맵핑 함수 CMF_k 의 파라미터들 (

) 은 인코딩되지 않는다.

본 개시의 일 변형에 따르면, 동일한 파라미터들

이 각각의 칼라 맵핑 함수 CMF_k 에 대해 사용된다.

도 9 는 칼라 맵핑 함수 CMF 가 화소 p 의 맵핑된 칼라 값을 결정하기 위해 3D 칼라 LUT 를 사용하는 경우 단계 (109) 의 서브 단계들의 다이어그램을 도시한다.

단계 (1090) 에서, 프레임 IMF 의 디코딩된 버전의 주어진 화소 p 에 대해, 화소 p 가 속하는 옥탄트 CO 가 결정된다. 이것은 3D 칼라 LUT 의 각 차원이 2 개의 부분으로 파티셔닝되는 경우 화소 p 의 칼라 컴포넌트들의 제 1 N MSB (Most Significant Bit) 들의 값들에 기초하여 용이하게 결정될 수 있다.

선택적으로, 단계 (1091) 에서, HEVC 의 chapter H.8.1.4.3.1 에서 그리고 chapter "2.1 (y, u, v) triplet adjustment when phase alignment is enabled" 의 JCTVC-Q0048_r1 에서 기술된 바와 같이, 컴포넌트들의 일부 조정들이 적용된다. 예를 들어, 루미넌스 및 크로마 컴포넌트들의 화소들이 정렬되지 않는 경우 (통상적으로 4:2:0 포맷이 사용되는 경우), 루미넌스 및 크로마 컴포넌트들의 화소들의 공간적 로케이션들이 조정되거나 (테스쳐 및 모션의 리샘플링), 또는 비트 깊이들이 동일하지 않는 경우, 컴포넌트들의 비트 깊이가 또한 적응된다. 예를 들어, JCTVC-R1030_v6 의 chapter H.8.1.4.3.1 에서 도시된 바와 같이, 비트 깊이는 다음과 같이 소정량 만큼 시프트될 수도 있다:

nMappingShift = 10 + BitDepthCmInputY - BitDepthCmOutputY

단계 (1092) 에서, 레지듀얼 프레임의 화소와 연관된 예측된 칼라 값은 따라서 식 (4) 에 의해 주어진다.

선택적으로, 단계 (1091) 에서의 정렬 및/또는 적응이 발생한 경우, 단계 (1093) 에서, 역 정렬 및/또는 적응이 예측된 (맵핑된) 칼라 값들에 적용된다.

도 10 은 백라이트 프레임에 의해 프레임을 나눔으로써 계산된 레지듀얼 프레임을 표현하는 비트스트림을 디코딩하기 위한, 본 개시의 일 실시형태에 따른, 방법의 단계들의 블록도를 도시한다.

상술된 바와 같이, 단계들 (104 및 105) 에서, 디코딩된 백라이트 프레임

은 디코더 DEC1 에 의해 비트스트림 F1 의 적어도 부분적인 디코딩에 의해 획득된다. 비트스트림 F1 은 국부적으로 저장되거나 통신 네트워크로부터 수신되었다.

단계 (112) 에서, 디코딩된 프레임

은 비트스트림 F3 의 적어도 부분적인 디코딩에 의해 획득된다.

단계 (1100) 에서, 예측자

는 프레임

및 3D 칼라 LUT 에 대한 일부 파라미터들

로부터 획득된다. 파라미터들

은 메모리로부터 또는 비트스트림 F1 의 적어도 부분적인 디코딩에 의해 획득된다.

이들 파라미터들 Param 은 3D 칼라 LUT 의 옥탄트들, 레지듀얼 프레임의 각 화소가 속하는 옥탄트를 결정하는 데이터, 및 각각의 칼라 맵핑 함수 CMF_k 의 파라미터들 (

) 과 연관될 수도 있다.

일 변형에서, 3D 칼라 LUT (의 옥탄트들) 과 연관된 칼라 파라미터들 및/또는 각각의 칼라 맵핑 함수 CMF_k 의 파라미터들 (

) 은 로컬 메모리로부터 획득된다.

예측자

는 그 후 그리드 구조를 갖는 3D 칼라 LUT 의 각각의 영역 R_k 의 옥탄트들과 연관된 파라미터들 및 영역 R_k 에 대한 각 칼라 맵핑 함수 CMF_k 의 파라미터들 (

) 로부터 획득된다.

단계 (1101) 에서, 디코딩된 레지듀얼 프레임

은 예측자

를 사용함으로써 그리고 디코더 DEC2 에 의해 비트스트림 F2 의 적어도 부분적인 디코딩에 의해 예측적 디코딩된다. 비트스트림 F2 는 국부적으로 저장되거나 통신 네트워크로부터 수신되었다.

단계 (1101) 의 실시형태에 따르면, 예측자는 3D 칼라 LUT 의 각 영역 R_k 에 대한 특정의 예측자

를 포함한다.

그 후, 방법은 비트스트림 F1 의 적어도 부분적인 디코딩에 의해 레지듀얼 프레임의 각 픽셀 p' 이 속하는 옥탄트 CO 를 결정하는 데이터를 획득하고, 영역 R_k 에 속하는 디코딩된 레지듀얼 프레임

의 각 픽셀 p' 의 칼라 값은 영역 R_k 에 대한 예측자

를 사용함으로써 그리고 디코더 DEC2 에 의해 비트스트림 F2 을 적어도 부분적으로 예측적 디코딩함으로써 디코딩된다.

단계 (1102) 에서, 디코딩된 프레임

의 컴포넌트는 디코딩된 백라이트 프레임

의 컴포넌트

에 의해 디코딩된 레지듀얼 프레임

의 컴포넌트

를 승산함으로써 획득된다.

단계 (104) 의 일 실시형태에 따르면, 파라미터들

및/또는

은 또한 로컬 메모리로부터 또는 디코더 DEC1 에 의해 비트스트림 B1 의 적어도 부분적인 디코딩에 의해 획득된다.

방법에 따르면, 단계 (200) 에서, 모듈 ISCA 는 파라미터

에 의해 상기 컴포넌트를 나눔으로써 디코딩된 레지듀얼 프레임

의 적어도 하나의 컴포넌트

를 적용했다.

단계 (113) 에서, 모듈 IMAP 는 상기 적어도 하나의 획득된 컴포넌트에 역 맵핑 연산자를 적용함으로써 단계 (1101) 의 출력 또는 단계 (200) 의 출력으로 획득된 적어도 하나의 컴포넌트의 역 맵핑된 버전을 획득한다.

일 실시형태에 따르면, 모듈 IMAP 는 파라미터들

을 사용한다.

예를 들어, 파라미터

는 감마 곡선을 정의하고, 역 톤 맵핑은 그 감마 곡선으로부터 디코딩된 레지듀얼 프레임

의 화소 값들에 대응하는 값들을 발견하는데 있다.

디코더들 DEC1, DEC2 및 DEC3 는 각각 인코더 ENC1, ENC2 및 ENC3 에 의해 인코딩되었던 데이터를 디코딩하도록 구성된다.

인코더들 ENC1, ENC2 및 ENC3 (및 디코더들 DEC1, DEC2 및 DEC3) 은 특정의 인코더 (디코더) 에 제한되지 않지만, 엔트로피 인코더 (디코더) 가 요구되는 경우, 허프만 코더, 산술 코더 또는 H.264/AVC 또는 HEVC 에서 사용되는 Cabac 와 같은 콘텍스트 적응형 코더와 같은 엔트로피 인코더가 이롭다.

인코더들 ENC1 및 ENC3 (및 디코더들 DEC1 및 DEC3) 은 예를 들어 JPEG, JPEG2000, MPEG2, h264/AVC 또는 HEVC 와 같은 손실을 갖는 프레임/비디오 코더일 수도 있는 특정의 인코더에 제한되지 않는다.

인코더 ENC2 (및 디코더 DEC2) 는 JPEG, JPEG2000, MPEG2, H.264/AVC 또는 HEVC 와 같은 예측자를 사용하는 임의의 예측적 인코더에 제한되지 않는다.

인코더들 ENC1, ENC2 및 ENC3 (디코더들 DEC1, DEC2 및 DEC3) 은 예를 들어 표준 SHVC 에 따르는 인코더 (디코더) 와 같은 동일한 인코더 (각각 동일한 디코더) 일 수도 있다. 단일의 비트스트림이 그 후 비트스트림들 F1, F2 및 F3 에 의해 반송된 데이터를 포함하여 생성된다.

본 개시의 실시형태에 따르면, 비트스트림 F1 에 의해 반송된 데이터 및/또는 비트스트림 F3 에 의해 반송된 데이터는 그의 신택스가 H264/AVC, HEVC 또는 SHVC 표준에 따르는 보조 화상으로서 인코딩된다. 보조 화상들은 실제로 컨텐츠의 메인 스트림 (메인 비디오) 에 대응하는, 소위 "프라이머리 코딩된 화상" 에 더하여 H264/AVC 또는 HEVC 또는 SHVC 표준에서 정의되었다. 보조 화상들은 보통 알파 합성, 크로마 향상 정보 또는 3D 애플리케이션들에 대한 깊이 정보와 같은 추가적인 프레임 정보의 전성을 가능하게 한다.

본 개시의 일 실시형태에 따르면, 예측적 인코딩된 레지듀얼 프레임은 그의 신택스가 H264/AVC 또는 HEVC 표준에 따르는 프라이머리 화상으로서 비트스트림 F2 에 임베딩된다.

이것은 H264/AVC 또는 HEVC 표준을 완전히 따르고 3D 칼라 LUT, 인코딩된 임포즈된 프레임 IMF 및 백라이트 프레임 Bal 을 결정하기 위해 필요한 데이터를 사용하여 예측적 인코딩된 레지듀얼 프레임을 디코딩하는데 필요한 데이터를 포함하는 단일의 비트스트림을 얻는 것을 허용한다. 디스플레이 전에 발생하는, 보조 데이터의 디코딩 방법은 그것의 이미 특정된 형태로 HEVC 사양에 따르며, 따라서 존재하는 대로 사용된다.

본 개시의 일 실시형태에 따르면, 백라이트 프레임 Bal, 단계 (101)의 출력 및 프레임 IMF 는 특정 프레임-팩킹-배열 스킴에 따라 단일의 프레임 SF 에 팩킹된다. 인코더는 프레임 SF 을 비트스트림으로 인코딩한다.

일 실시형태에 따르면, 단일의 프레임 SF 은 특정의 프레임-팩킹-배열 스킴에 의존하는 인코딩 파라미터들에 따라 인코딩된다.

이러한 실시형태의 변형에 따르면, 인코딩 파라미터들은 단일의 프레임 SF 이 2 개의 별개의 슬라이스들, 프레임 IMF 을 포함하는 하나 및 백라이트 프레임 Bal 을 포함하는 다른 슬라이스로 인코딩되도록 정의된다. 이들 슬라이스들은 또한 채용되는 표준 인코딩 스킴 (H264/AVC, HEVC, JPEG2000) 에 따라 슬라이스 그룹들, 타일들, 타일 그룹들, 구역들의 형태를 취할 수도 있다.

이러한 변형은 특정의 프로세싱, 그러한 특정의 인코딩이 프레임 IMF, 각각 백라이트 프레임에가 아니라, 백라이트 프레임, 각각 프레임 IMF 에 적용되는 것을 허용하기 때문에 이롭다.

비트스트림은 따라서 2 개의 별개의 팩킹된 구성요소 프레임들: 프레임 IMF 및 백라이트 프레임의 샘플들을 포함하는 단일의 프레임 SF 을 포함한다. 디코더는 비트스트림을 적어도 부분적으로 디코딩하고 프레임 IMF, 및 필요하다면 디코딩된 단일의 프레임 SF 으로부터 백라이트 프레임을 획득한다.

도 1 내지 도 5 및 도 9 내지 도 10 에서, 모듈들은 구별가능한 물리적 유닛들과 관련될 수도 있거나 관련이 없을 수도 있는 기능적 유닛들이다. 예를 들어, 이들 모듈들 또는 그들의 일부는 고유한 컴포넌트 또는 회로에 함께 도입될 수도 있거나 소프트웨어 기능들에 기여할 수도 있다. 반대로, 일부 모듈들은 잠재적으로 별개의 물리적 엔티티들로 구성될 수 있다. 본 개시와 양립가능한 장치들은 예를 들어 ASIC 와 같은 전용 하드웨어를 사용하는 순수한 하드웨어 또는 FPGA 또는 VLSI, 각각 <<Application Specific Integrated Circuit>>, <<Field-Programmable Gate Array>>, <<Very Large Scale Integration>> 을 사용하여, 또는 디바이스 내에 임베딩된 수개의 집적된 전자 컴포넌트들로부터 또는 하드웨어 및 소프트웨어 컴포넌트들의 블렌드로부터 구현된다.

도 11 은 도 1 내지 도 5 및 도 9 내지 도 10 과 관련하여 기술된 방법을 구현하도록 구성될 수도 있는 디바이스 (120) 의 예시적인 아키텍쳐를 도시한다.

디바이스 (120) 는 데이터 및 어드레스 버스 (121) 에 의해 함께 링크되는 다음의 엘리먼트들을 포함한다:

- 예를 들어, DSP (또는 Digital Signal Processor) 인 마이크로프로세서 (122) (또는 CPU);

- ROM (또는 Read Only Memory) (123);

- RAM (또는 Random Access Memory) (124);

- 애플리케이션으로부터, 송신할 데이터의 수신을 위한 I/O 인터페이스 (125); 및

- 배터리 (126).

일 변형에 따르면, 배터리 (126) 는 디바이스의 외부에 있다. 도 11 의 이들 엘리먼트들 각각은 본 기술에서 통상의 지식을 가진자들에 의해 잘 알려져 있고 더 상세히 기술되지 않을 것이다. 언급된 메모리 각각에서, 본 명세서에서 사용된 단어 << 레지스터 >> 는 작은 용량 (몇몇 비트들) 의 영역 또는 매우 큰 영역 (예를 들어, 전체 프로그램 또는 수신되거나 디코딩된 데이터의 큰 양) 에 대응할 수 있다. ROM (123) 은 적어도 프로그램 및 파라미터들을 포함한다. 본 개시에 따른 방법들의 알고리즘은 ROM (123) 에 저장된다. 스위치 온되는 경우, CPU (122) 는 RAM 에 프로그램을 업로드하고 대응하는 명령들을 실행한다.

RAM (124) 은 레지스터에 CPU (122) 에 의해 실행되고 디바이스 (120) 의 스위치 온 후에 업로드되는 프로그램, 레지스터에 입력 데이터, 레지스터에 방법의 상이한 상태들에서의 중간 데이터, 및 레지스터에 방법의 실행을 위해 사용되는 다른 변수들을 포함한다.

여기에 기술된 구현들은 예를 들어 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호에서 구현될 수 있다. (예를 들어, 방법 또는 디바이스로서만 논의된) 구현의 단일의 형태의 콘텍스트에서만 논의될지라도, 논의된 특징들의 구현은 또한 다른 형태들 (예를 들어 프로그램) 로 구현될 수 있다. 장치는 예를 들어 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법들은 예를 들어 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그램가능 로직 디바이스를 포함하는, 일반적으로 프로세싱 디바이스들로 지칭하는 예를 들어 프로세서와 같은 예를 들어 장치에서 구현될 수 있다. 프로세서들은 또한 예를 들어 컴퓨터들, 셀 폰들, 휴대용/개인용 디지털 보조기들 ("PDA 들") 과 같은 통신 디바이스들, 및 엔드 유저들 사이의 정보의 통신을 용이하게 하는 다른 디바이스들을 포함한다.

인코딩 또는 인코더의 특정의 실시형태에 따르면, 프레임 I 는 소스로부터 획득된다. 예를 들어, 소스는:

- 로컬 메모리 (123 또는 124), 예를 들어 비디오 메모리 또는 RAM (또는 Random Access Memory), 플래시 메모리, ROM (또는 Read Only Memory), 하드 디스크;

- 스토리지 인터페이스 (125), 예를 들어, 매스 스토리지, RAM, 플래시 메모리, ROM, 광 디스크 또는 자기적 지원과의 인터페이스;

- 통신 인터페이스 (125), 예를 들어, 유선 인터페이스 (예를 들어, 버스 인터페이스, 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스) 또는 무선 인터페이스 (예를 들어, IEEE 802.11 인터페이스 또는 블루투스® 인터페이스); 및

- 프레임 캡쳐링 회로 (예를 들어, 예를 들어 CCD (또는 Charge-Coupled Device) 또는 CMOS (또는 Complementary Metal-Oxide-Semiconductor) 와 같은 센서)

를 포함하는 세트에 속한다.

디코딩 또는 디코더의 상이한 실시형태들에 따르면, 디코딩된 프레임

은 목적지로 전송되며; 구체적으로는, 그 목적지는:

- 로컬 메모리 (123 또는 124), 예를 들어 비디오 메모리 또는 RAM, 플래시 메모리, 하드 디스크;

- 스토리지 인터페이스 (125), 예를 들어, 매스 스토리지, RAM, 플래시 메모리, ROM, 광 디스크 또는 자기적 지원과의 인터페이스;

- 통신 인터페이스 (125), 예를 들어, 유선 인터페이스 (예를 들어, 버스 인터페이스 (예를 들어, USB (또는 Universal Serial Bus)), 광역 네트워크 인터페이스, 로컬 영역 네트워크 인터페이스, HDMI (High Definition Multimedia Interface) 인터페이스) 또는 무선 인터페이스 (예를 들어, IEEE 802.11 인터페이스, WiFi® 또는 블루투스® 인터페이스); 및

- 디스플레이

를 포함하는 세트에 속한다.

인코딩 또는 인코더의 상이한 실시형태들에 따르면, 비트스트림 BF 및/또는 F 는 목적지로 전송된다. 예로서, 비트스트림 F 및 BF 중 하나 또는 양 비트스트림들 F 및 BF 가 로컬 또는 원격 메모리, 예를 들어 비디오 메모리 (124) 또는 RAM (124), 하드 디스크 (123) 에 저장된다. 일 변형에서, 하나 또는 양 비트스트림들은 스토리지 인터페이스 (125), 예를 들어 매스 스토리지, 플래시 메모리, ROM, 광 디스크 또는 자기적 지원과의 인터페이스로 전송되고 및/또는 통신 인터페이스 (125), 예를 들어, 포인트 투 포인트 링크, 통신 버스, 포인트 투 멀티포인트 링크 또는 브로드캐스트 네트워크로의 인터페이스를 통해 송신된다.

디코딩 또는 디코더의 상이한 실시형태들에 따르면, 비트스트림 BF 및/또는 F 는 소스로 획득된다. 예로서, 비트스트림은 로컬 메모리, 예를 들어 비디오 메모리 (124), RAM (124), ROM (123), 플래시 메모리 (123) 또는 하드 디스크 (123) 로부터 판독된다. 일 변형에서, 비트스트림은 스토리지 인터페이스 (125), 예를 들어 매스 스토리지, RAM, ROM, 플래시 메모리, 광 디스크 또는 자기적 지원과의 인터페이스로부터 수신되고 및/또는 통신 인터페이스 (125), 예를 들어, 포인트 투 포인트 링크, 버스, 포인트 투 멀티포인트 링크 또는 브로드캐스트 네트워크로의 인터페이스로부터 수신된다.

상이한 실시형태들에 따르면, 도 1 내지 도 6 및 도 10 과 관련하여 기술된 인코딩 방법을 구현하도록 구성되는 디바이스 (120) 는:

- 이동 디바이스;

- 통신 디바이스;

- 게임 디바이스;

- 태블릿 (또는 태블릿 컴퓨터);

- 랩톱;

- 스틸 이미지 카메라;

- 비디오 카메라;

- 인코딩 칩;

- 스틸 이미지 서버; 및

- 비디오 서버 (예를 들어, 브로드캐스트 서버, 비디오-온-디맨드 서버 또는 웹 서버)

를 포함하는 세트에 속한다.

상이한 실시형태들에 따르면, 도 10 과 관련하여 기술된 디코딩 방법을 구현하도록 구성되는 디바이스 (60) 는:

- 이동 디바이스;

- 통신 디바이스;

- 게임 디바이스;

- 셋 톱 박스;

- TV 세트;

- 태블릿 (또는 태블릿 컴퓨터);

- 랩톱;

- 디스플레이 및

- 디코딩 칩

를 포함하는 세트에 속한다.

도 12 에 도시된 실시형태에 따르면, 통신 네트워크 NET 를 통해 2 개의 원격 디바이스들 A 와 B 사이의 송신 콘텍스트에서, 디바이스 A 는 도 1 또는 도 2 와 관련하여 기술된 바와 같은 프레임을 인코딩하기 위한 방법을 구현하도록 구성되는 수단을 포함하고, 디바이스 B 는 도 10 과 관련하여 기술된 바와 같은 디코딩하기 위한 방법을 구현하도록 구성되는 수단을 포함한다.

여기에 기술된 여러 프로세서들 및 특징들의 구현들은 다양한 상이한 장비 또는 애플리케이션들, 특히 예를 들어 장비 또는 애플리케이션들에서 구현될 수 있다. 그러한 장비의 예들은 인코더, 디코더, 디코더로부터의 출력을 프로세싱하는 포스트-프로세서, 인코더로의 입력을 제공하는 프리-프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋-톱 박스, 랩톱, 개인용 컴퓨터, 셀 폰, PDA, 및 다른 통신 디바이스들을 포함한다. 명확해야 하는 바와 같이, 장비는 모바일일 수도 있고 심지어 이동 차량에 설치될 수 있다.

또한, 방법들은 프로세서에 의해 수행되는 명령들에 의해 구현될 수도 있고, 그러한 명령들 (및/또는 구현에 의해 생성된 데이터 값들) 은 예를 들어 집적회로와 같은 프로세서-판독가능 매체, 소프트웨어 캐리어 또는 예를 들어 하드 디스크, 컴팩트 디스켓 ("CD"), 광학 디스크 (예를 들어, 종종 디지털 다용도 디스크 또는 디지털 비디오 디스크로서 지칭되는 DVD), 랜덤 액세스 메모리 ("RAM"), 또는 리드-온리 메모리 ("ROM") 와 같은 다른 저장 디바이스상에 저장될 수 있다. 명령들은 프로세서 판독가능 매체상에 유형으로 구현된 애플리케이션 프로그램을 형성할 수도 있다. 명령들은 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 또는 조합으로일 수도 있다. 명령들은 예를 들어 운영 시스템, 별개의 애플리케이션, 또는 이들 둘의 조합에서 발견될 수 있다. 프로세서는 따라서 예를 들어 프로세스를 수행하도록 구성된 디바이스 및 프로세스를 수행하기 위한 명령들을 갖는 프로세서 판독가능 매체 (예를 들어 저장 디바이스) 를 포함하는 디바이스 양자 모두로서 특징지워질 수도 있다. 또한, 프로세서 판독가능 매체는 명령들에 더하여 또는 명령들 대신에 구현에 의해 생성된 데이터 값들을 저장할 수도 있다.

본 기술에서 통상의 기술자에게 분명한 바와 같이, 구현들은 예를 들어 저장되거나 송신될 수도 있는 정보를 반송하도록 포맷팅된 다양한 신호들을 생성할 수도 있다. 정보는 예를 들어 방법을 수행하기 위한 명령들, 또는 기술된 구현들 중 하나에 의해 생성된 데이터를 포함할 수도 있다. 예를 들어, 신호는 기술된 실시형태의 신택스를 기입하거나 판독하는 규칙들을 데이터로서 반송하도록, 또는 기술된 실시형태에 의해 기입된 실제의 신택스-값들을 데이터로서 반송하도록 포맷팅될 수 있다. 그러한 신호는 예를 들어 (예를 들어, 무선 주파수 스펙트럼 부분을 사용하여) 전자기파로서 또는 기저대역 신호로서 포맷팅될 수 있다. 포맷팅은 예를 들어 데이터 스트림을 인코딩하는 것 및 그 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수도 있다. 신호가 반송하는 정보는 예를 들어 아날로그 또는 디지털 정보일 수도 있다. 신호는 알려진 바와 같이 다양한 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 신호는 프로세서 판독가능 매체상에 저장될 수 있다.

다수의 구현들이 기술되었다. 그럼에도 불구하고, 여러 변경들이 행해질 수도 있다는 것이 이해될 것이다. 예를 들어, 상이한 구현들의 엘리먼트들이 다른 구현들을 생성하기 위해 결합, 보충, 변경, 또는 제거될 수 있다. 또한, 통상의 기술자는 다른 구조들 및 프로세스들이 개시된 것들에 대해 대체될 수도 있고 결과의 구현들은 개시된 구현들과 적어도 실질적으로 동일한 결과(들) 를 달성하기 위해 적어도 실질적으로 동일한 방식(들) 으로 적어도 실질적으로 동일한 기능(들) 을 수행할 것이다. 이에 따라, 이들 및 다른 구현들은 본 출원에 의해 고려된다.

Claims (21)

1. 프레임을 인코딩하는 방법으로서,
   - 상기 프레임으로부터 백라이트 프레임을 결정하는 단계 (101);
   - 상기 프레임 및 상기 백라이트 프레임에 응답하여 레지듀얼 프레임을 계산하는 단계 (103); 및
   - 임포즈된 프레임 (IMF) 으로부터 계산된 (109) 상기 레지듀얼 프레임의 예측자를 사용하여 상기 레지듀얼 프레임을 예측적 인코딩하는 단계 (110) 로서, 상기 임포즈된 프레임은 인코딩될 상기 프레임의 낮은 동적 버전인, 상기 예측적 인코딩하는 단계를 포함하는 것을 특징으로 하는 프레임을 인코딩하는 방법.
2. 제 1 항에 있어서,
   상기 임포즈된 프레임 및 인코딩될 상기 프레임은 상이한 칼라-그레이딩을 갖는, 프레임을 인코딩하는 방법.
3. 제 1 항에 있어서,
   상기 임포즈된 프레임 및 인코딩될 상기 프레임은 상이한 칼라 공간들에서 표현되는, 프레임을 인코딩하는 방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 레지듀얼 프레임의 상기 예측자는 상기 임포즈된 프레임의 디코딩된 버전으로부터 계산되는, 프레임을 인코딩하는 방법.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
   상기 레지듀얼 프레임의 상기 예측자를 계산하는 것은 칼라 맵핑 함수 (CMF) 를 사용함으로써 상기 레지듀얼 프레임으로 상기 임포즈된 프레임의 상기 디코딩된 버전을 맵핑하는 것을 포함하는, 프레임을 인코딩하는 방법.
6. 제 5 항에 있어서,
   상기 칼라 맵핑 함수는 3D 칼라 룩업 테이블을 사용하는, 프레임을 인코딩하는 방법.
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
   상기 백라이트 프레임은 또한 상기 임포즈된 프레임으로부터 결정되는, 프레임을 인코딩하는 방법.
8. 제 7 항에 있어서,
   상기 백라이트 프레임을 결정하는 단계는 상기 프레임 IMF 의 컴포넌트에 의해 상기 프레임의 각각의 컴포넌트를 나누는 것을 포함하는, 프레임을 인코딩하는 방법.
9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
   예측적 인코딩하는 단계 (110) 전에 상기 레지듀얼 프레임을 맵핑하는 단계 (106) 및 상기 백라이트 프레임을 결정하는 단계 전에 상기 임포즈된 프레임의 각각의 컴포넌트를 역 맵핑하는 단계 (113) 를 더 포함하는, 프레임을 인코딩하는 방법.
10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 레지듀얼 프레임을 예측적 인코딩하는 단계 (110) 는 SHVC 표준에 따르는, 프레임을 인코딩하는 방법.
11. 적어도 하나의 비트스트림으로부터 프레임을 디코딩하는 방법으로서,
    - 비트스트림의 적어도 부분적인 디코딩에 의해 백라이트 프레임을 획득하는 단계 (104, 105);
    - 비트스트림을 적어도 부분적으로 디코딩함으로써 디코딩된 임포즈된 프레임을 획득하는 단계 (112) 로서, 상기 디코딩된 임포즈된 프레임은 디코딩될 상기 프레임의 낮은 동적 버전인, 상기 디코딩된 임포즈된 프레임을 획득하는 단계 (112);
    - 상기 디코딩된 임포즈된 프레임으로부터 예측자 (

    

    ) 를 획득하는 단계;
    - 비트스트림을 적어도 부분적으로 디코딩함으로써 그리고 상기 디코딩된 임포즈된 프레임으로부터 획득된 상기 예측자를 사용함으로써 디코딩된 레지듀얼 프레임을 예측적 디코딩하는 단계 (1101); 및
    - 상기 디코딩된 레지듀얼 프레임 및 디코딩된 상기 백라이트 프레임에 응답하여 상기 프레임을 디코딩하는 단계를 포함하는, 프레임을 디코딩하는 방법.
12. 제 11 항에 있어서,
    상기 방법은,
    - 비트스트림을 적어도 부분적으로 디코딩함으로써 3D 칼라 LUT 와 관련된 파라미터들을 획득하는 단계; 및
    상기 디코딩된 임포즈된 프레임 및 상기 획득된 파라미터들로부터 상기 예측자를 획득하는 단계를 더 포함하는, 프레임을 디코딩하는 방법.
13. 제 11 항 또는 제 12 항에 있어서,
    상기 예측자는 3D 칼라 LUT 의 각각의 영역에 대해 특정의 예측자 (

    

    ) 를 포함하는, 프레임을 디코딩하는 방법.
14. 제 11 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 디코딩된 레지듀얼 프레임을 예측적 디코딩하는 단계 (1101) 는 SHVC 표준에 따르는, 프레임을 디코딩하는 방법.
15. 프레임을 인코딩하는 디바이스로서,
    - 상기 프레임으로부터 백라이트 프레임을 결정하고;
    - 상기 프레임 및 상기 백라이트 프레임에 응답하여 레지듀얼 프레임을 계산하며; 및
    - 임포즈된 프레임으로부터 계산된 상기 레지듀얼 프레임의 예측자를 사용하여 상기 레지듀얼 프레임을 예측적 인코딩하는 것으로서, 상기 임포즈된 프레임은 인코딩될 상기 프레임의 낮은 동적 버전인, 상기 예측적 인코딩하도록
    구성된 프로세서를 포함하는 것을 특징으로 하는 프레임을 인코딩하는 디바이스.
16. 적어도 하나의 비트스트림으로부터 프레임을 디코딩하는 디바이스로서,
    - 비트스트림의 적어도 부분적인 디코딩에 의해 백라이트 프레임을 획득하고 (104, 105);
    - 비트스트림을 적어도 부분적으로 디코딩함으로써, 프레임, 디코딩된 임포즈된 프레임을 획득하는 것 (112) 으로서, 상기 디코딩된 임포즈된 프레임은 디코딩될 상기 프레임의 낮은 동적 버전인, 상기 디코딩된 임포즈된 프레임을 획득하며 (112);
    - 상기 디코딩된 임포즈된 프레임으로부터 예측자 (

    

    ) 를 획득하고;
    - 비트스트림을 적어도 부분적으로 디코딩함으로써 그리고 상기 디코딩된 임포즈된 프레임으로부터 획득된 상기 예측자를 사용함으로써 디코딩된 레지듀얼 프레임을 예측적 디코딩하며 (1101); 및
    - 상기 디코딩된 레지듀얼 프레임 및 디코딩된 상기 백라이트 프레임에 응답하여 상기 프레임을 디코딩하도록
    구성된 프로세서를 포함하는 것을 특징으로 하는 프레임을 디코딩하는 디바이스.
17. 컴퓨터 프로그램 제품으로서,
    이러한 프로그램이 컴퓨터 상에서 실행될 때 제 1 항에 따른 인코딩 방법의 단계들을 실행하기 위한 프로그램 코드 명령들을 포함하는, 컴퓨터 프로그램 제품.
18. 컴퓨터 프로그램 제품으로서,
    이러한 프로그램이 컴퓨터 상에서 실행될 때 제 11 항에 따른 디코딩 방법의 단계들을 실행하기 위한 프로그램 코드 명령들을 포함하는, 컴퓨터 프로그램 제품.
19. 프로세서로 하여금 적어도 제 1 항에 따른 인코딩 방법의 단계들을 수행하게 하는 명령들을 저장한 프로세서 판독가능 매체.
20. 프로세서로 하여금 적어도 제 11 항에 따른 디코딩 방법의 단계들을 수행하게 하는 명령들을 저장한 프로세서 판독가능 매체.
21. 비일시적인 저장 매체로서,
    프로그램이 컴퓨팅 디바이스 상에서 실행될 때, 제 1 항 내지 제 14 항 중 어느 한 항에 따른 방법의 단계들을 실행하기 위한 프로그램 코드의 명령들을 반송하는, 비일시적인 저장 매체.

Images