KR101702553B1 - 영상 부호화/복호화 방법 및 장치 - Google Patents

Abstract

본 발명은 영상 부호화/복호화 방법에 관한 것이다.

본 발명은 영상을 부호화하는 장치에 있어서, 인트라 예측 모드 후보 중 영상 복호화 장치에서 예측 가능한 인트라 예측 모드 후보를 포함하는 후보 인트라 예측 가능 모드 집합을 이용하여 현재 블록에 대한 인트라 예측 모드인 부호화기 예측 모드를 결정하는 인트라 예측 모드 결정부; 부호화기 예측 모드에 따라 현재 블록을 예측하여 생성한 예측 블록과 블록을 감산하여 생성한 잔차 블록을 부호화하는 부호화부; 영상 복호화 장치에서 부호화기 예측 모드를 예측할 수 있는지 여부에 따라 모드 정보를 생성하는 모드 정보 생성부; 및 부호화된 잔차 블록과 모드 정보를 포함하는 부호화 데이터를 생성하는 부호화 데이터 생성부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.

본 발명에 의하면, 인트라 예측 모드에 대한 모드 정보를 선택적으로 부호화함으로써, 영상을 부호화한 부호화 데이터의 비트량을 감소시켜 영상의 압축 효율과 압축 영상의 화질을 개선할 수 있다.

영상, 부호화, 복호화, 압축, 인트라, 예측, 모드, 통합

Description

영상 부호화/복호화 방법 및 장치{Video Coding Method and Apparatus}

본 발명은 영상 부호화/복호화 방법에 관한 것이다. 더욱 상세하게는, 인트라 예측 부호화를 통한 영상 압축에서, 인트라 예측 모드에 대한 모드 정보를 선택적으로 부호화함으로써, 영상을 부호화한 부호화 데이터의 비트량을 감소시켜 영상의 압축 효율과 압축 영상의 화질을 개선하기 위한 방법 및 장치에 관한 것이다.

H.264/AVC(이하 'H.264'라 약칭함) 비디오 압축 표준을 사용한 인트라 부호화는 MPEG-1, MPEG-2, MPEG-4 Part2 Visual 동영상 부호화와 같은 기존 국제 표준 기술과는 달리 공간 예측 부호화(Spatial Predictive Coding) 방법을 사용한다.

기존의 MPEG-2, H.263과 같은 동영상 부호화 방법에 따른 인트라 부호화에서는 이산 코사인 변환 영역(DCT Domain:Discrete Cosine Transform Domain)에서 변환된 계수(Coefficient)값에 대한 "인트라 예측(Intra Prediction)"을 사용함으로써 부호화 효율 증대를 추구하지만, 저역 전송 비트율 대에서 충분한 압축효율을 얻지 못해 결과적으로 주관적 화질을 열화시키는 결과를 초래하였다. 하지만, 최근에 표준화 완료된 H.264 에서는 변환 영역(Transform Domain)이 아닌 공간 영역(Spatial Domain)에서의 공간적 인트라 예측(Spatial Intra Prediction)을 기반 으로 하는 부호화 방법을 채택하여 기존의 문제점을 다소 개선하였다.

이와 같은 기존의 공간적 인트라 예측 기반의 부호화 방법을 사용하는 부호화기(Encoder)는 이미 부호화가 완료된 후 복호화되어 복원된 이전 블록의 화소로부터 현재 부호화하고자 하는 블록의 화소를 예측하고 원래의 블록의 화소값과 예측된 블록의 화소값의 차이(Difference)만을 부호화해서 복호화기(Decoder)로 전송한다. 이때, 블록의 화소를 예측하는 데 필요한 파라미터 즉, 인트라 예측 모드에 대한 정보를 복호화기로 전송하거나, 부호화기와 복호화기가 모두 사전에 정의되어 상호 알고 있는 정해진 인트라 예측 모드만을 사용하도록 함으로써, 복호화기가 부호화기와 동일하게 예측하도록 하여, 원래의 블록의 화소값과 예측된 블록의 화소값의 차이(Difference)만을 부호화해 보내더라도 원래 블록의 값을 찾아낼 수 있도록 한다. 만일 사전에 정의되어 정해진 인트라 예측 모드만을 사용하도록 하면, 어떤 인트라 예측모드를 사용하였는지에 대한 정보를 전송하지 않아도 되지만, 일반적으로 영상은 Non-stationary 하므로, 많은 경우 예측효율이 떨어져 압축성능을 기대할 수 었다. 그러므로, 매 블록을 부호화할 때마다 해당 블록의 인트라 예측 모드를 부호화 하여 전송하여야 하는데, 매 블록마다 인트라 예측 모드에 대한 정보를 부호화하여 전송하면, 인트라 예측 모드에 대한 정보를 부호화함에 따라 발생하는 비트량이 증가하여 영상을 부호화하는 데에 따른 데이터 량을 증가시키고 더 나아가서는 압축 성능을 저하하는 문제점이 있다.

전술한 문제점을 해결하기 위해 본 발명은, 인트라 부호화를 통한 영상 압축에서, 인트라 예측 모드에 대한 모드 정보를 선택적으로 부호화함으로써, 영상을 부호화한 부호화 데이터의 비트량을 감소시켜 영상의 압축 효율과 압축 영상의 화질을 개선하는 데 주된 목적이 있다.

전술한 목적을 달성하기 위해 본 발명은, 영상을 부호화하는 장치에 있어서, 인트라 예측 모드 후보 중 영상 복호화 장치에서 예측 가능한 인트라 예측 모드 후보를 포함하는 후보 인트라 예측 가능 모드 집합을 이용하여 현재 블록에 대한 인트라 예측 모드인 부호화기 예측 모드를 결정하는 인트라 예측 모드 결정부; 부호화기 예측 모드에 따라 현재 블록을 예측하여 생성한 예측 블록과 블록을 감산하여 생성한 잔차 블록을 부호화하는 부호화부; 영상 복호화 장치에서 부호화기 예측 모드를 예측할 수 있는지 여부에 따라 모드 정보를 생성하는 모드 정보 생성부; 및 부호화된 잔차 블록과 모드 정보를 포함하는 부호화 데이터를 생성하는 부호화 데이터 생성부를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.

여기서, 인트라 예측 모드 결정부는 후보 인트라 예측 가능 모드 집합 내의 인트라 예측 모드 후보의 개수가 기 설정된 개수 이상인 경우에는 소정의 제 1 인트라 예측 모드 선정 방법을 이용하여 부호화기 예측 모드를 결정할 수 있다. 또한, 제 1 인트라 예측 모드 선정 방법은 후보 인트라 예측 가능 모드 집합 내의 인트라 예측 모드 후보 중에서 소정의 최적 부호화 기준을 만족하는 하나의 인트라 예측 모드 후보를 부호화기 예측 모드로서 결정할 수 있으며, 후보 인트라 예측 가 능 모드 집합 내의 인트라 예측 모드 후보 각각에 대해 현재 블록을 예측하고 부호화하는 경우에 발생하는 비트량과 왜곡치를 고려하는 율-왜곡 비용이 작은 경우 소정의 최적 부호화 기준을 만족하는 것으로 판단할 수 있다.

또한, 인트라 예측 모드 결정부는 후보 인트라 예측 가능 모드 집합 내의 인트라 예측 모드 후보의 개수가 기 설정된 개수 미만인 경우에는 소정의 제 2 인트라 예측 모드 선정 방법을 이용하여 부호화기 예측 모드를 결정할 수 있다. 이때, 제 2 인트라 예측 모드 선정 방법은 해당 블록의 최대 가능 모드를 부호화기 예측 모드로서 결정하는 방법일 수 있다.

또한, 모드 정보 생성기는 모드 정보로서 소정의 부호화 단위의 블록들에 대한 통합 부호화 모드를 식별하기 위한 통합 부호화 모드 정보를 생성할 수 있으며, 이때 모드 정보 생성기는 소정의 부호화 단위의 모든 블록의 부호화기 예측 모드가 영상 복호화 장치에서 예측 가능하다고 판단되는 경우에는 통합 예측 가능 모드를 통합 부호화 모드로서 결정할 수 있으며, 소정의 부호화 단위의 모든 블록의 부호화기 예측 모드가 영상 복호화 장치에서 예측 불가능하다고 판단되는 경우에는 통합 예측 불가능 모드를 통합 부호화 모드로서 결정할 수 있으며, 모드 정보 생성기는 소정의 부호화 단위의 블록들의 부호화기 예측 모드가 영상 복호화 장치에서 선택적으로 예측 가능하다고 판단되는 경우에는 혼합 모드를 통합 부호화 모드로서 결정할 수 있으며, 모드 정보 생성기는 소정의 부호화 단위의 각 블록에 대해, 각 블록의 부호화기 예측 모드를 영상 복호화 장치에서 예측 가능한지 여부를 식별하기 위한 예측 가능 여부 식별자를 생성하여 모드 정보에 추가로 포함시킬 수 있으 며, 모드 정보 생성기는 부호화기 예측 모드가 영상 복호화 장치에서 예측 불가능하다고 판단되는 블록에 대해, 부호화기 예측 모드를 식별하기 위한 예측 모드 식별자를 생성하여 모드 정보에 추가로 포함시킬 수 있다.

또한, 본 발명의 다른 목적에 의하면, 영상을 부호화하는 방법에 있어서, 인트라 예측 모드 후보 중 영상 복호화 장치에서 예측 가능한 인트라 예측 모드 후보를 포함하는 후보 인트라 예측 가능 모드 집합을 이용하여 현재 블록에 대한 인트라 예측 모드인 부호화기 예측 모드를 결정하는 단계; 부호화기 예측 모드에 따라 현재 블록을 예측하여 생성한 예측 블록과 블록을 감산하여 생성한 잔차 블록을 부호화하는 단계; 영상 복호화 장치에서 부호화기 예측 모드를 예측할 수 있는지 여부에 따라 모드 정보를 생성하는 단계; 및 부호화된 잔차 블록과 모드 정보를 포함하는 부호화 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.

또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 부호화 데이터로부터 모드 정보를 추출하는 모드 정보 추출기; 모드 정보에 의해 식별되는 통합 부호화 모드가 통합 예측 가능 모드인 경우에는 소정의 부호화 단위에 포함된 모든 블록과 통합 부호화 모드가 혼합 모드인 경우에는 소정의 부호화 단위에 포함된 블록들 중 모드 정보에 의해 식별되는 예측 가능 여부 식별자가 예측 가능을 지시하는 블록들에 대해, 제 1 인트라 예측 모드 선정 방법을 이용하여 인트라 예측 모드를 결정하는 제 1 인트라 예측 모드 결정기; 모드 정보에 의해 식별되는 통합 부호화 모드가 통합 예측 불가능 모드인 경우에는 소정의 부호화 단위 에 포함된 모든 블록과 통합 부호화 모드가 혼합 모드인 경우에는 소정의 부호화 단위에 포함된 블록들 중 모드 정보에 의해 식별되는 예측 가능 여부 식별자가 예측 불가능을 지시하는 블록들에 대해, 제 2 인트라 예측 모드 선정 방법을 이용하여 인트라 예측 모드를 결정하는 제 2 인트라 예측 모드 결정기; 및 부호화 데이터로부터 추출된 각 블록에 대한 부호화된 잔차 블록을 복호화하여 복원하고, 제 1 예측 모드 결정기 또는 제 2 예측 모드 결정기에 의해 결정된 각 블록의 인트라 예측 모드에 따라 각 블록을 예측하여 생성한 예측 블록과 복원된 잔차 블록을 가산하여 각 블록을 복원하는 복호화기를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.

또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 부호화 데이터로부터 모드 정보와 부호화된 잔차 블록을 추출하는 단계; 부호화된 잔차 블록을 복호화하여 잔차 블록을 복원하는 단계; 추출된 모드 정보에 따라 인트라 예측 모드 선정 방법을 결정하는 단계; 결정된 인트라 예측 모드 선정 방법을 이용하여 블록의 인트라 예측 모드를 결정하는 단계; 및 결정된 인트라 예측 모드를 이용하여 블록을 예측하여 생성한 예측 블록과 복원된 잔차 블록을 이용하여 블록을 복원하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.

여기서, 인트라 예측 모드 선정 방법을 결정하는 단계는, 모드 정보에 의해 식별되는 통합 부호화 모드가 혼합 모드인지 여부를 판단하는 단계; 통합 부호화 모드가 혼합 모드인 경우에는 소정의 단위 내의 각 블록별로 예측 가능 여부 식별자를 추출하는 단계; 예측 가능 여부 식별자가 예측 가능을 지시하는 경우에는 제 1 인트라 예측 모드 선정 방법을 이용하여 블록의 인트라 예측 모드를 결정하는 단계; 예측 가능 여부 식별자가 예측 불가능을 지시하는 경우에는 제 2 인트라 예측 모드 선정 방법을 이용하여 블록의 인트라 예측 모드를 결정하는 단계; 통합 부호화 모드가 혼합 모드가 아닌 경우에는 통합 부호화 모드가 통합 예측 가능 모드인지 여부를 판단하는 단계; 통합 모드가 통합 예측 가능 모드인 경우에는 소정의 단위 내의 모든 블록에 대해 제 1 인트라 예측 모드 선정 방법을 이용하여 인트라 예측 모드를 결정하는 단계; 및 통합 모드가 통합 예측 불가능 모드인 경우에는 소정의 단위 내의 모든 블록에 대해 제 2 인트라 예측 모드 선정 방법을 이용하여 인트라 예측 모드를 결정하는 단계를 포함할 수 있다.

이상에서 설명한 바와 같이 본 발명에 의하면, 인트라 예측 모드에 대한 모드 정보를 선택적으로 부호화함으로써, 영상을 부호화한 부호화 데이터의 비트량을 감소시켜 영상의 압축 효율과 압축 영상의 화질을 개선할 수 있다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

영상 부호화 장치는 영상을 인트라 예측 부호화할 때 예측에 사용한 인트라 예측 모드를 부호화고, 영상 복호화 장치는 영상을 인트라 예측 복호화할 때 인트라 예측 모드를 복호화한다. 이 경우, 부호화되거나 복호화된 인접 블록의 인트라 예측 모드로부터 부호화 또는 복호화하고자 하는 블록의 인트라 예측 모드를 예측하여 부호화한다. 이하에서는, 인트라 예측 모드를 직접 부호화하거나 사전에 정의된 인접 블록의 인트라 예측 모드로부터 현재 블록의 인트라 예측 모드를 예측하여 부호화하는 등 정해진 소정의 방법을 '디폴트 부호화/복호화 방법'이라 칭한다. 예를 들어, H.264/AVC 표준의 인트라 예측 모드 부호화/복호화 과정은 다음과 같다.

도 1 및 도 2는 H.264/AVC 표준에 따른 인트라 4x4 예측을 위한 9 가지의 인트라 예측 모드를 나타낸 예시도이다.

H.264/AVC 표준에 따르면, 매크로블록을 인트라 예측하기 위한 예측 방법으로 인트라 4x4 예측, 인트라 8x8 예측, 인트라 16x16 예측 등이 있다. 인트라 4×4 예측을 위한 예측 모드로서는, 도 1에 도시한 바와 같이, 수직(Vertical) 모드, 수 평(Horizontal) 모드, DC(Direct Current) 모드, 대각선 왼쪽(Diagonal down-left) 모드, 대각선 오른쪽(Diagonal down-right), 수직 오른쪽(Vertical-right) 모드, 수평 아래쪽(Horizontal-down) 모드, 수직 왼쪽(Vertical-left) 및 수평 위쪽(Horizontal-up) 모드를 포함하는 9 가지의 예측 모드가 있다. 또한, 인트라 8×8 예측도 인트라 4×4 예측과 유사하게 9 가지의 예측 모드가 있다. 인트라 16×16 예측에는, 수직(Vertical) 모드, 수평(Horizontal) 모드, DC 모드 및 플래인(Plane) 모드를 포함하는 4 가지의 예측 모드가 있다.

부호화하고자 하는 매크로블록 또는 서브블록 등의 블록은 인트라 예측 모드에 따라 예측되는데, 이때 전술한 복수 개의 예측 모드 중에서 현재 부호화하고자 하는 블록 즉, 현재 블록에 대한 최적의 예측 모드를 결정하고 그 결정된 예측 모드에 따라 예측치를 생성한다. 여기서, 최적의 예측 모드란 인트라 예측을 위한 다양한 인트라 예측 모드(예를 들어, 인트라 8×8 예측과 인트라 4×4 예측 각각에서의 9 가지의 예측 모드와 인트라 16×16 예측에서의 4 가지의 예측 모드) 중 소정의 기준에 따른 최적치를 선택하여 결정되는 인트라 예측 모드를 말한다. 여기서, 소정의 기준에 따른 최적치는 예를 들어, 부호화 비용이 최소인 예측 모드일 수 있다.

영상 복호화 장치에서 각 현재 블록의 예측 모드를 파악하여 영상 부호화 장치와 동일하게 현재 블록의 예측치를 계산하기 위해서는 각 현재 블록의 예측 모드가 영상 부호화 장치로부터 영상 복호화 장치로 전달되어야 하는데, H.264/AVC 기술에 따르면 각 현재 블록의 예측 모드에 대한 정보를 전달하기 위해서 약 4 비트 의 데이터가 필요하다.

도 3은 H.264/AVC 표준에 따라 인트라 예측 모드를 부호화하는 과정을 나타낸 예시도이다.

H.264/AVC에서는 현재 블록의 인트라 예측 모드를 부호화할 때, 현재 블록의 주변에 있는 주변 블록, 즉 현재 블록의 위쪽에 위치한 상단 블록과 현재 블록의 왼쪽에 위치한 좌측 블록의 예측 모드로부터 현재 블록의 인트라 예측 모드에 대한 추정치를 계산하고, 계산된 추정치를 이용하여 현재 블록의 인트라 예측 모드를 부호화한다. 여기서, 인트라 예측 모드에 대한 추정치를 최대 가능 모드(MPM: Most Probable Mode)라고도 한다.

현재 블록의 최대 가능 모드는 현재 블록의 좌측 블록과 상단 블록의 인트라 예측 모드를 식별하기 위한 모드 번호 중 가장 작은 모드 번호를 갖는 인트라 예측 모드로서 결정된다. 3A와 3B를 참조하여 주변 블록의 인트라 예측 모드로부터 현재 블록의 인트라 예측 모드에 대한 추정치를 계산하는 방법을 예를 들어 설명하면, 좌측 블록의 모드 번호는 3번이고 상단 블록의 모드 번호는 4번이므로, 현재 블록의 최대 가능 모드는 3번과 4번 중 작은 번호인 3번의 모드 번호를 갖는 인트라 예측 모드가 된다. 따라서, 최대 가능 모드의 모드 번호는 3이 된다.

영상 부호화 장치는, 현재 블록의 인트라 예측 모드를 부호화할 때, 기 결정된 현재 블록의 인트라 예측 모드와 현재 블록의 최대 가능 모드를 비교하여 동일한지 여부를 확인하고, 그에 따라 현재 블록의 인트라 예측 모드를 서로 다르게 표현하는 방법을 사용하여 인트라 예측 모드를 부호화한다.

즉, 3A에 나타낸 바와 같이 현재 블록의 인트라 예측 모드가 현재 블록의 최대 가능 모드와 동일한 경우에는, 영상 부호화 장치는 두 모드(즉, 현재 블록의 인트라 예측 모드가 현재 블록의 최대 가능 모드)가 동일하다는 것을 지시하기 위한 1 비트의 플래그(예를 들어 '1')를 부호화한다. 반대로, 3B에 나타낸 바와 같이 현재 블록의 인트라 예측 모드가 현재 블록의 최대 가능 모드와 동일하지 않은 경우에는, 영상 부호화 장치는 두 모드가 동일하지 않다는 것을 지시하기 위한 1 비트의 플래그(예를 들어 '0')를 부호화하고, 인트라 예측 모드의 후보 중에서 최대 가능 모드를 제외한 다른 모드 중 어느 하나의 모드임을 식별하기 위한 정보를 부호화해야 하며, 이 정보를 부호화하기 위해 H.264/AVC의 인트라 4x4 예측에서는 3 비트의 데이터를 사용한다.

전술한 기존 방법으로 인트라 예측 모드를 부호화하면, 현재 블록의 인트라 예측 모드와 현재 블록의 최대 가능 모드가 동일한 경우, 1 비트의 플래그만을 부호화하기 때문에 압축의 성능을 높일 수 있다. 하지만, 현재 블록의 인트라 예측 모드와 현재 블록의 최대 가능 모드가 동일하지 않은 경우, 총 4 비트(플래그를 위한 1 비트와 인트라 예측 모드를 식별하기 위한 3 비트)를 부호화하기 때문에, 압축의 성능이 제한적이여서 더욱 높은 압축 효율을 달성하는데 문제가 발생한다.

도 4는 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.

본 발명의 일 실시예에 따른 영상 부호화 장치(400)는 예측 모드 결정기(410), 부호화기(420), 모드 정보 생성기(430) 및 부호화 데이터 생성기(440)를 포함하여 구성될 수 있다. 영상 부호화 장치(400)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 포함한다.

예측 모드 결정기(410)는 현재 블록의 인트라 예측 모드인 부호화기 예측 모드를 결정한다. 즉, 예측 모드 결정기(410)는 영상 부호화 장치(400)에서 현재 블록을 인트라 예측할 때 사용할 인트라 예측 모드인 부호화기 예측 모드를 결정한다. 이를 위해, 예측 모드 결정기(410)는 영상 부호화 장치(400)에서 현재 블록의 인트라 예측 모드로 사용 가능한 N 개의 후보 인트라 예측 모드 집합을 선정하고, 선정된 N 개의 후보 인트라 예측 모드 집합에 포함된 후보 인트라 예측 모드 중에서 소정의 인트라 예측 모드 선정 방법에 따라 하나의 인트라 예측 모드를 현재 블록의 인트라 예측 모드로 결정할 수 있다.

예를 들어, 예측 모드 결정기(410)는 현재 블록의 인트라 예측 모드로 사용 가능한 N 개의 후보 인트라 예측 모드 집합(CS: Candidate Set)을 선정하고, 후보 인트라 예측 모드 집합에 포함된 각각의 후보 인트라 예측 모드에 대해서 소정의 복호화기 예측 가능 여부 판단 기준에 따라 해당 후보 인트라 예측 모드를 영상 복 호화 장치에서 예측할 수 있는지 여부(즉, 복호화기 예측 가능 여부)를 판단한 후, 후보 인트라 예측 모드 중에서 영상 복호화 장치에서 예측 가능한 M(단, N≥M) 개의 후보 인트라 예측 모드만을 포함하는 후보 인트라 예측 가능 모드 집합(CS': Candidate Set Prime)을 재구성한다.

이후, 재구성된 후보 인트라 예측 가능 모드 집합에 포함된 후보 인트라 예측 모드가 기 설정된 개수(예를 들어, 1 개)이상 존재하는 경우(즉, M≥기 설정된 개수인 경우), 예측 모드 결정기(410)는 영상 복호화 장치에서 부호화기 예측 모드를 예측할 수 있는 것으로 판단하여, 영상 복호화 장치와 미리 약속한 소정의 제 1 인트라 예측 모드 선정 방법에 따라 현재 블록의 인트라 예측 모드인 부호화기 예측 모드를 결정한다. 또한, 재구성된 후보 인트라 예측 가능 모드 집합에 포함된 후보 인트라 예측 모드가 기 설정된 개수(예를 들어, 1 개)미만으로 존재하는 경우(즉, M<기 설정된 개수인 경우), 예측 모드 결정기(410)는 영상 복호화 장치에서 부호화기 예측 모드를 예측할 수 없는 것으로 판단하여, 영상 복호화 장치와 미리 약속한 소정의 제 2 인트라 예측 모드 선정 방법에 따라 현재 블록의 인트라 예측 모드인 부호화기 예측 모드를 결정한다.

또한, 예측 모드 결정기(410)는 전술한 바와 같은 방식에 따라 소정의 부호화 단위(예를 들어, 매크로블록 또는 슬라이스)에 속하는 모든 블록에 대해 수행한 뒤, 소정의 최적 부호화 기준(예를 들어, 율-왜곡 최적화 기준)에 따라 통합 부호화 모드를 선택적으로 결정할 수 있다. 여기서, 통합 부호화 모드는 소정의 부호화 단위에 대해 통합 예측 가능 모드, 통합 예측 불가능 모드 및 혼합 모드 중 하나로 결정될 수 있다.

통합 예측 가능 모드는 소정의 부호화 단위에 포함된 모든 블록이 제 1 인트라 예측 모드 선정 방법에 따라 부호화기 예측 모드가 결정됨을 나타내는 모드이며, 통합 예측 불가능 모드는 소정의 부호화 단위에 포함된 모든 블록이 제 2 인트라 예측 모드 선정 방법에 따라 부호화기 예측 모드가 결정됨을 나타내는 모드이며, 혼합 모드는 소정의 부호화 단위에 포함된 블록들이 제 1 인트라 예측 모드 선정 방법 및 제 2 인트라 예측 모드 선정 방법을 선택적으로 사용하는 부호화기 예측 모드가 결정됨을 나타내는 모드인 것으로 정의될 수 있다.

다만, 전술한 통합 예측 가능 모드, 통합 예측 불가능 모드 및 혼합 모드의 정의는 본 발명의 일 실시예의 적용 및 응용에 따라 다양하게 변형되어 정의될 수 있다. 예를 들어, 소정의 제 2 인트라 예측 모드 선정 방법과 다른 소정의 제 3 인트라 예측 모드 선정 방법을 추가로 정의할 수 있다. 즉, 재구성된 후보 인트라 예측 가능 모드 집합에 포함된 후보 인트라 예측 모드가 기 설정된 개수 미만으로 존재하여 영상 복호화 장치에서 부호화기 예측 모드를 예측할 수 없다고 판단된 경우, 소정의 제 2 인트라 예측 모드 선정 방법은 소정의 부호화 단위 내의 모든 블록이 최대 가능 모드를 부호화기 예측 모드로 결정하는 것으로 정의될 수 있고, 소정의 제 3 인트라 예측 모드 선정 방법은 H.264/AVC의 인트라 예측 모드 부호화 방법과 같이, 최대 가능 모드 및 인트라 예측 모드 부호화 방법을 선택적으로 사용하는 것으로 정의될 수 있다. 따라서, 이와 같이 통합 예측 가능 모드, 통합 예측 불가능 모드 및 혼합 모드의 정의를 달리함으로써, 소정의 부호화 단위로 인트라 예 측 모드를 결정하는 통합 부호화 모드가 더욱 다양하게 정의될 수 있다.

부호화기(420)는 현재 블록에서 예측 모드 결정기(410)에서 결정된 부호화기 인트라 예측 모드

에 따라 현재 블록을 예측하여 생성한 예측 블록과 현재 블록과의 차이인 잔차 블록을 부호화한다. 즉, 부호화기(420)는 예측 모드 결정기(410)에서 결정된 부호화기 예측 모드의 예측 방향에 따라 현재 블록의 각 화소를 주변 블록의 인접 화소를 이용하여 예측함으로써 예측 블록을 생성하고, 현재 블록에서 예측 블록을 감산하여 잔차 신호를 갖는 잔차 블록을 생성한다. 그리고 이 잔차 블록의 잔차 신호는 변환(Transform) 및 양자화(Quantization) 과정을 거친 후 양자화된 주파수 계수들이 부호화된다. 여기서, 잔차 블록은 현재 블록의 각 화소의 원 화소값 (Original Pixel Value)에서 예측 블록의 각 화소의 예측 화소값(Predicted Pixel Value)을 감산하여 화소값의 차이인 잔차 신호(Residual Signal)를 계산한다.

변환 방법으로서는 이산 코사인 변환(DCT: Discrete Cosine Transform) 또는 이를 정수화 하거나 변형시킨 변환 또는 하다마다 변환(Hadamard Transform) 등이 이용될 수도 있지만, 반드시 이에 한정되지 않고 DCT 변환을 개량 및 변형한 다양한 변환 기법이 이용될 수 있으며, 이를 이용하여 잔차 신호가 주파수 영역으로 변환되어 주파수 계수로 변환된다. 양자화 방법으로서는 데드존 균일 경계 양자화(DZUTQ: Dead Zone Uniform Threshold Quantization) 또는 양자화 가중치 매트릭스(Quantization Weighted Matrix) 등이 이용될 수 있지만 이를 개량한 양자화 등 다양한 양자화 방법이 이용될 수 있다. 부호화 기술로서는 엔트로피 부호화(Entropy Encoding) 기술이 사용될 수 있으나, 반드시 이에 한정하지 않고 다른 다양한 부호화 기술이 사용될 수도 있을 것이다.

모드 정보 생성기(430)는 예측 모드 결정기(410)에서 결정된 인트라 예측 모드의 복호화기 예측 가능 여부 판단의 결과에 따라 부호화기 예측 모드의 예측 가능 여부 식별자를 생성하고, 필요한 경우 부호화기 예측 모드를 식별하기 위한 예측 모드 식별자를 생성한다. 이 경우, 소정의 부호화 단위에 따라 소정의 부호화 단위에 포함된 각각의 블록에 대한 예측 가능 여부 식별자를 예측 모드 결정기(410)에 의해 결정된 통합 부호화 모드에 따라 통합하여 통합 부호화 모드 정보를 생성할 수 있다. 여기서, 소정의 부호화 단위는 매크로블록이 바람직하지만 경우에 따라 슬라이스나 픽춰 등 이외의 다양한 부호화 단위일 수 있다.

부호화 데이터 생성기(440)는 부호화된 잔차 블록과 모드 정보를 포함하는 부호화 데이터를 생성한다. 여기서, 모드 정보는 통합 부호화 모드 정보, 예측 가능 여부 식별자 및 예측 모드 식별자를 포함한다. 즉, 부호화 데이터 생성기(440)는 부호화기(420)에 의해 부호화된 잔차 블록의 비트열과 모드 정보 생성기(430)에 의해 생성된 모드 정보의 비트열을 포함하는 부호화 데이터를 생성한다.

본 발명의 일 실시예에서 부호화 데이터란 입력 영상 또는 입력 영상을 소정의 블록 단위로 분할한 블록에 대한 입력 데이터가 영상 부호화 장치에 의해 부호화되어 생성되는 데이터이다. 부호화 데이터는 부호화 과정에서 입력 데이터가 압축된 압축 데이터일 수 있지만 부호화 과정을 수행했음에도 입력 데이터가 압축되 지 않은 무압축 데이터일 수 있다. 또한, 부호화 데이터는 비트스트림(Bit Stream)과 같이 일련의 순서를 갖는 비트열의 형태로 생성될 수 있으나, 반드시 이에 한정되지 않고 패킷의 형태로 생성될 수 있으며, 그 형태에 따라 일련의 순서에 따라 전송되거나 순서에 관계없이 병렬적으로 전송될 수 있다.

도 5는 본 발명의 일 실시예에 다른 예측 모드 결정기를 간략하게 나타낸 블록 구성도이다.

본 발명의 일 실시예에 따른 예측 모드 결정기(410)는 후보 인트라 예측 모드 집합 선정기(510), 후보 인트라 예측 가능 모드 집합 선정기(520) 및 부호화기 예측 모드 결정기(530)를 포함하여 구성될 수 있다.

후보 인트라 예측 모드 집합 선정기(510)는 부호화하고자 하는 현재 블록을 예측하기 위해 선택 가능한 N 개의 인트라 예측 모드 후보의 집합인 후보 인트라 예측 모드 집합(CS : Candidate Set)을 선정한다. 여기서, 후보 인트라 예측 모드 집합은, 도 1에 도시한 바와 같이, H.264/AVC 표준에서 권고하는 인트라 4x4 예측을 위한 9 가지의 인트라 예측 모드가 될 수 있지만, 반드시 이에 한정되지 않고 영상 부호화 장치와 영상 복호화 장치가 그 정의를 사전에 알고 있다는 전제 하에서 다양한 방법으로 정의될 수 있다. 즉, 예를 들면, 인트라 예측 모드 후보 집합은 영상 부호화 장치와 영상 복호화 장치의 구현 방법이나 필요에 따라 또는 적용되는 응용이나 영상 시퀀스에 따라 다양한 인트라 예측 모드로 선택될 수 있을 뿐만 아니라, 필요에 따라 부호화하고자 하는 현재 블록 즉, 블록별로 서로 다르게 선정될 수 있다.

후보 인트라 예측 가능 모드 집합 선정기(520)는 후보 인트라 예측 모드 집합 선정기(510)에서 선정된 후보 인트라 예측 모드 집합의 N 개의 인트라 예측 모드 후보 각각에 대해 소정의 복호화기 예측 가능 여부 판단 기준에 따라 영상 복호화 장치에서 예측 가능한지 여부(즉, 영상 복호화 장치가 스스로 인트라 예측 모드를 결정하기 위한 후보(즉, 후보 인트라 예측 모드 집합의 인트라 예측 모드 후보)로서 해당 인트라 예측 모드 후보를 선택할 수 있는지 여부)를 판단하고, 영상 복호화 장치에서 예측 가능한 M(N≥M) 개의 인트라 예측 모드 후보를 포함하는 후보 인트라 예측 가능 모드 집합을 재구성한다. 여기서, 소정의 복호화기 예측 가능 여부 판단 기준의 일 예는 수학식 1과 같이 나타낼 수 있다.

수학식 1을 참조하면, 해당 블록이 선택 가능한 인트라 예측 모드 후보 집합인 CS에 포함된 모든 인트라 예측 모드 후보

에 대해 수학식 1의 함수

를 계산하고, 이때

의 최소값을 가지는 인트라 예측 모드 후보를

라고 할때,

이

와 같은지 여부가, 복호화기 예측 가능 여부 판단 기준이 된다.

본 실시예에서는, 도 11에 예시한 바와 같이, 영상 복호화 장치에서 예측 가능 여부를 판단하는 데 사용하는 함수

를 경계 화소 정합 알고리즘(BMA: Boundary Matching Algorithm)으로 정의하였으나, 반드시 이에 한정되지 않고, 영상 부호화 장치와 영상 복호화 장치가 그 정의를 사전에 공유하고 있고 동일한 과정을 수행할 수 있다는 전제 하에서 다양한 방법으로 정의될 수 있다. 예를 들어, 각각의 후보 인트라 예측 모드가 가지는 방향성에 따라 정의된 화소값의 위치가 달라지게 정의되는 향상된 경계 화소 정합 등이 사용될 수 있다.

경계 화소 정합 방법을 설명하기 위해 예시적으로 나타낸 도 11과 수학식 1을 참조하면, 경계 화소 정합 방법은 경계 화소 정합을 위해 주변 블록 내의 블록 경계 화소 위치를 나타내는 인덱스

와 이에 상응하는 현재 블록내의 블록 경계에 있는 인덱스

의 위치가 정의되는 화소값의 모임인 경계 화소 정합 집합(BMS: Boundary Matching Set)에 포함되는 현재 또는 주변 블록의 화소값에 대해, 후보 인트라 예측 모드

를 이용하여 복원된 현재 블록의 예측 화소값

과 현재 블록에 대해 복호화기 예측 가능성 여부를 판단 중인 후보 인트라 예측 모드를 이용하여 복원된 현재 블록의 예측 화소값과의 현재 블록의 화소값의 차분값(인트라 예측 잔차 신호)을 나타내는

및 이미 복원된 주변 블록의 화소값

를 사용할 수 있다.

우선, 하나의 후보 인트라 예측 모드를 이용해 복원된 현재 블록의 예측 화소값과 현재 블록에 대해 예측 가능성 여부를 판단 중인 후보 인트라 예측 모드를 이용하여 복원된 현재 블록의 예측 화소값과 현재 블록의 화소값 간의 차분값(인트라 예측 잔차신호)을 더해서 후보 인트라 예측 모드에 대한 임의의 현재 블록의 화 소값을 복원한다. 복원된 임의의 현재 블록의 화소값과 주변 블록의 화소값의 차이를 예측 오류로 판단하고, 가장 작은 예측 오류를 가지게 하는 후보 인트라 예측 모드

를 영상 복호화 장치에서 결정하는 인트라 예측 모드인 복호화기 예측 모드

로서 결정한다.

따라서, 최종적으로 현재 블록에 대해 복호화기 예측 가능 여부를 판단하고 있는 인트라 예측 모드

와 영상 복호화 장치에서 예측 가능한 인트라 예측 모드인 복호화기 예측 모드

가 동일하다면, 영상 복호화 장치는 인트라 예측 모드를 스스로 결정할 수 있으므로, 해당 인트라 예측 모드는 재구성될 후보 인트라 예측 가능 모드 집합의 M 개의 인트라 예측 모드 후보로 포함될 수 있다. 하지만, 만약 영상 부호화 장치와 영상 복호화 장치의

와

가 서로 다르다면, 영상 복호화 장치는 현재 블록에 대한 인트라 예측 모드를 스스로 예측할 수 없으므로, 후보 인트라 예측 모드

는 재구성될 후보 인트라 예측 가능 모드 집합의 M 개의 인트라 예측 모드 후보로서 포함될 수 없으므로 후보 인트라 예측 가능 모드 집합에서 제외된다.

이러한 후보 인트라 예측 가능 모드 집합을 재구성하는 과정을 구체적인 예를 들어 설명하면, 제 1 단계로서, 공집합인 후보 인트라 예측 가능 모드 집합(CS')에서 현재 블록의 인트라 예측 모드를 '1번 모드'이라고 가정하고 이를 이용하여 잔차 블록(A1)을 생성한 다음, 영상 복호화 장치를 흉내내서 잔차 블록(A1) 에 블록 경계값들(B, 현재 블록의 주변 화소값으로 이미 영상 복호화 장치는 이 값들을 알고 있음)을 이용해 1번 모드의 방향으로 예측하여 구한 예측치(C1)를 더하여(즉, A1+C1) (가상의) 복원 결과를 구한 후, 수학식 1을 이용한 블록 경계 정합을 이용하여 경계 차이값(또는 블록 경계 정합 에러, E1)을 구하고, 다시 영상 복호화 장치에서 수행하는 것 처럼 잔차 신호(A1)에,　블록 경계값들(B)을 이용해 2번 모드의 방향으로 예측하여 구한 예측치(C2)를 더하여(즉, A1+C2) (가상의) 복원 결과를 구한 후, BMS를 이용하여 경계 차이값(E2)을 구하며, 이와 같은 방식으로 3 번 방향, 내지 N번 방향까지 계속해서 E1 내지 E5 모두 구한 후, E1 내지 EN 중 최소치를 찾고, 만일 최소치가 E1 이면, 1번 모드를 CS'에 포함시키고 최소치가 E1이 아니면 1번 모드를 CS'에 포함시키지 않는다. 제 2 단계로서, 현재 블록의 인트라 예측 모드를 2번 모드라고 가정하고 이를 이용한 잔차신호(A2)를 생성한 다음(제 1 단계와 동일하지만 단지 A1 대신에 A2를 사용함), 제 1 단계와 같이 E1 내지 EN을 구한후 최소치가 E2인가 여부를 확인하여, 만일 최소치가 E2이면 2번 모드를 CS'에 포함시키고, 최소치가 E2가 아니면 2번 모드를 CS'에 포함시키지 않는다. 이러한 단계를 제 N 단계까지 수행함으로써, 후보 인트라 예측 가능 모드 집합을 재구성할 수 있다.

전술한 과정은 후보 인트라 예측 모드 집합 선정기(510)에서 선정된 N 개의 후보 인트라 예측 모드 집합의 모든 인트라 예측 모드 후보에 대해 모두 수행된 후, 후보 인트라 예측 가능 모드 집합 선정기(520)는 예측 가능한 인트라 예측 모드 후보만을 모아서 후보 인트라 예측 가능 모드 집합을 재구성한다. 따라서, 후보 인트라 예측 가능 모드 집합 선정기(520)에서 재구성된 후보 인트라 예측 가능 모드 집합의 M 개의 인트라 예측 모드 후보의 개수는 후보 인트라 예측 모드 집합 선정기(510)에서 선정된 후보 인트라 예측 모드 집합의 N 개의 인트라 예측 모드 후보의 개수보다 항상 작거나 같다(즉, N≥M).

부호화기 인트라 예측 모드 결정기(530)는 후보 인트라 예측 가능 모드 집합 선정기(520)에서 재구성된 후보 인트라 예측 가능 모드 집합의 개수에 따라, 제 1 인트라 예측 모드 선정 방법 및 제 2 인트라 예측 모드 선정 방법을 선택적으로 수행한다. 즉, 후보 인트라 예측 가능 모드 선정기(520)에서 재구성된 후보 인트라 예측 가능 모드 집합 내의 인트라 예측 모드 후보의 개수가 기 설정된 개수 이상이면(예를 들어, M≥1), 인트라 예측 모드 결정기(530)는 영상 복호화 장치에서 부호화기 예측 모드를 스스로 결정할 수 있는 것으로 판단하여, 소정의 제 1 인트라 예측 모드 선정 방법에 따라 현재 블록의 인트라 예측 모드인 부호화기 예측 모드를 결정한다. 반면, 후보 인트라 예측 가능 모드 선정기(520)에서 재구성된 후보 인트라 예측 가능 모드 집합 내의 인트라 예측 모드 후보의 개수가 기 설정된 개수 미만이면(예를 들어, M<1), 인트라 예측 모드 결정기(530)는 영상 복호화 장치에서 부호화기 예측 모드를 스스로 결정할 수 없는 것으로 판단하여, 소정의 제 2 인트라 예측 모드 선정 방법에 따라 현재 블록의 인트라 예측 모드인 부호화기 예측 모드를 결정한다.

여기서, 소정의 제 1 부호화 방법은, 후보 인트라 예측 가능 모드 집합 선정기(520)에서 재구성된 후보 인트라 예측 가능 모드 집합 내의 인트라 예측 모드 후 보의 개수가 기 설정된 개수 이상일 경우에 수행되며, M 개의 인트라 예측 모드 후보 중에서 소정의 최적 부호화 기준을 만족하는 하나의 인트라 예측 모드

를 부호화기 예측 모드로서 결정하고, 부호화기 예측 모드를 영상 부호화 장치에서 스스로 결정할 수 있다고 판단한다. 이 경우, 소정의 최적 부호화 기준으로는 후보 인트라 예측 가능 모드 집합 내의 각 인트라 예측 모드 후보에 대해 현재 블록을 예측하고 부호화하는 경우에 발생하는 비트량(Rate)과 왜곡치(Distortion)를 고려한 율-왜곡 비용(R-D Cost)이 이용될 수 있지만, 반드시 이에 한정되지 않고 최적의 부호화 성능을 낼 수 있는 인트라 예측 모드를 선택할 수 있는 기준이라면 다른 어떠한 기준도 사용될 수 있다. 수학식 2는 율-왜곡 최적화 함수를 이용하여 인트라 예측 모드를 결정하는 일 예를 수학식으로 나타낸 것이다.

수학식 2에서,

는 후보 인트라 예측 가능 모드 집합에 포함된 인트라 예측 모드 후보를 나타내며,

는 후보 인트라 예측 가능 모드 집합 선정기(520)에서 재구성된 후보 인트라 예측 가능 모드 집합의 M 개의 인트라 예측 모드 후보 중에서 소정의 최적 부호화 기준에 따라 결정된 하나의 인트라 예측 모드 즉, 최적의 인트라 예측 모드를 나타낸다.

는 최적 선택 기준에 따른 함수로서, 일 예로 율-왜곡 비용을 기준으로 최적의 인트라 예측 모드를 찾기 위한 율-왜 곡 최적화 함수가 이용될 수 있다. 여기서,

는 원 영상과 복원 영상 간의 오차를 나타내고,

는 라그란지 상수를 나타낸다. 또한,

,

및

는 각각 잔차 신호를 부호화하는데 소요되는 비트량, 해당 블록의 부호화기 예측 모드를 부호화하는데 소요되는 비트량 및 복호화기 예측 가능 여부를 나타내기 위한 식별 정보를 부호화하는데 소요되는 비트량을 나타낸다. 수학식 2에서는 편의상,

,

및

의 세 개의 비트량 관련 함수에 동일한 라그라지 상수를 사용하였으나 각 비트량 함수에 서로 다른 라그란지 상수가 이용될 수도 있다.

또한, 소정의 제 2 인트라 예측 모드 선정 방법은, 후보 인트랑 예측 가능 모드 집합 선정기(520)에서 재구성된 후보 인트라 예측 모드 집합의 개수가 기 설정된 개수 미만일 경우에 수행되며, 영상 부호화 장치와 영상 복호화 장치가 미리 약속하여 공유하고 있는 소정의 방법에 따라 하나의 인트라 예측 모드

를 부호화기 예측 모드로서 결정하고, 결정된 부호화기 예측 모드가 영상 복호화 장치에서 스스로 결정할 수 없다고 판단한다. 소정의 제 2 인트라 예측 모드 선정 방법에 대한 일 예는 해당 블록의 인트라 예측 모드 즉, 부호화기 예측 모드를 최대 가능 모드로 결정하는 것이다.

즉, 소정의 제 1 인트라 예측 모드 선정 방법에 의해 영상 복호화 장치가 스스로 부호화기 예측 모드를 결정할 수 없다고 판단된 경우에는 해당 블록의 최대 가능 모드를 부호화기 예측 모드로 사용하는 것이다. 이런 예와 같이, 소정의 제 2 인트라 예측 모드 선정 방법으로 정의한 최대 가능 모드는 영상 부호화 장치와 영 상 복호화 장치가 사전에 공유하고 있고 동일한 과정을 수행할 수 있으므로, 영상 부호화 장치가 영상 복호화 장치로 부호화기 예측 모드를 식별하기 위한 정보를 추가로 전송하지 않아도 된다.

하지만, 다른 예로, 소정의 제 2 인트라 예측 모드 선정 방법을 최대 가능 모드에 한정시키지 않고 더욱 다양하게 정의할 수 있다. 즉, 소정의 제 2 인트라 예측 모드 선정 방법을 N 개의 인트라 예측 모드를 지시하는

비트의 정보를 전송하는 방법으로 정의할 수도 있다. 여기에서,

의 기호는 X보다는 같거나 크고 X+1보다는 항상 작은 정수값을 산출하는 실링(Ceiling) 함수이다.

도 6은 본 발명의 일 실시예에 따른 모드 정보 생성기를 간략하게 나타낸 블록 구성도이다.

본 발명의 일 실시예에 따른 모드 정보 생성기(430)는 예측 가능 모드 식별자 생성기(610), 예측 모드 식별자 부호화기(620), 통합 부호화 모드 정보 생성기(630)를 포함하여 구성될 수 있다.

예측 가능 모드 여부 식별자 생성기(610)는 예측 모드 결정기(410)의 부호화기 예측 모드 결정기(530)에서 결정된 부호화기 예측 모드를 영상 복호화 장치에서 예측할 수 있는지 여부에 따라 예측 가능 여부 식별자를 생성한다. 예를 들어, 예측 가능 여부 식별자 생성기(610)는 소정의 제 1 인트라 예측 모드 선정 방법에 의해 영상 복호화 장치가 스스로 부호화기 예측 모드를 결정할 수 있다고 판단된 경우에는 예측 가능 여부 식별자로서 플래그 '1'을 생성한다. 반면에, 예측 가능 모 드 여부 식별자 생성기(610)는 소정의 제 2 인트라 예측 모드 선정 방법에 의해 영상 복호화 장치가 부호화기 예측 모드를 결정할 수 있다고 판단된 경우에는 예측 가능 여부 식별자로서 플래그 '0'을 생성한다.

이 경우, 영상 복호화 장치는 모드 정보 중 예측 가능 여부 식별자로서 플래그 '1'을 수신하면, 소정의 제 1 인트라 예측 모드 선정 방법에 상응하는 소정의 제 1 인트라 예측 모드 선정 방법(즉, 영상 부호화 장치와 미리 약속한 제 1 인트라 예측 모드 선정 방법)을 이용하여 스스로 현재 블록의 인트라 예측 모드를 결정하고, 결정된 현재 블록의 인트라 예측 모드를 이용하여 현재 블록을 예측한다. 반면, 영상 복호화 장치가 예측 가능 여부 식별자로서 플래그 '0'을 수신하면, 소정의 제 2 인트라 예측 모드 선정 방법에 상응하는 소정의 제 2 인트라 예측 모드 선정 방법(즉, 영상 부호화 장치와 미리 약속한 제 2 인트라 예측 모드 선정 방법)을 이용하여 현재 블록의 인트라 예측 모드를 결정하고, 결정된 현재 블록의 인트라 예측 모드로 이용하여 현재 블록을 예측한다.

예측 모드 식별자 생성기(620)는 소정의 제 2 인트라 예측 모드 선정 방법에 따라 결정한 부호화기 예측 모드를 식별하기 위한 예측 모드 식별자를 부호화 할 필요가 있는 경우에 한해 예측 모드 식별자를 생성하는데, 예측 모드 결정기(410)에서 결정된 현재 블록의 부호화기 예측 모드를 나타내는 예측 모드 식별자를 N 개의 인트라 예측 모드를 지시하는

비트의 정보로 부호화할 수 있다.

통합 부호화 모드 정보 생성기(630)는 소정의 부호화 단위에 포함된 각각의 블록에 대한 복호화기 예측 가능 여부에 따른 예측 가능 여부 식별자를 통합하여 통합 부호화 모드 정보를 생성한다. 이러한 통합 부호화 모드를 식별하기 위한 통합 부호화 모드 정보는 소정의 부호화 단위로 생성될 수 있다. 예를 들어, 통합 부호화 모드가 소정의 부호화 단위 내에 모든 블록의 부호화기 예측 모드가 영상 복호화 장치에서 예측 가능한 통합 예측 가능 모드인 경우에는 통합 부호화 모드 정보는 '1'로 생성될 수 있으며, 통합 부호화 모드가 소정의 부호화 단위 내에 모든 블록의 부호화기 예측 모드가 영상 복호화 장치에서 예측 불가능한 통합 예측 불가능 모드인 경우에는 통합 부호화 모드 정보는 '01'로 생성될 수 있으며, 통합 부호화 모드가 소정의 부호화 단위 내에 블록의 부호화기 예측 모드가 선택적으로 영상 복호화 장치에서 예측 가능하거나 불가능한 혼합 모드인 경우에는 통합 부호화 모드 정보는 '001'로 생성될 수 있다.

또한, 각 부호화 단위에 대한 통합 부호화 모드는 소정의 부호화 단위에서 소정의 최적 부호화 기준(예를 들어, 율-왜곡 최적화 기준)에 따라 하나의 모드가 결정될 수 있다. 통합 부호화 모드 중에서 예측 가능 여부 식별자를 소정의 부호화 단위에서 통합하여 생성하고 부호화할 수 있는 통합 예측 가능 모드와 통합 예측 불가능 모드의 경우, 예측 가능 여부 식별자는 블록 단위로 부호화되지 않고 소정의 부호화 단위로 부호화될 수 있으므로, 수학식 3과 같이 율-왜곡 함수에서

를 제거하여 최적 인트라 예측 모드를 결정할 수 있다.

수학식 3에서도 편의상,

및

의 비트량 관련 함수에 동일한 라그란지 상수를 사용하였으나, 각 비트량 함수에 서로 다른 라그란지 상수를 사용할 수도 있다.

도 7은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.

이하에서는 도 7을 참조하여, 본 발명의 일 실시예에 따른 영상 부호화 방법의 일 예를 구체적으로 설명한다. 영상 부호화 장치(400)는 영상을 인트라 예측 부호화하고자 할 때 매크로블록, 슬라이스 등과 같은 소정의 부호화 단위로 부호화하는데, 매클로블록 단위로 부호화하는 경우, 매크로블록의 각 서브블록 단위로 인트라 예측 모드를 결정하고 결정된 인트라 예측 모드를 이용하여 인트라 예측 부호화한다.

이를 위해, 영상 부호화 장치(400)는 후보 인트라 예측 모드 집합을 선정하고(S710), 선정된 후보 인트라 예측 모드 집합의 각 인트라 예측 모드 후보에 대해 복호화기 예측 가능 여부를 판단하여 영상 복호화 장치에서 예측 가능한 인트라 예측 모드 후보들을 포함하는 후보 인트라 예측 가능 모드 집합을 재구성한다(S720). 영상 부호화 장치(400)는 재구성된 후보 인트라 예측 가능 모드 집합에 포함된 인트라 예측 모드 후보의 개수가 기 설정된 개수 이상인지 여부를 판단하여(S730), 기 설정된 개수 이상인 경우에는 영상 복호화 장치가 부호화기 예측 모드를 예측할 수 있다고 판단하여 제 1 인트라 예측 모드 선정 방법을 이용하여 부호화기 예측 모드를 결정하고(S740), 기 설정된 개수 미만인 경우에는 영상 복호화 장치가 부호화기 예측 모드를 예측할 수 없다고 판단하여 제 2 인트라 예측 모드 선정 방법을 이용하여 부호화기 예측 모드를 결정하며(S750), 단계 S740 또는 단계 S750에서 결정된 부호화기 예측 모드를 이용하여 현재 블록을 인트라 예측 부호화한다(S760).

영상 부호화 장치(400)는 매크로블록 내 모든 서브블록에 대해 부호화가 완료되었는지 여부를 판단하여(S770), 모든 서브블록에 대해 부호화가 완료되지 않은 경우에는 단계 S710으로 진행하여 다음 서브블록을 현재 블록으로 설정하여 단계 S770까지 수행하고, 모든 서브블록에 대해 부호화가 완료된 경우에는 현재 매크로블록에 대한 통합 부호화 모드를 결정하여 모드 정보를 생성하고 부호화한다(S780).

도 7에서 도시하고 전술한 단계들과 그 순서는 본 발명의 일 실시예에 따른 영상 부호화 방법의 일 예를 설명하기 위한 것일 뿐, 본 발명의 일 실시예에 따른 영상 부호화 방법이 그 단계들을 모두 반드시 수행해야 하거나 그 순서에 한정되는 것은 아니다. 따라서, 전술한 단계들 중 일부의 단계는 선택적으로 수행되지 않을 수 있으며, 다른 단계가 추가로 수행될 수도 있을 뿐만 아니라, 각 단계의 순서는 서로 변경되거나 심지어는 병렬적으로 수행될 수도 있다. 또한, 도 7에서는 부호화 단위가 매크로블록인 것으로 가정하여 본 발명의 일 실시예에 따른 영상 부호화 방법을 도시하고 설명했지만, 부호화 단위는 구현 예에 따라 다양한 크기로 정의될 수 있다.

도 8은 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.

도 8을 참조하면, 본 발명의 일 실시예에 따른 영상 복호화 장치(800)는 모드 정보 추출기(810), 제 1 예측 모드 결정기(820), 제 2 예측 모드 결정기(830) 및 복호화기(840)를 포함하여 구성될 수 있다. 이러한 영상 복호화 장치(800)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 포함한다.

모드 정보 추출기(810)는 부호화 데이터로부터 모드 정보를 추출하고, 모드 정보에 포함된 통합 부호화 모드 정보를 분석하여 소정의 부호화 단위에 포함된 각 블록에 대해 예측 가능 여부 식별자를 추출해야 하는지 여부를 판단한다. 이 경우, 통합 부호화 모드 정보가 혼합 모드를 지시하면, 소정의 부호화 단위에 포함된 각 블록의 예측 가능 여부 식별자를 각각 추출하며, 통합 부호화 모드 정보가 통합 예측 가능 모드 또는 통합 예측 불가능 모드이면 예측 가능 여부 식별자를 추출하지 않고, 통합 부호화 모드 정보의 값에 따라 모든 블록의 인트라 예측 모드를 예측 가능 또는 예측 불가능으로 일괄 판단한다.

제 1 예측 모드 결정기(820)는 통합 부호화 모드가 통합 예측 가능 모드이거나 통합 부호화 모드가 혼합 모드이고 소정의 부호화 단위에 포함된 블록들 중 예측 가능 여부 식별자가 예측 가능을 지시하는 블록들에 대해, 영상 부호화 장치(400)와 미리 약속한 소정의 제 1 인트라 예측 모드 선정 방법을 이용하여 현재 블록의 인트라 예측 모드를 결정한다.

본 발명의 일 실시예에서는 소정의 제 1 인트라 예측 모드 선정 방법에 따라 인트라 예측 모드를 선정하기 위해, 수학식 1에 나타난 바와 같이 인접 화소 정합 방법을 이용할 수 있지만, 전술한 바와 같이 다양한 방법을 이용할 수 있다. 즉, 제 1 예측 모드 결정기(820)는 소정의 부호화 단위의 통합 부호화 모드가 통합 예측 가능 모드인 경우, 해당 부호화 단위에 포함된 모든 블록에 대하여, 선택 가능한 인트라 예측 가능 모드 후보 각각에 대한 예측 가능 여부 판단 함수를 계산하고 선택 가능한 인트라 예측 가능 모드 후보 중에서 예측 가능 여부 판단 함수의 값이 최소가 되는 인트라 예측 모드 후보를 해당 블록의 인트라 예측 모드로 결정한다. 또는, 제 1 예측 모드 결정기(820)는 소정의 부호화 단위의 통합 부호화 모드가 혼합 모드인 경우, 해당 부호화 단위에 포함된 모든 블록들 중 예측 가능 여부 식별자가 예측 가능을 지시하는 모든 블록에 대하여, 선택 가능한 인트라 예측 가능 모드 후보 각각에 대한 예측 가능 여부 판단 함수를 계산하고 선택 가능한 인트라 예측 가능 모드 후보 중에서 예측 가능 여부 판단 함수의 값이 최소가 되는 인트라 예측 모드 후보를 해당 블록의 인트라 예측 모드로 결정한다.

제 2 예측 모드 결정기(830)는 통합 부호화 모드가 통합 예측 불가능 모드이거나 통합 부호화 모드가 혼합 모드이고 소정의 부호화 단위에 포함된 블록들 중 예측 가능 여부 식별자가 예측 불가능을 지시하는 블록들에 대해, 영상 부호화 장치(400)와 미리 약속한 소정의 제 2 인트라 예측 모드 선정 방법을 이용하여 현재 블록의 인트라 예측 모드를 결정한다.

본 발명의 일 실시예에서는 소정의 제 2 인트라 예측 모드 선정 방법에 따라 인트라 예측 모드를 선정하기 위해, 최대 가능 모드를 이용할 수 있지만, 전술한 바와 같이 다양한 방법으로 정의될 수 있다. 즉, 제 2 예측 모드 결정기(830)는 소정의 부호화 단위의 통합 부호화 모드가 통합 예측 불가능 모드인 경우, 해당 부호화 단위에 포함된 모든 블록에 대하여, 각 블록의 인트라 예측 모드를 제 1 인트라 예측 모드 선정 방법으로 결정할 수 없는 것으로 판단하여 각 블록의 최대 가능 모드를 각 블록의 인트라 예측 모드로 결정한다. 또는, 제 2 예측 모드 결정기(830)는 소정의 부호화 단위의 통합 부호화 모드가 혼합 모드인 경우, 해당 부호화 단위에 포함된 모든 블록들 중 예측 가능 여부 식별자가 예측 불가능을 지시하는 모든 블록에 대하여, 해당 블록의 인트라 예측 모드를 제 1 인트라 예측 모드 선정 방법으로 결정할 수 없는 것으로 판단하여 각 블록의 최대 가능 모드를 각 블록의 인트라 예측 모드로 결정한다.

복호화기(840)는 부호화 데이터로부터 추출된 각 블록에 대한 부호화된 잔차 블록을 복호화하여 복원하고, 제 1 예측 모드 결정기(820) 또는 제 2 예측 모드 결정기(830)에 의해 결정된 각 블록의 인트라 예측 모드에 따라 각 블록을 예측하여 생성한 예측 블록과 복원된 잔차 블록을 가산하여 각 블록을 복원한다.

도 9은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.

도 9을 참조하면, 본 발명의 일 실시예에 따른 영상 복호화 장치(800)는 부호화 데이터로부터 추출된 모드 정보의 통합 부호화 모드 정보를 분석하여 각 블록에 대한 인트라 예측 모드 선정 방법을 결정하고(S910), 결정된 인트라 예측 모드 선정 방법에 따라 각 블록의 인트라 예측 모드를 결정하여 결정된 인트라 예측 모드를 이용하여 각 블록을 복호화하여 복원한다(S920).

도 10은 본 발명의 일 실시예에 따른 영상 복호화 방법의 일 예를 설명하기 위한 순서도이다.

본 발명의 일 실시예에 따른 영상 복호화 장치(800)는 영상을 매크로블록, 슬라이스 등과 같은 소정의 부호화 단위 부호화 데이터로부터 통합 부호화 모드 정보, 예측 가능 여부 식별자 및 예측 모드 식별자 중 하나 이상을 포함하는 모드 정보를 추출하고(S1010), 통합 부호화 모드 정보를 분석하여 통합 부호화 모드가 혼합 모드인지 여부를 판단한다(S1020).

영상 복호화 장치(800)는 통합 부호화 모드가 혼합 모드인 경우에는 소정의 부호화 단위 내의 모든 블록에 대해 각 블록별로 예측 가능 여부 식별자를 추출하고(S1030), 추출된 예측 가능 여부 식별자가 예측 가능을 지시하는지 여부를 판단하여(S1040), 예측 가능 여부 식별자가 예측 가능을 지시하는 경우(예를 들어, 예측 가능 여부 식별자가 '1'인 경우)에는 제 1 인트라 예측 모드 선정 방법을 이용하여 해당 블록의 인트라 예측 모드를 결정하고(S1050), 예측 가능 여부 식별자가 예측 불가능을 지시하는 경우(예를 들어, 예측 가능 여부 식별자가 '0'인 경우)에는 제 2 인트라 예측 모드 선정 방법을 이용하여 해당 블록의 인트라 예측 모드를 결정한다(S1070).

또한, 영상 복호화 장치(800)는 통합 부호화 모드가 혼합 모드가 아닌 경우에는 통합 부호화 모드가 통합 예측 가능 모드인지 여부를 판단하고(S1060), 통합 부호화 모드가 통합 예측 가능 모드인 경우에는 단계 S1050과 같이, 제 1 인트라 예측 모드 선정 방법을 이용하여 각 블록의 인트라 예측 모드를 결정하고, 통합 부호화 모드가 통합 예측 불가능 모드인 경우에는 단계 S1070과 같이, 제 2 인트라 예측 모드 선정 방법을 이용하여 각 블록의 인트라 예측 모드를 결정한다. 다만, 단계 S1050과 단계 S1070에서는 각각 소정의 부호화 단위 내의 블록들 중 예측 가능 여부 식별자가 예측 가능 및 예측 불가능을 지시하는 블록들에 대해 각 단계를 수행하였지만, 통합 부호화 모드가 통합 예측 가능 모드와 통합 예측 불가능 모드인 경우에는 각각 소정의 블록 단위 내의 모든 블록에 대해 제 1 인트라 예측 모드 선정 방법과 제 2 인트라 예측 모드 방법을 이용하여 모든 블록에 대한 인트라 예측 모드를 결정한다.

영상 복호화 장치(800)는 부호화 데이터로부터 소정의 부호화 단위 내의 각 블록에 대한 부호화된 잔차 블록을 복호화하여 복원하고(S1080), 단계 S1050 또는 단계 S1070에서 결정된 각 블록에 대한 인트라 예측 모드를 이용하여 각 블록에 대한 예측 블록을 생성하며(S1090), 각 블록에 대해 복원된 잔차 블록과 현재 블록을 가산하여 각 블록을 복원한다(S1092).

이상에서 전술한 바와 같이, 본 발명의 일 실시예에 따르면, 영상 부호화 장치(400)가 후보 인트라 예측 모드 집합 중에서 영상 복호화 장치(800)에서 예측 가능한 인트라 예측 모드 후보만을 포함하는 후보 인트라 예측 가능 모드 집합을 재구성하고, 재구성된 후보 인트라 예측 가능 모드 집합 내의 인트라 예측 모드 후보의 개수에 따라서 영상 복호화 장치(800)가 부호화기 예측 모드를 예측할 수 있는지 여부를 결정하여 인트라 예측 모드를 선정하는 방법을 결정하고 그에 따라 인트라 예측 모드를 결정함에 따라, 영상 복호화 장치(800)에서는 이용 가능한 모든 인트라 예측 모드 후보 중에서 스스로 예측할 수 있는 인트라 예측 모드 후보만을 이용하여 현재 블록의 인트라 예측 모드를 결정할 수 있으므로, 각 블록에 대해 영상 복호화 장치(800)에서 예측할 수 있는 부호화기 예측 모드를 결정할 수 있는 가능성이 높아진다.

이 경우, 영상 복호화 장치(800)에서 부호화기 예측 모드를 예측할 수 있으므로, 영상 부호화 장치(400)는 부호화기 예측 모드를 식별하기 위한 식별 정보를 영상 복호화 장치(800)로 전송할 필요가 없으며, 그로 인해 부호화 데이터의 비트량을 크게 줄일 수 있다. 또한, 후보 인트라 예측 가능 모드 집합을 이용하여 부호화기 예측 모드를 결정함으로써, 해당 블록에 대해 영상 복호화 장치(800)에서 예측할 수 있는 부호화기 예측 모드를 각 블록의 인트라 예측 모드로서 결정할 가능성이 높아져, 궁극적으로는 부호화 데이터의 비트량을 감소시킬 수 있다.

또한, 본 발명의 일 실시예에 따르면, 영상 부호화 장치(400)가 소정의 부호 화 단위로 통합 부호화 모드를 결정하여 소정의 부호화 단위 내의 모든 블록들의 예측 가능 여부 식별자가 모두 예측 가능을 지시하거나 모두 예측 불가능을 지시하는 경우에는, 각 블록마다 예측 가능함 또는 예측 불가능함을 지시하기 위한 식별자를 부호화 데이터에 포함시키지 않고 소정의 부호화 단위로 한 번만 예측 가능함 또는 예측 불가능함을 지시하면 되기 때문에, 부호화 데이터에서 예측 가능 여부 식별자를 위한 비트량을 크게 줄일 수 있어, 부호화 효율을 향상시킬 수 있다.

이하에서는 본 발명의 일 실시예에 따른 영상 부호화 장치(400)와 영상 부호화 방법에 따른 성능에 대한 실험 결과를 설명한다.

본 발명의 일 실시예에 따른 영상 부호화 방법의 성능을 평가하기 위해 JM(Joint Model) 12.2 참조 소프트웨어를 기반으로 영상 부호화 방법을 구현하였다. 표 1은 성능 평가를 위한 자세한 실험 환경을 나타낸다. 표 1에 나타낸 것처럼 720p 해상도의 실험 영상을 사용하였다. 실험 영상들에 대해 양자화 계수(QP: Quantization Parameter)를 28에서 40까지 변화하며 부호화하였고, H.264/AVC 표준의 베이스라인 프로파일(Baseline Profile) 환경에서 실험하였다.

도 12는 본 발명의 일 실시예에 따른 실험 결과로서 HD 영상들의 율-왜곡 성능 비교를 나타낸 예시도이다.

본 발명의 일 실시예에 따른 영상 부호화 방법에 따른 성능은 각 영상에 따라 다르게 나타나고 있으며, 특히 Jets 과 Raven 영상에서 좋은 성능을 보이고 있다. 이는 Night, Crew, Bigships 영상들은 Jets 나 Raven 보다 복잡한 디테일(Detail)을 지니고 있기 때문이다. 영상이 복잡하게 되면 유사한 인트라 예측 모드가 적게 발생하게 되고, 그에 따라 스킵 모드의 발생 빈도수가 낮아지게 된다. 이러한 이유에서 Night 나 Crew 영상은 일정 비트율에서 크로스오버(Cross Over)가 발생한다.

도시된 바와 같이, 본 발명의 일 실시예에 따르면, 1 비트 또는 4 비트를 전송하는 H.264/AVC 표준 대신에 단지 1 비트만을 소모하고 있다. 게다가 일정한 임계치 이상의 개수의 블록들의 부호화기 예측 모드가 영상 복호화 장치에서 예측 가능한 경우에는 다른 블록들의 부호화기 예측 모드가 영상 복호화 장치에서 예측할 수 없다고 해도, 해당 블록에 대한 부호화기 예측 모드를 식별하기 위한 정보를 위한 비트 플래그를 보내지 않기 때문에, 전체 비트율 측면에서 기존의 H.264/AVC 표준에 따른 성능보다 더 나은 성능을 보이고 있다. 실험 결과는 본 발명의 일 실시예에 따른 영상 부호화 방법에 따르면, H.264/AVC 표준에 비해 평균 약 3.08%의 비트율 감소와 0.30dB의 화질 개선을 보이고 있음을 나타내고 있다. 특히, 본 발명의 일 실시예에 따른 영상 부호화 방법은 저비트율에서 더욱 효과적일 수 있다.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것이다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

이상에서 설명한 바와 같이 본 발명은 영상을 압축하는 영상 처리 기술 분야에 적용되어, 영상을 부호화하는 데 소요되는 비트량을 감소시켜 부호화 효율을 향상시키고 압축된 영상의 화질을 개선할 수 있는 효과를 발생하는 매우 유용한 발명이다.

도 1 및 도 2는 H.264/AVC 표준에 따른 인트라 4x4 예측을 위한 9 가지의 인트라 예측 모드를 나타낸 예시도,

도 3은 H.264/AVC 표준에 따라 인트라 예측 모드를 부호화하는 과정을 나타낸 예시도,

도 4는 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도,

도 5는 본 발명의 일 실시예에 다른 예측 모드 결정기를 간략하게 나타낸 블록 구성도,

도 6은 본 발명의 일 실시예에 따른 모드 정보 생성기를 간략하게 나타낸 블록 구성도,

도 7은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,

도 8은 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도,

도 9은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도,

도 10은 본 발명의 일 실시예에 따른 영상 복호화 방법의 일 예를 설명하기 위한 순서도,

도 11은 경계 화소 정합 알고리즘을 설명하기 위한 예시도,

도 12는 본 발명의 일 실시예에 따른 실험 결과로서 HD 영상들의 율-왜곡 성능 비교를 나타낸 예시도이다.

Claims (17)

1. 인트라 예측을 이용하여 영상을 부호화하는 장치에 있어서,

   복수의 인트라 예측 모드 각각이 영상 복호화 장치에 의해 예측 가능한지 여부를 결정하고 상기 영상 복호화 장치에 의해 예측 가능한 인트라 예측 모드를 포함하는 후보 인트라 예측 가능 모드 집합을 유도하며, 상기 후보 인트라 예측 가능 모드 집합에 근거하여 복수의 인트라 예측 모드 선정 방법 중 현재 블록의 인트라 예측 모드 선정 방법을 결정하고, 결정된 인트라 예측 모드 선정 방법을 이용하여 상기 현재 블록의 인트라 예측 모드를 결정하는 인트라 예측 모드 결정부;

   상기 현재 블록으로부터 상기 결정된 현재 블록의 인트라 예측 모드에 따라 예측된 예측 블록을 감산하여 잔차 블록을 생성하고 부호화하는 부호화부;

   상기 복수의 인트라 예측 모드 선정 방법 중 상기 현재 블록의 인트라 예측 모드 선정 방법을 지시하는 정보를 포함하는 모드 정보를 생성하는 모드 정보 생성부; 및

   상기 부호화된 잔차 블록과 상기 모드 정보를 포함하는 부호화 데이터를 생성하는 부호화 데이터 생성부

   를 포함하는 것을 특징으로 하는 영상 부호화 장치.
2. 제 1 항에 있어서,

   상기 인트라 예측 모드 결정부는,

   상기 후보 인트라 예측 가능 모드 집합 내의 인트라 예측 모드 후보의 개수가 기 설정된 값 이상일 때, 상기 후보 인트라 예측 가능 모드 집합 내의 인트라 예측 모드 후보 중에서 상기 현재 블록의 인트라 예측 모드를 결정하는 제1 인트라 예측 모드 선정 방법을 상기 현재 블록의 인트라 예측 모드 선정 방법으로 결정하는 것을 특징으로 하는 영상 부호화 장치.
3. 제 2 항에 있어서,

   상기 인트라 예측 모드 결정부는,

   상기 후보 인트라 예측 가능 모드 집합 내의 인트라 예측 모드 후보의 개수가 기 설정된 값 미만일 때, 상기 복수의 인트라 예측 모드 중에서 상기 현재 블록의 인트라 예측 모드를 결정하는 제2 인트라 예측 모드 선정 방법을 상기 현재 블록의 인트라 예측 모드 선정 방법으로 결정하는 것을 특징으로 하는 영상 부호화 장치.
4. 제 1 항에 있어서,

   상기 모드 정보 생성부는,

   상기 현재 블록을 포함하는 기결정된 부호화 단위 내 블록들의 인트라 예측 모드 선정 방법이 동일한지에 대한 통합 부호화 모드 정보를 생성하는 것을 특징으로 하는 영상 부호화 장치.
5. 제 4 항에 있어서,

   상기 기 결정된 부호화 단위 내의 블록들의 인트라 예측 모드 선정 방법이 동일하지 않은 경우, 상기 기결정된 부호화 단위 내의 각 블록의 인트라 예측 모드 선정 방법을 지시하는 정보를 생성하는 것을 특징으로 하는 영상 부호화 장치.
6. 제 3 항에 있어서,

   상기 제2 인트라 예측 모드 선정 방법이 상기 현재 블록의 인트라 예측 모드 선정 방법으로 결정될 때, 상기 모드 정보 생성부에서 생성하는 상기 모드 정보는 상기 복수의 인트라 예측 모드 중 상기 현재 블록의 인트라 예측 모드를 식별하기 위한 예측 모드 식별 정보를 포함하는 것을 특징으로 하는 영상 부호화 장치.
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 인트라 예측을 이용하여 복수의 블록을 포함하는 부호화 단위를 복호화하는 방법에 있어서,

    부호화 데이터로부터, 복수의 인트라 예측 모드 선정 방법 중 상기 부호화 단위의 인트라 예측 모드 선정 방법을 지시하는 부호화 모드 정보를 포함하는 모드 정보를 추출하는 단계;

    상기 추출된 모드 정보에 따라 상기 부호화 단위의 인트라 예측 모드 선정 방법을 결정하는 단계;

    상기 결정된 부호화 단위의 인트라 예측 모드 선정 방법을 이용하여 상기 부호화 단위 내의 상기 복수의 블록에 적용할 인트라 예측 모드를 결정하는 단계;

    상기 결정된 인트라 예측 모드를 이용하여 상기 부호화 단위 내의 상기 복수의 블록 각각을 복원하는 단계를 포함하되,

    상기 부호화 단위 내의 상기 복수의 블록을 복원하는 단계는,

    상기 결정된 인트라 예측 모드에 따라 결정된 주변 화소를 이용하여 상기 부호화 단위 내의 복호화 대상 블록을 예측하는 단계;

    부호화된 데이터로부터 잔차 블록을 복원하는 단계; 및

    상기 예측된 복호화 대상 블록과 상기 복원된 잔차 블록을 가산하여 상기 복호화 대상 블록을 복원하는 단계

    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
14. 제 13 항에 있어서,

    상기 모드 정보에 포함된 상기 부호화 모드 정보가 혼합 모드를 지시하는 경우, 상기 인트라 예측 모드 선정 방법을 결정하는 단계는,

    상기 부호화 단위 내 상기 복수의 블록 각각의 인트라 예측 모드 선정 방법을 지시하는 정보를 상기 부호화 데이터로부터 식별하는 단계; 및

    상기 식별된 정보에 따라 상기 부호화 단위 내 상기 복수의 블록 각각에 대응하는 인트라 예측 모드 선정 방법을 결정하는 단계

    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
15. 제 13 항에 있어서,

    상기 복수의 인트라 예측 모드 선정 방법은 복수의 인트라 예측 모드로부터 선택된 인트라 예측 모드 후보들 중에서 인트라 예측 모드를 결정하는 제1 인트라 예측 모드 선정 방법을 포함하는 것을 특징으로 하는 영상 복호화 방법.
16. 제 15 항에 있어서,

    상기 인트라 예측 모드 후보들은 복호화할 블록에 따라 가변적으로 결정되는 것을 특징으로 하는 영상 복호화 방법.
17. 제 15 항에 있어서,

    상기 복수의 인트라 예측 모드 선정 방법은 상기 모드 정보에 포함된 예측 모드 식별 정보를 사용하여 상기 복수의 인트라 예측 모드 중에서 인트라 예측 모드를 결정하는 제2 인트라 예측 모드 선정 방법을 포함하는 것을 특징으로 하는 영상 복호화 방법.

Images