KR100980780B1 - An image prediction method in a multiview video codec and a computer-readable recording medium recording a program therefor - Google Patents

An image prediction method in a multiview video codec and a computer-readable recording medium recording a program therefor Download PDF

Info

Publication number
KR100980780B1
KR100980780B1 KR1020080056457A KR20080056457A KR100980780B1 KR 100980780 B1 KR100980780 B1 KR 100980780B1 KR 1020080056457 A KR1020080056457 A KR 1020080056457A KR 20080056457 A KR20080056457 A KR 20080056457A KR 100980780 B1 KR100980780 B1 KR 100980780B1
Authority
KR
South Korea
Prior art keywords
disparity vector
vector value
value
macroblock
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020080056457A
Other languages
Korean (ko)
Other versions
KR20090130712A (en
Inventor
최병호
김제우
김용환
신화선
박지호
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020080056457A priority Critical patent/KR100980780B1/en
Publication of KR20090130712A publication Critical patent/KR20090130712A/en
Application granted granted Critical
Publication of KR100980780B1 publication Critical patent/KR100980780B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 다시점 비디오 코덱에서의 영상 예측 방법 및 이를 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체에 관한 것으로, 다시점 비디오 부호화에서의 영상 예측에 있어서, 각 매크로 블록별로 시점별 디스패리티 벡터값을 구한 후, 이중 특정값을 후보값으로 선택하는 단계, 선택된 후보값을 기준으로 좌우 최대 픽셀 범위까지 설정 픽셀 만큼 떨어진 범위 내에서 글로벌 디스패리티 벡터값을 구하는 단계, 글로벌 디스패리티 벡터값에서 움직임 정보를 공유하는 대응 매크로 블록을 검색하기 위한 디스패리티 벡터값을 구하는 단계, 상기 디스패리티 벡터값을 통해 대응되는 다른 시점의 매크로 블록을 검색하는 단계, 검색한 매크로 블록을 통해 움직임 정보를 획득하여 현재 매크로 블록을 부호화하는 단계를 포함하여 이루어짐으로써, 부호화시에 발생되는 잔여성분에 대한 예측 부호화도 같이 수행하여 잔여성분을 최소화하여 비트 할당량을 감소시킴으로써 부호화 효율을 향상시킬 수 있고, 전경 및 배경 중에 현재 영상 내에서 지배적으로 값을 가지고 있는 전경 또는 배경으로 편향되도록 매크로 블록 단위로 빈도수가 가장 높은 글로벌 디스패리티 벡터값을 유도하여 어느 한쪽이라도 정확하게 맞도록 하는 효과도 얻어진다. The present invention relates to an image prediction method in a multi-view video codec and a computer-readable recording medium recording a program therefor. In the image prediction in multi-view video encoding, a disparity vector value for each view is determined for each macro block. Selecting a specific value as a candidate value, obtaining a global disparity vector value within a range of a set pixel spaced to the maximum left and right pixel ranges based on the selected candidate value, and obtaining motion information from the global disparity vector value. Obtaining a disparity vector value for searching for a corresponding corresponding macroblock to be shared; retrieving a macroblock at another point in time corresponding to the disparity vector value; acquiring motion information through the found macroblock to obtain a current macroblock By including the step of encoding, Predictive coding for residual components generated during decoupling can also be performed to minimize the residual components to reduce bit allocation, thereby improving coding efficiency.Foreground or background that has a dominant value in the current image among foreground and background The effect of deriving a global disparity vector value having the highest frequency in units of macroblocks so as to be deflected by is also obtained.

다시점 비디오 코덱, 부호화, 복호화, 예측, 잔여성분, 매크로 블록 Multiview Video Codec, Encoding, Decoding, Prediction, Residual Components, Macroblock

Description

다시점 비디오 코덱에서의 영상 예측 방법 및 이를 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체{METHOD FOR IMAGE PREDICTION OF MULTI-VIEW VIDEO CODEC AND COMPUTER READABLE RECORDING MEDIUM THEREFOR}Method of predicting image in multi-view video codec and computer-readable recording medium recording program therefor {METHOD FOR IMAGE PREDICTION OF MULTI-VIEW VIDEO CODEC AND COMPUTER READABLE RECORDING MEDIUM THEREFOR}

본 발명은 다시점 비디오 부호화에 관한 것으로, 보다 구체적으로는 부호화시에 발생되는 잔여성분에 대한 예측 부호화도 같이 수행하여 부호화 효율을 향상시키는 다시점 비디오 코덱에서의 영상 예측 방법 및 이를 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체에 관한 것이다. The present invention relates to multi-view video encoding, and more particularly, to record an image prediction method and a program therefor in a multi-view video codec for performing encoding encoding on residual components generated in encoding to improve encoding efficiency. A computer readable recording medium.

일반적으로 다시점 비디오 코딩(MVC)은 다수의 카메라로부터 획득한 각 뷰의 영상 시퀀스들을 처리하는 것으로, 이들 다수의 카메라들은 동일한 객체(object)에 대하여 거리 및 대향 방향에 있어서 다소 차이가 있도록 배치된다. 이러한 다수의 카메라들을 통해서 획득한 다시점 영상은 동일한 객체의 표면에서 빛이 반사되는 정도가 그 방향에 따라서 다소 차이가 있는 반면에 각 뷰의 영상이 상관관계가 높다는 특성을 함께 갖는다. 다시점 영상이 갖는 전자의 특성으로 인하여 동일한 객 체에 대한 각 뷰의 영상 사이에도 밝기와 색차의 차이가 존재하므로, 다시점 비디오 코딩에서 부호화 효율을 향상시키기 위해서는 다시점 영상이 갖는 전자의 특성을 고려하여야 한다. 아울러 각 뷰의 영상이 갖는 높은 상관관계를 갖는다는 후자의 특성을 이용하면 다시점 영상의 부호화 효율을 향상시킬 수 있다. In general, multi-view video coding (MVC) processes the image sequences of each view obtained from multiple cameras, which are arranged such that they differ slightly in distance and in opposite directions with respect to the same object. . The multi-view image obtained through the plurality of cameras has a characteristic that the image of each view has a high correlation while the degree of light reflection on the surface of the same object is slightly different depending on the direction. Due to the characteristics of the electrons of the multiview image, there is a difference in brightness and color difference between the images of each view of the same object. Consideration should be given. In addition, by using the latter characteristic of having a high correlation between images of each view, encoding efficiency of a multiview image may be improved.

현재 표준화가 활발하게 진행 중인 다시점 비디오 코딩에서는 기존의 동영상 코딩에 관한 국제 표준인 H.264/MPEG-4 part Advanced Video Coding(이하, H.264/AVC라 함)을 기반으로 하면서, 전술한 다시점 영상의 2가지 특성을 고려하여 부호화 효율을 향상시키는 방법을 모색하고 있는데, 표준화가 진행 중인 다시점 비디오 코딩에서는 움직임 정보(motion information), 예컨대 움직임 벡터(MV)의 예측 방법으로, H.264/AVC에 규정되어 있는 것과 같은 방법을 사용할 것을 제안하고 있다. H.264/AVC에 규정되어 있는 움직임 벡터(MV)의 예측 방법은, 시간 방향으로서의 움직임 예측(motion estimation, ME)을 통해 구해지는 현재 블록(current block)의 움직임 벡터(MV)는 그 주변 블록의 움직임 벡터와 유사하다는 가정에 기초하고 있다. Multi-view video coding, which is currently being actively standardized, is based on H.264 / MPEG-4 part Advanced Video Coding (hereinafter referred to as H.264 / AVC), which is an international standard for video coding. Considering two characteristics of a multiview image, a method of improving coding efficiency is being sought. In multiview video coding, which is being standardized, a method of predicting motion information, for example, a motion vector (MV), is used. It is proposed to use the same method as specified in 264 / AVC. In the method of predicting a motion vector (MV) defined in H.264 / AVC, the motion vector (MV) of a current block obtained through motion estimation (ME) in the temporal direction is a neighboring block. It is based on the assumption that it is similar to the motion vector of.

즉, H.264/AVC에서는 상기 주변 블록의 움직임 벡터(MVN, motion vector of neighbor block)들을 이용하여 움직임 벡터 예측값(MVP, motion vector predictor)을 구한 다음, 현재 블록의 움직임 벡터에서 움직임 벡터 예측값을 뺀 움직임 벡터 차분값(MVD, motion vector difference)을 구한다. 그리고 움직임 예측을 통해 구한 현재 블록의 움직임 벡터(MV)가 아닌 상기 움직임 벡터 차분값(MVD)을 복호화기에 전송한다. That is, in H.264 / AVC, the motion vector predictor (MV P ) is obtained using the motion vectors of neighboring blocks (MV N ), and then the motion vector is obtained from the motion vector of the current block. The motion vector difference (MV D ) is obtained by subtracting the predicted value. The motion vector difference value MV D is transmitted to the decoder, not the motion vector MV of the current block obtained through motion prediction.

또한, H.264/AVC에서는 현재 블록의 주변 블록이 여러 개가 존재하면, 이 주변 블록의 움직임 벡터들의 전부 또는 일부의 중간값을 구하여 이를 현재 블록의 움직임 벡터 예측값으로 사용하는 것으로 규정하고 있다. In addition, in H.264 / AVC, when there are several neighboring blocks of the current block, the intermediate value of all or some of the motion vectors of the neighboring block is obtained and used as the motion vector prediction value of the current block.

도 1은 종래 H.264/AVC에 규정되어 있는 움직임 벡터 예측값을 구하는 방법의 일례를 설명하기 위한 도면이다. FIG. 1 is a diagram for explaining an example of a method for obtaining a motion vector predictor value defined in conventional H.264 / AVC.

도 1을 참조하면, 현재 블록의 움직임 벡터 예측값을 구하기 위해 이용하는 주변 블록은 원칙적으로 블록 'A', 'B' 및 'C'가 된다. 이 경우에 움직임 벡터 예측값은 블록 'A', 'B' 및 'C'의 움직임 벡터들의 중간값이 된다. Referring to FIG. 1, neighboring blocks used to obtain a motion vector prediction value of the current block are, in principle, blocks 'A', 'B', and 'C'. In this case, the motion vector prediction value is an intermediate value of the motion vectors of the blocks 'A', 'B' and 'C'.

도 2는 종래 H.264/AVC에서 주변 블록의 움직임 벡터를 이용하여 움직임 벡터 예측값을 구하는 다른 방법을 설명하기 위한 도면이다. FIG. 2 is a diagram for explaining another method of obtaining a motion vector prediction value using motion vectors of neighboring blocks in H.264 / AVC.

도 2는 매크로블록 크기의 주변 블록이 여러 가지 모양의 파티션 블록으로 분할되어 있는 경우로, 현재 블록의 왼쪽으로 인접하는 주변 블록은 그 주변 블록 내의 최우상측에 있는 파티션 블록 'A'로 선택하고, 현재 블록의 위쪽으로 인접하는 주변 블록의 경우에는 그 주변 블록 내의 최좌하측에 있는 파티션 블록 'B'로 선택하며, 현재 블록의 우상쪽으로 인접하는 주변 블록의 경우에는 그 주변블록 내의 최좌하측에 있는 파티션 블록 'C'로 선택하여 선택된 파티션 블록 'A', 'B', 'C'의 움직임 벡터들에 대한 중간값 연산으로 구해진 값을 움직임 벡터 예측값으로 한다. FIG. 2 illustrates a case in which neighboring blocks having a macroblock size are divided into partition blocks having various shapes. The neighboring blocks to the left of the current block are selected as the partition block 'A' at the top right side within the neighboring blocks. In the case of the neighboring block adjacent to the upper side of the current block, the partition block 'B' located at the bottom left in the neighboring block is selected. In the case of the neighboring block adjacent to the upper right side of the current block, The partition block 'C' is selected and the value obtained by the median operation on the motion vectors of the selected partition blocks 'A', 'B' and 'C' is used as the motion vector prediction value.

또한, 기 부호화된 다른 시점의 움직임 정보를 이용하는 경우에는 현재 매크 로블록과 대응되는 매크로블록을 먼저 찾아야 하는데, 대응되는 매크로블록을 찾기 위한 정보로 사용되는 것이 글로벌 디스패리티(disparity) 벡터이다. 이 글로벌 디스패리티 벡터는 슬라이스 헤더(slice header)의 정보로부터 얻거나 움직임 정보를 추정하여 얻을 수 있는데, 화상 그룹(Group of picture, GOP) 내의 동영상 압축 시 P 프레임 혹은 B 프레임의 움직임 보상 및 예측에 기준이 되는 앵커 프레임(anchor frame)에서만 상기 글로벌 디스패리티 벡터값을 추정하며, 나머지 GOP 내의 비앵커 프레임(non-anchor frame)들은 모두 상기 앵커 프레임의 글로벌 디스패리티 벡터값을 그대로 사용하게 된다. 상기 앵커 프레임에서의 글로벌 디스패리티는 프레임 베이스로 구하게 되는데, 도 3과 같은 방법으로 쉽게 구할 수 있다. In addition, when using previously encoded motion information of another view, the macroblock corresponding to the current macroblock must be found first. The global disparity vector is used as information for finding the corresponding macroblock. This global disparity vector can be obtained from the information of the slice header or by estimating the motion information. The global disparity vector can be obtained from motion compensation and prediction of a P frame or B frame when compressing a video in a group of picture (GOP). The global disparity vector value is estimated only in an anchor frame as a reference, and all non-anchor frames in the remaining GOPs use the global disparity vector value of the anchor frame as it is. The global disparity in the anchor frame is obtained from the frame base, which can be easily obtained in the same manner as in FIG. 3.

도 3은 종래 프레임 베이스의 글로벌 디스패리티 벡터값을 추정하는 방법을 설명하기 위한 도면이다. 3 is a diagram for describing a method of estimating a global disparity vector value of a conventional frame base.

도 3을 참조하면, 현재 프레임(100)에 대한 설정된 검색 범위(search range)에서 기준 프레임(110)이 모션 스킵(motion skip)을 통해 오버랩핑(overlapping)되는 부분의 평균값이 최소가 되는 위치를 차고, 그 위치를 현재 프레임의 글로벌 디스패리티 벡터값이 가르키는 값으로 추정하였다. Referring to FIG. 3, a position where an average value of a portion of the reference frame 110 overlapping through motion skip is minimized in a set search range for the current frame 100. The position was estimated as the value indicated by the global disparity vector value of the current frame.

그런데, 상기 종래 다시점 비디오 코딩에서는 움직임 정보와 픽셀값을 이용하여 시점간 예측 부호화를 하는데, 촬영시 카메라의 변위에 따른 디스패리티(disparity) 만큼의 움직임을 제외한 모든 시점의 움직임은 일정하고 균일하게 나타나게 되고, 부호화를 통해 발생되는 잔여성분도 비슷한 성분을 포함하기 때문 에 잔여성분간의 예측 부호화를 통해 잔여성분을 최소화시켜주는 것이 가능하지만, 잔여성분에 대한 예측 부호화는 수행하지 않기 때문에 불필요한 비트가 잔여성분에 할당되는 문제점이 있었다. However, in the conventional multi-view video coding, inter-view prediction coding is performed by using motion information and pixel values, and motions of all viewpoints except for as much as the disparity according to the displacement of the camera during shooting are uniform and uniform. Since the residual components generated through encoding include similar components, it is possible to minimize the residual components through predictive encoding between the residual components, but since the prediction encoding is not performed on the residual components, unnecessary bits remain. There was an issue assigned to.

또한, 상기 종래 다시점 비디오 코딩에서는 움직임 벡터들에 대한 중간값(평균값) 연산으로 움직임 벡터 예측값을 구하는데, 카메라에 의해서 촬영된 영상의 경우 배경 영역이 상대적으로 전경 영역보다 넓게 많은 부분을 차지하기 때문에 특히 프레임 베이스의 글로벌 디스패리티 벡터 추정법에서는 배경의 움직임이 중요하게 되지만 영상 내에 전경이 차지하는 부분이 많은 경우에는 전경의 움직임 벡터값이 글로벌 디스패리티 벡터값에 영향을 미치므로, 전경의 움직임 벡터값과 배경의 움직임 벡터값의 평균값을 글로벌 디스패리티 벡터값으로 추정한다. In addition, the conventional multi-view video coding obtains a motion vector prediction value by calculating an intermediate value (mean value) of motion vectors. In case of an image photographed by a camera, the background region occupies a relatively large portion of the foreground region. Therefore, in the frame-based global disparity vector estimation method, the background motion becomes important, but when the foreground occupies a large portion of the image, the foreground motion vector value affects the global disparity vector value. The average value of the motion vector value of the background and the background is estimated as the global disparity vector value.

따라서 전경이나 배경이 영상 내를 지배하고 있는 형상이라면 글로벌 디스패리티 벡터값이 정확한 값을 나타내지만, 어느 한쪽이 지배하지 않고 비슷하게 분할하고 있는 형상이면 글로벌 디스패리티 벡터값은 전경의 움직임과 배경의 움직임의 평균값과 비슷하게 되어 결국 어느 한쪽에도 정확히 맞지 않는 예측값이 될 수 있다는 문제점이 있었다. Therefore, if the foreground or background dominates the image, the global disparity vector value shows the correct value, but if either side does not dominate and the shape is similarly divided, the global disparity vector value is the motion of the foreground and the background. There was a problem in that it became similar to the mean value of, so that it could be a predicted value that did not exactly fit either side.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 본 발명의 목적은 부호화시에 발생되는 잔여성분에 대한 예측 부호화도 같이 수행하여 부호화 효율을 향상시키는 다시점 비디오 코덱에서의 영상 예측 방법 및 이를 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체를 제공함에 있다. SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object of the present invention is to perform a prediction encoding on a residual component generated during encoding as well as an image prediction method in a multi-view video codec to improve encoding efficiency and A computer-readable recording medium having recorded a program is provided.

또한, 본 발명의 목적은 전경 및 배경 중에 현재 영상 내에서 지배적으로 값을 가지고 있는 전경 또는 배경으로 편향되도록 매크로 블록 단위로 빈도수가 가장 높은 글로벌 디스패리티 벡터값을 유도하여 정확성을 향상시키는 다시점 비디오 코덱에서의 영상 예측 방법 및 이를 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체를 제공함에 있다. In addition, an object of the present invention is a multi-view video that improves accuracy by deriving a global disparity vector value having the highest frequency in units of macro blocks so as to be biased toward the foreground or background having a dominant value in the current image among the foreground and background. An image prediction method in a codec and a computer-readable recording medium recording a program therefor are provided.

상기 목적을 달성하기 위해 본 발명의 제1의 특징은, 다시점 비디오 부호화에서의 영상 예측에 있어서, 각 매크로 블록별로 시점별 디스패리티 벡터값을 구한 후, 이중 특정값을 후보값으로 선택하는 단계, 상기 선택된 후보값을 기준으로 매크로 블록 내에서 설정 픽셀 단위로 글로벌 디스패리티 벡터값을 구하는 단계, 상기 글로벌 디스패리티 벡터값에서 움직임 정보를 공유하는 대응 매크로 블록을 검색하기 위한 디스패리티 벡터값을 구하는 단계, 상기 디스패리티 벡터값을 통해 대응되는 다른 시점의 매크로 블록을 검색하는 단계, 상기 검색한 매크로 블록을 통 해 움직임 정보를 획득하여 현재 매크로 블록을 부호화하는 단계를 포함하는 것이다. In order to achieve the above object, a first aspect of the present invention is to obtain a disparity vector value for each view for each macroblock in image prediction in multi-view video encoding, and then select a dual specific value as a candidate value. Obtaining a global disparity vector value in units of a predetermined pixel in a macroblock based on the selected candidate value, and obtaining a disparity vector value for searching for a corresponding macroblock sharing motion information in the global disparity vector value; The method may include retrieving a macroblock corresponding to another view through the disparity vector value, and encoding current macroblock by acquiring motion information through the retrieved macroblock.

본 발명의 제2의 특징은 제1의 특징에 있어서, 상기 후보값으로 선택하는 단계는 상기 시점별 디스패리티 벡터값을 누적하여 히스토그램(histogram)을 작성하는 단계, 상기 작성된 히스토그램을 기반으로 누적된 시점별 디스패리티 벡터값 중 빈도가 가장 높은 디스패리티 벡터값을 후보값으로 선택하는 단계를 포함하는 것이다. According to a second aspect of the present invention, the selecting of the candidate value comprises: generating a histogram by accumulating the disparity vector values for each time point, and accumulating the histogram based on the created histogram. And selecting a disparity vector value having the highest frequency among the disparity vector values for each time point as a candidate value.

본 발명의 제3의 특징은 제1의 특징에 있어서, 상기 글로벌 디스패리티 벡터값을 구하는 단계는 상기 후보값을 갖는 매크로 블록의 범위 내에서 설정 픽셀 단위로 모션 스킵(motion skip)을 수행하는 단계, 상기 모션 스킵을 통해 참조 영상과 부호화 영상간의 차이가 최소인 위치를 글로벌 디스패리티 벡터값으로 추정하는 단계를 포함하는 것이다. According to a third aspect of the present invention, in the first aspect, the obtaining of the global disparity vector value may include: performing a motion skip on a predetermined pixel basis within a range of a macroblock having the candidate value; And estimating a position where the difference between the reference picture and the encoded picture is minimum through the motion skip as a global disparity vector value.

본 발명의 제4의 특징은 제1의 특징에 있어서, 상기 매크로 블록의 크기는 16 픽셀이고, 설정 픽셀은 매크로 블록의 ½, ¼, 정수 픽셀 중 어느 하나인 것이다. A fourth aspect of the present invention is the first aspect, wherein the size of the macro block is 16 pixels, and the setting pixel is any one of ½, ¼, and integer pixels of the macro block.

본 발명의 제5의 특징은 제1의 특징에 있어서, 상기 현재 매크로 블록을 부호화하는 단계는 현재 매크로 블록과 대응되는 위치의 레지듀얼 데이터가 매크로 불록의 경계 또는 블록 경계를 지나는 경우, 스무딩(Smoothing) 필터링을 통해 경계를 부드럽게 처리하는 단계를 더 포함하는 것이다. According to a fifth aspect of the present invention, in the first aspect, the encoding of the current macroblock includes: when residual data at a position corresponding to the current macroblock crosses a boundary of a macro block or a block boundary, Filtering to smooth the boundary.

본 발명의 제6의 특징은 제5의 특징에 있어서, 상기 스무딩 필터링시 고주파 성분만을 제거하는 것이다. A sixth aspect of the present invention is the fifth aspect, wherein only the high frequency component is removed during the smoothing filtering.

본 발명의 제7의 특징은 제6의 특징에 있어서, 상기 고주파 성분 제거시에 ½, ¼, ⅛의 필터계수 중 어느 하나를 선택하는 것이다. According to a seventh aspect of the present invention, in the sixth aspect, any one of ½, ¼, and 필터 filter coefficients is selected when the high frequency component is removed.

본 발명의 제8의 특징은 제1의 특징에 있어서, 상기 글로벌 디스패리티 벡터값은 상기 각 매크로 블록을 포함하는 전체 영역에 해당하는 것이다. An eighth aspect of the present invention is the first aspect, wherein the global disparity vector value corresponds to an entire region including the respective macroblocks.

본 발명의 제9의 특징은 제8의 특징에 있어서, 상기 전체 영역은 슬라이스(slice), 화상 그룹(Group of picture, GOP), 앵커 픽처(anchor picture), 시퀀스(sequence) 중 어느 하나인 것이다. A ninth aspect of the present invention is the eighth aspect, wherein the entire region is any one of a slice, a group of picture (GOP), an anchor picture, and a sequence. .

본 발명의 제10의 특징은 제8의 특징에 있어서, 상기 전체 영역은 영상 내 배경(background) 영역 및 전경(foreground) 영역인 것이다. A tenth feature of the present invention is the eighth feature, wherein the entire area is a background area and a foreground area in the image.

본 발명의 제11의 특징은, 다시점 비디오 부호화에서의 영상 예측에 있어서, 각 매크로 블록별로 시점별 디스패리티 벡터값을 구한 후, 이중 특정값을 후보값으로 선택하는 단계, 상기 선택된 후보값을 기준으로 매크로 블록 내에서 설정 픽셀 단위로 글로벌 디스패리티 벡터값을 구하는 단계, 상기 글로벌 디스패리티 벡터값에서 움직임 정보를 공유하는 대응 매크로 블록을 검색하기 위한 디스패리티 벡터값을 구하는 단계, 상기 디스패리티 벡터값을 통해 대응되는 다른 시점의 매크로 블록을 검색하는 단계, 상기 검색한 매크로 블록을 통해 움직임 정보를 획득하여 현재 매크로 블록을 부호화하는 단계, 상기 부호화 시 획득한 잔여성분에 대한 예측 부호화를 통해 비트 할당을 결정하는 단계를 포함하는 것이다. According to an eleventh aspect of the present invention, in image prediction in multi-view video encoding, after obtaining a disparity vector value for each macroblock for each view, selecting a specific value as a candidate value, and selecting the selected candidate value. Obtaining a global disparity vector value in units of a predetermined pixel within a macroblock based on a reference; obtaining a disparity vector value for searching for a corresponding macroblock sharing motion information from the global disparity vector value; and the disparity vector Retrieving a macroblock corresponding to another view through a value, obtaining motion information through the retrieved macroblock, encoding a current macroblock, and allocating bits through predictive encoding on residual components obtained at the time of encoding It will include the step of determining.

본 발명의 제12의 특징은 제11의 특징에 있어서, 상기 비트 할당을 결정하는 단계는 상기 부호화 시 획득한 잔여성분과 다시점의 대응되는 위치의 잔여성분과의 차분을 통해서 최종 잔여성분을 획득하는 단계, 상기 획득한 최종 잔여성분에 대한 비트 할당을 결정하여 예측 부호화하는 단계를 포함하는 것이다. A twelfth aspect of the present invention is the eleventh aspect of the present invention, wherein in the determining of the bit allocation, the final residual component is obtained through a difference between the residual component obtained during the encoding and the residual component at a corresponding position of a multiview. And determining the bit allocation for the obtained last residual component and performing predictive encoding.

본 발명의 제13의 특징은 제11의 특징에 있어서, 상기 후보값으로 선택하는 단계는 상기 구해진 시점별 디스패리티 벡터값을 누적하여 히스토그램을 작성하는 단계, 상기 작성된 히스토그램을 기반으로 누적된 시점별 디스패리티 벡터값 중 빈도가 높은 디스패리티 벡터값들을 후보값으로 선택하는 단계를 포함하는 것이다.A thirteenth aspect of the present invention is the eleventh aspect of the present invention, wherein the selecting of the candidate value comprises: generating a histogram by accumulating the obtained disparity vector values for each time point, and accumulating each time point based on the created histogram. Selecting disparity vector values having a high frequency among the disparity vector values as candidate values.

본 발명의 제14의 특징은 제11의 특징에 있어서, 상기 글로벌 디스패리티 벡터값을 구하는 단계는 상기 후보값을 갖는 매크로 블록의 범위 내에서 설정 픽셀 단위로 모션 스킵(motion skip)을 수행하는 단계, 상기 움직임 수킵을 통해 참조 영상과 부호화 영상간의 차이가 최소인 위치를 글로벌 디스패리티 벡터값으로 선정하는 단계를 포함하는 것이다. A fourteenth aspect of the present invention is the eleventh aspect of the present invention, wherein the obtaining of the global disparity vector value comprises: performing a motion skip on a predetermined pixel basis within a range of a macroblock having the candidate value; And selecting, as the global disparity vector value, a position where the difference between the reference picture and the coded picture is minimum through the motion skip.

본 발명의 제15의 특징은 제11의 특징에 있어서, 상기 매크로 블록의 크기는 16 픽셀이고, 설정 픽셀은 매크로 블록의 ½, ¼, 정수 픽셀 중 어느 하나인 것이다. A fifteenth feature of the present invention is the eleventh feature, wherein the size of the macroblock is 16 pixels, and the setting pixel is any one of ½, ¼, and integer pixels of the macroblock.

본 발명의 제16의 특징은 제11의 특징에 있어서, 상기 현재 매크로 블록을 부호화하는 단계는 매크로 불록의 경계 또는 블록 경계를 지나는 경우 스무딩(Smoothing) 필터링을 통해 경계를 부드럽게 처리하는 단계를 더 포함하는 것이다. A sixteenth aspect of the present invention is the eleventh aspect of the present invention, wherein the encoding of the current macroblock further includes smoothing the boundary through smoothing filtering when crossing the macroblock boundary or the block boundary. It is.

본 발명의 제17의 특징은 제11의 특징에 있어서, 상기 글로벌 디스패리티 벡 터값은 상기 각 매크로 블록을 포함하는 전체 영역에 해당하는 것이다. A seventeenth feature of the present invention is the eleventh feature, wherein the global disparity vector value corresponds to an entire region including each of the macroblocks.

본 발명의 제18의 특징은 제17의 특징에 있어서, 상기 전체 영역은 슬라이스(slice), 화상 그룹(Group of picture, GOP), 앵커 픽처(anchor picture), 시퀀스(sequence) 중 적어도 어느 하나인 것이다. An eighteenth aspect of the present invention is the seventeenth aspect, wherein the entire area is at least one of a slice, a group of picture (GOP), an anchor picture, and a sequence. will be.

본 발명의 제19의 특징은 제17의 특징에 있어서, 상기 전체 영역은 영상 내 배경(background) 영역 및 전경(foreground) 영역인 것이다. A nineteenth aspect of the present invention is the seventeenth aspect, wherein the entire region is a background region and a foreground region in the image.

본 발명의 제20의 특징은, 다시점 비디오 부호화에서의 영상 예측에 있어서, 각 매크로 블록별로 시점별 디스패리티 벡터값을 구한 후, 이중 특정값을 후보값으로 선택하는 단계, 상기 선택된 후보값을 기준으로 매크로 블록 내에서 설정 픽셀 단위로 글로벌 디스패리티 벡터값을 구하는 단계, 상기 글로벌 디스패리티 벡터값에서 움직임 정보를 공유하는 대응 매크로 블록을 검색하기 위한 디스패리티 벡터값을 구하는 단계, 상기 디스패리티 벡터값을 통해 대응되는 다른 시점의 매크로 블록을 검색하는 단계, 상기 검색한 매크로 블록을 통해 움직임 정보를 획득하여 현재 매크로 블록을 부호화하는 단계, 상기 부호화 시 획득한 잔여성분에 대한 예측 부호화를 통해 비트 할당을 결정하는 단계를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체인 것이다. According to a twentieth aspect of the present invention, in image prediction in multi-view video encoding, after obtaining a disparity vector value for each macro block for each view, selecting a specific value as a candidate value, and selecting the selected candidate value. Obtaining a global disparity vector value in units of a predetermined pixel within a macroblock based on a reference; obtaining a disparity vector value for searching for a corresponding macroblock sharing motion information from the global disparity vector value; and the disparity vector Retrieving a macroblock corresponding to another view through a value, obtaining motion information through the retrieved macroblock, encoding a current macroblock, and allocating bits through predictive encoding on residual components obtained at the time of encoding To read the computer to record the program to realize the step of determining To the recording medium.

본 발명에 따른 다시점 비디오 코덱에서의 영상 예측 방법 및 이를 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체에 의하면, 부호화시에 발생되는 잔여성분에 대한 예측 부호화도 같이 수행하여 잔여성분을 최소화하여 비트 할당량을 감소시킴으로써 부호화 효율을 향상시킬 수 있다는 효과가 얻어진다.According to an image prediction method of a multi-view video codec and a computer-readable recording medium recording a program therefor, the bit allocation is performed by minimizing the residual components by performing the prediction encoding on the residual components generated during the encoding. The effect of improving the coding efficiency can be obtained by reducing.

또한, 본 발명에 따른 다시점 비디오 코덱에서의 영상 예측 방법 및 이를 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체에 의하면, 전경 및 배경 중에 현재 영상 내에서 지배적으로 값을 가지고 있는 전경 또는 배경으로 편향되도록 매크로 블록 단위로 빈도수가 가장 높은 글로벌 디스패리티 벡터값을 유도하여 어느 한쪽이라도 정확하게 맞도록 하는 효과도 얻어진다. In addition, according to the image prediction method and a computer-readable recording medium recording a program therefor according to the multi-view video codec according to the present invention, such that the foreground and the background is biased toward the foreground or background that predominantly has a value in the current image. The effect of deriving a global disparity vector value having the highest frequency in units of macroblocks is also obtained.

본 발명에 대해 간략하게 설명하자면, 다시점을 지원하는 코덱(CODEC)에서는 기존의 2차원 코덱에서 쓰인 기술 이외에도 서로 다른 시점간의 영상들을 이용하여 예측이 가능하다. 이러한 기술에서 가장 고려되어야 할 것은 여러 시점의 영상을 이용하여 현재 압축하고자 하는 시점의 영상과 가장 근접한 영상을 어떻게 만드는가 하는 부분이다. Briefly describing the present invention, a codec supporting multi-view can be predicted using images between different viewpoints in addition to the technology used in the conventional two-dimensional codec. The most important thing to consider in this technique is how to make the image closest to the image of the viewpoint to be compressed by using the images of several viewpoints.

이를 위해 기 부호화된 다른 시점의 움직임 정보를 이용하는 경우에는 현재 매크로블록과 대응되는 매크로블록을 먼저 찾아야 하는데, 대응되는 매크로블록을 찾기 위한 정보로 사용되는 글로벌 디스패리티(disparity) 벡터값을 프레임 베이스로 추정하는 경우에는 전경 또는 배경 중 어느 한쪽에도 정확하게 맞지 않는 값이 추정될 수 있으므로, 본 발명에서는 매크로 블록 베이스로 빈도가 높은 시점별 디스패리티 벡터값을 글로벌 디스패리티 벡터값으로 사용하여 효과적으로 현재시점을 압축하는 방법을 제안하고자 한다. To this end, when using motion information of another encoded view, the macroblock corresponding to the current macroblock should be found first, and the global disparity vector value used as information for finding the corresponding macroblock is framed. In the case of estimating, a value that does not exactly fit either the foreground or the background can be estimated. In the present invention, the current view can be effectively used by using a disparity vector value with a high frequency as the global disparity vector value based on the macroblock base. I would like to propose a method of compression.

또한 본 발명은 컴퓨터나 이와 동등한 수준의 디지털 장치에서 판독 가능한 프로그램, 혹은 그 프로그램이 기록된 기록매체에 의해 수행될 수 있다. 즉, 본 발명은 컴퓨터나 이와 동등한 수준의 디지털 장치가 본 발명에 따른 다시점 비디오 코덱에서의 영상 예측 방법을 실행하기 위한 프로그램을 가동함으로써 수행되는 것으로, 본 발명에 따른 방법의 동작 설명에서 동작의 주체는 연산 장치의 제어수단(이하, ‘제어부’라 하기로 함)으로 가정하여 설명하기로 한다.In addition, the present invention can be performed by a program readable by a computer or a digital device equivalent thereto, or by a recording medium on which the program is recorded. That is, the present invention is performed by a computer or a digital device equivalent thereto to run a program for executing an image prediction method in a multi-view video codec according to the present invention. The subject will be described on the assumption that it is a control means (hereinafter, referred to as a 'control unit') of the computing device.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시 예를 첨부한 도면을 참조하여 상세하게 설명한다. 또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. In addition, in describing this invention, the same code | symbol is attached | subjected and the repeated description is abbreviate | omitted.

도 4는 본 발명에 따른 다시점 비디오 코덱에서의 영상 예측 과정을 보인 흐름도이고, 도 5는 본 발명의 실시예에 따른 매크로 블록 베이스의 글로벌 디스패리티 벡터값을 추정하는 방법을 설명하기 위한 도면이며, 도 6은 본 발명의 실시예에 따른 움직임 정보 공유를 위한 디스패리티 벡터를 유도하는 과정을 설명하기 위한 도면이다. 4 is a flowchart illustrating an image prediction process in a multi-view video codec according to the present invention, and FIG. 5 is a view for explaining a method of estimating a global disparity vector value of a macroblock base according to an embodiment of the present invention. 6 is a view for explaining a process of deriving a disparity vector for sharing motion information according to an embodiment of the present invention.

상기 도 4를 참조하면, 현재 부호화하려는 매크로 블록에 대응되는 매크로 블록을 찾기 위한 정보로 사용되는 글로벌 디스패리티 벡터값을 추정하기 위하여 프레임 베이스로 한꺼번에 구하는 것이 아니라, 먼저 S100 단계에서 각 매크로 블록별로 시점별 디스패리티 벡터값을 구한 후, 상기 시점별 디스패리티 벡터값을 누적하여 히스토그램(histogram)을 작성하고, 작성된 히스토그램을 기반으로 누적된 시점별 디스패리티 벡터값 중 빈도가 가장 높은 디스패리티 벡터값을 후보값으로 선택한다. Referring to FIG. 4, a frame base is not obtained all at once in order to estimate a global disparity vector value used as information for finding a macroblock corresponding to a macroblock to be currently encoded. After the disparity vector value of each point is obtained, a histogram is generated by accumulating the disparity vector value of each time point, and a disparity vector value having the highest frequency among the accumulated time points of the disparity vector value is calculated based on the created histogram. Select it as a candidate value.

이후, S200 단계에서 도 5에 도시한 바와 같이 상기 선택한 후보값을 갖는 매크로 블록(200) 내에서 설정 픽셀 단위로 상,하,좌,우로 모션 스킵(motion skip)을 수행하고, 이 모션 스킵을 통해 참조 영상과 부호화 영상간의 차이가 최소인 위치를 글로벌 디스패리티 벡터값으로 추정하는데, 일반적으로 글로벌 디스패리티 벡터값은 매크로 블록의 형태를 공유하기 위해 모션 스킵을 16의 배수 단위로 사용하였지만, 본 발명에서는 정확한 글로벌 디스패리티 벡터값을 추정하기 위해 후보값을 기준으로 상,하,좌,우 최대 픽셀(16 픽셀) 범위까지 다시 설정 픽셀(최대 픽셀의 ½ 또는 ¼ 또는 정수 픽셀) 단위로 모션 스킵을 통해 글로벌 디스패리티 벡터값으로 추정한다. 따라서 추정한 글로벌 디스패리티 벡터값은 ½ 또는 ¼ 또는 정수 픽셀의 정확도를 가진다. Subsequently, as shown in FIG. 5, in step S200, a motion skip is performed up, down, left, and right in a macroblock 200 having the selected candidate value in units of predetermined pixels, and the motion skip is performed. By using this method, the position where the difference between the reference image and the encoded image is minimal is estimated as a global disparity vector value. In general, the global disparity vector value uses motion skip as a multiple of 16 to share the shape of the macroblock. In order to estimate the accurate global disparity vector value, the invention skips the motion by the preset pixel (½ or ¼ or integer pixel of the maximum pixel) up to the maximum, lower, left and right maximum pixel (16 pixel) range based on the candidate value. It is estimated by using the global disparity vector. Thus, the estimated global disparity vector has an accuracy of ½ or ¼ or integer pixels.

상기 글로벌 디스패리티 벡터값은 상기 각 매크로 블록을 포함하는 전체 영역에 해당하는 디스패리티 벡터로서, 상기 전체 영역은 슬라이스(slice), 화상 그룹(Group of picture, GOP), 앵커 픽처(anchor picture), 시퀀스(sequence) 중 어느 하나이거나, 영상 내 배경(background) 영역 및 전경(foreground) 영역이다. The global disparity vector value is a disparity vector corresponding to an entire region including each macro block, and the entire region is a slice, a group of picture (GOP), an anchor picture, Any one of a sequence or a background area and a foreground area in an image.

이어서 S300 단계에서 도 6에 도시한 바와 같이 상기 추정한 글로벌 디스패 리티 벡터값에서 움직임 정보를 공유하는 대응 매크로 블록을 검색하기 위한 디스패리티 벡터값을 구한다. Subsequently, as shown in FIG. 6, in operation S300, a disparity vector value for searching for a corresponding macroblock sharing motion information is obtained from the estimated global disparity vector value.

즉, 글로벌 디스패리티 벡터값으로부터 유도된 디스패리티 벡터값의 영역 움직임 정보는 현재 매크로 블록의 움직임 정보를 공유하기 위해 사용된다. That is, the area motion information of the disparity vector value derived from the global disparity vector value is used to share the motion information of the current macroblock.

이때, 상기 디스패리티 벡터값은 수학식 1을 통해 유도하는데, 다음 [수학식 1]과 같이 나타낼 수 있다.In this case, the disparity vector value is derived through Equation 1, which may be expressed as Equation 1 below.

Figure 112008042926892-pat00001
Figure 112008042926892-pat00001

여기서,

Figure 112008042926892-pat00002
는 유도된 디스패리티 벡터값이고,
Figure 112008042926892-pat00003
는 글로벌 디스패리티 벡터값, 4는 좌,우 쉬프트값이다. here,
Figure 112008042926892-pat00002
Is the derived disparity vector value,
Figure 112008042926892-pat00003
Is a global disparity vector value and 4 is a left and right shift value.

이후, S400 단계에서 상기 디스패리티 벡터값을 통해 대응되는 다른 시점의 매크로 블록을 검색하고, 이어서 S500 단계에서 상기 검색한 매크로 블록을 통해 움직임 정보(매크로 블록 형태, 매크로 블록 파티션, 참조영상 인덱스, 움직임 벡터)를 획득하여 현재 매크로 블록을 부호화하는데, 만약, 현재 매크로 블록과 대응되는 위치의 레지듀얼 데이터가 매크로 불록의 경계 또는 블록 경계를 지나는 경우에는 이 지나는 부분에 블록킹 현상이 나타날 수 있어, 이를 최소화하기 위해 스무딩(Smoothing) 필터링을 통해 경계를 부드럽게 처리한다. Thereafter, in step S400, the macroblock of another time point corresponding to the disparity vector value is searched, and then, in step S500, motion information (macro block shape, macro block partition, reference image index, and motion) is detected through the searched macro block. Vector) and then encode the current macroblock. If residual data at a position corresponding to the current macroblock crosses a boundary or a block boundary of a macro block, a blocking phenomenon may occur at this passing portion, thereby minimizing this. To do this, smoothing the boundary is done through smoothing filtering.

이때, 상기 스무딩 필터링시에는 고주파 성분만을 제거하는 저역 통과 필터(LPF)가 사용되며, 이 저역 통과 필터는 ½ 또는 ¼ 또는 ⅛의 필터계수를 갖는 다. At this time, in the smoothing filtering, a low pass filter (LPF) for removing only high frequency components is used, and the low pass filter has a filter coefficient of ½ or ¼ or ⅛.

또한, S600 단계에서와 같이 상기에서 현재 매크로 블록의 부호화 시에 잔여성분이 발생하는데, 발생한 잔여성분과 다시점의 대응되는 위치의 잔여성분과의 차분(difference)을 통해서 최종 잔여성분을 획득한다. 이때 대응되는 위치는 상기 글로벌 디스패리티 벡터값을 통해서 얻는다.In addition, as in step S600, the residual component is generated at the time of encoding the current macroblock, and the final residual component is obtained through a difference between the generated residual component and the residual component at the corresponding position of the multiview. The corresponding position is obtained from the global disparity vector value.

이후, 상기 획득한 최종 잔여성분에 대한 비트 할당을 결정하는데, 만약, 대응되는 위치의 잔여성분이 현재 부호화하려는 위치의 잔여성분과 비슷한 특성을 갖는다면 비트를 할당해야 하는 최종 잔여성분의 값이 작아지게 되므로 부호화 효율을 향상시킬 수 있다. Then, the bit allocation for the obtained last residual component is determined. If the residual component of the corresponding position has similar characteristics to the residual component of the current encoding position, the value of the final residual component to which the bit should be allocated is small. As a result, the coding efficiency can be improved.

또한, 본 발명의 실시예에서는 부호화에 대해서만 설명을 하였으나, 복호화의 경우에는 상기 부호화 과정과 반대로, 비트 스트림에 해당된 기술이 사용되었다는 정보를 받으면 글로벌 디스패리티, 최종 잔여성분 및 움직임 정보(매크로 블록 형태, 매크로 블록 파티션, 참조영상 인덱스, 움직임 벡터)를 이용하여 해당 대상 매크로 블록을 가져와서 가감을 수행한 후에 복원된 영상을 취득하는 방법을 이용하므로, 그에 대한 자세한 설명은 생략한다. In addition, in the embodiment of the present invention, only the encoding is described. However, in the case of decoding, the global disparity, the final residual component, and the motion information (macroblock) are received when information indicating that a technique corresponding to a bit stream is used is reversed. Shape, macro block partition, reference image index, and motion vector), and thus, a method of acquiring and restoring an image after performing an addition or subtraction of the corresponding macro block is omitted.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(예컨대, 씨디롬, 램, 플로피 디스크, 하드 디스크, 광자기 디스크, 플래쉬 메모리 등)에 저장될 수 있다. As described above, the method of the present invention may be implemented as a program and stored in a recording medium (eg, CD-ROM, RAM, floppy disk, hard disk, magneto-optical disk, flash memory, etc.).

이상에서는 본 발명에서 특정의 바람직한 실시 예에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시 예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다. In the above, specific preferred embodiments of the present invention have been illustrated and described. However, the present invention is not limited to the above-described embodiments, and various modifications can be made by any person having ordinary skill in the art without departing from the gist of the present invention attached to the claims. .

도 1은 종래 H.264/AVC에 규정되어 있는 움직임 벡터 예측값을 구하는 방법의 일례를 설명하기 위한 도면. BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a diagram for explaining an example of a method for obtaining a motion vector prediction value defined in conventional H.264 / AVC.

도 2는 종래 H.264/AVC에서 주변 블록의 움직임 벡터를 이용하여 움직임 벡터 예측값을 구하는 다른 방법을 설명하기 위한 도면. 2 is a diagram for explaining another method of obtaining a motion vector prediction value using motion vectors of neighboring blocks in conventional H.264 / AVC.

도 3은 종래 프레임 베이스의 글로벌 디스패리티 벡터값을 추정하는 방법을 설명하기 위한 도면. 3 is a view for explaining a method for estimating a global disparity vector value of a conventional frame base.

도 4는 본 발명에 따른 다시점 비디오 코덱에서의 영상 예측 과정을 보인 흐름도. 4 is a flowchart illustrating an image prediction process in a multiview video codec according to the present invention.

도 5는 본 발명의 실시예에 따른 매크로 블록 베이스의 글로벌 디스패리티 벡터값을 추정하는 방법을 설명하기 위한 도면. 5 is a view for explaining a method of estimating a global disparity vector value of a macroblock base according to an embodiment of the present invention.

도 6은 본 발명의 실시예에 따른 움직임 정보 공유를 위한 디스패리티 벡터를 유도하는 과정을 설명하기 위한 도면. 6 is a view for explaining a process of deriving a disparity vector for sharing motion information according to an embodiment of the present invention.

* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings

100 : 현재 프레임 110 : 기준 프레임100: current frame 110: reference frame

Claims (20)

다시점 비디오 부호화에서의 영상 예측에 있어서,In image prediction in multi-view video encoding, 각 매크로 블록별로 시점별 디스패리티 벡터값을 구한 후, 상기 구해진 시점별 디스패리티 벡터값으로부터 후보값을 선택하는 단계,Obtaining a disparity vector value for each view per macroblock, and then selecting a candidate value from the obtained disparity vector value for each view; 상기 선택된 후보값을 기준으로 매크로 블록 내에서 설정 픽셀 단위로 글로벌 디스패리티 벡터값을 구하는 단계, Obtaining a global disparity vector value in units of predetermined pixels in a macro block based on the selected candidate value; 상기 글로벌 디스패리티 벡터값에서 움직임 정보를 공유하는 대응 매크로 블록을 검색하기 위한 디스패리티 벡터값을 구하는 단계, Obtaining a disparity vector value for searching for a corresponding macro block sharing motion information in the global disparity vector value; 상기 디스패리티 벡터값을 통해 대응되는 다른 시점의 매크로 블록을 검색하는 단계, Retrieving a macroblock of another point in time corresponding to the disparity vector value; 상기 검색한 매크로 블록을 통해 움직임 정보를 획득하여 현재 매크로 블록을 부호화하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 코덱에서의 영상 예측 방법. And encoding current macroblocks by acquiring motion information through the searched macroblocks. 제1항에 있어서, 상기 후보값을 선택하는 단계는 The method of claim 1, wherein selecting the candidate value comprises: 상기 시점별 디스패리티 벡터값을 누적하여 히스토그램(histogram)을 작성하는 단계, Generating a histogram by accumulating the disparity vector values for each time point, 상기 작성된 히스토그램을 기반으로 누적된 시점별 디스패리티 벡터값 중 빈도가 가장 높은 디스패리티 벡터값을 후보값으로 선택하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 코덱에서의 영상 예측 방법. And selecting a disparity vector value having the highest frequency among the accumulated disparity vector values based on the created histogram as a candidate value. 제1항에 있어서, 상기 글로벌 디스패리티 벡터값을 구하는 단계는 The method of claim 1, wherein the obtaining of the global disparity vector value comprises: 상기 후보값을 갖는 매크로 블록의 범위 내에서 설정 픽셀 단위로 모션 스킵(motion skip)을 수행하는 단계, Performing a motion skip on a predetermined pixel basis within a range of a macroblock having the candidate value; 상기 모션 스킵을 통해 참조 영상과 부호화 영상간의 차이가 최소인 위치를 글로벌 디스패리티 벡터값으로 추정하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 코덱에서의 영상 예측 방법. And estimating a position at which the difference between the reference image and the encoded image is minimal as the global disparity vector value through the motion skip. 제1항에 있어서, The method of claim 1, 상기 매크로 블록의 크기는 16 픽셀이고, 설정 픽셀은 매크로 블록의 ½, ¼, 정수 픽셀 중 어느 하나인 것을 특징으로 하는 다시점 비디오 코덱에서의 영상 예측 방법. The macro block has a size of 16 pixels, and the set pixel is any one of ½, ¼, and integer pixels of the macro block. 제1항에 있어서, 상기 현재 매크로 블록을 부호화하는 단계는 The method of claim 1, wherein the encoding of the current macroblock comprises: 현재 매크로 블록과 대응되는 위치의 레지듀얼 데이터가 매크로 불록의 경계 또는 블록 경계를 지나는 경우, 스무딩(Smoothing) 필터링을 통해 경계를 부드럽게 처리하는 단계를 더 포함하는 것을 특징으로 하는 다시점 비디오 코덱에서의 영상 예측 방법. In the multi-view video codec, if the residual data at the position corresponding to the current macro block passes the boundary of the macro block or the block boundary, smoothing the boundary by smoothing filtering is performed. Image Prediction Method. 제5항에 있어서, The method of claim 5, 상기 스무딩 필터링시 고주파 성분만을 제거하는 것을 특징으로 하는 다시점 비디오 코덱에서의 영상 예측 방법. The image prediction method of the multi-view video codec, characterized in that to remove only the high frequency components during the smoothing filtering. 제6항에 있어서, The method of claim 6, 상기 고주파 성분 제거시에 ½, ¼, ⅛의 필터계수 중 어느 하나를 선택하는 것을 특징으로 하는 다시점 비디오 코덱에서의 영상 예측 방법. And a filter coefficient of ½, ¼, ⅛ is selected at the time of removing the high frequency component. 제1항에 있어서, The method of claim 1, 상기 글로벌 디스패리티 벡터값은 상기 각 매크로 블록을 포함하는 전체 영역에 해당하는 것을 특징으로 하는 다시점 비디오 코덱에서의 영상 예측 방법. The global disparity vector value corresponds to an entire region including each macro block. 제8항에 있어서, The method of claim 8, 상기 전체 영역은 슬라이스(slice), 화상 그룹(Group of picture, GOP), 앵커 픽처(anchor picture), 시퀀스(sequence) 중 어느 하나인 것을 특징으로 하는 다시점 비디오 코덱에서의 영상 예측 방법. The entire region is any one of a slice, a group of picture (GOP), an anchor picture, and a sequence. 제8항에 있어서, The method of claim 8, 상기 전체 영역은 영상 내 배경(background) 영역 및 전경(foreground) 영역인 것을 특징으로 하는 다시점 비디오 코덱에서의 영상 예측 방법. And the entire area is a background area and a foreground area in the image. 다시점 비디오 부호화에서의 영상 예측에 있어서,In image prediction in multi-view video encoding, 각 매크로 블록별로 시점별 디스패리티 벡터값을 구한 후, 상기 구해진 시점별 디스패리티 벡터값으로부터 후보값을 선택하는 단계,Obtaining a disparity vector value for each view per macroblock, and then selecting a candidate value from the obtained disparity vector value for each view; 상기 선택된 후보값을 기준으로 매크로 블록 내에서 설정 픽셀 단위로 글로벌 디스패리티 벡터값을 구하는 단계, Obtaining a global disparity vector value in units of predetermined pixels in a macro block based on the selected candidate value; 상기 글로벌 디스패리티 벡터값에서 움직임 정보를 공유하는 대응 매크로 블록을 검색하기 위한 디스패리티 벡터값을 구하는 단계, Obtaining a disparity vector value for searching for a corresponding macro block sharing motion information in the global disparity vector value; 상기 디스패리티 벡터값을 통해 대응되는 다른 시점의 매크로 블록을 검색하는 단계, Retrieving a macroblock of another point in time corresponding to the disparity vector value; 상기 검색한 매크로 블록을 통해 움직임 정보를 획득하여 현재 매크로 블록을 부호화하는 단계, Encoding current macroblock by acquiring motion information through the searched macroblock; 상기 부호화 시 획득한 잔여성분에 대한 예측 부호화를 통해 비트 할당을 결정하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 코덱에서의 영상 예측 방법. And determining a bit allocation by predictive encoding on the residual component obtained at the time of encoding. 제11항에 있어서, 상기 비트 할당을 결정하는 단계는 12. The method of claim 11, wherein determining the bit allocation 상기 부호화 시 획득한 잔여성분과 다시점의 대응되는 위치의 잔여성분과의 차분을 통해서 최종 잔여성분을 획득하는 단계, Obtaining a final residual component through the difference between the residual component obtained during the encoding and the residual component at a corresponding position of a multiview; 상기 획득한 최종 잔여성분에 대한 비트 할당을 결정하여 예측 부호화하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 코덱에서의 영상 예측 방법. And predicting and encoding the bit allocation for the obtained last residual component. 제11항에 있어서, 상기 후보값을 선택하는 단계는 The method of claim 11, wherein selecting the candidate value comprises: 상기 구해진 시점별 디스패리티 벡터값을 누적하여 히스토그램을 작성하는 단계, Generating a histogram by accumulating the obtained disparity vector values for each time point, 상기 작성된 히스토그램을 기반으로 누적된 시점별 디스패리티 벡터값 중 빈도가 높은 디스패리티 벡터값들을 후보값으로 선택하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 코덱에서의 영상 예측 방법. And selecting a disparity vector value having a high frequency from among the accumulated disparity vector values based on the created histogram as a candidate value. 제11항에 있어서, 상기 글로벌 디스패리티 벡터값을 구하는 단계는 12. The method of claim 11, wherein obtaining the global disparity vector value 상기 후보값을 갖는 매크로 블록의 범위 내에서 설정 픽셀 단위로 모션 스킵(motion skip)을 수행하는 단계, Performing a motion skip on a predetermined pixel basis within a range of a macroblock having the candidate value; 상기 움직임 수킵을 통해 참조 영상과 부호화 영상간의 차이가 최소인 위치를 글로벌 디스패리티 벡터값으로 선정하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 코덱에서의 영상 예측 방법. And selecting, as the global disparity vector value, a position at which the difference between the reference image and the encoded image is minimum through the motion skip. 제11항에 있어서, The method of claim 11, 상기 매크로 블록의 크기는 16 픽셀이고, 설정 픽셀은 매크로 블록의 ½, ¼, 정수 픽셀 중 어느 하나인 것을 특징으로 하는 다시점 비디오 코덱에서의 영상 예측 방법. The macro block has a size of 16 pixels, and the set pixel is any one of ½, ¼, and integer pixels of the macro block. 제11항에 있어서, 상기 현재 매크로 블록을 부호화하는 단계는 The method of claim 11, wherein the encoding of the current macroblock comprises: 매크로 불록의 경계 또는 블록 경계를 지나는 경우 스무딩(Smoothing) 필터링을 통해 경계를 부드럽게 처리하는 단계를 더 포함하는 것을 특징으로 하는 다시점 비디오 코덱에서의 영상 예측 방법. And smoothing the boundary through smoothing filtering when crossing a macro block boundary or a block boundary. 제11항에 있어서, The method of claim 11, 상기 글로벌 디스패리티 벡터값은 상기 각 매크로 블록을 포함하는 전체 영역에 해당하는 것을 특징으로 하는 다시점 비디오 코덱에서의 영상 예측 방법. The global disparity vector value corresponds to an entire region including each macro block. 제17항에 있어서, The method of claim 17, 상기 전체 영역은 슬라이스(slice), 화상 그룹(Group of picture, GOP), 앵커 픽처(anchor picture), 시퀀스(sequence) 중 적어도 어느 하나인 것을 특징으로 하는 다시점 비디오 코덱에서의 영상 예측 방법. The entire region is at least one of a slice, a group of pictures (GOP), an anchor picture, and a sequence. 제17항에 있어서, The method of claim 17, 상기 전체 영역은 영상 내 배경(background) 영역 및 전경(foreground) 영역인 것을 특징으로 하는 다시점 비디오 코덱에서의 영상 예측 방법. And the entire area is a background area and a foreground area in the image. 다시점 비디오 부호화에서의 영상 예측에 있어서,In image prediction in multi-view video encoding, 각 매크로 블록별로 시점별 디스패리티 벡터값을 구한 후, 상기 구해진 시점별 디스패리티 벡터값으로부터 후보값을 선택하는 단계, Obtaining a disparity vector value for each view per macroblock, and then selecting a candidate value from the obtained disparity vector value for each view; 상기 선택된 후보값을 기준으로 매크로 블록 내에서 설정 픽셀 단위로 글로벌 디스패리티 벡터값을 구하는 단계, Obtaining a global disparity vector value in units of predetermined pixels in a macro block based on the selected candidate value; 상기 글로벌 디스패리티 벡터값에서 움직임 정보를 공유하는 대응 매크로 블록을 검색하기 위한 디스패리티 벡터값을 구하는 단계, Obtaining a disparity vector value for searching for a corresponding macro block sharing motion information in the global disparity vector value; 상기 디스패리티 벡터값을 통해 대응되는 다른 시점의 매크로 블록을 검색하는 단계, Retrieving a macroblock of another point in time corresponding to the disparity vector value; 상기 검색한 매크로 블록을 통해 움직임 정보를 획득하여 현재 매크로 블록을 부호화하는 단계, Encoding current macroblock by acquiring motion information through the searched macroblock; 상기 부호화 시 획득한 잔여성분에 대한 예측 부호화를 통해 비트 할당을 결정하는 단계를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체. A computer-readable recording medium having recorded thereon a program for realizing a step of determining bit allocation through predictive coding on residual components obtained in the encoding.
KR1020080056457A 2008-06-16 2008-06-16 An image prediction method in a multiview video codec and a computer-readable recording medium recording a program therefor Expired - Fee Related KR100980780B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080056457A KR100980780B1 (en) 2008-06-16 2008-06-16 An image prediction method in a multiview video codec and a computer-readable recording medium recording a program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080056457A KR100980780B1 (en) 2008-06-16 2008-06-16 An image prediction method in a multiview video codec and a computer-readable recording medium recording a program therefor

Publications (2)

Publication Number Publication Date
KR20090130712A KR20090130712A (en) 2009-12-24
KR100980780B1 true KR100980780B1 (en) 2010-09-10

Family

ID=41690117

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080056457A Expired - Fee Related KR100980780B1 (en) 2008-06-16 2008-06-16 An image prediction method in a multiview video codec and a computer-readable recording medium recording a program therefor

Country Status (1)

Country Link
KR (1) KR100980780B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101628383B1 (en) 2010-02-26 2016-06-21 연세대학교 산학협력단 Image processing apparatus and method
JP2016526853A (en) * 2013-07-12 2016-09-05 サムスン エレクトロニクス カンパニー リミテッド Inter-layer video decoding method and apparatus using depth-based disparity vector, and inter-layer video encoding method and apparatus using depth-based disparity vector

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070011147A (en) * 2005-07-18 2007-01-24 한국전자통신연구원 Prediction encoding / decoding device using temporal and point-in-time reference image buffer and its method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070011147A (en) * 2005-07-18 2007-01-24 한국전자통신연구원 Prediction encoding / decoding device using temporal and point-in-time reference image buffer and its method

Also Published As

Publication number Publication date
KR20090130712A (en) 2009-12-24

Similar Documents

Publication Publication Date Title
CN106105191B (en) Method and apparatus for processing multi-view video signal
JP5021739B2 (en) Signal processing method and apparatus
JP2021168479A (en) Efficient multi-view coding using depth-map estimation and update
KR101653118B1 (en) Method for processing one or more videos of a 3d-scene
JP6005157B2 (en) Depth map encoding and decoding
CN104798375B (en) Method and apparatus for multi-view video encoding or decoding
JP2014524706A (en) Motion vector processing
US20130114689A1 (en) Adaptive search range method for motion estimation and disparity estimation
US8379985B2 (en) Dominant gradient method for finding focused objects
CN104380742B (en) By way of coding method, coding/decoding method, encoder, decoder and the system of selectivity heredity
JP5926451B2 (en) Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, and image decoding program
JP6039178B2 (en) Image encoding apparatus, image decoding apparatus, method and program thereof
CN101248669A (en) Device and method for encoding and decoding multi-view video
KR100980780B1 (en) An image prediction method in a multiview video codec and a computer-readable recording medium recording a program therefor
CN112449181A (en) Encoding and decoding method, device and equipment
JP5706291B2 (en) Video encoding method, video decoding method, video encoding device, video decoding device, and programs thereof
JP4759537B2 (en) Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, image decoding program, and computer-readable recording medium
CN105247862A (en) Method and device for viewpoint synthesis prediction in three-dimensional video coding
JP6232117B2 (en) Image encoding method, image decoding method, and recording medium
JPWO2015098827A1 (en) Video encoding method, video decoding method, video encoding device, video decoding device, video encoding program, and video decoding program
CN105612749A (en) Video encoding device and method, and video decoding device and method
KR100764797B1 (en) Fast motion and variance estimation method
KR101261577B1 (en) Apparatus and method for encoding and decoding multi view video
KR20130116777A (en) Method and apparatus for estimation of motion vector and disparity vector
JP2014099716A (en) Image encoder and control method of the same

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

FPAY Annual fee payment

Payment date: 20130621

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20140708

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20150626

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

FPAY Annual fee payment

Payment date: 20160901

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20170902

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20170902

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301