JP7267885B2 - 画像復号装置、画像復号方法及びプログラム - Google Patents

Description

本発明は、画像復号装置、画像復号方法及びプログラムに関する。

非特許文献１では、動き補償予測（以下、ＭＣ予測）という技術について、マージ符号化（以下、マージ）と適応ベクトル符号化（以下、ＡＭＶＰ）という動きベクトル（以下、ｍｖ）を導出する技術が用意されており、導出したｍｖを用いてＭＣ予測画像信号を生成するための２種類の内挿フィルタが用意されている。

１つ目は、非特許文献２と同じ内挿フィルタ（以下、ＨＥＶＣフィルタ）であり、２つ目は、非特許文献１で新たに導入された内挿フィルタ（以下、平滑化フィルタ）である。

いずれもｍｖの参照先が小数画素精度位置にある場合に適用されるが、上述の平滑化フィルタは、ｍｖの参照先が１/２画素精度位置である場合に限定され、さらに、上述の平滑化フィルタが有効であるかどうかを示すハーフペルインデックス（以下、ｈｐｅｌＩｆＩｄｘ）が有効と示す場合にのみ適用される。それ以外の場合は、ＨＥＶＣフィルタが適用される。

上述のｈｐｅｌＩｆＩｄｘは、符号化対象のブロック（以下、対象ブロック）がマージである場合、既に処理が完了した隣接ブロックから継承され、対象ブロックがＡＭＶＰである場合は、導出されたｍｖからｈｐｅｌＩｆＩｄｘの値が決定される。

Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｄｒａｆｔ ６）、ＪＶＥＴ-Ｎ１００１ ＩＴＵ-Ｔ Ｈ.２６５ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ

しかしながら、上述の従来技術では、対象ブロックがマージである場合に、所定のマージリスト構築方法及びヒストリーマージテーブル構築方法により、マージリスト及びヒストリーマージテーブルを生成して、動きベクトルを導出するが、かかるマージリスト及びヒストリーマージテーブルの構築過程におけるｐｒｕｎｉｎｇ処理において、ハーフペルインデックスの同一性が確認されていないという問題点があった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、マージリスト構築時又はヒストリーマージテーブル時のｐｒｕｎｉｎｇ処理の判定条件に、ハーフペルインデックスの判定を追加することで、平滑化フィルタの選択機会が増加させられるため、結果として符号化性能の向上が期待できる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。

本発明の第１の特徴は、画像復号装置であって、マージインデックスから、動きベクトル及び前記動きベクトルが１/２画素精度位置を参照するかどうかを示すハーフペルインデックスを復号するように構成されているマージ部と、ＭＭＶＤ（Ｍｅｒｇｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）或いはＤＭＶＲ（Ｄｅｃｏｄｅｒ-ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）により、前記動きベクトルを洗練化するように構成されている動きベクトル洗練化部と、洗練化された動きベクトルと前記ハーフペルインデックスとに基づいて、内挿フィルタの使用有無及び内挿フィルタ種別を判定するように構成されているフィルタ判定部と、前記内挿フィルタを用いて、動き補償予測画素信号を生成するように構成されているフィルタ適用部とを備え、前記マージ部は、所定のマージリスト構築方法により、マージリストを生成し、前記マージリスト及び前記マージインデックスから、前記動きベクトル及び前記ハーフペルインデックスを復号するように構成されており、対象ブロックは、マージであり、前記マージ部は、前記マージリストの構築時に異なる前記マージインデックスに対応する動きベクトルと参照画像インデックスとが同一であっても、前記マージインデックスに対応するハーフペルインデックスが異なる場合には、異なるマージインデックスとして前記マージリストに登録するように構成されていることを要旨とする。

本発明の第２の特徴は、画像復号装置であって、マージインデックスから、動きベクトル及び前記動きベクトルが１/２画素精度位置を参照するかどうかを示すハーフペルインデックスを復号するように構成されているマージ部と、ＭＭＶＤ（Ｍｅｒｇｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）或いはＤＭＶＲ（Ｄｅｃｏｄｅｒ-ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）により、前記動きベクトルを洗練化するように構成されている動きベクトル洗練化部と、洗練化された動きベクトルと前記ハーフペルインデックスとに基づいて、内挿フィルタの使用有無及び内挿フィルタ種別を判定するように構成されているフィルタ判定部と、前記内挿フィルタを用いて、動き補償予測画素信号を生成するように構成されているフィルタ適用部とを備え、前記マージ部は、所定のマージリスト構築方法により、マージリストを生成し、前記マージリスト及び前記マージインデックスから、前記動きベクトル及び前記ハーフペルインデックスを復号するように構成されており、対象ブロックは、マージであり、前記マージ部は、ヒストリーマージテーブルの構築時に異なるヒストリーマージ候補に対応する動きベクトルと参照画像インデックスとが同一であっても、前記ヒストリーマージ候補に対応するハーフペルインデックスが異なる場合には、異なるヒストリーマージ候補として前記ヒストリーマージテーブルに登録するように構成されていることを要旨とする。

本発明の第３の特徴は、画像復号装置であって、マージインデックスから、動きベクトル及び前記動きベクトルが１/２画素精度位置を参照するかどうかを示すハーフペルインデックスを復号するように構成されているマージ部と、ＭＭＶＤ（Ｍｅｒｇｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）或いはＤＭＶＲ（Ｄｅｃｏｄｅｒ-ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）により、前記動きベクトルを洗練化するように構成されている動きベクトル洗練化部と、洗練化された動きベクトルと前記ハーフペルインデックスとに基づいて、内挿フィルタの使用有無及び内挿フィルタ種別を判定するように構成されているフィルタ判定部と、前記内挿フィルタを用いて、動き補償予測画素信号を生成するように構成されているフィルタ適用部とを備え、前記マージ部は、所定のマージリスト構築方法により、マージリストを生成し、前記マージリスト及び前記マージインデックスから、前記動きベクトル及び前記ハーフペルインデックスを復号するように構成されており、対象ブロックは、マージであり、前記マージ部は、時間マージによるマージインデックスが前記マージリストに登録される場合、参照ブロックのハーフペルインデックスを継承して前記マージリストに登録するように構成されていることを要旨とする。

本発明の第４の特徴は、画像復号方法であって、マージインデックスから、動きベクトル及び前記動きベクトルが１/２画素精度位置を参照するかどうかを示すハーフペルインデックスを復号する工程Ａと、ＭＭＶＤ（Ｍｅｒｇｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）或いはＤＭＶＲ（Ｄｅｃｏｄｅｒ-ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）により、前記動きベクトルを洗練化する工程Ｂと、洗練化された前記動きベクトルと前記ハーフペルインデックスとに基づいて、内挿フィルタの使用有無及び内挿フィルタ種別を判定する工程Ｃと、前記内挿フィルタを用いて、動き補償予測画素信号を生成する工程Ｄとを備え、前記工程Ａにおいて、所定のマージリスト構築方法により、マージリストを生成し、前記マージリスト及び前記マージインデックスから、前記動きベクトル及び前記ハーフペルインデックスを復号し、対象ブロックは、マージであり、前記マージ部は、前記マージリストの構築時に異なる前記マージインデックスに対応する動きベクトルと参照画像インデックスとが同一であっても、前記マージインデックスに対応するハーフペルインデックスが異なる場合には、異なるマージインデックスとして前記マージリストに登録することを要旨とする。

本発明の第５の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、マージインデックスから、動きベクトル及び前記動きベクトルが１/２画素精度位置を参照するかどうかを示すハーフペルインデックスを復号するように構成されているマージ部と、ＭＭＶＤ（Ｍｅｒｇｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）或いはＤＭＶＲ（Ｄｅｃｏｄｅｒ-ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）により、前記動きベクトルを洗練化するように構成されている動きベクトル洗練化部と、洗練化された動きベクトルと前記ハーフペルインデックスとに基づいて、内挿フィルタの使用有無及び内挿フィルタ種別を判定するように構成されているフィルタ判定部と、前記内挿フィルタを用いて、動き補償予測画素信号を生成するように構成されているフィルタ適用部とを備え、前記マージ部は、所定のマージリスト構築方法により、マージリストを生成し、前記マージリスト及び前記マージインデックスから、前記動きベクトル及び前記ハーフペルインデックスを復号するように構成されており、対象ブロックは、マージであり、前記マージ部は、前記マージリストの構築時に異なる前記マージインデックスに対応する動きベクトルと参照画像インデックスとが同一であっても、前記マージインデックスに対応するハーフペルインデックスが異なる場合には、異なるマージインデックスとして前記マージリストに登録するように構成されていることを要旨とする。

本発明によれば、マージリスト構築時又はヒストリーマージテーブル時のｐｒｕｎｉｎｇ処理の判定条件に、ハーフペルインデックスの判定を追加することで、平滑化フィルタの選択機会が増加させられるため、結果として符号化性能の向上が期待できる画像復号装置、画像復号方法及びプログラムを提供することができる。

一実施形態に係る画像処理システム１の構成の一例を示す図である。 一実施形態に係る画像符号化装置１００の機能ブロックの一例を示す図である。 一実施形態に係る画像符号化装置１００のインター予測部１１１の機能ブロックの一例を示す図である。 一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。 一実施形態に係る画像復号装置２００のインター予測部２４１の機能ブロックの一例を示す図である。 一実施形態に係るフィルタ判定部１１１Ｄ１/２４１Ｃ１における内挿フィルタの適用有無及びフィルタ種別の判定処理の一例について示すフローチャートである。 一実施形態に係るに係るハーフペルインデックス（ｈｐｅｌＩｆＩｄｘ）の判定処理の一例について示すフローチャートである。 非特許文献１の判定処理について説明するための図である。 一実施形態に係る画像復号装置２００のｍｖ洗練化部２４１Ｂの機能ブロックの一例を示す図である。 一実施形態に係るマージリスト構築処理の一例について示すフローチャートである。 一実施形態に係るマージリスト構築処理にて生成されるマージリストの一例について示す図である。 一実施形態に係る空間マージの一例について示す図である。 一実施形態に係る時間マージの一例について示す図である。 一実施形態に係る時間マージにおける動きベクトルのスケーリング処理の一例について説明するための図である。 一実施形態に係るヒストリーマージの一例について示す図である。 一実施形態に係るペアワイズ平均マージにより算出される新たな動きベクトルとハーフペルインデックスとの組の一例について示す図である。 一実施形態に係るペアワイズ平均マージにより生成される新たなハーフペルインデックスの設定処理の一例について示すフローチャートである。 一実施形態に係るマージリスト構築例を示す図である

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
＜第１実施形態＞
以下、図１～図２８を参照して、本発明の第１実施形態に係る画像処理システム１０について説明する。図１は、本実施形態に係る画像処理システム１０について示す図である。

図１に示すように、本実施形態に係る画像処理システム１０は、画像符号化装置１００及び画像復号装置２００を有する。

画像符号化装置１００は、入力画像信号を符号化することによって符号化データを生成するように構成されている。画像復号装置２００は、符号化データを復号することによって出力画像信号を生成するように構成されている。

符号化データは、画像符号化装置１００から画像復号装置２００に対して伝送路を介して送信されてもよい。符号化データは、記憶媒体に格納された上で、画像符号化装置１００から画像復号装置２００に提供されてもよい。
（画像符号化装置１００）
以下、図２を参照して、本実施形態に係る画像符号化装置１００について説明する。図２は、本実施形態に係る画像符号化装置１００の機能ブロックの一例について示す図である。

図２に示すように、画像符号化装置１００は、インター予測部１１１と、イントラ予測部１１２と、減算器１２１と、加算器１２２と、変換・量子化部１３１と、逆変換・逆量子化部１３２と、符号化部１４０と、インループフィルタ処理部１５０と、フレームバッファ１６０とを有する。

インター予測部１１１は、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。

具体的には、インター予測部１１１は、符号化対象のフレーム（以下、対象フレーム）とフレームバッファ１６０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトル（ｍｖ）を決定するように構成されている。

また、インター予測部１１１は、参照ブロック及び動きベクトルに基づいて符号化対象のブロック（以下、対象ブロック）に含まれる予測信号を対象ブロック毎に生成するように構成されている。インター予測部１１１は、予測信号を減算器１２１及び加算器１２２に出力するように構成されている。ここで、参照フレームは、対象フレームとは異なるフレームである。

イントラ予測部１１２は、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。

具体的には、イントラ予測部１１２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を対象ブロック毎に生成するように構成されている。また、イントラ予測部１１２は、予測信号を減算器１２１及び加算器１２２に出力するように構成されている。

ここで、参照ブロックは、対象ブロックについて参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。

減算器１２１は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部１３１に出力するように構成されている。ここで、減算器１２１は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成するように構成されている。

加算器１２２は、逆変換・逆量子化部１３２から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、かかるフィルタ処理前復号信号をイントラ予測部１１２及びインループフィルタ処理部１５０に出力するように構成されている。

ここで、フィルタ処理前復号信号は、イントラ予測部１１２で用いる参照ブロックを構成する。

変換・量子化部１３１は、予測残差信号の変換処理を行うとともに、係数レベル値を取得するように構成されている。さらに、変換・量子化部１３１は、係数レベル値の量子化を行うように構成されていてもよい。

ここで、変換処理は、予測残差信号を周波数成分信号に変換する処理である。かかる変換処理では、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよく、離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよい。

逆変換・逆量子化部１３２は、変換・量子化部１３１から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部１３２は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。

ここで、逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

符号化部１４０は、変換・量子化部１３１から出力された係数レベル値を符号化し、符号化データを出力するように構成されている。

ここで、例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。

また、符号化部１４０は、係数レベル値に加えて、復号処理で用いる制御データを符号化するように構成されている。

ここで、制御データは、符号化ブロック（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）サイズ、予測ブロック（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）サイズ、変換ブロック（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）サイズ等のサイズデータを含んでもよい。

また、制御データは後述するようにシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダなどのヘッダ情報を含んでも良い。

インループフィルタ処理部１５０は、加算器１２２から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ１６０に出力するように構成されている。

ここで、例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック又は変換ブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。

フレームバッファ１６０は、インター予測部１１１で用いる参照フレームを蓄積するように構成されている。

ここで、フィルタ処理後復号信号は、インター予測部１１１で用いる参照フレームを構成する。

図２に示すように、画像符号化装置１００は、インター予測部１１１と、イントラ予測部１１２と、減算器１２１と、加算器１２２と、変換・量子化部１３１と、逆変換・逆量子化部１３２と、符号化部１４０と、インループフィルタ処理部１５０と、フレームバッファ１６０とを有する。

インター予測部１１１は、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。

具体的には、インター予測部１１１は、符号化対象のフレーム（以下、対象フレーム）とフレームバッファ１６０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトル（ｍｖ）を決定するように構成されている。

また、インター予測部１１１は、参照ブロック及び動きベクトルに基づいて符号化対象のブロック（以下、対象ブロック）に含まれる予測信号を対象ブロック毎に生成するように構成されている。インター予測部１１１は、予測信号を減算器１２１及び加算器１２２に出力するように構成されている。ここで、参照フレームは、対象フレームとは異なるフレームである。

イントラ予測部１１２は、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。

具体的には、イントラ予測部１１２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を対象ブロック毎に生成するように構成されている。また、イントラ予測部１１２は、予測信号を減算器１２１及び加算器１２２に出力するように構成されている。

ここで、参照ブロックは、対象ブロックについて参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。

減算器１２１は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部１３１に出力するように構成されている。ここで、減算器１２１は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成するように構成されている。

加算器１２２は、逆変換・逆量子化部１３２から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、かかるフィルタ処理前復号信号をイントラ予測部１１２及びインループフィルタ処理部１５０に出力するように構成されている。

ここで、フィルタ処理前復号信号は、イントラ予測部１１２で用いる参照ブロックを構成する。

変換・量子化部１３１は、予測残差信号の変換処理を行うとともに、係数レベル値を取得するように構成されている。さらに、変換・量子化部１３１は、係数レベル値の量子化を行うように構成されていてもよい。

ここで、変換処理は、予測残差信号を周波数成分信号に変換する処理である。かかる変換処理では、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよく、離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよい。

逆変換・逆量子化部１３２は、変換・量子化部１３１から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部１３２は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。

ここで、逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

符号化部１４０は、変換・量子化部１３１から出力された係数レベル値を符号化し、符号化データを出力するように構成されている。

ここで、例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。

また、符号化部１４０は、係数レベル値に加えて、復号処理で用いる制御データを符号化するように構成されている。

ここで、制御データは、符号化ブロック（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）サイズ、予測ブロック（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）サイズ、変換ブロック（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）サイズ等のサイズデータを含んでもよい。

また、制御データは後述するようにシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダなどのヘッダ情報を含んでも良い。

インループフィルタ処理部１５０は、加算器１２２から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ１６０に出力するように構成されている。

ここで、例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック又は変換ブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。

フレームバッファ１６０は、インター予測部１１１で用いる参照フレームを蓄積するように構成されている。

ここで、フィルタ処理後復号信号は、インター予測部１１１で用いる参照フレームを構成する。

（インター予測部１１１）
以下、図３を参照して、本実施形態に係る画像符号化装置１００のインター予測部１１１について説明する。図３は、本実施形態に係る画像符号化装置１００のインター予測部１１１の機能ブロックの一例について示す図である。

図３に示すように、インター予測部１１１は、ｍｖ導出部１１１Ａと、ＡＭＶＲ部１１１Ｂと、ｍｖ洗練化部１１１Ｂと、予測信号生成部１１１Ｄとを有する。

インター予測部１１１は、動きベクトルに基づいて対象ブロックに含まれる予測信号を生成するように構成されている予測部の一例である。

ｍｖ導出部１１１Ａは、図３に示すように、ＡＭＶＰ（Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）部１１１Ａ１と、マージ部１１１Ａ２とを有し、フレームバッファ１６０からの対象フレーム及び参照フレームを入力とし、動きベクトルを取得するように構成されている。

ＡＭＶＰ部１１１Ａ１は、対象フレームと参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトルを探索するように構成されている。

また、上述の探索処理を複数の参照フレーム候補に対して行い、対象ブロックで予測に用いる参照フレーム及び動きベクトルを決定し、後段の予測信号生成部１１１Ｄに出力する。

参照フレーム及び動きベクトルについては、１つのブロックに対して最大２つずつ用いることができる。１つのブロックに対して参照フレーム及び動きベクトルを１組のみ用いる場合を「片予測」と呼び、参照フレームと動きベクトルを２組用いる場合を「双予測」と呼ぶ。以下、１組目を「Ｌ０」と呼び、２組目を「Ｌ１」と呼ぶ。

更に、ＡＭＶＰ部１１１Ａは、上述の決定した動きベクトルを最終的に復号装置に伝送する際に、符号量を削減するために、隣接する符号化済みの動きベクトルから導出された動きベクトル予測子（ｍｖｐ：ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）の候補の中から、かかる対象ブロックの動きベクトルとの差分、すなわち、動きベクトル差分（ｍｖｄ：ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）が小さくなるｍｖｐを選択する。

このように選択されたｍｖｐ及びｍｖｄを示すインデックス及び参照フレームを示すインデックス（以下、Ｒｅｆｉｄｘ）が符号化部１４０で符号化され、画像復号装置２００に伝送される。かかる処理は、適応動きベクトル予測符号化（ＡＭＶＰ：Ａｄａｐｔｉｖｅ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｉｄｉｃｉｏｎ）と一般に呼ばれる。

なお、上記の動きベクトルの探索方法、参照フレーム及び動きベクトルの決定方法、ｍｖｐの選択方法、ｍｖｄの算出方法については、既知の手法を採用することが可能であるため、その詳細については省略する。

ＡＭＶＲ部１１１Ｂは、ＡＭＶＰ部１１１Ａで算出したｍｖｄの伝送精度を変えるＡＭＶＲ（Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｓｏｌｕｔｉｏｎ）の機能を有する。

ｍｖｄは、上述のように対象ブロックの動きベクトルとｍｖｐとの和から導出しているため、ｍｖｄの伝送精度を変更することは、対象ブロックの動きベクトル自体の精度を変更することを意味する。

非特許文献１では、ＡＭＶＲによるｍｖｄの伝送精度のバリエーションが３種類用意されている。通常のｍｖｄの伝送精度は１/１６画素精度であり、このとき、動きベクトルは、最終的に１/１６画素精度の位置を参照することになるが、ＡＭＶＲが有効時には、ｍｖｄの伝送精度が１/４画素精度、１/２画素精度、１画素精度（すなわち、整数画素精度）から選択される。

ただし、対象ブロックがアフィンである場合は、ｍｖｄの伝送精度が１/４画素精度、１/１６画素精度、１画素精度が選択される。ここで、アフィンとは、非特許文献１のＡｆｆｉｎｅである。

さらに、非特許文献１では、上述のｍｖｄの伝送精度として１/２画素精度が選択される場合に限り、１/２画素精度以外が選択される場合に適用される内挿フィルタとは別の内挿フィルタが後段の予測信号生成部１１１Ｄにて選択される構成となっている。詳細は後述する。

また、ＡＭＶＲ部１１１ＢでＡＭＶＲ処理が有効と判定される場合は、ＡＭＶＲが有効と示すフラグ及びＡＭＶＲによりｍｖｄがどの精度に修正されるかを示すインデックスを、画像復号装置２００に伝送する。

マージ部１１１Ａ２では、対象ブロックの動き情報をＡＭＶＰ部１１１Ａ１のように探索して導出することや、隣接ブロックとの差分としてｍｖｄとして伝送はせず、対象フレーム及び参照フレームを入力として、対象ブロックと同一フレームにある隣接ブロック又は対象フレームと異なるフレームにある同一位置のブロックを参照ブロックとして、かかる参照ブロックの動き情報をそのまま継承して利用する。この処理は、マージ符号化（以下、マージ）と一般に呼ばれる。

かかる対象ブロックがマージの場合、初めに、かかる対象ブロックに対するマージリストを作成する。マージリストは、参照フレームと動きベクトルとの組み合わせが複数列挙されたリストである。各組み合わせには、インデックス（以下、マージインデックス）が振られており、Ｒｅｆｉｄｘ及び動きベクトルの情報を個別に符号化する代わりに、上述のマージインデックスのみを符号化し、画像復号装置２００に伝送する。

ここで、画像符号化装置１００側と画像復号装置２００側とで、マージリストの作成方法を共通化しておくことで、画像復号装置２００側ではマージインデックス情報のみからＲｅｆｉｄｘ及び動きベクトルの情報を復号することができる。マージリストの作成方法の詳細については後述する。

ｍｖ洗練化部１１１Ｃは、マージ部１１１Ａ２から出力される動きベクトルを修正する洗練化処理を行うように構成されている。詳細は後述する。

予測信号生成部１１１Ｄは、動きベクトルを入力としてＭＣ予測画像信号を出力するように構成されており、フィルタ判定部１１１Ｄ１とフィルタ適用部１１１Ｄ２を有する。

フィルタ判定部１１１Ｄ１は、動きベクトルに基づいて内挿フィルタの適用有無及びフィルタ種別を判定する。詳細は後述する。

フィルタ適用部１１１Ｄ２は、フィルタ判定部１１１Ｄ１で内挿フィルタが有効と判定された場合、選択された内挿フィルタ、動きベクトル及び参照フレームから予測信号を生成するように構成されている。

フィルタ判定部１１１Ｄ１で内挿フィルタが無効と判定された場合は、内挿フィルタは使用されず、動きベクトル及び参照フレームにより予測信号が生成される。
（画像復号装置２００）
以下、図４を参照して、本実施形態に係る画像復号装置２００について説明する。図４は、本実施形態に係る画像復号装置２００の機能ブロックの一例について示す図である。

図４に示すように、画像復号装置２００は、復号部２１０と、逆変換・逆量子化部２２０と、加算器２３０と、インター予測部２４１と、イントラ予測部２４２と、インループフィルタ処理部２５０と、フレームバッファ２６０とを有する。

復号部２１０は、画像符号化装置１００によって生成される符号化データを復号し、係数レベル値を復号するように構成されている。

ここで、復号は、例えば、符号化部１４０で行われるエントロピー符号化とは逆の手順のエントロピー復号である。

また、復号部２１０は、符号化データの復号処理によって制御データを取得するように構成されていてもよい。

なお、上述したように、制御データは、符号化ブロックサイズ、予測ブロックサイズ、変換ブロックサイズ等のサイズデータを含んでもよい。

逆変換・逆量子化部２２０は、復号部２１０から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部２２０は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。

ここで、逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

加算器２３０は、逆変換・逆量子化部２２０から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、フィルタ処理前復号信号をイントラ予測部２４２及びインループフィルタ処理部２５０に出力するように構成されている。

ここで、フィルタ処理前復号信号は、イントラ予測部２４２で用いる参照ブロックを構成する。

インター予測部２４１は、インター予測部１１１と同様に、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。

具体的には、インター予測部２４１は、符号化データから復号した動きベクトルと参照フレームに含まれる参照信号に基づいて予測信号を予測ブロック毎に生成するように構成されている。インター予測部２４１は、予測信号を加算器２３０に出力するように構成されている。

イントラ予測部２４２は、イントラ予測部１１２と同様に、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。

具体的には、イントラ予測部２４２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成するように構成されている。イントラ予測部２４２は、予測信号を加算器２３０に出力するように構成されている。

インループフィルタ処理部２５０は、インループフィルタ処理部１５０と同様に、加算器２３０から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ２６０に出力するように構成されている。

ここで、例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック、変換ブロック、あるいはそれらを分割したサブブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。

フレームバッファ２６０は、フレームバッファ１６０と同様に、インター予測部２４１で用いる参照フレームを蓄積するように構成されている。

ここで、フィルタ処理後復号信号は、インター予測部２４１で用いる参照フレームを構成する。
（インター予測部２４１）
以下、図５を参照して、本実施形態に係るインター予測部２４１について説明する。図５は、本実施形態に係るインター予測部２４１の機能ブロックの一例について示す図である。

図５に示すように、インター予測部２４１は、ｍｖ復号部２４１Ａと、ｍｖ洗練化部２４１Ｂと、予測信号生成部１１１Ｃとを有する。

インター予測部２４１は、動きベクトルに基づいて予測ブロックに含まれる予測信号を生成するように構成されている予測部の一例である。

ｍｖ復号部２４１Ａは、ＡＭＶＰ部２４１Ａ１とマージ部２４１Ａ２とを有し、フレームバッファ２６０から入力される対象フレーム及び参照フレーム、及び、画像符号化装置１００から受信する制御データの復号によって、動きベクトルを取得するように構成されている。

ＡＭＶＰ部２４１Ａ１は、対象フレーム及び参照フレームと、画像符号化装置１００から、ｍｖｐ及びｍｖｄを示すインデックス、Ｒｅｆｉｄｘ、ＡＭＶＲ部１１１Ｂからのｍｖｄの伝送精度を示すインデックスを受信し、動きベクトルを復号するように構成されている。動きベクトルの復号方法については、既知の手法を採用すること可能であるため、その詳細については省略する。

マージ部２４１Ａ２は、画像符号化装置１００から、マージインデックスを受信し、動きベクトルを復号するように構成されている。

具体的には、マージ部２４１Ａ２は、画像符号化装置１００と同じ方法で、マージリストを構築して、受信したマージインデックスに対応する動きベクトルを構築したマージリストから取得するように構成されている。マージリストの構築方法の詳細は、後述する。

ｍｖ洗練化部２４１Ｂは、洗練化部１１１Ｃと同様に、動きベクトルを修正する洗練化処理を実行するように構成されている。

予測信号生成部２４１Ｃは、フィルタ判定２４１Ｃ１とフィルタ適用部２４１Ｃ２とを有し、予測信号生成部１１１Ｃと同様に、動きベクトルに基づいて予測信号を生成するように構成されている。

なお、画像復号装置２００のフィルタ判定部２４１Ｃ１は、画像符号化装置１００のフィルタ判定部１１１Ｄ１と全く同じ構成となるため、本実施形態では、以下、フィルタ判定部１１１Ｄ１の動作について代表して説明する。
（内挿フィルタの判定処理）
以下、図６を参照して、本実施形態に係るフィルタ判定部１１１Ｄ１/２４１Ｃ１における内挿フィルタの適用有無及びフィルタ種別の判定処理について説明する。

図６は、本実施形態に係るフィルタ判定部１１１Ｄ１における内挿フィルタの適用有無及びフィルタ種別の判定処理順の一例を示すフローチャートである。

図６に示すように、ステップＳ６-１において、フィルタ判定部１１１Ｄ１は、ｍｖの参照位置が小数画素位置かどうかを判定する。ｍｖの参照位置が小数画素位置である場合は、本処理は、ステップＳ６-２に進み、ｍｖの参照位置が小数画素位置でない場合、即ち、ｍｖの参照位置が整数画素値位置の場合は、本処理は、ステップＳ６-３に進む。

ステップＳ６-２において、フィルタ判定部１１１Ｄ１は、内挿フィルタを適用すると判定し、本処理は、ステップＳ６-４に進む。

ステップＳ６-３において、フィルタ判定部１１１Ｄ１は、内挿フィルタを適用しないと判定し、本処理を終了する。

ステップＳ６-４において、フィルタ判定部１１１Ｄ１は、後述するハーフペルインデックス（ｈｐｅｌＩｆＩｄｘ）が無効すなわち「０」であるかどうかを判定する。ｈｐｅｌＩｆＩｄｘが「０」である場合は、本処理は、ステップＳ６-５に進み、ｈｐｅｌＩｆＩｄｘが有効すなわち「０」ではない場合は、本処理は、ステップＳ６-６に進む。

ステップＳ６-５において、フィルタ判定部１１１Ｄ１は、内挿フィルタとしてＨＥＶＣフィルタを利用すると判定し、本処理を終了する。

ここで、ＨＥＶＣフィルタとは、非特許文献２と同様の８タップの線形内挿フィルタである。

ステップＳ６-６において、フィルタ判定部１１１Ｄ１は、内挿フィルタとして平滑化フィルタを利用すると判定する。

ここで、平滑化フィルタとは、例えば、非特許文献１で採用されている６タップのガウシアンフィルタを用いてもよい。また、ｈｐｅｌＩｆＩｄｘの示す値によって、内挿フィルタとして複数のフィルタの利用を設定してもよい。

このように、ｍｖの参照位置が小数画素位置である際に、ｈｐｅｌＩｆＩｄｘに基づいて、２種類以上の内挿フィルタの利用を適応的に切り換えることができるため、画像特性に併せて利用する内挿フィルタを選択できるため、結果として符号化性能の向上効果が期待できる。
（ハーフペルインデックス（ｈｐｅｌＩｆＩｄｘ）の設定処理）
以下、図７を参照して、本実施形態に係るハーフペルインデックス（ｈｐｅｌＩｆＩｄｘ）の判定処理について説明する。

図７は、本実施形態に係るフィルタ判定部１１１Ｄ１におけるｈｐｅｌＩｆＩｄｘの判定処理順の一例を示すフローチャートである。

ｈｐｅｌＩｆＩｄｘは、上述したように、内挿フィルタの種別の判定に関わり、ｈｐｅｌＩｆＩｄｘが「０」である場合、すなわち、無効の場合は、非特許文献２と同様の内挿フィルタを用いる。他方、ｈｐｅｌＩｆＩｄｘが「０」でない場合、すなわち有効である場合は、平滑化フィルタを用いる。

ｈｐｅｌＩｆＩｄｘは、対象ブロックがマージである場合は、動きベクトルとＲｅｆＩｄｘとを合わせて、参照ブロックから取得し、マージインデックスに対応付けられる。

他方、対象ブロックがマージモードではなく、ＡＭＶＰにより動きベクトルが復号される場合には、上述したＡＭＶＲの適用有無及び所定条件によって、ｈｐｅｌＩｆＩｄｘの値が判定される。

図７に示すように、ステップＳ７-１において、フィルタ判定部１１１Ｄ１は、ＡＭＶＲが有効かどうかを判定する。判定には、例えば、非特許文献１と同様に、ＡＭＶＲの適用有無を示すフラグ（ａｍｖｒ_ｆｌａｇ）を復号することで判定してもよい。

ステップＳ７-１において、ＡＭＶＲが有効と判定される場合は、本処理は、ステップＳ７-２に進み、ＡＭＶＲが無効と判定される場合は、本処理は、ステップＳ７-３に進む。

ステップＳ７-２において、フィルタ判定部１１１Ｄ１は、所定条件１により、ｈｐｅｌＩｆＩｄｘの値が「０」であるかどうかを判定する。

ステップＳ７-２において、所定条件１が満たされていると判定された場合、本処理は、ステップＳ７-４に進み、所定条件１が満たされていないと判定された場合は、本処理は、ステップＳ７-５に進む。

ここで、ステップＳ７-２の所定条件１において、ＡＭＶＲの伝送精度を示すインデックス（ａｍｖｒ_ｐｒｅｃｉｓｉｏｎ_ｉｄｘ）を復号して判定してもよく、ＡＭＶＲの伝送精度が１/２画素精度の場合に所定条件１を満たすと判定し、それ以外の場合は所定条件１を満たさないと判定する。

また、ステップＳ７-２の所定条件１では、対象ブロックがアフィンであるかで判定してもよく、対象ブロックがアフィンである場合は、所定条件１を満たさないと判定し、アフィンでない場合はａｍｖｒ_ｐｒｅｃｉｓｉｏｎ_ｉｄｘがｍｖｄの伝送精度を１/２画素精度を示す場合に所定条件１を満たすと判定する。

ここで、アフィンとは、非特許文献１で採用されているＡｆｆｉｎｅのことであり、本発明では、既知の手法を採用することが可能であるため、説明は省略する。

また、ステップＳ７-２の所定条件１では、対象ブロックがＩＢＣであるかで判定してもよく、対象ブロックがＩＢＣである場合は、所定条件１を満たさないと判定し、ＩＢＣでない場合はａｍｖｒ_ｐｒｅｃｉｓｉｏｎ_ｉｄｘがｍｖｄの伝送精度を１/２画素精度を示す場合に所定条件１を満たすと判定する。

ここで、ＩＢＣとは、非特許文献1で採用されているＩＢＣ（Ｉｎｔｒａ_Ｂｌｏｃｋ_Ｃｏｐｙ）のことであり、本発明では、既知の手法を採用することが可能であるため、説明は省略する。

ステップＳ７-３において、フィルタ判定部１１１Ｄ１は、ｈｐｅｌＩｆＩｄｘが「０」であると判定し、本処理を終了する。

ステップＳ７-４において、フィルタ判定部１１１Ｄ１は、ｈｐｅｌＩｆＩｄｘが「１」であると判定し、本処理を終了する。

ステップＳ７-５において、フィルタ判定部１１１Ｄ１は、ｈｐｅｌＩｆＩｄｘが「０」であると判定し、本処理を終了する。

なお、ここまで、ｈｐｅｌＩｆＩｄｘの判定処理をフローチャートで説明したが、図８に示す非特許文献１の判定処理のように、フィルタ判定部１１１Ｄ１は、ａｍｖｒ_ｆｌａｇ、ａｍｖｒ_ｐｒｅｃｉｓｉｏｎ_ｉｄｘ、ｉｎｔｅｒ_ａｆｆｉｎｅ_ｆｌａｇの復号結果及び対象ブロックがＩＢＣであるかどうかに基づいて、Ａｖｍｒｓｈｉｆｔ値を決定し、かかるＡｍｖｒ_ｓｈｉｆｔ値によってｈｐｅｌＩｆｉｄｘの値を判定してもよい。
（ｍｖ洗練化部）
以下、図９を参照して、本実施形態に係るｍｖ洗練化部２４１Ｂについて説明する。なお、符号化装置のｍｖ洗練化部１１１Ｃは復号装置のｍｖ洗練化部２４１Ｂと全く同じ構成となるため、本実施形態では、ｍｖ洗練化部２４１Ｂについて代表して説明する。

図９は、本実施形態に係るｍｖ洗練化部２４１Ｂの機能ブロックの一例について示す図である。

図９に示すように、ｍｖ洗練化部２４１Ｂは、ＭＭＶＤ部２４１Ｂ１と、ＤＭＶＲ部２４１Ｂ２とを有する。

ＭＭＶＤ部２４１Ｂ１及びＤＭＶＲ部２４１Ｂ２において、具体的には、非特許文献１で採用されているＭＭＶＤ（Ｍｅｒｇｅ ｍｏｄｅ ｗｉｔｈ ＭＶＤ）及びＤＭＶＲ（Ｄｅｃｏｄｅｒ ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）で動きベクトルが洗練化される。

具体的には、ＭＭＶＤ部２４１Ｂ１は、マージ部１１１Ａ２から出力される動きベクトルの参照位置を基準として、図９に示すように、参照位置の修正範囲を距離及び方向（垂直および水平）によって設定するように構成されている。

ＭＭＶＤ部２４１Ｂ１は、修正距離について、修正範囲の中から所定コストが最も小さい修正位置を特定し、修正参照位置に基づいて動きベクトルを修正する洗練化処理を行うように構成されている。

また、ＤＭＶＲ部２４１Ｂ２は、マージ部１１１Ａ２から出力される動きベクトルによって特定される参照位置を基準として探索範囲を設定し、探索範囲の中から所定コストが最も小さい修正参照位置を特定し、修正参照位置に基づいて動きベクトルを修正する洗練化処理を行うように構成されている。

ここで、ｍｖ洗練化部２４１Ｂにおいて、対象ブロックへのＭＭＶＤの適用有無、ＤＭＶＲの適用有無も判定されるが、その判定処理は、非特許文献１に記載の既知の手法を本発明では用いることが可能であるため、説明は省略する。

なお、ＭＭＶＤ及びＤＭＶＲのいずれも無効である場合は、マージ部１１１Ａ２から出力される動きベクトルは、修正されずに、そのまま後段の予測信号生成部２４１Ｃに出力される。
（マージリスト構築方法）
以下、図１０を参照して、本実施形態に係るマージリスト構築処理について説明する。図１０は、本実施形態に係るマージリスト構築処理の一例を示すフローチャートである。

図１０に示すように、本発明に係るマージリスト構築処理は、非特許文献１と同様に、合計５つのマージリストの構築処理によって構成される。

具体的には、ステップＳ１０-１の空間マージ、ステップＳ１０-２の時間マージ、ステップＳ１０-３のヒストリーマージ、ステップＳ１０-４のペアワイズ平均マージ、ステップＳ１０-５のゼロマージによるマージリストの構築処理から構成される。それぞれのマージリスト構築処理については、後述する。

図１１は、本実施形態に係るマージリスト構築処理にて生成されるマージリストの一例を示した図である。

マージリストとは、上述したように、マージインデックスに対応する動きベクトル、Ｒｅｆｉｄｘ、ｈｅｐｅｌＩｆＩｄｘが登録されたリストである。

ここで、マージインデックスの最大数は、非特許文献１では「５」と設定されているが、設計者の意図により、自由に設定してもよい。

また、図１１にあるｍｖＬ０、ｍｖＬ１、ＲｅｆＩｄｘＬ０、ＲｅｆＩｄｘＬ１は、それぞれ参照画像リストＬ０、Ｌ１の動きベクトルと参照画像インデックスを示す。

ここで、参照画像リストＬ０、Ｌ１とは、参照フレームが登録されたリストのことを示し、ＲｅｆＩｄｘによって、その参照フレームが特定される。

なお、図１１に示すマージリストには、Ｌ０及びＬ１双方の動きベクトルと参照画像インデックスを示しているが、参照ブロックによっては片方向予測である場合がある。その場合は、片方向分の動きベクトル及び参照画像インデックスが、かかるマージリストに登録される。また、そもそも参照ブロックに動きベクトルが存在しない場合は、その参照ブロックに対するマージリストの構築処理がスキップされる。
（空間マージ）
図１２は、空間マージについて示した図である。空間マージとは、対象ブロックと同一フレームに存在する隣接ブロックから、ｍｖ、ＲｅｆＩｄｘ、ｈｐｅｌＩｆＩｄｘを継承する技術である。

具体的には、図１２に示すような位置関係にある隣接ブロックから、上述のｍｖ、Ｒｅｆｉｄｘ、ｈｐｅｌｆＩｄｘを継承し、その処理順は、非特許文献１と同様に、図１２に示すような順序としてもよい。

なお、マージリスト処理では、上述の処理順でマージリストへのパラメータ登録がなされるが、マージリストに対して同じ動きベクトルと参照画像インデックスが登録されないようなチェック機構が存在する。これをｐｒｕｎｉｎｇ処理と呼ぶ。

ｐｒｕｎｉｎｇ処理の存在理由は、マージリストに登録される動きベクトル及び参照画像インデックスのバリエーションを増やすことであり、画像符号化装置１００の観点では、画像特性に併せて所定コストが最も小さくなる動きベクトルが選択できるということであり、画像復号装置２００では、その選択された動きベクトル及び参照画像インデックスに基づいて予測精度の高い予測信号を生成することができるため、結果的に符号化性能の向上効果が期待できるという点にある。

空間マージでは、例えば、隣接ブロックＡ_１が登録されれば、次の処理順にある隣接ブロックＢ₁で、隣接ブロックＡ₁で登録された動きベクトルと参照画像インデックスとの同一性が確認され、もし同一性が確認されれば、隣接ブロックＢ₁の動きベクトル及び参照画像インデックスはマージリストに登録されない構成となっている。

なお、非特許文献１では、隣接ブロックＢ_０、隣接ブロックＡ_０、隣接ブロックＢ_２については、既にマージリストに登録済みの動きベクトルと参照画像インデックスとの同一性のチェック以外に、対象ブロックがトライアングルマージであるかどうかの確認が存在する。

本実施形態では、ｐｒｕｎｉｎｇ処理に対して、このトライアングルマージによる判定を追加してもよく、またトライアングマージとしては既知の手法を取ることが可能であるため、説明は省略する。

また、非特許文献１では、空間マージによるマージインデックスの登録最大可能数を「４」と設定しており、隣接ブロックＢ_２に関しては、それまでの空間マージ処理によって、既に４つのマージインデックスが登録されている場合は、Ｂ_２の処理がスキップされる。

本実施形態では、非特許文献１と同様に、隣接ブロックＢ_２の処理を、既存のマージインデックス登録数によって判定してもよい。
（時間マージ）
図１３は、時間マージについて示した図である。時間マージとは、対象ブロックと異なるフレームに存在するが、同一位置の左下の隣接ブロック（図１３のＣ_１）又は同一位置にあるブロック（図１３のＣ_０）を参照ブロックと特定して、動きベクトルと参照画像インデックスを継承する技術である。

かかる時間マージリストによるマージインデックスのマージリストへの登録最大可能数は、非特許文献１では、「１」となっており、本実施形態においても、登録最大可能数を同様に設定しもよい。

また、時間マージにおいて継承される動きベクトルは、スケーリングされる特徴があり、図１４は、かかるスケーリング処理を示した図である。

具体的には、図１４に示すように、対象ブロックの参照フレームと対象フレームが存在するフレームとの距離ｔｂと、参照ブロックの参照フレームと参照ブロックの参照フレームの距離ｔｄとに基づいて、参照ブロックのｍｖが、以下のようにスケーリングされる。

ｍｖ’＝（ｔｄ/ｔｂ）×ｍｖ
時間マージでは、このスケーリングされたｍｖ’がマージインデックスに対応する動きベクトルとしてマージインデックスに登録される構成となっている。
（ヒストリーマージ）
図１５は、ヒストリーマージについて示した図である。ヒストリーマージとは、対象ブロックよりも過去に符号化済みのインター予測ブロックが有する動きベクトル、参照画像インデックス、ハーフペルインデックスを、ヒストリーマージテーブルと呼ばれる記憶領域に別途記憶しておき、マージリストが前段の空間マージ処理、時間マージ処理で埋まっていない場合に、かかるヒストリーマージテーブルに登録されているマージインデックスをマージリストに登録するという技術である。

図１５は、ヒストリーマージテーブル構築処理の一例を示した図であり、ヒストリーマージインデックスによって、過去に符号化済みのブロックに対応する動きベクトル、参照画像インデックス、ハーフペルインデックスがヒストリーマージテーブルに登録される構成となっている。

このヒストリーマージテーブルのヒストリーマージインデックスの最大登録数は、非特許文献１では、最大で「６」と設定されているが、設計者の意図によって自由に設定してもよい。

また、このヒストリーマージテーブルへのヒストリーマージインデックスの登録処理は、ＦＩＦＯ処理となっており、ヒストリーマージテーブルがいっぱいになると新しいヒストリーマージテーブルが追加されるたびに、最後に登録されたヒストリーマージインデックスが削除される構成となっている。

また、ヒストリーマージテーブルに登録されているヒストリーマージインデックスは、非特許文献１と同様に、対象ブロックが符号化ツリーブロック（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）を跨ぐと初期化されてもよい。
（ペアワイズ平均マージ）
図１６は、ペアワイズ平均マージにより算出される新たな動きベクトルとハーフペルインデックスとの組について示した図である。

ペアワイズ平均マージとは、マージリストに既に登録されている２組のマージインデックスに対応する動きベクトル、参照画像インデックス、ハーフペルインデックスを用いて、新たな動きベクトル、参照画像インデックス、ハーフペルインデックスを生成する技術である。

ペアワイズ平均マージに利用する２組のマージインデックスは、非特許文献１と同様に、マージリストに登録されているマージインデックスの０番目及び１番目を固定で利用してもよいし、或いは、設計者の意図で、別の２組の組合せを自由に設定してもよい。

ペアワイズ平均マージにおける新たな動きベクトルの生成方法は、図１６に示すように、マージリストの２組のマージインデックスに対応する動きベクトルを平均化して生成する。

具体的には、例えば、２組のマージインデックスに対応する動きベクトルがそれぞれ２つある場合（すなわち、双予測である場合）、Ｌ０及びＬ１方向の動きベクトルｍｖＬ０Ｐ_０/ｍｖＬ１Ｐ_０及びｍｖＬ０Ｐ_１/ｍｖＬ１Ｐ_１によって、ペアワイズ平均マージの動きベクトルであるｍｖＬ０Ａｖｇ及びｍｖＬ１Ａｖｇは、それぞれ以下のように独立して算出される。

ｍｖＬ０Ａｖｇ＝（ｍｖＬ０Ｐ_０＋ｍｖＬ０Ｐ_１）/２
ｍｖＬ１Ａｖｇ＝（ｍｖＬ１Ｐ_０＋ｍｖＬ１Ｐ_１）/２
ここで、ｍｖＬ０Ｐ_０/ｍｖＬ１Ｐ_０又はｍｖＬ０Ｐ_１/ｍｖＬ１Ｐ_１の片方が存在しない場合は、存在しない動きベクトルを除いて、上述の計算が行われる。

このとき、非特許文献１では、ペアワイズ平均マージインデックスに紐づく参照画像インデックスをマージインデックスＰ_０に紐づく参照画像インデックスＲｅｆＩｄｘＬ０Ｐ_０及びＲｅｆＩｄｘＬ１Ｐ_０を常に使用するように定めている。

また、ペアワイズ平均マージにより生成される新たなハーフペルインデックスｈｐｅｌＩｆＩｄｘＡｖｇは、図１７（ａ）及び図１７（ｂ）に示すように、既にマージリストに登録済みの２組のマージインデックスに対応する２組のハーフペルインデックスｈｐｅｌＩｆＩｄｘＰ_０及びｈｐｅｌＩｆＩｄｘＰ_１に基づいて設定する。

具体的には、ステップＳ１７-１において、ｈｐｅｌＩｆＩｄｘＰ_０及びｈｐｅｌＩｆＩｄｘＰ_１が同じであるかどうかを判定する。同じである場合は、本処理は、ステップＳ１７-２に進み、同じでない場合は、本処理は、ステップＳ１７-３に進む。

ステップＳ１７-２において、ｈｐｅｌＩｆＩｄｘＡｖｇをｈｐｅｌＩｆＩｄｘＰ_０と設定する。

ステップＳ１７-３において、ｈｐｅｌＩｆＩｄｘＡｖｇを無効すなわち「０」と設定する。

ここで、ｈｐｅｌＩｆＩｄｘＰ_０及びｈｐｅｌＩｆＩｄｘＰ_１の取り得る値が「０」又は「１」である場合、図１７（ａ）に示すステップＳ１７-１及びステップＳ１７-３の処理について、図１７（ｂ）のステップＳ１７-４からステップＳ１７-６のような処理に置き換えてもよい。
（時間マージへのハーフペルインデックスの導入）
以下、図１８を参照して、本実施形態に係る時間マージへのハーフペルインデックスの導入について説明する。図１８は、本実施形態に係るマージリスト構築例を示す図である。

非特許文献１では、マージリストに時間マージによるマージインデックスが登録されている場合、そのマージインデックスに対応するハーフペルインデックスは、常に「０」に設定される。そのため、時間マージに対して、非特許文献１では、平滑化フィルタが使用されることはなく、動きベクトルが小数画素精度位置を参照する場合は、常にＨＥＶＣフィルタが使用されることとなっていた。

そこで、本実施形態では、かかる時間マージのハーフペルインデックスを常に「０」に設定せず、参照ブロックのハーフペルインデックスをそのまま継承して、マージリストに登録する。

これにより、時間マージに対しても、平滑化フィルタが使用可能となる。これは、マージリスト全体に対して平滑化フィルタの選択機会が増加することを意味するため、画像特性に合わせたフィルタの適応的な切換による予測精度を向上させ、符号化性能を向上させることができる。
（マージリスト構築時のｐｒｕｎｉｎｇ処理へのハーフペルインデックスによる判定の導入）
以下、本実施形態に係るマージリスト構築時のｐｒｕｎｉｎｇ処理へのハーフペルインデックスによる判定の導入について説明する。

非特許文献１では、マージリスト構築時にマージリストに対して同一の動きベクトル及び参照画像インデックスを持つマージインデックスが登録されないようにｐｒｕｎｉｎｇ処理と呼ばれるチェック機構について記載されている。

具体的には、マージリストに新たなマージインデックスが追加される際に、このｐｒｕｎｉｎｇ処理が働き、新たに追加されるマージインデックスに紐づく動きベクトル及び参照インデックスが、既に登録済みのマージインデックスに紐づく動きベクトル及び参照インデックスと同じである場合に、かかるマージインデックスは、マージリストに追加されない。

これは、マージリストに登録される動きベクトルのバリエーションを増やすという狙いがあり、動きベクトルの選択バリエーションが増えるということは、画像符号化装置１００側から観れば、符号化コストを抑えるためのより予測精度の高い動きベクトルを選択する機会が増えるということを意味する。

また、画像復号装置２００側から観れば、画像符号化装置１００で選択された予測精度の高い動きベクトルに基づいてＭＣ予測画像を生成できるため、結果として符号化性能の向上効果が期待できる。

しかし、非特許文献１では、このｐｒｕｎｉｎｇ処理の判定に、ハーフペルインデックスが使用されておらず、既存のマージインデックスと同一の動きベクトル及び参照画像インデックスを持つが、異なるハーフペルインデックスを持つマージインデックスは、マージリストに登録されていなかった。

そこで、本実施形態では、このマージリスト構築におけるｐｒｕｎｉｎｇ処理にハーフペルインデックスの判定を追加する。

これにより、従来方式と比較して、既存のマージインデックスと同一の動きベクトル及び参照画像インデックスを持つ場合でも、異なるハーフペルインデックスを持つマージインデックスは、マージリストに登録されるようになる。

これは、マージリストに対して平滑化フィルタの選択機会が増えるということを示唆し、画像符号化装置１００の観点では、画像特性に併せてより符号化コストが小さくなる内挿フィルタを適応的に選択できることを意味する。

また、画像復号装置２００側から観れば、画像符号化装置１００で選択された符号化コストが小さくなる内挿フィルタを用いてＭＣ予測画像を生成できるため、結果として符号化性能の向上効果が期待できる。
［変更例：ｐｒｕｎｉｎｇ処理の拡張」
上述の例では、ｐｒｕｎｉｎｇ処理に対してハーフペルインデックスの判定を追加することを示したが、非特許文献１では、ｐｒｕｎｉｎｇ処理が空間マージ、ヒストリーマージによるマージリスト構築時にしか行われない。

また、空間マージも、上述の５つの候補（処理順：Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２）において、トライアングルマージが無効の場合は、Ｂ０はＢ１と、Ａ０はＡ１と、Ｂ２はＡ１かつＢ１との比較のみ行われる。

そのため、空間マージにおけるＢ０、Ａ０、Ｂ２、時間マージ、ペアワイズ平均マージにおいては、それぞれ比較していない前段のマージ候補と、動きベクトルと参照画像インデックス並びにハーフペルインデックスが重複する可能性がある。

したがって、非特許文献１ではｐｒｕｎｉｎｇ処理が採用されていないマージ候補およびマージリスト構築方法において、ｐｒｕｎｉｎｇ処理を拡張した上で、ハーフペルインデックスの判定追加を行えば、結果的に、同一の動きベクトルと参照画像インデックスとハーフペルインデックスとを有するマージ候補をマージリスト内に追加することを回避できるため、予測精度の向上、ひいては、符号化性能の向上効果が期待できる。
（ヒストリーマージテーブル構築時のｐｒｕｎｉｎｇ処理へのハーフペルインデックスによる判定の導入）
以下、本実施形態に係るヒストリーマージテーブル構築時のｐｒｕｎｉｎｇ処理へのハーフペルインデックスによる判定の導入について説明する。

非特許文献１では、ヒストリーマージテーブル構築時にヒストリーマージテーブルに対して同一の動きベクトル及び参照画像インデックスを持つヒストリーマージ候補が登録されないように、ｐｒｕｎｉｎｇ処理と呼ばれるチェック機構が存在する。

具体的には、ヒストリーマージテーブルに新たなヒストリーマージ候補が追加される際に、このｐｒｕｎｉｎｇ処理が働き、新たに追加されるヒストリーマージ候補に紐づく動きベクトルと参照インデックスが、既に登録済みのヒストリーマージ候補に紐づく動きベクトル及び参照インデックスと同じである場合に、このヒストリーマージ候補は、ヒストリーマージテーブルに追加されない。

これは、ヒストリーマージテーブルに登録される動きベクトルのバリエーションを増やすという狙いがあり、動きベクトルの選択バリエーションが増えるということは、画像符号化装置１００側から観れば、符号化コストを抑えるためのより予測精度の高い動きベクトルを選択する機会が増えるということを意味する。

また、画像復号装置２００側から観れば、画像符号化装置１００で選択された予測精度の高い動きベクトルに基づいてＭＣ予測画像を生成できるため、結果として符号化性能の向上効果が期待できる。

しかし、非特許文献１では、このｐｒｕｎｉｎｇ処理の判定に、ハーフペルインデックスが使用されておらず、既存のヒストリーマージ候補と同一の動きベクトル及び参照画像インデックスを持つが、異なるハーフペルインデックスを持つヒストリーマージ候補は、ヒストリーマージテーブルに登録されていなかった。

そこで、本実施形態では、このヒストリーマージテーブル構築におけるｐｒｕｎｉｎｇ処理にハーフペルインデックスの判定を追加する。

これにより、従来方式と比較して、既存のヒストリーマージ候補と同一の動きベクトル及び参照画像インデックスを持つ場合でも、異なるハーフペルインデックスを持つヒストリーマージ候補は、マージリストに登録されるようになる。

これは、ヒストリーマージテーブルに対して平滑化フィルタの選択機会が増えるということを示唆し、画像符号化装置１００から観れば、画像特性に併せてより符号化コストが小さくなる内挿フィルタを適応的に選択できることを意味する。

また、画像復号装置２００側から観れば、画像符号化装置１００で選択された符号化コストが小さくなる内挿フィルタを用いてＭＣ予測画像を生成できるため、結果として符号化性能の向上効果が期待できる。

本発明によれば、マージリスト構築時又はヒストリーマージテーブル時のｐｒｕｎｉｎｇ処理の判定条件に、ハーフペルインデックスの判定を追加することで、平滑化フィルタの選択機会が増加させられるため、結果として符号化性能の向上が期待できる。

上述の画像符号化装置１００及び画像復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

なお、上述の各実施形態では、本発明を画像符号化装置１００及び画像復号装置２００への適用を例にして説明したが、本発明は、これのみに限定されるものではなく、画像符号化装置１００及び画像復号装置２００の各機能を備えた画像符号化システム及び画像復号システムにも同様に適用できる。

１０…画像処理システム
１００…画像符号化装置
１１１、２４１…インター予測部
１１１Ａ…ｍｖ導出部
１１１Ａ１、２４１Ａ１…ＡＭＶＰ部
１１１Ａ２、２４１Ａ２…マージ部
１１１Ｂ…ＡＭＶＲ部
１１１Ｃ、２４１Ｂ…ｍｖ洗練化部
１１１Ｄ、２４１Ｃ…予測信号生成部
１１１Ｄ１、２４１Ｃ１…フィルタ判定部
１１１Ｄ２、２４１Ｃ２…フィルタ適用部
１１２、２４２…イントラ予測部
１２１…減算器
１２２、２３０…加算器
１３１…変換・量子化部
１３２、２２０…逆変換・逆量子化部
１４０…符号化部
１５０、２５０…インループフィルタ処理部
１６０、２６０…フレームバッファ
２００…画像復号装置
２１０…復号部
２４１Ａ…ｍｖ復号部
２４１Ｂ１…ＭＭＶＤ部
２４１Ｂ２…ＤＭＶＲ部

Claims (1)

1. 画像復号装置であって、
   マージインデックスから、動きベクトル及び前記動きベクトルが１/２画素精度位置を参照するかどうかを示すハーフペルインデックスを復号するように構成されているマージ部と、
   前記動きベクトルと前記ハーフペルインデックスとに基づいて、内挿フィルタの使用有無及び内挿フィルタ種別を判定するように構成されているフィルタ判定部と、
   前記内挿フィルタを用いて、動き補償予測画素信号を生成するように構成されているフィルタ適用部とを備え、
   前記マージ部は、所定のマージリスト構築方法により、マージリストを生成し、前記マージリスト及び前記マージインデックスから、前記動きベクトル及び前記ハーフペルインデックスを復号するように構成されており、
   対象ブロックは、マージであり、
   前記マージ部は、時間マージによるマージインデックスが前記マージリストに登録される場合、参照ブロックのハーフペルインデックスを継承して前記マージリストに登録するように構成されていることを特徴とする画像復号装置。

Images