JPH11155154A - 立体映像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】注視点付近の領域に最も立体効果が現れるよう
な信号処理を行い、より現実的な立体画像空間を得る。 【解決手段】左眼用画像信号と右眼用画像信号とは、そ
れぞれフィルタ演算部１０４、１０５を介して表示制御
部１０７に入力する。個々でフィルタ演算部１０４、１
０５のフィルタ係数は、フィルタ係数発生部１１２から
の係数により可変設定される。フィルタ係数発生部１１
２は右眼用画像信号及び左眼用画像信号の時間軸方向の
任意の位置の高域成分の利得を制御するためのフィルタ
係数を発生する。注視点視差検出部１１１は画像のうち
注視される領域を設定し、フィルタ係数発生部１１２は
その設定領域とこれ以外の領域との前記フィルタ係数の
値が異なるように発生する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、立体映像処理装
置に関するもので、特に観察者の注視点と違う視差量に
ある部分の空間周波数特性を制御してぼけた映像とし、
立体映像効果及び立体映像撮影の融通性を拡大できるよ
うにしたものである。

【０００２】

【従来の技術】被写体を左右の眼が異なる方向から見る
と左右網膜像の空間的ずれ（両眼視差）が得られ、人間
は奥行き感を知覚することができる。この現象を利用し
て左右両眼に別々のずれた画像を与え、観察者に立体感
を感じさせるようにした立体ディスプレイの研究、開発
が行われている。

【０００３】また立体画像を取り扱うのにその圧縮方法
の研究も要望されている。例えば、左右２枚の画像をそ
のまま伝送するのではなく、片方の片側画像と、左右画
像間の視差情報のみを伝送する方法が考えられている。
視差情報に関しては、全視差情報でなくても輪郭部の視
差情報のみを伝送することにより、伝送量は、原画像の
数パーセント以下になることが報告されている。

【０００４】

【発明が解決しようとする課題】従来の立体ディスプレ
イ装置の立体映像表示は、画面のすべての点で焦点が合
った状態の映像を用いて実現されている。しかし、普段
人間が奥行きを感知しながら周辺を見ている状態では、
両眼視差の他に、調節、輻輳、運動視差等のパラメータ
が関与している。

【０００５】ここで人間観察動作において、調節とピン
トとの関係を述べると次のような関係がある。即ち、複
数の奥行きの違う複数の物体を観察するときは、自然視
の状態では、注視物体の位置に調節点が有り、その物体
にピントがあっている。このときは、周辺の物体は、注
視物体とは奥行きが異なるのでぼけた状態で感知されて
いる。

【０００６】ところが従来の立体表示装置では、スクリ
ーンのすべての位置において、ピントのあった画像を映
し出して、立体視させようとしている。このために、立
体画像を長い時間見ると視覚疲労が伴ったり、立体効果
が薄れるいわゆる書き割り効果等の原因となっている。

【０００７】そこでこの発明は、注視点に従って画像の
空間周波数成分を操作する信号処理を行い、より現実的
な立体画像空間を得ることができる立体映像処理装置を
提供することを目的とする。

【０００８】

【課題を解決するための手段】この発明は上記の目的を
達成するために、立体映像を観察者が見るときに注視す
ると思われる注視領域を、映像信号から検出し、この検
出した領域と違う視差量の領域の信号について、空間周
波数成分が低域通過形となるフィルタ処理を行う。

【０００９】上記の手段により、観察者は立体映像を観
察する場合に注視領域と違う奥行きに位置する領域はぼ
けた状態で知覚するために、画像ではなく通常の自然を
観察している感覚に近付き、疲労感がなく、また効果的
な立体視を行うことができる。

【００１０】

【発明の実施の形態】以下この発明の実施の形態を図面
を参照して説明する。図１はこの発明の一実施の形態を
示す図である。入力端子１０１には左眼用画像信号が入
力する。また入力端子１０２には、左眼用画像と右眼用
画像の差分である視差情報が入力する。視差情報は、例
えば少なくとも左右画像の輪郭成分と、左右画像の画素
間のずれである視差量を含む。左眼用画像信号は、右眼
用画像再構成部１０３とフィルタ演算部１０４に入力さ
れる。右眼用画像再構成部１０３は視差情報と左眼用画
像信号を用いて右眼用画像信号を作成し、これをフィル
タ演算部１０５に供給する。フィルタ演算部１０４、１
０５の出力は、表示制御部１０７に左画像用、右画像用
として入力される。表示制御部１０７は、左右画像を表
示し立体視画像を生成する。

【００１１】視差情報は、右眼用画像再構成部１０３
と、注視点視差検出部１１１と、フィルタ係数発生部１
１２に入力される。注視点視差検出部１１１は、注視点
領域設定手段の１つであるリモコンインターフェース１
１３を通じて指定した注視点付近の画素の視差量を視差
情報から抽出し、注視点付近の平均視差量を求める。ま
た注視点付近の平均視差量と、全領域における視差量と
の差分を求め、これをフィルタ係数発生部１１２に供給
する。。このフィルタ係数発生部１１２は求めた差分に
もとづいて、各領域に対するフィルタ係数を出力し、フ
ィルタ演算部１０４及びフィルタ演算部１０５に供給す
る。

【００１２】フィルタ係数発生部１１２のフィルタ係数
は、リモコンインターフェース１１３を介して供給され
る係数調整データにより、そのレンジを調整することが
できる。係数調整データは、観察者がリモコンを通して
供給することができる。

【００１３】差分値とフィルタ係数との関係は、例えば
図２にような関係である。即ち、図２に示すように差分
値が大きくなるにしたがってその画素近傍の空間周波数
の高周波成分がより除去されるような特性となってい
る。このことは、注視点における被写体の奥行き感（立
体感）とずれているもの（遠近距離が異なるもの）は、
その高周波成分が抑圧され、ぼけた状態に制御されると
言うことである。差分０を中心にして前後（奥行き）方
向の成分の高周波成分が低減されている。低減の度合い
（高周波成分に対する抑圧の程度；言い換えるとカット
オフ周波数の値）は、係数調整データを観察者が調整す
ることにより可変することができる。

【００１４】図３には、複数の物体Ａ，Ｂ，Ｃ，Ｄ，Ｅ
を立体表示し、それぞれの奥行き感が異なる場合を示し
ている。図３（ａ）は、表示画面例を示し、図３（ｂ）
は各物体Ａ，Ｂ，Ｃ，Ｄ，Ｅの奥行き感を示している。
また図３（ｃ）は、オリジナルの周波数特性、図３
（ｄ）は注視点がＢの場合の各物体に与えられる周波数
特性、図３（ｅ）は注視点がＣの場合の各物体像に与え
られる周波数特性を示している。注視点の像から立体的
に遠ざかるにしたがって周波数特性が抑圧されており、
ぼけた像となる。ｇはゲインであり、ｆは周波数であ
る。

【００１５】図４はこの発明の他の実施の形態である。
図１の実施の形態と同一部分は同一符号を付す。先の実
施の形態では、注視点を観察者がリモコンを通じて指定
したが、この実施の形態では、画像の特徴から注視点を
自動的に設定するようにしている。２次元画像から注視
点を推定する場合、１）一般に画像の中央付近にある象
に対する注目度が高い。２）複雑な形の像に対する注目
度が高い。３）大きな像に対する注目度が高い。４）動
いている像に対する注目度が高い。

【００１６】図５には、上記の１）の条件を基本にし
て、左眼画像から注視点の視差量を検出するアルゴリズ
ムの例を示している。画面内の中心付近の領域に対し
て、その画素に対応する視差量を加算し、中心領域の画
素数で除算を行うことで、中心領域の視差量の平均を求
めている。即ち、画素は画面の中央領域に属するかどう
かを調べ（ステップＳ１）、属する場合には、その画素
は中央領域の最初の画素かどうかを調べる（ステップＳ
２）。最初の画素である場合には、視差量の累積加算デ
ータのレジスタを一旦零にリセットする（ステップＳ
３）。次に、その画素の視差量を累積加算データに加算
する（ステップＳ４）。そして、対象となる画素が中央
領域の画素の最後の画素となるまで視差量を累積加算
し、最終的な累積加算データを中央領域の画素数で除算
する（ステップＳ５，Ｓ６）。視差量を視差情報に含ま
れているのでこれを利用する。

【００１７】図６はこの発明のさらに別の実施の形態で
ある。先の実施の形態と同一部分には同一符号が付され
ている。先の実施の形態と異なる点は、注視点データ入
力装置２００が設けられ、注視点のデータが注視点視差
検出部１１１に与えられるように構成されていることで
ある。この注視点データ入力装置２００は、例えば着脱
が可能であり、この注視点データ入力装置２００は、観
察者が画面上のいずれの箇所を注目しているかを検出
し、その検出データを注視点領域として注視点視差検出
部１１１に与えることができる。

【００１８】図７には、上記の注視点データ入力装置２
００の具体的構成例を示している。この装置は、視線感
知装置を利用したものである。観察者の眼球に対して赤
外線ＬＥＤ２０１から赤外線を照射し、その反射光はレ
ンズ２０２を介してＣＣＤ受光素子２０３に入力する。
これにより、眼球の注目方向を検出し、この検出情報を
検出データを先の注視点視差検出部１１１に与える。

【００１９】これにより、注視点の領域のフィルタ特性
が、高解像度特性とされ、他の領域が高周波を低減させ
た特性となる。上記の視線感知装置は、観察者の頭部に
装着されるものとして説明した。しかしこのタイプに限
るものではない。

【００２０】図８にはこの発明の他の実施の形態を示し
ている。先の実施の形態とう同一部分には同一符号を付
している。この実施の形態は、フィルタ演算部１０４、
１０５に与えられるフィルタ係数のモードが、視距離測
定部３００からの情報により切換えられるように構成さ
れている点である。

【００２１】視距離測定部３００は、観察者とディスプ
レイとの距離を測定し、この距離で適切な立体効果が得
られるような視差を持つ領域の映像を注視点映像とし、
他の領域の映像の高周波を低減するためのものである。

【００２２】図９には、ディスプレイを観察する距離
と、スクリーン上の左眼用画像と右眼用画像と、奥行き
を感じる立体像との関係を示している。表示制御部のス
クリーン面３１１に対して左眼用画像１１Ｌ，右眼用画
像１１Ｒがずれて写っているものとする。このスクリー
ンを視距離ａの観察者Ａが見ると、立体像ＰＡが見え
る。これに対して、スクリーンを視距離ｂの観察者Ｂが
見ると、立体像ＰＢが見える。

【００２３】このように同じ条件でスクリーン面３１１
に写った左右眼用画像を見ても、観察者の視距離により
奥行き感が異なる。逆に、観察者の位置が同じであって
も、左右眼用画像のずれ量（視差量）を可変すると奥行
き感を可変することができることである。

【００２４】従って、図８に示す実施の形態では、観察
者の視距離を検出し、この視距離に応じて、フィルタ係
数を可変するようにしている。被写界深度は、観察距離
の２乗に比例して深度は深くなる。よって、観察者の距
離が離れるに従って、図１０に示すように視点対象とな
る領域の周辺の領域に存在する信号の高周波成分を低減
するように制御する。これにより、観察距離が離れるに
従って注視点以外の像もはっきりとした像となり、違和
感が低減される。

【００２５】なお立体映像表示装置としては、各種の方
式があるので上述した方式のものに限定されるものでは
ない。立体画像を見る方法としては、フィルタ眼がね方
式がある。代表的なフィルタ眼がね方式としては、アナ
グリフ方式、温度差方式、偏向フィルタ方式がある。ア
ナグリフ方式は、補色関係にある２色（例えば赤と青）
で描かれた両眼視差のある画像を共通の透過波長域を持
たない色フィルタで左右像を選択し、分離して立体視す
るものである。温度差方式は、左右の眼に透過率の異な
るフィルタを装着して動きのある平面画像を観察する
と、透過率の差による知覚時間差に応じた奥行き感のあ
る画像が見える視覚特性を利用したものである。偏向フ
ィルタ方式は直交した偏向素子の組み合わせによる遮光
効果を利用して左右眼に画像を分離するものである。

【００２６】眼がね方式としては、フィルタ眼がねの他
にシャッタ眼がねがある。この方式では左右画像を経時
的に交互に切換えて両眼に提示し、シャッタをこれに同
期させて開閉することにより立体視を得るものである。

【００２７】眼がね無しの方式としては、パララックス
バリア方式や、レンチキュラ方式がある。パララックス
バリア方式は、パララックスバリアと呼ばれる細いスリ
ット状の開口部の裏側に適当な間隔を置いて左右２眼分
の画像を交互に配置し、特定の視点からこの開口ぶを通
して見たときに、左右像が正しく分離して観察され立体
視が可能になるものである。レンチキュラ方式では半円
筒径の形状をしたレンチキュラスクリーンと呼ばれるレ
ンチキュラレンズの焦点面に左右画像を配置し、このレ
ンズの焦点面に左右画像を配置し、このレンズを通して
観察するとレンズの指向性によって左右画像が分離され
て立体視が可能になるものである。

【００２８】

【発明の効果】以上説明したようにこの発明によれば、
注視点付近の領域に最も立体効果が現れるような信号処
理を行い、より現実的な立体画像空間を得ることができ
る。

【図面の簡単な説明】

【図１】 この発明の一実施の形態を示す図。

【図２】 図１の装置の動作を説明するために示したカ
ットオフ周波数特性の図。

【図３】 この発明の装置の動作の例を説明するために
示した説明図。

【図４】 この発明の他の実施の形態を示す図。

【図５】 この発明の装置の動作例を説明するために示
した説明図。

【図６】 この発明の装置のさらに他の実施の形態の例
を示す図。

【図７】 図６の注視点データ入力装置の一例を示す
図。

【図８】 この発明のさらに他の実施の形態を示す図。

【図９】 立体像と視距離との関係を示す説明図。

【図１０】図９の装置の動作例を説明するために示した
カットオフ周波数特性の図。

【符号の説明】

１０３…右眼用画像再校正部、１０４、１０５…フィル
タ演算部、１０７…表示制御部、１１１…注視点視差検
出部、１１２…フィルタ係数発生部、１１３…リモコン
インターフェース、２００…注視点データ入力装置、３
００…視距離測定部。

Claims (5)

【特許請求の範囲】
1. 【請求項１】 右眼用画像信号が入力される第１のフィ
   ルタ演算部と、 左眼用画像信号が入力される第２のフィルタ演算部と、 前記第１と第２のフィルタ演算部の出力が入力され、立
   体画像表示を得る表示制御部と、 前記右眼用画像信号及び左眼用画像信号の時間軸方向の
   任意の位置の高域成分の利得を制御するために前記第１
   及び第２のフィルタ演算部にフィルタ係数を与えるフィ
   ルタ係数発生部と、 前記画像信号のいずれか一方の信号が生成する画像のう
   ち注視される領域を設定する注視点領域設定手段と、 注視点領域設定手段による設定領域の視差量と異なる視
   差量を持つ領域との前記フィルタ係数の値が異なるよう
   に前記フィルタ係数発生部を制御する手段とを具備した
   ことを特徴とする立体映像処理装置。
2. 【請求項２】 前記注視点領域設定手段は、リモートコ
   ントロール手段からの制御信号に基づいて注視点の領域
   が設定されることを特徴とする請求項１記載の立体映像
   処理装置。
3. 【請求項３】 前記注視点領域設定手段は、前記左眼用
   画像信号または右眼用画像信号のいずれか一方の画像を
   用い、画像の性質が動画またはスクリーンの中央にある
   等の予め設定した性質である領域を注視点の領域として
   設定することを特徴とする立体画像処理装置。
4. 【請求項４】 前記注視点領域設定手段は、外部より観
   察者の注視点測定手段からの入力データに基づいて前記
   注視点の領域を設定することを特徴とする立体画像処理
   装置。
5. 【請求項５】 前記フィルタ係数発生部が出力するフィ
   ルタ係数のレンジは観察者の位置を検出する視距離測定
   手段からの制御信号に基づいて制御されることを特徴と
   する請求項１記載の立体画像処理装置。