JP2017220767A - 合焦装置 - Google Patents

Abstract

【課題】撮影完了後のＬＦ画像に対して、ネットワーク上に存在する類似画像を用いて自動で合焦処理を行うことにより、ユーザの利便性を向上させることが出来る合焦装置を提供すること。【解決手段】入力したＬＦデータについてパンフォーカスとなる様に画像を再構築する画像再構築部と、外部装置から複数の代表画像を取得する画像取得部と、複数の代表画像の中から再構築した画像に最も類似する画像を決定する類似度判定部と、決定した画像に付与されているメタデータから、合焦すべき領域を取得する合焦位置取得部と、合焦領域に合焦させるための焦点位置を算出し、ＬＦ画像に対するメタデータとして付与する焦点位置付与部と、を有することを特徴とする。【選択図】図８

Description

本発明は、類似画像を用いて撮影後の画像の合焦処理を実行する合焦装置およびその制御方法に関する。

近年、ライトフィールド（以下、ＬＦと略記する）カメラと呼ばれる撮像装置が実用化されている。この撮像装置は、イメージセンサ上に配置したマイクロレンズアレイによって入射光を分割することで、複数の方向の光を撮影して光線情報を得ることができる。以下では、ＬＦカメラにより撮影された画像をＬＦ画像といい、画像データをＬＦデータという。

撮影後にＬＦデータに係る光線の強度とその入射方向に基づいて所定の計算処理を実行することによって、任意の焦点距離および被写界深度の画像を構築できる。光線情報を利用した撮影後の計算処理により、任意の合焦位置の画像を再構築できることがＬＦカメラの利点である。

特許文献１には、履歴画像を用いて撮影時の焦点位置を自動で決めるオートフォーカス技術が公開されている。

特開２０１３−１９０５６号公報

しかしながら、上述した従来のオートフォーカス技術では、撮影画像取り込み前に行う処理であるために、撮影画像取り込みのタイミングに対する応答性の観点から、可能な処理が限られていた。例えば、ネットワーク上に存在する画像を参照する処理など、処理完了までの時間が大幅に遅れる可能性のある処理をオートフォーカス技術として用いた場合、合焦するまでの時間が自装置以外の環境に大幅に左右されてしまう。この場合、ユーザが所望するタイミングで撮影することが出来ない可能性があり、ユーザの利便性が極めて低下してしまう。

そこで、本発明は、撮影完了後のＬＦ画像に対して、類似画像を用いて自動で合焦処理を行うことにより、ユーザの利便性を向上させることが出来る合焦装置を提供することを目的とする。

上記の目的を達成するために、本発明に係る合焦装置は、
入力したＬＦデータについてパンフォーカスとなる様に画像を再構築する画像再構築部と、
外部装置から複数の代表画像を取得する画像取得部と、
複数の代表画像の中から再構築した画像に最も類似する画像を決定する類似度判定部と、
決定した画像に付与されているメタデータから、合焦すべき領域を取得する合焦位置取得部と、
合焦領域に合焦させるための焦点位置を算出し、ＬＦ画像に対するメタデータとして付与する焦点位置付与部と、を有することを特徴とする。

本発明に係る合焦装置によれば、撮影完了後のＬＦ画像に対して、類似画像を用いて自動で合焦処理を行うことにより、ユーザの利便性を向上させることが出来る。

ＬＦカメラ内部の構成例（Ａ）および（Ｂ）を示す模式図である。 マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示した模式図である。 マイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明する模式図である。 イメージセンサ１３に入射する光線の情報を説明するための模式図である。 リフォーカス演算処理を説明するための模式図である。 マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図である。 被写界深度の調整処理を説明するための模式図である。 実施例１に係る合焦装置の構成を示すブロック図である。 ＬＦ画像と類似画像の例である。 ＬＦデータを複数の焦点位置で再構築した画像の例である。 実施例２に係る画像に付与された推奨値の例である。 実施例２に係る合焦装置の構成を示すブロック図である。 実施例３に係る合焦装置の構成を示すブロック図である。

［実施例１］
以下、添付図面を参照して、本発明の例示的な実施形態について詳細に説明する。

本発明の実施形態に係る合焦装置の説明に先立ち、ＬＦカメラについて説明する。

図１はＬＦカメラの概略構成を例示する。撮像光学系を構成する撮像レンズ１１を通過してマイクロレンズアレイ１２に入射した被写体からの光は、イメージセンサ１３によって光電変換されて電気信号が得られる。なお、ここで得られた撮像データはＬＦデータである。

撮像レンズ１１は、被写体からの光をマイクロレンズアレイ１２に投射する。撮像レンズ１１は交換可能であり、撮像装置１０の本体部に装着して使用する。ユーザは撮像レンズ１１のズーム操作により撮像倍率を変更することができる。マイクロレンズアレイ１２は、微小レンズ（マイクロレンズ）を格子状に配列して構成されており、撮像レンズ１１とイメージセンサ１３の間に位置する。マイクロレンズアレイ１２を構成する各マイクロレンズは、撮像レンズ１１からの入射光を分割し、分割した光をイメージセンサ１３に出力する。

撮像部を構成するイメージセンサ１３は、複数の画素を有する撮像素子であり、各画素にて光の強度を検出する。被写体からの光を受光するイメージセンサ１３の各画素には、各マイクロレンズによって分割した光がそれぞれ入射する。

図２はマイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。

マイクロレンズアレイ１２の各マイクロレンズは、イメージセンサ１３における複数の画素が対応するように配置される。イメージセンサ１３の各画素には各マイクロレンズが分割した光が入射し、各画素にて異なる方向からの光の強度（光線情報）を検出することができる。また、各マイクロレンズとイメージセンサ１３の各画素との位置関係に応じて、マイクロレンズを介してイメージセンサ１３の各画素に入射した光線の入射方向（方向情報）が分かる。すなわち、光の強度分布と併せて、光の進行方向の情報が検出される。

マイクロレンズアレイ１２のレンズ頂点面からの距離が異なる焦点面での像は、各マイクロレンズの光軸からの偏心量に対応した位置にあるイメージセンサ１３の画素の各出力を合成することで得られる。なお、光線は位置や方位、波長などのパラメータを用いて、平行な２平面によってパラメータ化される関数で表される。つまり、各マイクロレンズに対応する複数の画素の配置によって各画素への光の入射方向が決まっている。

以上のように、撮像装置１０は光線情報と方向情報を取得し、光線の並べ替えと計算処理（以下、再構築という）を行うことにより、任意のフォーカス位置や視点での画像データを生成できる。この光線情報および方向情報はＬＦデータに含まれる。この場合のフォーカス位置は、撮影後にユーザが所望の画像領域に焦点を合わせることが可能な焦点位置である。

図３はマイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明する模式図である。

撮像レンズ１１による被写体の像は、マイクロレンズアレイ１２上に結像し、マイクロレンズアレイ１２への入射光線はマイクロレンズアレイ１２を介してイメージセンサ１３で受光される。このとき、図３に示すように、マイクロレンズアレイ１２への入射する光線は、その進行方向に応じてイメージセンサ１３上の異なる位置で受光され、撮像レンズ１１の形状に相似形となる被写体の像がマイクロレンズ毎に結像する。

図４はイメージセンサ１３に入射する光線の情報を説明するための模式図である。

イメージセンサ１３で受光される光線について図４を用いて説明する。

ここで、撮像レンズ１１のレンズ面上における直交座標系を（ｕ，ｖ）とし、イメージセンサ１３の撮像面上における直交座標系（ｘ，ｙ）とする。さらに、撮像レンズ１１のレンズ面とイメージセンサ１３の撮像面との距離をＦとする。すると、撮像レンズ１１およびイメージセンサ１３を通る光線の強度は、図中で示す４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表すことができる。

各マイクロレンズに入射する光線は、進行方向に応じて異なる画素に入射されることから、イメージセンサ１３では、光線の位置情報に加え、光線の進行方向を保持する上記の４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）が記録される。

次に、撮像後のリフォーカス演算処理について説明する。

図５はリフォーカス演算処理を説明するための模式図である。

図５に示すように、撮像レンズ面、撮像面、リフォーカス面の位置関係を設定した場合、リフォーカス面上の直交座標系（ｓ、ｔ）における光線の強度Ｌ’（ｕ，ｖ，ｓ，ｔ）は、以下の（１）式のように表される。

また、リフォーカス面で得られるイメージＥ’（ｓ，ｔ）は、上記強度Ｌ’（ｕ，ｖ，ｓ，ｔ）をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。

従って、この（２）式からリフォーカス演算処理を行うことで、任意の焦点（リフォーカス面）に設定した画像を再構築することができる。

続いて、撮像後の被写界深度の調整処理について説明する。上記リフォーカス演算の前に、各マイクロレンズに割り当てられた画像領域を形成する画像データ毎に重み係数を乗じて重み付けを行う。例えば、被写界深度の深い画像を生成したい場合には、イメージセンサ１３の受光面に対して相対的に小さな角度で入射する光線の情報のみを用いて積分処理を行う。言い換えると、イメージセンサ１３への入射角が相対的に大きい光線に関しては、重み係数０（ゼロ）を乗じることにより積分処理に含めない。

図６はマイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図であり、図７は被写界深度の調整処理を説明するための模式図である。

図６に示すように、イメージセンサ１３への入射角が相対的に小さい光線は、より中央の領域に位置することになる。従って、図７に示すように、領域の中央部（図中の斜線部）で取得された画素データのみを用いて積分処理が行われる。このような処理を行うことで、一般的な撮像装置などに具備される開口絞りをあたかも絞ったかのように、被写界深度の深い画像を表現することができる。使用する中央部の画素データを更に少なくすることで、被写界深度のより深いパンフォーカス画像の生成も可能となる。以上のように、実際に取得したＬＦデータ（光線情報）に基づいて、撮影後に画像の被写界深度を調整することができる。

次に、本発明の第１の実施形態について説明する。

以下に示す実施の形態は、ＬＦ画像を取り込み、適切な合焦位置をメタデータとして付与して出力する合焦装置である。

図８は本実施例に係る合焦装置１００の構成を示すブロック図である。

ＬＦ画像入力部１０１は、ＬＦカメラなどの外部装置からＬＦデータを入力し、画像再構築部１０２と焦点位置付与部１０６にＬＦデータを出力する。画像再構築部１０２は、入力したＬＦデータについてパンフォーカスとなる様に画像を再構築する。再構築した画像を類似画像判定部１０４に出力する。

画像取得部１０３は、画像サーバなど外部装置から複数の代表画像を取得する。このとき、外部から取得した画像には、メタデータとして画像領域中のどこに焦点が合っているかの情報が付与されているものとする。取得した代表画像を類似画像判定部１０４へ出力する。

類似画像判定部１０４は、外部から取得した複数の代表画像と再構築した画像の類似度を算出し、複数の代表画像の中から再構築した画像に最も類似する画像を決定する。２つの画像における類似度の算出方法はさまざまなものが考えられるが、ここでは各画素における輝度値の差分の絶対値の総和を画素の数で正規化したものとする。決定した画像を合焦領域取得部１０５に出力する。

合焦領域取得部１０５は決定した画像に付与されているメタデータから、合焦すべき領域を取得する。取得した領域情報を焦点位置付与部１０６に出力する。

焦点位置付与部１０６は入力したＬＦ画像について、焦点位置付与部１０６から受け取った領域情報に合焦させるための焦点位置を算出し、ＬＦ画像に対するメタデータとして付与し、ＬＦ画像出力部１０７に出力する。特定の領域に合焦させるための焦点位置の算出方法はさまざまなものが考えられるが、本実施例では、予め保持している複数の焦点位置の中から評価値が最も高いものを選択する手法を用いる。ここで、評価値は各焦点位置でＬＦ画像を再構築し、再構築した画像の合焦すべき領域について、画素値の空間周波数成分を取得する。取得した各周波数成分について閾値以上の高周波成分の割合を、その焦点位置の評価値とする。

ＬＦ画像出力部１０７は、メタデータとして焦点位置が付与されているＬＦ画像データを、外部装置に出力する。この構成によって、再構築に必要な焦点位置情報が付与されていないＬＦデータに対して、類似画像と同じ領域に合焦するための焦点位置情報を付与することが出来る。

図９は本実施例に係るＬＦ画像と類似画像の例である。

この図を用いて、入力したＬＦデータに対して合焦すべき領域を取得する処理について説明する。

図９（ａ）は画像再構築部１０２がパンフォーカス画像となるように再構築した画像の例である。画像中央に人物の顔が写っている様子を示している。図９（ｂ）、（ｃ）、（ｄ）は画像取得部１０３が外部装置から入力した複数の代表画像の例であり、破線は焦点が合っている領域を示している。この例において、図９（ｂ）は画像中央に人物の顔が写っている画像であり、顔に焦点が合っている様子を示している。同様に、図９（ｃ）は画像右下に人物の顔が写っている画像であり顔領域に焦点が合っている様子を、図９（ｄ）は人物の顔と建物が写っている画像であり顔と建物の領域に焦点が合っている様子を示している。

このようなＬＦデータが入力された場合、類似画像判定部１０４の類似画像判定において、図９（ｂ）の代表画像が最も類似している画像と判定される。その結果、合焦領域取得部１０５は図９（ｂ）に付加されている合焦領域である顔付近の領域を合焦すべき領域として取得する。

以上の処理によって、入力されたＬＦデータと最も類似する代表画像に付与されている合焦領域を、そのＬＦデータの合焦すべき領域として取得する事が出来る。

図１０は焦点位置付与部１０６が、ＬＦデータを複数の焦点位置で再構築した画像の例である。

図１０（ａ）、（ｂ）、（ｃ）はそれぞれ焦点位置をカメラから近い、中程度、遠い、位置に合わせて画像を再構築した場合の画像である。波線は、合焦領域取得部１０５によって取得した合焦すべき領域を示している。図１０（ａ）は顔に焦点が合っている、（ｂ）は少し焦点が合っていない、（ｃ）は大きく焦点が合っていない、状態を示している。これらの画像に対して高周波成分の割合を算出した場合図１０（ａ）が最も割合が多くなるため、図１０（ａ）を再構築するために用いた焦点位置をＬＦ画像出力部１０７へ出力する。

以上の処理によって、合焦領域に焦点が合っている画像を再構築するための焦点位置を算出する事が出来る。

なお、本実施例における焦点位置付与部１０６では、画像を再構築するための焦点位置をメタデータとしてＬＦデータに付与したが、合焦領域情報をメタデータとして付与しても良い。これによって、ＬＦデータ中のどの領域に焦点を付与すればよいかを示した情報が付与されたＬＦデータを出力する事が出来る。

なお、本実施例におけるＬＦ画像入力部１０１、画像取得部１０３およびＬＦ画像出力部１０７は、外部装置ではなく内部の保存領域からデータを入出力しても良い。これによって、外部の装置に依存せずに処理を行うことが出来る。

なお、本実施例では類似画像判定部１０４の処理として、画像データに付与されているメタデータを用いる手法により類似度を算出しても良い。具体的には、撮影場所情報がどれくらい近いか、撮影日時がどれくらい近いかなどを類似度として算出しても良い。

［実施例２］
次に、本発明の第２の実施例について説明する。

本実施例では、複数の代表画像を外部の画像共有サーバから取得する場合についての構成を示す。この外部の画像共有サーバにおける各画像は複数のユーザが閲覧することが出来る。さらに各ユーザは閲覧した画像が好みの画像である場合に、画像に対するメタデータとして付与されている推奨値を、１つ増加させることが出来る。つまり、この推奨値の値が高ければ高いほど、多くのユーザから好まれる画像であることを示している。

図１１は５つの代表画像のそれぞれに付与された推奨値の具体例である。画像Ａは５０人のユーザから好まれる画像であることを示している。同様に、画像Ｂは４人、画像Ｃは０人、画像Ｄは３０人、画像Ｅは１００人から好まれる画像であることを示している。この例の場合は、画像Ｅが最もユーザから好まれている画像であることを示している。

以下では、実施例１と相違する点についてのみ説明し、実施例１と同一の構成、同一の動作については実施例１と同一の符号を付与して説明を省略する。

図１２は本実施例に係る合焦装置２００の構成を示すブロック図である。

類似画像群判定部２０１は、外部から取得した複数の代表画像と再構築した画像の類似度を算出し、類似度が高い順に３つの画像を選出する。選出した３つの類似画像を推奨画像決定部２０２へ出力する。推奨画像決定部２０２は、選出した３つの類似画像について、外部の画像サーバによって付与されたメタデータである、推奨値を参照しこの値が最も高い画像を推奨画像として決定する。決定した推奨画像を焦点位置付与部１０６へ出力する。

以上の構成によって、再構築に必要な焦点位置情報が付与されていないＬＦデータに対して、類似する画像の中で、最もユーザから好まれている画像と同じ領域に合焦するための焦点位置情報を付与することが出来る。

［実施例３］
次に、本発明の第３実施例について説明する。

本実施例では、複数の代表画像について、どのように合焦されたかの情報が画像に対するメタデータとして付与されているものとする。つまり、オートフォーカスにより自動で焦点位置が付与されたものであるのか、ユーザによって焦点位置が手動で付与されたものなのか、についての情報が付与されているものとする。

以下では、実施例１および実施例２と相違する点についてのみ説明し、実施例１および実施例２と同一の構成、同一の動作については同一の符号を付与して説明を省略する。

図１３は本実施例に係る合焦装置３００の構成を示すブロック図である。

信頼度判定部３０１では、選出した３つの類似画像について焦点位置が手動で付与された画像の信頼度を１００と、自動で付与された画像の信頼度を０と、設定する。設定した信頼度が最も高い画像を信頼する画像として決定する。ここで、信頼度が最も高い画像が複数ある場合には、その中で最も類似度が高い画像を信頼する画像として決定する。このようにして決定した１つの画像を焦点位置付与部１０６へ出力する。

以上の構成によって、再構築に必要な焦点位置情報が付与されていないＬＦデータに対して、類似画像の中でもユーザが手動で付与した画像を用いて焦点位置情報を付与する事ができる。

なお、本実施例では自動で付与された画像の信頼度を０としたが、撮影したカメラの機種に応じて信頼度を決定しても良い。具体的には、カメラが特定の機種である場合には、信頼度を３０としそれ以外の機種の場合は０とする処理としてもよい。このとき、外部から入力する複数の代表画像については、メタデータとして撮影カメラの機種が付与されているものとする。仮に該当のメタデータが付与されていない場合には、信頼度は０とする。

このような処理とする事で、より高機能なオートフォーカスを搭載したカメラによって焦点位置が付与された代表画像を用いて、焦点位置情報を付与する事が出来る。

１０４ 類似画像判定部、１０５ 合焦領域取得部、１０６ 焦点位置付与部

Claims (4)

1. 撮影後に焦点位置を変更することが可能な再構築可能画像の焦点位置を決定する合焦装置であって、
   再構築可能画像を入力する再構築可能画像入力部と、
   入力した再構築可能画像をあらかじめ決められた焦点位置で再構築する再構築部と、
   外部装置から複数の画像を入力する画像取得部と
   外部装置から入力した複数の画像の中から、１つの画像を決定する画像決定部と、
   決定した画像について画像中のどの領域に焦点が合っているかを取得する合焦領域取得部と、
   再構築可能画像について、取得した合焦領域に焦点を合わせるための合焦位置を算出し、再構築可能画像に付与する焦点位置付与部と、
   を持つことを特徴とする合焦装置。
2. 前記画像決定部は、前記複数の画像から前記再構築可能画像に最も類似する画像を判断する類似画像判定部によって構成されることを特徴とする請求項１に記載の合焦装置。
3. 前記画像決定部は、
   前記複数の画像から前記再構築可能画像との類似度が所定の閾値以上の複数の画像を抽出する類似画像抽出部と、
   前記抽出した複数の画像のそれぞれに付与されているユーザの評価値を用いて、最も高い評価値が付与されている画像を選択する画像選択部
   によって構成されることを特徴とする請求項１に記載の合焦装置。
4. 前記画像決定部は、
   前記複数の画像から前記再構築可能画像との類似度が所定の閾値以上の複数の画像を抽出する類似画像抽出部と、
   前記抽出した複数の画像のそれぞれに付与されている合焦方法に関する情報を参照し、手動で合焦された画像を選択する画像選択部
   によって構成されることを特徴とする請求項１に記載の合焦装置。