JP7103773B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

近年、車両に対するセキュリティー機能が種々提案されている。例えば、窓ガラスを割られるなどの危害が車両に加えられた場合に、サイレン等の警報を鳴らしたり、ランプ等を点滅させたりする装置が車両に搭載される。さらに、例えば特許文献１では、車両に対して接近者を検知した場合に、車載カメラで接近者を撮影し、その画像を車両の所有者の携帯端末に送信するセキュリティー機能が提案されている。

特開２０１１－２０７４４４号公報

しかしながら、従来技術のように車内視点で車両に接近する人や他の物体を撮影する場合、画像上で、例えば窓枠やボディ等の車両の一部が対象物と重なって記録されることがある。すなわち、対象物の全貌を把握することができない虞があることに課題があった。したがって、車両に危害が加えられた際に、車両に接近する人や他の物体を画像として記録しても、その画像を有効に活用できないことが懸念された。

本発明は、上記の課題に鑑みなされたものであり、車両に危害が加えられた際に、状況把握や事後対応において有効な画像を得ることを可能とする技術を提供することを目的とする。

本発明に係る画像処理装置は、少なくとも車両の室外に搭載されて前記車両の全周囲を撮像する車載カメラで撮影された撮影画像を処理する画像処理装置であって、前記車両の内部に乗員がいないことを検出した場合に、前記車載カメラが搭載された車両への外部からの接触を予測または検出する接近検出部と、前記車両の内部の所定位置を視点位置とし、前記視点位置から見た前記接触の位置の方向を視線方向とし、前記車両の像を透過像として含む車外画像を生成する画像生成部と、前記車外画像を外部装置に対して送信する通信部と、を備え、前記接近検出部が前記車両への前記接触を予測または検出した場合に、前記画像生成部が前記車外画像を生成し、当該車外画像を前記通信部を介して前記外部装置に対して送信する構成（第１の構成）である。

また、上記第１の構成の画像処理装置において、前記接近検出部は、前記車両に接近する物体を検出し、前記物体による前記車両への前記接触を予測する構成（第２の構成）であっても良い。

また、上記第２の構成の画像処理装置において、前記接近検出部は、前記物体が前記車両への接近後、前記物体が所定時間、前記車両から所定範囲内に滞在することで、前記物体による前記車両への前記接触を予測する構成（第３の構成）であっても良い。

また、上記第１から第３の構成の画像処理装置において、前記接近検出部が前記車両への前記接触を予測した場合に、前記画像生成部が前記車外画像の生成を開始し、さらに、前記接近検出部が前記車両への前記接触を検出した場合に、前記通信部が前記車外画像を前記外部装置に対して送信する構成（第４の構成）であっても良い。

また、上記第１から第４の構成の画像処理装置において、前記画像生成部は、前記車外画像の生成とは異なるタイミングである、前記車両の内部に人が侵入したことを判断した場合に、さらに前記車両の内部が撮影された車内画像を生成し、前記通信部は、さらに前記車内画像を前記外部装置に対して送信する構成（第５の構成）であっても良い。

また、上記第１から第５の構成の画像処理装置において、前記車外画像の記録が可能な記憶部を備える構成（第６の構成）であっても良い。

また、上記第６の構成の画像処理装置において、前記車外画像は、前記接近検出部が前記車両への前記接触を予測したことに基づいて前記記憶部に記憶され、前記記憶部に記憶された当該車外画像は、前記接近検出部が前記車両への前記接触を検出した場合に、前記記憶部に保存され、前記接近検出部が前記車両への前記接触を予測しなくなった場合に、前記記憶部から破棄される構成（第７の構成）であっても良い。

また、上記第１から第７の構成の画像処理装置において、前記通信部は、前記車外画像の記録に係る指令を前記外部装置に対して送信する構成（第８の構成）であっても良い。

また、本発明に係る画像処理方法は、少なくとも車両の室外に搭載されて前記車両の全周囲を撮像する車載カメラで撮影された撮影画像を処理する画像処理方法であって、前記車両の内部に乗員がいないことを検出した場合に、前記車載カメラが搭載された車両への外部からの接触を予測または検出する工程と、前記車両への外部からの接触が予測または検出された場合に、前記車両の内部の所定位置を視点位置とし、前記視点位置から見た前記接触の位置の方向を視線方向とし、前記車両の像を透過像として含む車外画像を生成する工程と、前記車外画像を外部装置に対して送信する工程と、を含む構成（第９の構成）である。

本発明の構成によれば、例えば車両に接近する人の顔や行動を、画像として確認することができる。すなわち、車両に危害が加えられた際に、状況把握や事後対応において有効な画像を得ることが可能になる。

実施形態の画像処理装置の構成を示すブロック図 車載カメラが車両に配置される位置を例示する図 仮想視点画像を生成する手法を説明するための図 第１実施形態の車外画像の生成、送信に係る処理フローの例を示すフローチャート 車両への外部からの接触の状況を示す説明図 車外画像の第１例を示す模式図 車外画像の第１例が表示された外部装置を示す模式図 第１実施形態の変形例の車内画像の例を示す模式図 車外画像及び車内画像が表示された外部装置の例を示す模式図 第２実施形態の車外画像の生成、送信に係る処理フローの例を示すフローチャート 車両への外部からの接近の状況を示す説明図 車外画像の第２例を示す模式図 第３実施形態の車外画像の生成、送信に係る処理フローの例を示すフローチャート 第４実施形態の車外画像の生成、送信に係る処理フローの例を示すフローチャート

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。なお、本発明は以下に示す実施形態の内容に限定されるものではない。

また、以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向（前方）」とする。車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向（後方）」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の右側から左側に向かう方向を「左方向」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の左側から右側に向かう方向を「右方向」とする。

＜１．画像処理装置の概略＞
図１は、実施形態の画像処理装置１の構成を示すブロック図である。画像処理装置１は、例えば撮影部２と、センサ部３と、外部装置４と、を含む車両周辺監視システムに組み込むことができる。車両周辺監視システムは、撮影部２（車載カメラ）が搭載された車両の周辺状況を監視するシステムである。

画像処理装置１は、車載カメラで撮影された撮影画像を処理する装置である。画像処理装置１は、車載カメラを搭載する車両ごとに備えられる。本実施形態では、画像処理装置１は、撮影部２から撮影画像を取得して処理する。また、画像処理装置１は、センサ部３から情報を取得し、当該取得情報に基づいて画像処理に関する判断を行う。

撮影部２は、車両周辺及び車室内部の状況を監視する目的で設けられる。撮影部２は、例えば５つのカメラ２１～２５を備える。５つのカメラ２１～２５は、車載カメラである。図２は、車載カメラ２１～２５が車両５に配置される位置を例示する図である。

車載カメラ２１は車両５の前端に設けられる。このため、車載カメラ２１をフロントカメラ２１とも呼ぶ。フロントカメラ２１の光軸２１ａは上からの平面視で車両５の前後方向に沿って延びる。フロントカメラ２１は車両５の前方向を撮影する。車載カメラ２３は車両５の後端に設けられる。このため、車載カメラ２３をバックカメラ２３とも呼ぶ。バックカメラ２３の光軸２３ａは上からの平面視で車両５の前後方向に沿って延びる。バックカメラ２３は車両５の後方向を撮影する。フロントカメラ２１及びバックカメラ２３の取付位置は、車両５の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であっても良い。

車載カメラ２２は車両５の右側ドアミラー５１に設けられる。このため、車載カメラ２２を右サイドカメラ２２とも呼ぶ。右サイドカメラ２２の光軸２２ａは上からの平面視で車両５の左右方向に沿って延びる。右サイドカメラ２２は車両５の右方向を撮影する。車載カメラ２４は車両５の左側ドアミラー５２に設けられる。このため、車載カメラ２４を左サイドカメラ２４とも呼ぶ。左サイドカメラ２４の光軸２４ａは上からの平面視で車両５の左右方向に沿って延びる。左サイドカメラ２４は車両５の左方向を撮影する。

なお、車両５がいわゆるドアミラーレス車である場合、右サイドカメラ２２は右サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく設けられ、左サイドカメラ２４は左サイドドアの回転軸（ヒンジ部）の周辺にドアミラーを介することなく設けられる。

車載カメラ２５は車両５の車室内部の前端に設けられる。このため、車載カメラ２５を車内カメラ２５とも呼ぶ。車内カメラ２５は、例えば運転席または助手席の前側上方、或いは運転席と助手席との間の前側上方に配置される。車内カメラ２５の光軸２５ａは上からの平面視で車両５の前後方向に沿って延びる。車内カメラ２５は車室内部を、前方から後方に向かって撮影する。

車載カメラ２１～２５のレンズとしては、例えば魚眼レンズが使用される。車載カメラ２１～２４は、それぞれの水平方向の画角θが１８０度以上であるため、車両５の水平方向における全周囲を撮影することができる。車内カメラ２５も同様に、水平方向の画角θが１８０度程度であるため、車両５の車室内部の水平方向における全域を撮影することができる。

図１に戻って、センサ部３は、車載カメラ２１～２５が搭載される車両５に関する情報を検出する複数のセンサを有する。車両５に関する情報には、車両自体の情報と、車両周辺の情報とが含まれて良い。本実施形態では、センサ部３は、例えば車両の乗員のシートへの着座を検出する着座センサ、車両の変速装置のシフトレバーの操作位置を検出するシフトセンサ、車両のドアの開閉を検知するドア開閉センサ、車両の振動を検出する振動センサ、車両の傾きを検出する傾斜センサ、車両周辺の人や動物、車両、その他の物体を検出する超音波センサ及びレーダ等が含まれる。なお、超音波センサ、レーダのほか、赤外線等を用いた光センサなどを利用し、人などを検出しても良い。

外部装置４は、画像処理装置１から出力される表示用画像を受信する装置である。外部装置４は、例えば車両５の所有者等が所持する端末、サーバ等が含まれる。端末としては、例えばスマートフォン等の携帯端末、パーソナルコンピュータ等の据え置き型情報端末等が含まれる。本実施形態では、外部装置４は、例えばスマートフォン等の携帯端末であって、画像処理装置１から出力された表示用画像を画面表示する表示部４１を備える表示装置である。表示部４１は、例えば液晶表示パネルであって、タッチパネル方式等の入力部を備え、外部から情報を入力できる構成であって良い。

＜２．画像処理装置の詳細＞
画像処理装置１は、画像生成部１１、制御部１２、記憶部１３及び通信部１４を含んで構成される。

画像生成部１１は、撮影部２で撮影された撮影画像を処理して表示用画像を生成する。本実施形態では、画像生成部１１は、各種の画像処理が可能なハードウェア回路として構成される。本実施形態では、画像生成部１１は、車両５に搭載された車載カメラ２１～２４によって撮影された撮影画像に基づき、仮想視点から見た車両５の周辺を示す仮想視点画像を生成する。さらに、画像生成部１１は、仮想視点画像に基づき、表示装置である外部装置４で表示するための表示用画像を生成する。仮想視点画像を生成する手法の詳細については後述する。

制御部１２は、不図示のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む、いわゆるマイコンである。記憶部１３は、不揮発性のメモリである。制御部１２は、記憶部１３に記憶されたプログラムに基づいて情報の処理及び送受信を行う。制御部１２は、有線または無線で、撮影部２、センサ部３及び外部装置４に接続される。

制御部１２は、画像取得部１２１と、画像制御部１２２と、接近検出部１２３と、を備える。制御部１２が備えるこれらの各構成要素それぞれの機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。

画像取得部１２１は、車載カメラ２１～２５で撮影された撮影画像を取得する。本実施形態では、車載カメラ２１～２５の数は５つであり、画像取得部１２１は、車載カメラ２１～２５それぞれで撮影された撮影画像を取得する。

画像制御部１２２は、画像生成部１１によって実行される画像処理の制御を行う。例えば、画像制御部１２２は、画像生成部１１に対して、仮想視点画像及び表示用画像を生成するために必要となる各種のパラメータ等の指示を行う。また、画像制御部１２２は、画像生成部１１によって生成された表示用画像を外部装置４に対して出力する際の制御を行う。

接近検出部１２３は、車載カメラ２１～２４が搭載された車両５への外部からの接触を予測または検出する。詳細には、接近検出部１２３は、車両５に対して接近する人や動物、車両、その他の物体を検出するとともに、それらによる車両５への接触を検出する。

さらに具体的には、接近検出部１２３は、車両５への外部からの接触の予測または検出の開始に先立って、例えばセンサ部３の着座センサ、シフトセンサ、ドア開閉センサからの検出信号に基づき、車両５の内部に乗員がいないことを検出する。例えば、乗員が着座しておらず、且つイグニッションスイッチがＯＦＦである場合、車両５の内部に乗員がいないことが検出される。また例えば、乗員の着座しておらず、且つドアが閉じている場合、車両５の内部に乗員がいないことが検出される。また例えば、乗員の着座しておらず、且つシフトレバーが「Ｐ」、「Ｎ」、「Ｒ」のいずれかの位置である場合、車両５の内部に乗員がいないことが検出される。なお、車両５の内部に乗員がいないことを検出する手段は、これらに限定されない。例えば、イグニッションスイッチがＯＦＦになり、その後運転席ドアが閉から開になりさらに閉になる、すなわち運転者が降車したと推定され、且つ全ドアが閉且つロックされた場合に車両５の内部に乗員がいないと検出されても良い。

続いて、接近検出部１２３は、例えば振動センサから車両の振動の程度を表す検出信号を取得し、また、傾斜センサから車両の傾きの程度を表す検出信号を取得する。これらの検出信号の取得に基づき、接近検出部１２３は、車両５への外部からの接触を検出する。そして、画像処理装置１は撮影部２に、車載カメラ２１～２４による車両周辺の撮影を指示する指令を送信する。接近検出部１２３は、車載カメラ２１～２４で撮影された車両周辺の撮影画像に基づき、車両周辺の人や動物、車両、その他の物体を画像認識により検出する。これにより、接近検出部１２３は、車両５に対して接近または接触する人や車両などの有無や方向、位置を検出する。

なお、車載カメラ２１～２４の起動トリガーとして振動センサや傾斜センサ等を用いることなく、例えば車載カメラ２１～２４を一定の時間を隔てて周期的に起動させ、車載カメラ２１～２４に車両周辺を撮影させても良い。

また、車両周辺の人や動物、車両、その他の物体の検出には、例えばセンサ部３の超音波センサ、レーダを用いても良い。超音波センサ及びレーダは、例えば車両５のフロントバンパー、リアバンパー及びドアなどの複数箇所に埋設される。超音波センサ及びレーダは、送信波を車両周辺に向けて送信し、人や他の車両などで反射した反射波を受信することで、人や他の車両などの有無や方向、位置を検出する。

記憶部１３は、例えばフラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部１３は、例えばファームウェアとしてのプログラム、画像生成部１１が仮想視点画像及び表示用画像を生成するための各種のデータを記憶する。また、記憶部１３は、画像取得部１２１及び接近検出部１２３が処理を実行するために必要となる各種のデータを記憶する。

通信部１４は、例えば無線によって外部装置４と接続される。画像処理装置１は、通信部１４を介して外部装置４に、画像生成部１１で生成された表示用画像を出力することが可能である。

＜３．仮想視点画像の生成＞
画像生成部１１が、仮想視点から見た車両５の周辺の様子を示す仮想視点画像を生成する手法について説明する。図３は、仮想視点画像を生成する手法を説明するための図である。

フロントカメラ２１、右サイドカメラ２２、バックカメラ２３及び左サイドカメラ２４によって、車両５の前方、右側方、後方及び左側方それぞれを示す４つの撮影画像Ｐ２１～Ｐ２４が同時に取得される。これら４つの撮影画像Ｐ２１～Ｐ２４には、車両５の全周囲のデータが含まれる。画像生成部１１は、これら４つの撮影画像Ｐ２１～Ｐ２４を、画像取得部１２１を介して取得する。

画像生成部１１は、これら４つの撮影画像Ｐ２１～Ｐ２４に含まれるデータ（各画素の値）を、仮想的な三次元空間における立体的な曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば略半球形状（お椀形状）をしており、その中心部（お椀の底部分）が車両５の位置として定められる。

投影面ＴＳでは、車両５の領域の外側の領域に、撮影画像のデータが投影される。撮影画像Ｐ２１～Ｐ２４に含まれる各画素の位置と、投影面ＴＳの各画素の位置とは予め対応関係が定められる。この対応関係を示すテーブルデータは、記憶部１３に記憶される。投影面ＴＳの各画素の値は、この対応関係と、撮影画像Ｐ２１～Ｐ２４に含まれる各画素の値とに基づいて決定できる。

次に、画像生成部１１は、画像制御部１２２の制御により、三次元空間に対して仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置と視線方向とで規定される。画像生成部１１は、任意の視点位置、且つ、任意の視線方向の仮想視点ＶＰを三次元空間に設定できる。画像生成部１１は、投影面ＴＳのうち、設定された仮想視点ＶＰから見た視野内に含まれる領域に投影されたデータを画像として切り出す。これにより、画像生成部１１は、任意の仮想視点ＶＰから見た仮想視点画像を生成する。

例えば、図３に示すように、視点位置を車両５の直上、視線方向を直下とした仮想視点ＶＰａを想定した場合、車両５及び車両５の周辺を俯瞰する仮想視点画像（俯瞰画像）ＣＰａを生成することができる。また、視点位置を車両５の内部、視線方向を車両５の左前方とした仮想視点ＶＰｂを想定した場合、車両５の内部から見た車両５の左前方の周辺を示す仮想視点画像ＣＰｂを生成することができる。

なお、仮想視点画像ＣＰａ中に示す車両５の像５ｐは、予めビットマップなどのデータとして用意され、記憶部２４に記憶される。仮想視点画像の生成の際には、当該仮想視点画像の仮想視点ＶＰの視点位置と視線方向とに応じた形状の車両５の像５ｐのデータが読み出されて、仮想視点画像ＣＰａ中に含められる。

図３の仮想視点画像ＣＰｂについて、より詳細に説明すれば、仮想視点画像ＣＰｂは、車両５の内部の所定位置である運転者の視点付近を視点位置とし、車両５の左前方を視線方向とした仮想視点に基づく車両５の車外画像である。以下の説明において、車両５の内部の所定位置を視点位置とし、当該視点位置から見た車両５の外部の方向を視線方向とした仮想視点画像のことを、車外画像Ｐｘと呼ぶ場合がある。

車外画像Ｐｘである仮想視点画像ＣＰｂには、画像生成部１１が生成した仮想視点画像に、車両５の透過像５ｔが含められる。車外画像Ｐｘは、車両５の内部を仮想視点の視点位置とした場合に、視線方向に見える現実の光景により近い状況を表現した画像であり、車両５とその周囲の物体との位置関係も理解し易い。車外画像Ｐｘでは、車両５の周囲の物体が、車両５の一部と重なって隠れてしまうことを防ぐため、車両５の像を透過像５ｔとする。

なお、車外画像Ｐｘ中に示す車両５の透過像５ｔは、予めビットマップなどのデータとして用意され、記憶部２４に記憶される。車外画像の生成の際には、当該車外画像の仮想視点ＶＰの視点位置と視線方向とに応じた形状の透過像５ｔのデータが読み出されて、車外画像Ｐｘ中に含められる。

このようにして、画像生成部１１は、仮想の立体的な投影面ＴＳを用いることで、現実に近い臨場感のある仮想視点画像ＣＰａ、ＣＰｂを生成することができる。さらに、画像生成部１１は、車両５の内部の所定位置を仮想視点ＶＰの視点位置とし、当該視点位置から見た車両５の外部の方向を視線方向とし、車両５の像を透過像５ｔとして含む車外画像Ｐｘを生成する。

＜４．車外画像の生成、送信に係る処理＞
本実施形態において、画像処理装置１は、車外画像Ｐｘを生成し、当該車外画像Ｐｘを外部装置４に対して送信する。

＜４－１．第１実施形態＞
図４は、第１実施形態の車外画像Ｐｘの生成、送信に係る処理フローの例を示すフローチャートである。第１実施形態の車外画像Ｐｘの生成、送信に係る処理について、図４を参照しつつ説明する。

図４に示すように、まず、車両５では、車両５への外部からの接触が接近検出部１２３によって監視される。（ステップＳ１０１）。画像処理装置１では、所定の開始条件が成立すると、車両５への外部からの接触の監視が開始される。所定の開始条件とは、例えば先に説明したように、車両５の内部に乗員がいなくなった場合であっても良い。例えば、乗員が着座しておらず、且つイグニッションスイッチがＯＦＦである場合、車両５の内部に乗員がいないことが検出され、監視モードに入り、車両５への外部からの接触の監視が開始される。なお、監視モードは正規のユーザーが車両の運転を開始するときに解除される。例えば、キーによりドアがアンロックされた場合や、図示せぬキーレスエントリ装置の送信機によりドアがアンロックされた場合に、正規のユーザーが車両の運転を開始すると判断される。

次に、車両５への外部からの接触を検出したか否かが判定される（ステップＳ１０２）。車両５への外部からの接触は、例えばセンサ部３の振動センサから取得した車両の振動の程度を表す検出信号に基づき判定される。また、車両５への外部からの接触は、例えばセンサ部３の傾斜センサから取得した車両の傾きの程度を表す検出信号に基づき判定される。また、車両５への外部からの接触の検出に、例えばセンサ部３の超音波センサ、レーダを用いても良い。

車両５への外部からの接触を検出しない場合（ステップＳ１０２のＮｏ）、ステップＳ１０１に戻って、車両５への物体の接触の監視が継続される。

車両５への外部からの接触を検出した場合（ステップＳ１０２のＹｅｓ）、車両５の周辺画像の取得が行われる（ステップＳ１０３）。図５は、車両５への外部からの接触の状況を示す説明図である。図５に示すように、本実施形態では、例えば、駐車中の車両５に人Ｔｒが接触したこととする。接触位置は、車両５の左前部５ｆである。車両５の周辺画像は、車載カメラ２１～２４に車両周辺を撮影させることで取得することができる。画像処理装置１は撮影部２に、車載カメラ２１～２４による車両周辺の撮影を指示する指令を送信する。画像処理装置１は、車載カメラ２１～２４それぞれで撮影された撮影画像を画像取得部１２１を介して取得し、記憶部１３に記憶する。

図４に戻って、次に、接触位置及び接触方向が検出される（ステップＳ１０４）。例えば、接触位置及び接触方向は、車載カメラ２１～２４に撮影させた車両周辺の撮影画像に基づいて検出される。接近検出部１２３は、車両５に対して外部から接触する人Ｔｒの接触位置及び接触方向を検出する。また例えば、接触位置及び接触方向は、センサ部３の超音波センサ、レーダを用いても検出することができる。

次に、仮想視点画像が生成される（ステップＳ１０５）。画像生成部１１は、ステップＳ１０３で取得し、記憶部１３に記憶した車両周辺の複数の撮影画像に基づき、仮想視点から見た車両５の周辺の様子を示す仮想視点画像を生成する。

次に、画像生成部１１は、車両５の透過像５ｔを含む車外画像Ｐｘを生成し、記憶部１３に記憶させる（ステップＳ１０６）。図６は、車外画像Ｐｘの第１例を示す模式図である。例えば、本実施形態では、ステップＳ１０４において、車両５の左前部５ｆで、車両５への外部からの接触を検出したこととする。これにより、画像生成部１１は、車両５の内部の所定位置である運転者の視点付近を視点位置とし、当該視点位置から見た接触の位置の方向である車両５の左前部５ｆを視線方向とした仮想視点ＶＰｘ（図５参照）に基づき、図６に示す車外画像Ｐｘを生成する。

車外画像Ｐｘは、画像生成部１１が生成した仮想視点画像に、車両５の像を透過像５ｔとして含む。車外画像Ｐｘの仮想視点画像には、車両５に接触した人Ｔｒの像Ｔｐが含まれる。さらに、画像生成部１１は、車外画像Ｐｘの仮想視点画像に基づき、外部装置４で表示するための車外画像Ｐｘの表示用画像を生成する。

なお、図６及び後述する図７において、車外画像Ｐｘに含まれる車両５に接触した人Ｔｒの像Ｔｐは簡略化して描画されているが、実際には、接触した人Ｔｒが不審者であるか否かを識別可能な程度に表示される。さらに、後述する他の図面の人Ｔｒの像Ｔｐについても同様である。

図４に戻って、次に、通信部１４が、車外画像Ｐｘを外部装置４に対して送信する（ステップＳ１０７）。画像処理装置１は、例えば車外画像Ｐｘの表示用画像が添付された電子メール等を作成し、当該電子メールを通信部１４を介して外部装置４に送信する。電子メール等には、例えば車両５に対して人Ｔｒが接触したことを知らせる旨のメッセージが記載される。

図７は、車外画像Ｐｘの第１例が表示された外部装置４を示す模式図である。例えば、スマートフォン等の携帯端末である外部装置４では、表示部４１に車外画像Ｐｘを表示させることができる。車外画像Ｐｘが外部装置４に対して送信されると、図４に示す処理フローが終了される。

なお、車外画像Ｐｘの外部装置４への送信は、電子メール等に画像データを添付して行うほか、例えば、車外画像Ｐｘが保存されたネットワーク上のアドレスを送信することでも行うことが可能である。この場合、車外画像Ｐｘは、画像処理装置１の記憶部１３、またはネットワーク上の他の外部装置（サーバ等）に保存される。

また、外部装置４で表示可能な車外画像Ｐｘは、既に撮影済みの画像（静止画）であるほか、画像生成部１１によって生成される撮影済みの車外画像Ｐｘの映像（動画）であっても良い。さらに、この車外画像Ｐｘの映像（動画）は、現在の状況を示すリアルタイム（生中継）の映像であっても良い。これらの場合、画像処理装置１から外部装置４に送信される電子メール等には、リアルタイムの車外画像Ｐｘである映像にアクセスするためのネットワークアドレス、閲覧方法等を知らせる旨のメッセージが記載される。

また、車外画像Ｐｘの静止画及び動画は、記録、録画することができる。車外画像Ｐｘの静止画及び動画の記録、録画は、画像処理装置１の記憶部１３で行っても良いし、外部装置４の記憶部（不図示）で行っても良い。車外画像Ｐｘを外部装置４に記録させる場合、通信部１４は、車外画像Ｐｘ自体の送信に加えて、車外画像Ｐｘの記録に係る指令を外部装置４に対して送信する。

また、外部装置４の表示部４１では、車外画像Ｐｘ及びそのリアルタイム映像に対して、例えば拡大、縮小などといった操作を行うことができる。この場合、例えば表示部４１に備えられたタッチパネル等を用いて操作することができる。

また、外部装置４の表示部４１において、車外画像Ｐｘ及びそのリアルタイム映像は、自由に視点切替ができることにしても良い。この場合、例えば表示部４１に備えられたタッチパネル等を用いて操作し、視点切替を行うことができる。

具体的には、外部装置４の表示部４１において、タッチパネル等を用いて新たな視点位置及び視線方向が決定される。外部装置４は、決定した視点位置及び視線方向の情報（以下、視線情報という）を通信部１４に送信する。画像制御部１２２は、通信部１４を介して受信した視線情報に基づき画像生成部１１に新たな車外画像Ｐｘまたはリアルタイム映像を生成させ、通信部１４から外部装置４に送信する。このようにして、外部装置４で視点位置及び視線方向が変更されると、その変更された新たな車外画像Ｐｘまたはリアルタイム映像が外部装置４の表示部４１に表示される。さらに、視点位置が異なる複数の車外画像Ｐｘを同時に、表示部４１に表示させることにしても良い。

上記のように、本実施形態の画像処理装置１は、車両５への外部からの接触を検出した場合に、仮想視点画像に車両５の像を透過像５ｔとして含む車外画像Ｐｘを生成し、当該車外画像Ｐｘを外部装置４に対して送信する。これにより、車両５に接触した人Ｔｒの顔や行動を、車外画像Ｐｘとして確認することができる。すなわち、車両５に危害が加えられた際に、状況把握や事後対応において有効な車外画像Ｐｘを得ることが可能になる。

また、接近検出部１２３は、車両５の振動または傾きに基づいて車両５への外部からの接触を検出する。これにより、車両５への物体の接触のタイミングを、適正に判別することができる。そして、車両５への物体の接触の直後から、車両５に接触した人Ｔｒの顔や行動を、車外画像Ｐｘとして確認することが可能である。

また、接近検出部１２３は、車両５の内部に乗員がいないことを検出し、さらに車両５への外部からの接触の検出を開始する。これにより、画像処理装置１は、車両５の内部に乗員がいる場合に作動せず、適正なタイミングで作動させることが可能である。

また、外部装置４に送信される車外画像Ｐｘは、静止画または動画である。さらに、車外画像Ｐｘの動画は、生中継の映像である。これらにより、例えば静止画、動画及び生中継映像によって、車両５に接触した人Ｔｒの顔や行動を見ることができる。したがって、車両５に危害が加えられた際の、状況把握や事後対応において一層有効である。

また、画像処理装置１は、車外画像Ｐｘの記録が可能な記憶部１３を備える。これにより、任意のタイミングで、画像処理装置１の車外画像Ｐｘを見ることが可能である。

また、通信部１４は、車外画像Ｐｘ自体の送信に加えて、車外画像Ｐｘの記録に係る指令を外部装置４に対して送信する。これにより、車外画像Ｐｘを外部装置４に記録させることができる。したがって、外部装置４において、任意のタイミングで、画像処理装置１の車外画像Ｐｘを見ることが可能である。

＜４－１－１．第１実施形態の変形例＞
図８は、第１実施形態の変形例の車内画像Ｐｙの例を示す模式図である。変形例の画像処理装置１は、画像生成部１１が車内画像Ｐｙを生成する。画像生成部１１は、車外画像Ｐｘに加えて、さらに車両５の内部が撮影された車内画像Ｐｙを生成する。

車内画像Ｐｙには、車内カメラ２５が撮影した撮影画像が用いられる。例えば、車両５の内部に人Ｔｒが侵入した場合、車内画像Ｐｙには、車両５の内部を表す像に、車両５に侵入した人Ｔｒの像Ｔｐが含まれる。さらに、画像生成部１１は、車内画像Ｐｙに基づき、外部装置４で表示するための車内画像Ｐｙの表示用画像を生成する。なお、車両５の内部に人Ｔｒが侵入したかどうかは、監視モード中にドアがアンロックされることなく開いたことを検出することで判断できるが、それに限定されない。

通信部１４は、車外画像Ｐｘに加えて、さらに車内画像Ｐｙを外部装置４に対して送信する。画像処理装置１は、例えば車外画像Ｐｘの表示用画像及び車内画像Ｐｙの表示用画像が添付された電子メール等を作成し、当該電子メールを通信部１４を介して外部装置４に送信する。電子メール等には、例えば車両５の内部に人Ｔｒが侵入したことを知らせる旨のメッセージが記載される。

図９は、車外画像Ｐｘ及び車内画像Ｐｙが表示された外部装置４の例を示す模式図である。例えば、スマートフォン等の携帯端末である外部装置４では、表示部４１に車外画像Ｐｘ及び車内画像Ｐｙを表示させることができる。

なお、外部装置４の表示部４１では、車外画像Ｐｘ及び車内画像Ｐｙの両方を同時に表示させても良いし、車外画像Ｐｘ及び車内画像Ｐｙのいずれか一方を個別に選択して表示させても良い。

この構成によれば、車両５の内部に侵入した人Ｔｒの顔や行動を、車内画像Ｐｙとして確認することができる。すなわち、車両５に危害が加えられた際に、状況把握や事後対応においてより一層有効な車外画像Ｐｘ及び車内画像Ｐｙを得ることが可能になる。

＜４－２．第２実施形態＞
図１０は、第２実施形態の車外画像Ｐｘの生成、送信に係る処理フローの例を示すフローチャートである。なお、第２実施形態の基本的な構成は先に説明した第１実施形態と同じであるので、第１実施形態と異なる構成については以下で説明し、第１実施形態と共通する構成については詳細な説明を省略する。

第２実施形態の画像処理装置１は、接近検出部１２３が、車両５に接近する物体を検出し、当該物体による車両５への接触を予測する。すなわち、図１０に示すように、まず、車両５では、車両５に対して外部から接近する人や動物、車両、その他の物体が接近検出部１２３によって監視される（ステップＳ２０１）。画像処理装置１では、例えば車両５の内部に乗員がいなくなった場合等の所定の開始条件が成立すると、監視モードとなり、車両５への外部からの接近の監視が開始される。

次に、車両５への外部からの接近を検出したか否かが判定される（ステップＳ２０２）。車両５に接近する物体の検出に関して、詳細には、接近検出部１２３は、物体が車両５から所定範囲内に進入することで、物体による車両５への接触を予測する。車両５からの所定範囲としては、例えば半径３ｍ以内などといった範囲を任意に設定することができる。車両周辺の人や動物、車両、その他の物体の検出には、例えばセンサ部３の超音波センサ、レーダの検出信号、またはカメラ２１～２４の撮影画像による画像認識に基づき判定される。

車両５への外部からの接近を検出した場合（ステップＳ２０２のＹｅｓ）、車両５の周辺画像の取得が行われる（ステップＳ２０３）。以下、接近位置及び接近方向の検出（ステップＳ２０４）、仮想視点画像の生成（ステップＳ２０５）、車両５の透過像５ｔを含む車外画像Ｐｘの生成及び記憶（ステップＳ２０６）、車外画像Ｐｘの外部装置４への送信（ステップＳ２０７）が、順次行われる。

なお、本実施形態では、車両５に接近する物体を検出し、当該物体による車両５への接触を予測するので、予測される接触の位置は、車両５に接近する物体の位置である。図１１は、車両５への外部からの接近の状況を示す説明図である。図１２は、車外画像Ｐｘの第２例を示す模式図である。。図１１及び図１２は、例えば図５及び図６を用いて説明した車外画像Ｐｘの第１例の、車両５への人Ｔｒの接触の直前の状況を示す図である。すなわち、車外画像Ｐｘの第２例において車両５に接近する人Ｔｒの位置は、車両５の左前部５ｆである。

したがって、画像生成部１１は、車両５の内部の所定位置である運転者の視点付近を視点位置とし、当該視点位置から見た車両５に接近する人Ｔｒの位置である車両５の左前部５ｆの方向を視線方向とした仮想視点に基づき、車外画像Ｐｘを生成する（ステップＳ２０６）。車外画像Ｐｘの仮想視点画像には、車両５の透過像５ｔに加えて、車両５に接近する人Ｔｒの像Ｔｐが含まれる。

ステップＳ２０３～Ｓ２０５、Ｓ２０７の詳細は、第１実施形態と同様であるので、説明を省略する。

上記のように、第２実施形態の画像処理装置１は、接近検出部１２３が、車両５に接近する物体（人Ｔｒ）を検出し、物体（人Ｔｒ）による車両５への接触を予測する。これにより、人Ｔｒが車両５に接近する段階において、その人Ｔｒの顔や行動を車外画像Ｐｘとして確認することができる。すなわち、その後、車両５に危害が加えられた際に、状況把握や事後対応において有効な車外画像Ｐｘを得ることが可能になる。

＜４－３．第３実施形態＞
図１３は、第３実施形態の車外画像Ｐｘの生成、送信に係る処理フローの例を示すフローチャートである。なお、第３実施形態の基本的な構成は先に説明した第１及び第２の実施形態と同じであるので、これらの実施形態と異なる構成については以下で説明し、これらの実施形態と共通する構成については詳細な説明を省略する。

第３実施形態の画像処理装置１では、図１３に示すように、まず、車両５では、車両５に対して外部から接近する人や動物、車両、その他の物体が接近検出部１２３によって監視される（ステップＳ３０１）。画像処理装置１では、例えば車両５の内部に乗員がいなくなった場合等の所定の開始条件が成立すると、監視モードとなり、車両５への外部からの接近の監視が開始される。

次に、車両５への外部からの接近を検出したか否かが判定される（ステップＳ３０２）。車両５に接近する物体の検出に関して、詳細には、接近検出部１２３は、物体が車両５から所定範囲内（例えば半径３ｍ以内）に進入することで、物体による車両５への接触を予測する。車両周辺の人や動物、車両、その他の物体の検出は、例えばセンサ部３の超音波センサ、レーダの検出信号、またはカメラ２１～２４の撮影画像による画像認識に基づき判定される。

車両５への外部からの接近を検出した場合（ステップＳ３０２のＹｅｓ）、物体が車両５に接近した状態で、所定時間経過したか否かが判定される（ステップＳ３０３）。詳細には、接近検出部１２３は、物体が車両５への接近後、物体が所定時間、車両５から所定範囲内に滞在することで、物体による車両５への接触を予測する。物体の滞在に係る所定時間としては、例えば１分などといった時間を任意に設定することができる。車両周辺の物体の検出は、引き続き、例えばセンサ部３の超音波センサ、レーダの検出信号等に基づき判定される。

物体が車両５に接近した状態で、所定時間経過していない場合（ステップＳ３０３のＮｏ）、ステップＳ３０２に戻って、物体の接近状態の監視が継続される。さらに、車両５への物体の接近を検出しない場合、または車両５への物体の接近を検出しなくなった場合（ステップＳ３０２のＮｏ）、ステップＳ３０１に戻って、車両５への物体の接近の監視が継続される。

物体が車両５に接近した状態で、所定時間経過した場合（ステップＳ３０３のＹｅｓ）、車両５の周辺画像の取得が行われる（ステップＳ３０４）。以下、接近位置及び接近方向の検出（ステップＳ３０５）、仮想視点画像の生成（ステップＳ３０６）、車両５の透過像５ｔを含む車外画像Ｐｘの生成及び記憶（ステップＳ３０７）、車外画像Ｐｘの外部装置４への送信（ステップＳ３０８）が、順次行われる。ステップＳ３０４～ステップＳ３０８の詳細は、第１及び第２の実施形態と同様であるので、説明を省略する。

上記のように、第３実施形態の画像処理装置１は、接近検出部１２３が、物体が車両５への接近後、物体が所定時間、車両５から所定範囲内に滞在することで、物体による車両５への接触を予測する。これにより、例えば人が車両５に接近し、車両周辺に長く滞在した場合に、その人の顔や行動を車外画像Ｐｘとして確認することができる。そして、例えば車両周辺を人や動物、車両、その他の物体が単に通過しただけの場合に、車外画像Ｐｘの生成、送信を行わないようにすることができる。したがって、効率良く、車両５に危害が加えられた際の、状況把握や事後対応において有効な車外画像Ｐｘを得ることが可能になる。

＜４－４．第４実施形態＞
図１４は、第４実施形態の車外画像Ｐｘの生成、送信に係る処理フローの例を示すフローチャートである。なお、第４実施形態の基本的な構成は先に説明した第１、第２及び第３の実施形態と同じであるので、これらの実施形態と異なる構成については以下で説明し、これらの実施形態と共通する構成については詳細な説明を省略する。

第４実施形態の画像処理装置１では、図１４に示すように、まず、車両５では、車両５に対して外部から接近する人や動物、車両、その他の物体が接近検出部１２３によって監視される（ステップＳ４０１）。以下、車両５への物体の接近の判定（ステップＳ４０２）、車両５の周辺画像の取得（ステップＳ４０３）、接近位置及び接近方向の検出（ステップＳ４０４）、仮想視点画像の生成（ステップＳ４０５）、車両５の透過像５ｔを含む車外画像Ｐｘの生成及び記憶（ステップＳ４０６）が、順次行われる。ステップＳ４０１～ステップＳ４０６の詳細は、第１及び第２の実施形態と同様であるので、説明を省略する。

次に、車両５への外部からの接触を検出したか否かが判定される（ステップＳ４０７）。車両５への外部からの接触は、例えばセンサ部３の振動センサ、傾斜センサ、超音波センサ、レーダ等の検出信号に基づき判定される。

車両５への外部からの接触を検出した場合（ステップＳ４０７のＹｅｓ）、通信部１４が、車外画像Ｐｘを外部装置４に対して送信する（ステップＳ４０８）。車外画像Ｐｘが外部装置４に対して送信されると、図１４に示す処理フローが終了される。

車両５への外部からの接触を検出しない場合（ステップＳ４０７のＮｏ）、物体が車両５に接近した状態であるか否かが判定される（ステップＳ４０９）。引き続き、車両周辺の物体の検出は、例えばセンサ部３の超音波センサ、レーダの検出信号等に基づき判定される。物体が車両５に接近した状態である場合（ステップＳ４０９のＹｅｓ）、ステップＳ４０７に戻って、車両５への物体の接触の判定が行われる。

車両５への物体の接近を検出しなくなった場合（ステップＳ４０９のＮｏ）、ステップＳ４０６で生成された車外画像Ｐｘは破棄される（ステップＳ４１０）。すなわち、画像処理装置１は、一時的に記憶部１３に記憶させた車外画像Ｐｘを消去する。そして、ステップＳ４０１に戻って、車両５への物体の接近の監視が継続される。

上記のように、第４実施形態の画像処理装置１は、接近検出部１２３が車両５への外部からの接触を予測した場合に、画像生成部１１が車外画像Ｐｘの生成を開始し、さらに接近検出部１２３が車両５への外部からの接触を検出した場合に、通信部１４が車外画像Ｐｘを外部装置４に対して送信する。これにより、例えば人が車両５に接近する段階において、迅速に、その人の顔や行動を車外画像Ｐｘとして確認することができる。さらに、実際に車両５に接触した場合のみ、その車外画像Ｐｘを外部装置４に対して送信することができる。したがって、より一層効率良く、車両５に危害が加えられた際の、状況把握や事後対応において有効な車外画像Ｐｘを得ることが可能になる。

また、車外画像Ｐｘは、接近検出部１２３が車両５への接触を予測したこと、すなわち車両５への接近を検出したことに基づいて記憶部１３に記憶され、記憶部１３に記憶された当該車外画像Ｐｘは、接近検出部１２３が車両５への接触を検出した場合に、記憶部１３に保存され、接近検出部１２３が車両５への接触を予測しなくなった、すなわち車両５への接近を検出しなくなった場合に、記憶部１３から破棄される。したがって、記憶部１３の記憶容量を有効に活用することができる。

＜５．その他＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の技術的範囲は上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、上記の複数の実施形態及び実施例は可能な範囲で組み合わせて実施しても良い。

例えば、第２、第３及び第４の実施形態において、車外画像Ｐｘに加えて、さらに車内画像Ｐｙを外部装置４に対して送信しても良い。これにより、車両５の状況把握等において、車内画像Ｐｙを有効活用することができる。

また、上記実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能のうちの一部は電気的なハードウェア回路によって実現されても良い。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されても良い。

１ 画像処理装置
３ センサ部
４ 外部装置
５ 車両
１１ 画像生成部
１２ 制御部
１３ 記憶部
１４ 通信部
２１ フロントカメラ（車載カメラ）
２２ 右サイドカメラ（車載カメラ）
２３ バックカメラ（車載カメラ）
２４ 左サイドカメラ（車載カメラ）
１２３ 接近検出部

Claims (9)

1. 少なくとも車両の室外に搭載されて前記車両の全周囲を撮像する車載カメラで撮影された撮影画像を処理する画像処理装置であって、
   前記車両の内部に乗員がいないことを検出した場合に、前記車載カメラが搭載された車両への外部からの接触を予測または検出する接近検出部と、
   前記車両の内部の所定位置を視点位置とし、前記視点位置から見た前記接触の位置の方向を視線方向とし、前記車両の像を透過像として含む車外画像を生成する画像生成部と、
   前記車外画像を外部装置に対して送信する通信部と、を備え、
   前記接近検出部が前記車両への前記接触を予測または検出した場合に、前記画像生成部が前記車外画像を生成し、当該車外画像を前記通信部を介して前記外部装置に対して送信する画像処理装置。
2. 前記接近検出部は、前記車両に接近する物体を検出し、前記物体による前記車両への前記接触を予測する請求項１に記載の画像処理装置。
3. 前記接近検出部は、前記物体が前記車両への接近後、前記物体が所定時間、前記車両から所定範囲内に滞在することで、前記物体による前記車両への前記接触を予測する請求項２に記載の画像処理装置。
4. 前記接近検出部が前記車両への前記接触を予測した場合に、前記画像生成部が前記車外画像の生成を開始し、さらに、
   前記接近検出部が前記車両への前記接触を検出した場合に、前記通信部が前記車外画像を前記外部装置に対して送信する請求項１から請求項３のいずれかに記載の画像処理装置。
5. 前記画像生成部は、前記車外画像の生成とは異なるタイミングである、前記車両の内部に人が侵入したことを判断した場合に、さらに前記車両の内部が撮影された車内画像を生成し、
   前記通信部は、さらに前記車内画像を前記外部装置に対して送信する請求項１から請求項４のいずれかに記載の画像処理装置。
6. 前記車外画像の記録が可能な記憶部を備える請求項１から請求項５のいずれかに記載の画像処理装置。
7. 前記車外画像は、前記接近検出部が前記車両への前記接触を予測したことに基づいて前記記憶部に記憶され、
   前記記憶部に記憶された当該車外画像は、
   前記接近検出部が前記車両への前記接触を検出した場合に、前記記憶部に保存され、
   前記接近検出部が前記車両への前記接触を予測しなくなった場合に、前記記憶部から破棄される請求項６に記載の画像処理装置。
8. 前記通信部は、前記車外画像の記録に係る指令を前記外部装置に対して送信する請求項１から請求項７のいずれかに記載の画像処理装置。
9. 少なくとも車両の室外に搭載されて前記車両の全周囲を撮像する車載カメラで撮影された撮影画像を処理する画像処理方法であって、
   前記車両の内部に乗員がいないことを検出した場合に、前記車載カメラが搭載された車両への外部からの接触を予測または検出する工程と、
   前記車両への外部からの接触が予測または検出された場合に、前記車両の内部の所定位置を視点位置とし、前記視点位置から見た前記接触の位置の方向を視線方向とし、前記車両の像を透過像として含む車外画像を生成する工程と、
   前記車外画像を外部装置に対して送信する工程と、を含む画像処理方法。

Images