JP2017068673A - 運転支援装置 - Google Patents

Abstract

【課題】車両の周囲の状況が変化した場合に、より確実に、運転者に車両の周囲の状況の変化を視認させる。【解決手段】実施形態による運転支援装置は、車両の周囲の状況を認識する認識処理部と、認識処理部によって認識された前記車両の周囲の状況に応じて運転支援制御を実行する運転支援処理部と、車両の周囲の状況が変化した場合に、車両の周囲の状況の変化を表示部に表示する表示処理部と、車両の運転者の視線に関する情報を検出する検出処理部と、認識状況が変化した場合に、表示部とは別の通知部を用いて、車両の周囲の状況が変化したことを運転者に通知する第１の通知を出力し、第１の通知を出力した後、検出処理部による検出結果に基づき、運転者の視線が表示部に向いていることが検出されない場合に、通知部を用いて、車両の周囲の状況が変化したことを運転者に再度通知する第２の通知を出力する出力処理部とを備える。【選択図】図７

Description

本発明の実施形態は、運転支援装置に関する。

従来、センサやカメラなどによって認識される車両の周囲の状況に応じた運転支援制御を実行する技術が知られている。このような技術では、車両の周囲の状況が変化した場合、当該状況の変化が表示部などに視覚的に表示される。

特開２００３−３４２０５号公報

上記のような技術では、車両の周囲の状況が変化した場合に、より確実に、運転者に車両の周囲の状況を視認させることが望まれている。

実施形態による運転支援装置は、車両の周囲の状況を認識する認識処理部と、認識処理部によって認識された車両の周囲の状況に応じて運転支援制御を実行する運転支援処理部と、車両の周囲の状況が変化した場合に、車両の周囲の状況の変化を表示部に表示する表示処理部と、車両の運転者の視線に関する情報を検出する検出処理部と、車両の周囲の状況が変化した場合に、表示部とは別の通知部を用いて、車両の周囲の状況が変化したことを運転者に通知する第１の通知を出力し、第１の通知を出力した後、検出処理部による検出結果に基づき、運転者の視線が表示部に向いていることが検出されない場合に、通知部を用いて、車両の周囲の状況が変化したことを運転者に再度通知する第２の通知を出力する出力処理部とを備える。このような構成により、第１の通知と、第２の通知とを用いて、より確実に、運転者に車両の周囲の状況の変化を視認させることができる。

また、実施形態による運転支援装置では、出力処理部は、運転者の視線が表示部に向いていることが検出されるまで、第２の通知を繰り返し出力する。このような構成により、さらに確実に、運転者に車両の周囲の状況の変化を視認させることができる。

また、実施形態による運転支援装置では、出力処理部は、第２の通知を、第１の通知とは異なる出力形態で出力するとともに、第２の通知を２回以上出力する場合、２回目以降の第２の通知を、過去に出力した第２の通知とは異なる出力形態で出力する。このような構成により、たとえば、後で出力される方の通知の注意喚起力を高めることで、より確実に、運転者に車両の周囲の状況の変化を視認させることができる。

また、実施形態による運転支援装置では、出力処理部は、第２の通知を２回以上出力する場合、１回目の第２の通知を出力した後においては、予め設定された回数まで第２の通知を繰り返し出力する。このような構成により、第２の通知の繰り返しの出力によって運転者に過度に煩わしさを感じさせるのを抑制することができる。

また、実施形態による運転支援装置では、出力処理部は、第２の通知を２回以上出力する場合、１回目の第２の通知を出力した後においては、検出処理部によって運転者の視線が表示部に向いていることが検出され、かつ、運転者が所定の能動的な目の操作を行ったことが検出されるまで、第２の通知を繰り返し出力する。このような構成により、運転者が表示部に能動的に目を向けたか否かをより確実に判定することができる。

また、実施形態による運転支援装置は、通知部は、音を出力可能な音出力部を含み、出力処理部は、音出力部を用いて、第１の通知および第２の通知を音で出力する。このような構成により、音を用いて、より容易に、車両の周囲の状況が変化したことを運転者に通知することができる。

図１は、第１実施形態による車両の車室の一部が透視された状態を示した例示斜視図である。 図２は、第１実施形態によるインストルメントパネルを示した例示図である。 図３は、第１実施形態によるインストルメントパネルの表示装置に表示される画像の一例を示した例示図である。 図４は、第１実施形態によるインストルメントパネルの表示装置に表示される画像の、図３とは異なる他の一例を示した例示図である。 図５は、第１実施形態による撮像装置の配置を示した例示図である。 図６は、第１実施形態による車両に搭載される運転支援システムの構成を示した例示ブロック図である。 図７は、第１実施形態によるＥＣＵの機能的構成を示した例示ブロック図である。 図８は、第１実施形態によるＥＣＵが実行する処理を示した例示フローチャートである。 図９は、第２実施形態によるＥＣＵが実行する処理を示した例示フローチャートである。 図１０は、第３実施形態によるＥＣＵが実行する処理を示した例示フローチャートである。 図１１は、変形例において車両の周辺の認識状況が変化した場合にナビゲーションシステムの表示装置に表示される画像の一例を示した例示図である。 図１２は、変形例において車両の周囲の状況が変化する前にナビゲーション装置の表示装置に表示される画像の一例を示した例示図である。 図１３は、変形例において車両の周囲の状況が変化した後に図１２の画像から切り替わって表示される画像を示した例示図である。 図１４は、変形例において車両の周囲の状況が変化する前にナビゲーション装置の表示装置に表示される画像の図１２とは異なる一例を示した例示図である。 図１５は、変形例において車両の周囲の状況が変化した後に図１４の画像から切り替わって表示される画像を示した例示図である。 図１６は、変形例において車両の周囲の状況が変化する前にナビゲーション装置の表示装置に表示される画像の図１２および図１４とは異なる一例を示した例示図である。 図１７は、変形例において車両の周囲の状況が変化した後に図１６の画像から切り替わって表示される画像を示した例示図である。 図１８は、変形例において車両の周囲の状況が変化する前にナビゲーション装置の表示装置に表示される画像の図１２、図１４および図１６とは異なる一例を示した例示図である。 図１９は、変形例において車両の周囲の状況が変化した後に図１８の画像から切り替わって表示される画像を示した例示図である。

以下、実施形態を図面に基づいて説明する。

（第１実施形態）
まず、図１〜図５を参照して、第１実施形態による車両１の概略的構成について説明する。

第１実施形態による車両１は、たとえば、エンジンなどの内燃機関を駆動源とする車両（内燃機関自動車）であってもよいし、モータなどの電動機を駆動源とする車両（電気自動車、燃料電池自動車など）であってもよい。また、車両１は、これらの双方を駆動源とする車両（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品など）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式、数、レイアウトなどは、種々に設定することができる。

図１に示すように、第１実施形態による車両１は、車体２を備える。車体２は、乗員（不図示）が乗車する車室２ａを構成する。車室２ａ内には、乗員としての運転者（図１には不図示）の座席２ｂに対応するように、操舵部４や、インストルメントパネル２５などが設けられている。操舵部４は、たとえば、ダッシュボード１２から突出したステアリングホイール４ａである。

図２に示すように、インストルメントパネル２５には、スピードメーター２５ａと、タコメーター２５ｂと、表示装置２５ｃとが設けられている。表示装置２５ｃは、たとえば、液晶ディスプレイや、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｔ）ディスプレイなどである。図２の例では、表示装置２５ｃは、インストルメントパネル２５の略中央で、スピードメーター２５ａと、タコメーター２５ｂとの間に位置している。

第１実施形態では、インストルメントパネル２５の表示装置２５ｃに、車両１が実行する運転支援制御に関する情報が表示される。運転支援制御の例としては、たとえば、車両１を自動で前走車に対して追従走行させる追従走行制御が挙げられる。追従走行制御が実行されている場合、表示装置２５ｃには、前走車の有無や、前走車との間の車間距離などの情報が、たとえば図３および図４に示すような態様で表示される。図３は、前走車が存在する場合に表示装置２５ｃに表示される画像ＩＭ１の具体例を示した例示図である。この図３の画像ＩＭ１には、前走車を示すマークＭ１が表示されている。図４は、前走車が存在しない場合に表示装置２５ｃに表示される画像ＩＭ２の具体例を示した例示図である。この図４の画像ＩＭ２には、図３の画像ＩＭ１と異なり、前走車を示すマークＭ１が表示されていない。

図１に戻り、車室２ａ内には、上記の表示装置２５ｃとは別の表示装置８と、音声出力装置９とが設けられている。表示装置８は、たとえば、液晶ディスプレイや、有機ＥＬディスプレイなどである。また、音声出力装置９は、たとえば、スピーカである。図１の例では、表示装置８と、音声出力装置９とは、ダッシュボード１２の車幅方向（左右方向）の中央部（いわゆるセンターコンソール）に位置するナビゲーション装置１１に設けられている。

第１実施形態では、ナビゲーション装置１１の表示装置８に、車両１の走行時に車両１の現在位置や目的地への経路案内などの情報（画像）が表示される。この表示装置８は、タッチパネルなどの操作入力部１０を備える。車両１の乗員は、操作入力部１０を手指などでタッチすることにより、表示装置８に表示される画像に対して種々の操作入力（指示入力）を実行することができる。なお、ナビゲーション装置１１は、スイッチ、ダイヤル、ジョイスティック、押しボタンなどの操作入力部（図示せず）を有することもできる。

ここで、第１実施形態では、図５に示すように、ステアリングホイール４ａのステアリングコラム４ｂに、撮像装置２０１が設置されている。撮像装置２０１は、たとえば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラなどである。撮像装置２０１は、座席２ｂに着座する運転者３０２の顔が、視野中心に位置するように、視野角および姿勢が調整されている。この撮像装置２０１は、座席２ｂに座った運転者３０２の顔を撮影し、撮影により得た画像データを順次出力する。なお、撮像装置２０１は、運転者３０２の視線を撮影可能な位置に設置されていればよく、たとえば、ナビゲーション装置１１が設置されるセンターコンソールや、運転席（座席２ｂ）側のＡピラーや、ルームミラーなどに設置されてもよい。

次に、図６を参照して、第１実施形態による車両１に搭載される運転支援システム１００の構成について説明する。

図６に示すように、運転支援システム１００では、ＥＣＵ１４や、ナビゲーション装置１１、操舵システム１３、測距部１６および１７などの他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２などが、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。ＥＣＵ１４は、「運転支援装置」の一例である。

車内ネットワーク２３は、たとえば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）として構成される。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３のアクチュエータ１３ａや、ブレーキシステム１８のアクチュエータ１８ａなどを動作させることができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６および１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２などの検出結果や、操作入力部１０などによる操作信号などを、受け取ることができる。

図６の例では、ＥＣＵ１４は、ＣＰＵ１４ａ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＯＭ１４ｂ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ１４ｃ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、表示制御部１４ｄと、音声制御部１４ｅと、ＳＳＤ１４ｆ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ、フラッシュメモリ）とを備える。

ＣＰＵ１４ａは、車両１全体の制御を行う。ＣＰＵ１４ａは、ＲＯＭ１４ｂなどの不揮発性の記憶装置にインストールされたプログラムを読み出し、当該プログラムにしたがって演算処理を実行する。ＲＡＭ１４ｃは、ＣＰＵ１４ａの演算で用いられる各種のデータを一時的に記憶する。

表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像装置１５および２０１で得られる画像データを用いた画像処理や、表示装置８および２５ｃで表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶装置であって、たとえばＥＣＵ１４の電源がオフされた場合でも、データを保持することができる。

第１実施形態では、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃなどは、同一パッケージ内に集積されうる。また、ＥＣＵ１４では、ＣＰＵ１４ａに替えて、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などの他の論理演算プロセッサや論理回路などが用いられてもよい。また、ＥＣＵ１４では、ＳＳＤ１４ｆに替えて（またはＳＳＤ１４ｆに加えて）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）が設けられてもよい。なお、ＳＳＤ１４ｆおよびＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

ここで、第１実施形態によるＥＣＵ１４のＣＰＵ１４ａは、運転支援制御の実行時に、ＲＯＭ１４ｂに格納されたプログラムを実行することで、図７に示すような機能的構成（機能モジュール）をＲＡＭ１４ｃ上に実現する。

図７に示すように、ＥＣＵ１４は、機能的構成として、認識処理部４０１と、運転支援処理部４０２と、表示処理部４０３と、検出処理部４０４と、出力処理部４０５とを備える。

認識処理部４０１は、撮像装置１５から得られる画像データなどに基づいて、車両１の周囲の状況を認識する。運転支援処理部４０２は、認識処理部４０１によって認識された車両１の周囲の状況に応じて運転支援制御を実行する。たとえば、運転支援制御として追従走行制御が実行される場合、認識処理部４０１は、前走車の有無や、前走車との車間距離などを認識する。以下では、運転支援制御が追従走行制御である場合のみを例に挙げて説明するが、第１実施形態による運転支援制御は、追従走行制御に限られるものではなく、駐車支援制御なども含み得る。また、以下では、簡単化のため、認識処理部４０１によって認識された車両１の周囲の状況を、認識状況という言葉で表現する。

表示処理部４０３は、認識処理部４０１による認識状況に応じて、インストルメントパネル２５の表示装置２５ｃに表示する画像を制御する。たとえば、前走車が存在していると認識されている場合、表示処理部４０３は、前走車を示すマークＭ１を含む画像ＩＭ１（図３参照）を表示装置２５ｃに表示する。

ここで、第１実施形態による表示処理部４０３は、認識処理部４０１による認識状況が変化した場合に、当該認識状況の変化を、表示装置２５ｃに表示する。認識状況の変化とは、追従走行制御の制御内容が切り替わるトリガとなるような変化である。追従走行制御では、たとえば、前走車が存在していると認識された状態から、前走車が存在しないと認識された状態に変化した場合に、車両１を自動で加速させるように、制御内容が自動で切り替わる。したがって、第１実施形態による表示処理部４０３は、追従走行制御の実行時において、前走車が存在していると認識された状態から、前走車が存在しないと認識された状態に変化した場合、表示装置２５ｃに表示する画像を、前走車を示すマークＭ１を含む画像ＩＭ１（図３参照）から、前走車を示すマークＭ１を含まない画像ＩＭ２（図４参照）に切り替える。

検出処理部４０４は、車両１の運転者３０２（図５参照）の視線に関する情報を検出する。たとえば、検出処理部４０４は、撮像装置２０１から得られる画像データと、ＳＳＤ１４ｆなどの記憶媒体に予め保存される三次元顔モデルとに基づいて、運転者３０２の顔をトラッキングしながら、運転者３０２の顔の向き、目の位置、目が向いている方向（視線方向）、目の動作などを検出する。なお、三次元顔モデルとは、平均的な被験者の三次元顔形状や、被験者の目や口、鼻などの顔部品の位置、被験者の目の形状の変化情報などを含む統計的顔形状モデルである。

ところで、上述したように、追従走行制御では、たとえば、前走車が存在していると認識された状態から、前走車が存在しないと認識された状態に変化した場合に、車両１を自動で加速させるように、制御内容が自動で切り替わる。しかしながら、たとえば、実際には前走車が存在するにも関わらず前走車が存在しないと認識された場合など、車両１を自動で加速させるのには不適切な場合も存在する。このような場合、運転者３０２は、認識処理部４０１が認識した車両１の周囲の状況を表示装置２５ｃにより視認した上で、車両１の周囲の状況を実際に目視し、車両１を能動的に操作する必要がある。したがって、認識処理部４０１による認識状況が変化した場合、当該認識状況の変化が発生したことを、より確実に運転者３０２に通知することが望まれている。

そこで、第１実施形態による出力処理部４０５は、認識処理部４０１による認識状況が変化した場合、運転者３０２に表示装置２５ｃの視認を促すために、表示装置２５ｃとは別の通知手段（通知部）を用いて、認識状況が変化したことを運転者３０２に通知する。そして、出力処理部４０５は、検出処理部４０４の検出結果を監視して、運転者３０２が表示装置２５ｃを本当に視認したか否かを判定する。

具体的に、出力処理部４０５は、認識状況が変化した場合、ナビゲーション装置１１の音声出力装置９を用いて、認識状況が変化したことを運転者３０２に通知する第１の通知を、音で出力する。また、出力処理部４０５は、第１の通知を出力した後、検出処理部４０４による検出結果を監視し、運転者３０２の視線が表示装置２５ｃに向いていることが検出されない場合に、音声出力装置９を用いて、認識状況が変化したことを運転者３０２に再度通知する第２の通知を、音で出力する。そして、出力処理部４０５は、運転者３０２の視線が表示装置２５ｃに向いていることが検出されるまで、第２の通知を繰り返し出力する。

第１の通知は、運転者３０２に表示装置２５ｃの視認を促す音声メッセージやビープ音などである。また、第２の通知は、運転者３０２に表示装置２５ｃの視認をより強く促す音声メッセージやビープ音などである。このように、出力処理部４０５は、第２の通知を、第１の通知とは異なる出力形態で出力する。つまり、第２の通知は、第１の通知が運転者３０２の視線を表示装置２５ｃに向けさせることができなかった場合の念押しとして出力されるものであるので、第２の通知を第１の通知と同様の出力形態で出力するのでは、運転者３０２の注意を十分に惹くことができない場合がある。したがって、出力処理部４０５は、第２の通知を、たとえば、第１の通知よりも大きい音量で出力したり、第１の通知とは異なる音声パターンで（つまり、第１の通知よりも注意喚起力が高い音声パターンで）出力したりする。

また、出力処理部４０５は、第２の通知を２回以上出力する場合、２回目以降の第２の通知を、過去に出力した第２の通知（たとえば１回目の第２の通知）とは異なる出力形態で出力する。つまり、出力処理部４０５は、２回目以降の第２の通知の注意喚起力を１回目の第２の通知よりも高めるために、２回目以降の第２の通知を、たとえば、１回目の第２の通知よりも大きい音量で出力したり、２回目以降の第２の通知を、１回目の第２の通知よりも注意喚起力が高い音声パターンで出力したりする。

次に、図８を参照して、第１実施形態によるＥＣＵ１４が実行する処理を説明する。

図８の処理フローでは、まず、Ｓ１において、認識処理部４０１は、車両１の周囲の認識状況が変化したか否かを判断する。このＳ１の処理は、認識状況が変化したと判断されるまで繰り返される。そして、Ｓ１において、認識状況が変化したと判断された場合、Ｓ２に処理が進む。

Ｓ２において、表示処理部４０３は、認識状況の変化をインストルメントパネル２５の表示装置２５ｃに表示し、出力処理部４０５は、認識状況が変化したことを通知する第１の通知を、ナビゲーション装置１１の音声出力装置９を介して音で出力する。そして、Ｓ３において、出力処理部４０５は、検出処理部４０４による検出結果を監視する。

Ｓ４において、出力処理部４０５は、認識状況が変化したことを運転者３０２に再度通知する第２の通知が既に出力済か否かを判断する。

Ｓ４において、第２の通知がまだ１回も出力されていない場合、Ｓ５に処理が進む。そして、Ｓ５において、出力処理部４０５は、Ｓ３の監視結果に基づいて、運転者３０２の視線が表示装置２５ｃに向いていることが検出されたか否かを判断する。

Ｓ５において、運転者３０２の視線が表示装置２５ｃに向いていることが検出された場合、運転者３０２が表示装置２５ｃを視認したと推定できるので、これ以上運転者３０２に表示装置２５ｃを視認するように促す必要がなくなり、処理が終了する。しかしながら、Ｓ５において、運転者３０２の視線が表示装置２５ｃに向いていることが検出されない場合、運転者３０２に表示装置２５ｃを視認するように再度促す必要がある。

そこで、Ｓ６において、出力処理部４０５は、認識状況が変化したことを運転者３０２に再度通知する第２の通知を、Ｓ２で出力した第１の通知とは異なる出力形態で、ナビゲーション装置１１の音声出力装置９を介して音で出力する。たとえば、出力処理部４０５は、第２の通知を、第１の通知よりも大きい音量で出力したり、第２の通知を、第１の通知とは異なる音声パターンで出力したりする。そして、Ｓ３に処理が戻る。

なお、Ｓ４において、第２の通知が少なくとも１回は既に出力されていると判断された場合、Ｓ７に処理が進む。そして、Ｓ７において、出力処理部４０５は、Ｓ３の監視結果に基づいて、運転者３０２の視線が表示装置２５ｃに向いていることが検出されたか否かを判断する。

Ｓ７において、運転者３０２の視線が表示装置２５ｃに向いていることが検出された場合、これ以上運転者３０２に表示装置２５ｃを視認するように促す必要がなくなるので、処理が終了する。しかしながら、Ｓ７において、運転者３０２の視線が表示装置２５ｃに向いていることが検出されない場合、運転者３０２が表示装置２５ｃを視認したとは言えないので、運転者３０２に表示装置２５ｃを視認するように再度促す必要がある。

そこで、Ｓ８において、出力処理部４０５は、第２の通知を、音声出力装置９を介して音で再度出力する。なお、出力処理部４０５は、このＳ８で出力する第２の通知の出力形態を、過去に出力した第２の通知（たとえばＳ６で出力された第２の通知）の出力形態とは異ならせる。そして、Ｓ３に処理が戻る。

以上説明したように、第１実施形態による表示処理部４０３は、認識処理部４０１による認識状況が変化した場合に、当該認識状況の変化をインストルメントパネル２５の表示装置２５ｃに表示する。また、出力処理部４０５は、認識状況が変化した場合に、表示装置２５ｃとは別の通知部（音声出力装置９）を用いて、認識状況が変化したことを運転者３０２に通知する第１の通知を出力する。そして、出力処理部４０５は、第１の通知を出力した後、検出処理部４０４による検出結果を監視し、運転者３０２の視線が表示装置２５ｃに向いていることが検出されない場合に、音声出力装置９を用いて、認識状況が変化したことを運転者３０２に再度通知する第２の通知を出力する。これにより、第１の通知と、第２の通知とを用いて、より確実に、運転者３０２に認識状況の変化を視認させることができる。

また、第１実施形態による出力処理部４０５は、運転者３０２の視線が表示装置２５ｃに向いていることが検出されるまで、第２の通知を繰り返し出力する。これにより、さらに確実に、運転者３０２に認識状況の変化を視認させることができる。

また、第１実施形態による出力処理部４０５は、第２の通知を、第１の通知とは異なる出力形態で出力するとともに、第２の通知を２回以上出力する場合、２回目以降の第２の通知を過去に出力した第２の通知とは異なる出力形態で出力する。これにより、たとえば、後で出力される方の通知の注意喚起力を高めることで、より確実に、運転者３０２に認識状況の変化を視認させることができる。

（第２実施形態）
次に、図７を参照して、第２実施形態によるＥＣＵ２１４の構成について説明する。この第２実施形態では、２回目以降の第２の通知の出力を停止させる条件が、運転者３０２の視線が表示装置２５ｃに向いていること、という１つの条件だけである第１実施形態と異なり、２回目以降の第２の通知の出力を停止させる条件が、運転者３０２の視線が表示装置２５ｃに向いていることと、第２の通知の出力回数が予め設定された回数を以上になることとの、２つ存在する。

すなわち、第２実施形態による出力処理部２４０５は、第２の通知を２回以上出力する場合、１回目の第２の通知を出力した後においては、出力処理部２４０５は、予め設定された回数まで第２の通知を繰り返し出力する。より具体的に、出力処理部２４０５は、第２の通知を２回以上出力する場合、１回目の第２の通知を出力した後においては、運転者３０２の視線が表示装置２５ｃに向いていることが検出されなくても、第２の通知の出力回数が予め設定された回数以上になった場合には、煩わしさの観点から、第２の通知を繰り返し出力することを停止する。なお、第２の通知の出力停止条件となる回数は、実験的または人間工学的に決定した数を予め設定しておいてもよいし、運転者３０２が自ら任意で設定できるようにしてもよい。

なお、第２実施形態のその他の構成は、上述した第１実施形態と同様であるため、ここでは説明を省略する。

次に、図９を参照して、第２実施形態によるＥＣＵ２１４が実行する処理について説明する。第２実施形態では、上述した第１実施形態（図８参照）と同様のＳ１〜Ｓ８の処理が実行される。第２実施形態では、第２の通知の再度の出力を行うか否かの判断基準が、運転者３０２の視線が表示装置２５ｃに向いているか否か（Ｓ７）という基準以外の他の基準も存在するという点で、第１実施形態と異なる。

すなわち、第２実施形態による処理フロー（図９参照）では、Ｓ７において、運転者３０２の視線が表示装置２５ｃに向いていないと判断された場合、Ｓ７ａに処理が進む。そして、Ｓ７ａにおいて、出力処理部２４０５は、既に出力済の第２の通知の出力回数が予め設定された回数以上か否かを判断する。予め設定された回数とは、運転者３０２が過度の煩わしさを感じるか否かの分岐点となる回数であり、実験的または人間工学的に決定された数であってもよいし、運転者３０２が自ら任意で設定した数であってもよい。

Ｓ７ａにおいて、第２の通知の出力回数が予め設定された回数未満であると判断された場合、第２の通知を再度通知しても、運転者３０２に過度の煩わしさを感じさせることがない。したがって、この場合、Ｓ８において、第２の通知が再度出力され、Ｓ４に処理が戻る。

一方、Ｓ７ａにおいて、第２の通知の出力回数が予め設定された回数以上であると判断された場合、第２の通知を再度出力すると、運転者３０２に過度の煩わしさを感じさせることになる。したがって、この場合、第２の通知を再度出力することなく、処理が終了する。

以上説明したように、第２実施形態では、第２の通知を２回以上出力する場合、１回目の第２の通知を出力した後においては、運転者３０２の視線が表示装置２５ｃに向いており、かつ、第２の通知の出力回数が予め設定された回数未満である場合に、第２の通知を再度出力する。これにより、第２の通知の繰り返しの出力によって運転者３０２に過度の煩わしさを感じさせるのを抑制することができる。

なお、第２実施形態のその他の効果は、第１実施形態と同様であるため、ここでは説明を省略する。

（第３実施形態）
次に、図７を参照して、第３実施形態によるＥＣＵ３１４の構成について説明する。この第３実施形態は、２回目以降の第２の通知の出力を停止させる条件として、運転者３０２の視線が表示装置２５ｃに向いていること以外の他の条件が存在するという点で第２実施形態と同様であるが、当該他の条件の内容が第２実施形態と異なる。

具体的に、第３実施形態による出力処理部３４０５は、第２の通知を２回以上出力する場合、１回目の第２の通知を出力した後においては、運転者３０２の視線が表示装置２５ｃに向いていることが検出され、かつ、運転者３０２が所定の能動的な目の操作を行ったことが検出されるまで、第２の通知を繰り返し出力する。所定の能動的な目の操作とは、たとえば、所定回数・所定間隔で能動的に行うまばたきなどである。つまり、第３実施形態では、第２の通知が２回以上出力されるのを回避するために、運転者３０２は、表示装置２５ｃに目を向けた上で、まばたきなどの所定の目の操作を能動的に行う必要がある。

なお、第３実施形態のその他の構成は、上述した第２実施形態と同様であるため、ここでは説明を省略する。

次に、図１０を参照して、第３実施形態によるＥＣＵ３１４が実行する処理について説明する。この第３実施形態においても、第２実施形態と同様に、第１実施形態（図８参照）と同様のＳ１〜Ｓ６およびＳ８の処理が実行される。しかしながら、第３実施形態では、第２の通知が２回以上出力される場合（Ｓ４においてＹｅｓの場合）、第２実施形態とは異なる基準で、第２の通知の再度の出力（Ｓ８）を行うか否かを判断する。

すなわち、第３実施形態による処理フロー（図１０参照）では、Ｓ４において、第２の通知が少なくとも１回は既に出力されていると判断された場合、Ｓ７ｂに処理が進む。そして、そして、Ｓ７ｂにおいて、出力処理部３４０５は、運転者３０２の視線が表示装置２５ｃに向いていることが検出され、かつ、運転者３０２が所定の能動的な目の操作を行ったことが検出されたか否かを判断する。所定の能動的な目の操作とは、たとえば、所定回数・所定間隔で能動的に行うまばたきなどである。

Ｓ７ｂにおいて、運転者３０２の視線が表示装置２５ｃに向いていることが検出され、かつ、運転者３０２が所定の能動的な目の操作を行ったことが検出された場合、これ以上運転者３０２に表示装置２５ｃを視認するように促す必要がなくなるので、処理が終了する。しかしながら、Ｓ７において、運転者３０２の視線が表示装置２５ｃに向いていることが検出されない場合、または、運転者３０２の視線が表示装置２５ｃに向いていることが検出されたとしても運転者３０２が所定の能動的な目の操作を行ったことが検出されない場合、運転者３０２が表示装置２５ｃを能動的に確実に視認したとは言えない。したがって、この場合、Ｓ８において、出力処理部３４０５は、運転者３０２に表示装置２５ｃを視認するように再度促すために、第２の通知を再度出力し、Ｓ４に処理が戻る。

以上説明したように、第３実施形態による出力処理部３４０５は、第２の通知を２回以上出力する場合、１回目の第２の通知を出力した後においては、運転者３０２の視線が表示装置２５ｃに向いていることが検出され、かつ、運転者３０２が所定の能動的な目の操作を行ったことが検出されるまで、第２の通知を繰り返し出力する。所定の能動的な目の操作とは、たとえば、所定回数・所定間隔で能動的に行うまばたきなどである。これにより、運転者３０２が表示装置２５ｃに能動的に目を向けたか否かをより確実に判定することができる。

なお、第３実施形態のその他の効果は、第２実施形態と同様であるため、ここでは説明を省略する。

（変形例）
上述した実施形態では、図７の各モジュールが、ソフトウェア（コンピュータプログラム）とハードウェア（ＣＰＵ１４ａ）との協働により実現される例を示した。しかしながら、図７の各モジュールは、ハードウェアのみによって実現されてもよい。つまり、実施形態では、図７の各モジュールに対応する専用のハードウェア（回路）が設けられてもよい。

また、上述した実施形態では、運転者３０２の視線に基づいて制御を実行する例を示したが、視線の代わりに顔の向きを用いてもよい。

また、上述した実施形態では、認識状況が変化したことを運転者３０２に通知する第１の通知および第２の通知が、音声出力装置９から音声として出力される例を示した。しかしながら、第１の通知および第２の通知は、光や振動などとして出力されてもよい。また、第１の通知および第２の通知は、ナビゲーション装置１１に設けられる音声出力装置９以外の他のスピーカ装置などから出力されてもよい。また、第１の通知および第２の通知は、図１１に例示したような画像ＩＭ３として出力されてもよい。この画像ＩＭ３は、認識状況が変化したことを運転者３０２に通知する音声と同時に出力されてもよい。

ここで、図１１の画像ＩＭ３は、ナビゲーション装置１１の表示装置８に出力される画像であり、認識状況に変化が発生した旨のメッセージを含んでいる。上述した実施形態では、運転者３０２の視線がインストルメントパネル２５の表示装置２５ｃに向いていることが検出されたことを条件の１つとして、第２の通知の繰り返しの出力を停止する例を示した。しかしながら、図１１に例示したような画像ＩＭ３が第１の通知および第２の通知として出力される場合では、運転者３０２の視線がナビゲーション装置１１の表示装置８に向いていることが検出されたことを条件の１つとして、第２の通知の繰り返しの出力を停止してもよい。

また、上述した実施形態では、運転支援制御の一例としての追従走行制御が実行される場合の処理を主として説明した。しかしながら、以下に説明するように、運転支援制御の他の一例としての駐車支援制御が実行される場合においても、認識状況の変化を運転者３０２に確認させたい状況が存在する。たとえば、駐車開始時には認識されていなかった注意対象物が途中で新たに認識された場合や、逆に、駐車開始時において既に認識されていた注意対象物が途中で認識されなくなった場合などには、車両の周囲の状況の変化を運転者３０２に確認させる必要がある。以下、図１２〜図１９を参照して、駐車支援制御における認識状況の変化および当該変化が発生した場合に実行される処理についてより具体的に説明する。

図１２〜図１５は、駐車支援制御の実行時にナビゲーション装置１１の表示装置８に表示される駐車支援画像の一例として、車両１の周囲（駐車場所の周辺）の状況を俯瞰で見た駐車支援画像を示している。また、図１６〜図１９は、駐車支援画像の他の例として、車両１の周囲（駐車場所の周辺）の状況を車両１の後方の視野で見た駐車支援画像を示している。なお、図１２〜図１５に例示した俯瞰の駐車支援画像には、車両１に対応するマークＭ２が表示されている。

図１２および図１３は、駐車開始時には認識されていなかった注意対象物が途中で新たに認識された場合における俯瞰の駐車支援画像の変化の具体例を示している。この具体例では、注意対象物としての他の車両が新たに認識されることにより、駐車開始時の画像ＩＭ４（図１２参照）が、新たに認識された他の車両を示すマークＭ３を含む画像ＩＭ５（図１３参照）に切り替わっている。

また、図１４および図１５は、駐車開始時において既に認識されていた注意対象物が途中で認識されなくなった場合における俯瞰の駐車支援画像の変化の具体例を示している。この具体例では、注意対象物として既に認識されていた人間が途中で認識されなくなることにより、認識済の人間を示すマークＭ４を含む駐車開始時の画像ＩＭ６（図１２参照）が、マークＭ４を含まない画像ＩＭ７（図１３参照）に切り替わっている。

また、図１６および図１７は、駐車開始時には認識されていなかった注意対象物が途中で新たに認識された場合における後方視野の駐車支援画像の変化の具体例を示している。この具体例では、注意対象物としての人間が新たに認識されることにより、駐車開始時の画像ＩＭ８（図１６参照）が、新たに認識された人間を示すマークＭ５を含む画像ＩＭ９（図１７参照）に切り替わっている。

また、図１８および図１９は、駐車開始時において既に認識されていた注意対象物が途中で認識されなくなった場合における後方視野の駐車支援画像の変化の具体例を示している。この具体例では、注意対象物として既に認識されていた他の車両が途中で認識されなくなることにより、認識済の他の車両を示すマークＭ６を含む駐車開始時の画像ＩＭ１０（図１８参照）が、マークＭ６を含まない画像ＩＭ１１（図１９参照）に切り替わっている。

上述のように認識状況の変化に伴って駐車支援画像が切り替わる場合、当該認識状況の変化を運転者３０２に通知し、注意対象物の有無を確認させる必要がある。したがって、駐車支援制御の実行時に認識状況が変化した場合でも、追従走行制御の実行時に認識状況が変化した場合と同様に、第１の通知や第２の通知が出力される。なお、駐車支援制御の実行時においては、運転者３０２の視線が表示装置８（上述した画像ＩＭ４〜ＩＭ１１）を視認したことが検出されたことの他に、運転者３０２の視線が注意対象物を向いたことを、第１の通知や第２の通知の出力を停止する条件に設定してもよい。たとえば、図１３の例では、マークＭ３で示される他の車両が位置すると考えられる方向（つまり車両１の右後方）に運転者３０２の視線が向いたことが検出された場合に第１の通知や第２の通知などの出力が停止されるように条件設定が行われてよい。同様に、図１７の例では、マークＭ５で示される人間が位置すると考えられる方向（つまり車両１の左後方）に運転者３０２の視線が向いたことが検出された場合に第１の通知や第２の通知などの出力が停止されるように条件設定が行われてよい。このような条件設定を行えば、より確実に、運転者３０２に注意対象物の有無を確認させることができる。

以上、本発明の実施形態および変形例を説明したが、上述した実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上述した実施形態および変形例は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態および変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 車両
９ 音声出力装置（通知部）
１４、２１４、３１４ ＥＣＵ（運転支援装置）
２５ｃ 表示装置
４０１ 認識処理部
４０２ 運転支援処理部
４０３ 表示処理部
４０４ 検出処理部
４０５、２４０５、３４０５ 出力処理部

Claims (6)

1. 車両の周囲の状況を認識する認識処理部と、
   前記認識処理部によって認識された前記車両の周囲の状況に応じて運転支援制御を実行する運転支援処理部と、
   前記車両の周囲の状況が変化した場合に、前記車両の周囲の状況の変化を表示部に表示する表示処理部と、
   前記車両の運転者の視線に関する情報を検出する検出処理部と、
   前記車両の周囲の状況が変化した場合に、前記表示部とは別の通知部を用いて、前記車両の周囲の状況が変化したことを前記運転者に通知する第１の通知を出力し、前記第１の通知を出力した後、前記検出処理部による検出結果に基づき、前記運転者の視線が前記表示部に向いていることが検出されない場合に、前記通知部を用いて、前記車両の周囲の状況が変化したことを前記運転者に再度通知する第２の通知を出力する出力処理部とを備える、運転支援装置。
2. 前記出力処理部は、前記運転者の視線が前記表示部に向いていることが検出されるまで、前記第２の通知を繰り返し出力する、請求項１に記載の運転支援装置。
3. 前記出力処理部は、前記第２の通知を、前記第１の通知とは異なる出力形態で出力するとともに、前記第２の通知を２回以上出力する場合、２回目以降の前記第２の通知を、過去に出力した前記第２の通知とは異なる出力形態で出力する、請求項２に記載の運転支援装置。
4. 前記出力処理部は、前記第２の通知を２回以上出力する場合、１回目の前記第２の通知を出力した後においては、予め設定された回数まで前記第２の通知を繰り返し出力する、請求項２または３に記載の運転支援装置。
5. 前記出力処理部は、前記第２の通知を２回以上出力する場合、１回目の前記第２の通知を出力した後においては、前記検出処理部によって前記運転者の視線が前記表示部に向いていることが検出され、かつ、前記運転者が所定の能動的な目の操作を行ったことが検出されるまで、前記第２の通知を繰り返し出力する、請求項２または３に記載の運転支援装置。
6. 前記通知部は、音を出力可能な音出力部を含み、
   前記出力処理部は、前記音出力部を用いて、前記第１の通知および前記第２の通知を音で出力する、請求項１〜５のいずれか１項に記載の運転支援装置。

Images