JP5399777B2 - 瞬目計測装置及び瞬目計測方法 - Google Patents

Description

本発明は、計測対象者の瞬目動作に基づいて計測対象者の生体状態を判定するための瞬目計測装置及び瞬目計測方法に関する。

近年、ＶＤＴ作業等による眼疲労や車の運転等の作業による疲労と、眼の運動との関係が注目を集めている。例えば、特許文献１には、眼性疲労の状態を推定するパラメータとして、瞬目の開始時の速度及び加速度を利用することが記載されている。また、特許文献２には、眼性疲労の状態を推定するパラメータとして、瞬目の回数や頻度を利用することが記載されている。また、非特許文献１には、眠気等による運転者の意識低下状態を検知・推定するためのパラメータとして、瞬目開始から閉眼状態を経て再び開眼するまでの時間（すなわち１回の瞬目動作が完了するまでの時間）を利用することが記載されている。

特開平８−２８９３２７号公報 特許第３３４８９５６号公報 足立和正、他３名、「ドライバの意識低下検知のための動画像処理によるまばたき計測」、電気学会論文誌Ｃ（電子・情報・システム部門誌）、電気学会、２００４年、第１２４巻、第３号、ｐ．７７６−７８３

ところで、特許文献１，２及び非特許文献１に記載された装置は、ＣＣＤカメラにより取得した顔画像に基づいて各パラメータを算出している。しかしながら、現在の一般的なＣＣＤカメラは３０フレーム／秒といった低速での撮像しかできない。この場合、１フレーム当たりの所要時間は約３３ミリ秒である。一方、人間が瞬目に要する時間（瞬目開始から閉眼状態を経て再び開眼するまで）は１００〜３００ミリ秒程度であり、ＣＣＤカメラでは３〜１０フレームの画像しか得られないので、瞬目動作を精度良く計測することは困難である。従って、特許文献１，２又は非特許文献１に記載された装置においては、疲労状態や覚醒状態等の生体状態の判定に関する信頼性が低いという問題があった。また、もうひとつの課題として、これまでの事例の多くは、自然瞬目を対象としたものであったが、自然瞬目は発生頻度が低く、計測に時間を要したり、統計ばらつきの影響を受けやすいなどの課題があった。

そこで、本発明は、上記した問題点を鑑みてなされたものであり、信頼性の高い瞬目計測装置及び瞬目計測方法を提供することを目的とする。

本発明者らは、１ｋＨｚ以上といった極めて高速なフレームレートを有する撮像装置を用いて瞬目動作を計測することによって、計測対象者の生体状態を効率的に判定する方法について、これまで知られていなかった事実を突き止めた。具体的には、瞬目動作に関する瞬目特徴量として、閉眼時の最大速度、開眼状態から閉眼状態に至るまでの時間、閉眼状態の維持時間、開眼時の最大速度、閉眼状態から開眼状態に至るまでの時間、瞬目前後における閉眼位置及び開眼位置、開眼状態から閉眼状態に至るまでの上眼瞼の縁部の移動量、及び閉眼状態から開眼状態に至るまでの上眼瞼の縁部の移動量等を算出し、疲労状態等の生体状態との相関を比較したところ、瞬目動作の種類によってその判定方法を変更することが必要であることを見出した。本発明では、このような瞬目動作の種類のうち、単発の瞬目動作である単発随意瞬目動作と連続した瞬目動作である連続随意瞬目動作との２つのタスクについて計測を行うことで、信頼性の高い判定結果を得られる瞬目計測装置及び瞬目計測方法を提案する。

本発明は、計測対象者の瞬目動作に基づいて計測対象者の生体状態を判定するための瞬目計測装置であって、計測対象者の眼を撮像する撮像手段と、連続随意瞬目動作の計測タイミングにおいて、計測対象者に前記連続随意瞬目動作を行わせるための指示を出す第１の指示手段と、連続随意瞬目動作の計測タイミング中に撮像手段により撮像された眼の画像に基いて、連続随意瞬目動作に関する第１の特徴量を算出する第１の特徴量算出手段と、第１の特徴量算出手段により算出された第１の特徴量に基づいて、計測対象者の生体状態を判定する生体状態判定手段と、を備えることを特徴とする。

この瞬目計測装置によれば、計測対象者の生態状態が反映されやすい連続随意瞬目動作について、その特徴量を算出して評価することにより、単発随意瞬目動作の特徴量を評価する場合と比べて、計測対象者の生体状態に対するより高精度な判定が可能となるので、生体状態の判定結果に係る信頼性の向上を図ることができる。

また、撮像手段により撮像された眼の画像に基づいて、単発随意瞬目動作に関する第２の特徴量を算出する第２の特徴量算出手段を更に備え、生体状態判定手段は、第１の特徴量算出手段により算出された第１の特徴量と第２の特徴量算出手段により算出された第２の特徴量とに基づいて、計測対象者の生体状態を判定することが好ましい。

このような構成によれば、単発随意瞬目動作と連続随意瞬目動作という特性の異なる瞬目動作について、第１，第２の特徴量をそれぞれ算出して評価することにより、計測対象者の生体状態に対する更に高精度な判定が可能となるので、生体状態の判定結果に係る信頼性の向上を図ることができる。

また、第１の特徴量算出手段は、第１の特徴量として連続随意瞬目動作における開眼時上眼瞼位置を算出し、第２の特徴量算出手段は、第２の特徴量として単発随意瞬目動作における開眼時上眼瞼位置を算出することが好ましい。計測対象者が疲労状態である場合、複数回の単発随意瞬目動作及び連続随意瞬目動作において開眼時上眼瞼位置にばらつきが生じやすくなるので、特徴量として開眼時上眼瞼位置を算出することで、より高精度な計測対象者の生体状態の判定が可能となる。

また、第１の特徴量算出手段は、第１の特徴量として連続随意瞬目動作における閉眼速度を算出し、第２の特徴量算出手段は、第２の特徴量として単発随意瞬目動作における閉眼速度を算出することが好ましい。計測対象者が疲労状態である場合、単発随意瞬目動作及び連続随意瞬目動作において閉眼速度が減少しやすくなるので、特徴量として閉眼速度を算出することで、より高精度な計測対象者の生体状態の判定が可能となる。

また、第１の特徴量算出手段は、第１の特徴量として連続随意瞬目動作における開眼速度を算出し、第２の特徴量算出手段は、第２の特徴量として単発随意瞬目動作における開眼速度を算出することが好ましい。計測対象者が疲労状態である場合、単発随意瞬目動作及び連続随意瞬目動作において開眼速度が減少しやすくなるので、特徴量として開眼速度を算出することで、より高精度な計測対象者の生体状態の判定が可能となる。

本発明は、計測対象者の瞬目動作に基づいて計測対象者の生体状態を判定するための瞬
目計測方法であって、連続随意瞬目動作の計測タイミングにおいて、計測対象者に連続随意瞬目動作を行わせるための指示を出す指示工程と、連続随意瞬目動作の計測タイミング中に計測対象者の眼を撮像する撮像工程と、撮像手段により撮像された眼の画像に基づいて、連続随意瞬目動作に関する第１の特徴量を算出する第１の特徴量算出工程と、第１の特徴量算出工程において算出された第１の特徴量に基づいて、計測対象者の生体状態を判定する生体状態判定工程と、を含むことを特徴とする。

この瞬目計測方法によれば、計測対象者の生態状態が反映されやすい連続随意瞬目動作について、その特徴量を算出して評価することにより、単発随意瞬目動作の特徴量を評価する場合と比べて、計測対象者の生体状態に対するより高精度な判定が可能となるので、生体状態の判定結果に係る信頼性の向上を図ることができる。また、赤外照明と波長選択ミラーの組み合わせにより、人間が外界を見ている状態を、本装置を用いて実時間でモニタすることのできる構成も実現でき、運転時の集中力判断や作業中の疲労度計測などにも対応が可能となる。

本発明によれば、信頼性の高い瞬目計測装置及び瞬目計測方法を提供することができる。

本発明による瞬目計測装置の一実施形態を示す概略図である。 本実施形態において用いられる撮像部の内部構成を示す図である。 光検出部と、アンプ、Ａ／Ｄ変換器、及び瞼抽出処理部との電気的接続関係を示す図である。 （ａ）（ｂ）瞼抽出処理部における、画像データに基づく眼瞼の縁部の検出方法を示す図である。 （ａ）は上眼瞼の縁部の位置の時間変化を示す図であり、（ｂ）は上眼瞼の縁部の移動速度の時間変化を示す図である。 瞬目特徴量の他の例について説明するための図である。 （ａ）は単発随意瞬目動作における上眼瞼の縁部の位置の時間変化を示す図であり、（ｂ）は単発随意瞬目動作における上眼瞼の縁部の移動速度の時間変化を示す図である。 （ａ）は連続随意瞬目動作における上眼瞼の縁部の位置の時間変化を示す図であり、（ｂ）は連続随意瞬目動作における上眼瞼の縁部の移動速度の時間変化を示す図である。 （ａ）は、単発随意瞬目動作におけるＶＤＴ作業時間と閉眼／開眼速度との関係を示すグラフであり、（ｂ）は、連続随意瞬目動作におけるＶＤＴ作業時間と閉眼／開眼速度との関係を示すグラフである。 瞬目計測装置の動作に関するフローチャートである。 本発明による瞬目計測装置の他の実施形態を示す概略図である。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。尚、各図において同一又は相当部分には同一符号を付し、重複する説明を省略する。

図１は、本発明による瞬目計測装置の第１の実施形態を示す概略図である。本実施形態に係る瞬目計測装置１は、計測対象者が行う単発随意瞬目動作と連続随意瞬目動作とを計測することで、計測対象者の疲労状態や覚醒状態等の生態状態を判定するものである。ここで、単発随意瞬目動作とは、計測対象者が意識して行う随意瞬目動作のうち、一定の時間毎に行う単発の瞬目動作（例えば１秒間に１回程度の瞬目動作）であり、連続随意瞬目動作とは、随意瞬目動作のうち、一定時間連続で行う瞬目動作（例えば１秒間に４回程度の頻度で連続して行う瞬目動作）である。

図１を参照すると、瞬目計測装置１は、照明２、ダイクロイックミラー３、集光レンズ４、撮像部（撮像手段）５を備えている。更に、瞬目計測装置１は、瞼抽出処理部６、及び瞼開閉計測部（第１の特徴量算出手段，第２の特徴量算出手段，生体状態判定手段）７、指示部（第１の指示手段、第２の指示手段）１０、及びスピーカ１１を備えている。なお、集光レンズ４、撮像部５、瞼抽出処理部６、及び瞼開閉計測部７は、カメラ８の内部に収容されている。

照明２は、計測対象者の眼１００及びその周辺を照らす照明手段であり、例えば赤外光を発生する複数のＬＥＤによって好適に構成される。照明２が眼１００及びその周辺へ赤外光Ｌ１を照射することにより、眼１００及びその周辺において赤外光Ｌ１が反射して光像Ｌ２が生じる。なお、照明２としては赤外光ＬＥＤに限らず他の光源を用いることができるが、高速撮像時には、眼１００の様子などを照らし出すのに充分な光量の可視光を発光すると被験者にとって眩しいため、赤外光源を用いることが好ましい。

ダイクロイックミラー３は、眼１００及びその周辺からの光像Ｌ２を透過して、該光像Ｌ２を撮像部５の光検出部５１に入射させるように配置されている。また、ダイクロイックミラー３は、眼１００と撮像部５とを結ぶ光軸の脇に設置された視標９を計測対象者が視認可能なように、視標９と眼１００とを光学的に結合している。視標９は、例えば可視光を発生するＬＥＤとピンホールマスクとを組み合わせて輝点パターンを発生するように構成されるとよい。ダイクロイックミラー３は、視標９から出射された可視光Ｌ３を眼１００へ向けて反射する。これにより、視標９を計測対象者に提示して眼１００の角膜位置を一定に維持しつつ、眼１００及びその周辺を撮像することができる。なお、視標９とダイクロイックミラー３との間には、ピント調整用のレンズ９ａが設けられていると尚良い。

集光レンズ４は、光像Ｌ２を集光して撮像部５の光検出部５１上に結像させるためのレンズである。集光レンズ４は、ダイクロイックミラー３と撮像部５との間に配置されている。本実施形態の集光レンズ４は、後述する撮像部５が眼１００の全体を含む画像を取得できるように、眼１００の眼窩全体が撮像部５の画角に入るように構成されている。

撮像部５は、眼１００からの光像Ｌ２を撮像するための手段である。撮像部５は、二次元状に配列された複数の画素を含む光検出部５１を有しており、光検出部５１に入射した光像Ｌ２を各画素において電気信号に変換することにより、光像Ｌ２に関する画素毎の入射光量を示す画像データを生成する。撮像部５は、生成した画像データを表示装置や映像出力端子といった出力手段へ出力するとともに、画像データを瞼抽出処理部６に提供する。

瞼抽出処理部６は、撮像部５から提供された画像データに基づいて、該画像データにおける眼瞼の縁部１０１を検出して眼瞼位置情報を生成する。また、瞼開閉計測部７は、瞼抽出処理部６から提供された眼瞼位置情報の時間変化に基づいて、瞼位置の変化量やその移動速度等を瞬目動作に関する特徴量である瞬目特徴量（第１の特徴量，第２の特徴量）として算出する。瞼抽出処理部６及び瞼開閉計測部７は、例えば電気回路の他、中央演算処理装置やメモリを有するコンピュータ内部でソフトウェアとして実現される。

指示部１０は、カメラ８と電気的に接続されており、スピーカ１１からの音声出力により計測対象者に各種指示を出すものである。指示部１０は、所定の連続随意瞬目動作の計測タイミングにおいて、計測対象者に連続随意瞬目動作を行わせるための指示（なるべく頻繁に瞬目を行わせる指示）を出す。また、指示部１０は、所定の単発随意瞬目動作の計測タイミングにおいて、計測対象者に単発随意瞬目動作を行わせるための指示（一定の間隔を置いて瞬目を行わせる指示）を出す。

図２は、本実施形態において用いられる撮像部５の内部構成を示す図である。本実施形態の撮像部５は、１ｋＨｚ以上といった極めて高速なフレームレートを有する撮像装置であり、このような撮像装置としては、例えば浜松ホトニクス製のインテリジェントビジョンシステム（ＩＶＳ）カメラが挙げられる。撮像部５は、光検出部５１、増幅部５３、Ａ／Ｄ変換部５５、及びスイッチ部５７を有している。本実施形態においては、光検出部５１はいわゆるＭＯＳ型の撮像素子であり、二次元状（ｍ行×ｎ列）に配列された複数の画素５１ａを有している。複数の画素５１ａのそれぞれは、入射した光の光量に応じた電荷Ｑを生成する。

増幅部５３は、光検出部５１の行数に対応するｍ個のアンプ５３ａを有している。ｍ個のアンプ５３ａは、それぞれ光検出部５１の画素５１ａの対応する行と電気的に接続されており、ｎ列の画素５１ａから電荷Ｑを順次受け取る。そして、アンプ５３ａは、電荷Ｑを増幅するとともに電荷Ｑを電圧信号である画像信号Ｓ１に変換する。また、ｍ個のアンプ５３ａは、それぞれ図示しない制御部と電気的に接続されており、該制御部からの増幅率制御信号Ｓ３に従って、電荷Ｑを画像信号Ｓ１に変換する際の増幅率を変化させることができる。

Ａ／Ｄ変換部５５は、光検出部５１の行数に対応するｍ個のＡ／Ｄ変換器５５ａを有している。ｍ個のＡ／Ｄ変換器５５ａは、対応するｍ個のアンプ５３ａとそれぞれ電気的に接続されており、電圧信号（アナログ信号）である画像信号Ｓ１をアンプ５３ａから受けてディジタル信号である画像データＳ２に変換する。なお、本実施形態ではディジタル信号に変換された画像データＳ２を撮像部５からの画像データとしているが、アナログ信号である画像信号Ｓ１を撮像部５からの画像データとして用いてもよい。

スイッチ部５７は、光検出部５１の行数に対応するｍ個のスイッチ５７ａを有している。ｍ個のスイッチ５７ａは、対応するｍ個のＡ／Ｄ変換器５５ａと瞼抽出処理部６との間に設けられており、Ａ／Ｄ変換器５５ａと瞼抽出処理部６との接続／非接続を制御する。スイッチ５７ａが接続状態になると、Ａ／Ｄ変換器５５ａからの画像データＳ２が瞼抽出処理部６へ提供される。ｍ個のスイッチ５７ａはそれぞれ瞼抽出処理部６と電気的に接続されており、個別に接続／非接続が制御される。

ここで、光検出部５１及びその周辺回路についてさらに詳しく説明する。図３は、光検出部５１と、アンプ５３ａ、Ａ／Ｄ変換器５５ａ、及び瞼抽出処理部６との電気的接続関係を示す図である。図３を参照すると、光検出部５１は、フォトダイオードといった光電変換素子により構成される複数の画素５１ａを有している。そして、光検出部５１は、複数の画素５１ａに対応する複数のコンデンサ５１ｂ及び複数の読み出し用スイッチ５１ｃを有している。画素５１ａの光電変換素子とコンデンサ５１ｂとは互いに並列に接続されており、光電変換素子及びコンデンサ５１ｂの一端に読み出し用スイッチ５１ｃの一端が接続されている。読み出し用スイッチ５１ｃの他端は、同一行に含まれる他の読み出し用スイッチ５１ｃの他端と共に、アンプ５３ａの入力端に接続されている。読み出し用スイッチ５１ｃは、それぞれ図示しない制御部と電気的に接続されており、該制御部からの制御信号Ｓ４に従って個別に接続／非接続が制御される。アンプ５３ａの出力端はＡ／Ｄ変換器５５ａの入力端と電気的に接続されており、Ａ／Ｄ変換器５５ａの出力端は瞼抽出処理部６の入力端と電気的に接続されている。

図３に示した光検出部５１及びその周辺回路の動作は、次のとおりである。光検出部５１に光像Ｌ２が入射すると、各画素５１ａ毎の光像Ｌ２の入射光量に応じた電荷がコンデンサ５１ｂに蓄積される。制御部からの指示に応じて読み出し用スイッチ５１ｃが各行において順次接続されると、コンデンサ５１ｂに蓄積された電荷Ｑがアンプ５３ａに順次送られる。電荷Ｑは、アンプ５３ａによって電圧信号に変換されるとともに増幅されて画像信号Ｓ１となる。画像信号Ｓ１は、Ａ／Ｄ変換器５５ａによってアナログ信号からディジタル信号へ変換されて画像データＳ２となる。画像データＳ２は、瞼抽出処理部６へ提供される。

なお、瞼抽出処理部６における演算を高速に行うために、例えば撮像部５が各画素５１ａのそれぞれに対応する並列演算回路をさらに有することが好ましい。このような並列演算回路は、例えばＡ／Ｄ変換器５５ａの後段に接続される。

図４（ａ）及び（ｂ）は、瞼抽出処理部６における、画像データＳ２に基づく眼瞼の縁部の検出方法を示す図である。図４（ａ）は画像データＳ２を示しており、画像データＳ２には図１に示した眼１００に対応する画像Ｄ１が含まれている。本実施形態の瞼抽出処理部６は、まず、画像データＳ２において最も暗い暗部領域Ｄ２を抽出する。この暗部領域Ｄ２は、画像データＳ２において眼１００の角膜（もしくは瞳孔）に相当する領域である。暗部領域Ｄ２の抽出は、例えば図４（ａ）に示すように眼瞼の開閉方向（すなわち顔の上下方向）を長手方向とする領域Ａ１及びＡ２を設定し、領域Ａ１及びＡ２における輝度ヒストグラム（輝度分布）の相互比較に基づいて行うとよい。図４（ｂ）は、領域Ａ１及びＡ２における輝度ヒストグラムの一例を示すグラフである。図４（ｂ）において、グラフＧ１は領域Ａ１における輝度ヒストグラムを示しており、グラフＧ２は領域Ａ２における輝度ヒストグラムを示している。瞼抽出処理部６は、図４（ｂ）におけるグラフＧ１及びＧ２を比較することにより、グラフＧ１に含まれる暗部領域Ｄ２を判定することができる。

続いて、瞼抽出処理部６は、暗部領域Ｄ２を通り眼瞼の開閉方向を長手方向とする領域（本実施形態では領域Ａ１）の輝度ヒストグラムに基づいて、眼瞼の縁部１０１（図１参照）に相当する画像部分Ｄ３、Ｄ４を検出する。本実施形態の瞼抽出処理部６は、図４（ｂ）に示すグラフＧ１において輝度が急激に変化するエッジ部分Ｅ１、Ｅ２を抽出することにより、このような画像部分Ｄ３、Ｄ４を検出する。そして、眼瞼の開閉方向における画像部分Ｄ３、Ｄ４の位置を、眼瞼位置情報として瞼開閉計測部７へ提供する。なお、瞬目の際には上眼瞼の運動量が下眼瞼より大きいので、瞼抽出処理部６は、上眼瞼の縁部（画像部分Ｄ３）を検出して眼瞼位置情報を生成することが好ましい。これにより、眼瞼位置情報をより精度良く生成できる。

また、眼瞼位置に関するその他の判定方法として、例えば、図４（ｂ）に示すグラフＧ１，Ｇ２において、輝度ヒストグラムが急峻に変化するエッジ部分Ｅ１，Ｅ２の位置を相互に比較し、共に任意の範囲内におさまる場合に当該位置を瞼位置として瞼抽出処理部６が判定しても良い。この場合、輝度値ヒストグラム（Ｇ１、Ｇ２）の変化分が、あらかじめ設定された閾値ｔｈと比較されることにより、上眼瞼位置及び下瞼位置を抽出することが可能となる。その他、眼瞼位置を求めるその他の演算方法として、輝度ヒストグラムを時間方向で比較することによって動いた箇所を求める方法や、ブロックマッチング法やオプティカルフロー法を用いてもよい。

図５は、眼瞼位置情報の時間変化に基づいて瞼開閉計測部７が瞬目特徴量を算出する際の算出方法の例を示す図である。図５において、（ａ）は上眼瞼の縁部の位置の時間変化を示しており、（ｂ）は上眼瞼の縁部の移動速度の時間変化（すなわち（ａ）に示すグラフの時間微分値）を示している。まず、瞬目特徴量として、開眼状態から閉眼状態に至る速度である閉眼速度、閉眼状態から開眼状態に至る速度である開眼速度、及びこれらに相当する数値を算出する場合について説明する。

なお、図５において、時刻ｔ１は瞬目に置ける閉眼開始タイミングを示し、時刻ｔ２は閉眼完了タイミングを示し、時刻ｔ3は開眼開始タイミングを示し、時刻ｔ4は開眼完了タイミングを示す。また、期間Ｔ６は閉眼期間であり、眼瞼は閉じた状態となっている。

例えば、図５（ａ）及び（ｂ）に示すように、瞼開閉計測部７は、瞬目の際の閉眼開始時（時刻ｔ１）から閉眼完了時（時刻ｔ２）までの期間Ｔ５における眼瞼の縁部の最大移動速度を算出し、これを閉眼速度として提示する。同様に、瞼開閉計測部７は、瞬目の際の開眼開始時（時刻ｔ３）から開眼完了時（時刻ｔ４）までの期間Ｔ７における眼瞼の縁部の最大移動速度を算出し、これを開眼速度として提示する。具体的には、瞼開閉計測部７は、図５（ａ）に示す眼瞼位置情報を微分することにより、上眼瞼の縁部の移動速度についての遷移情報（図５（ｂ））を求める。そして、この遷移情報の期間Ｔ５における移動速度の最大値Ｖmax１を、閉眼速度として外部に提示する。同様に、遷移情報の期間Ｔ７における移動速度の最大値Ｖmax２を、開眼速度として外部に提示する。なお、閉眼開始タイミング（時刻ｔ１）及び開眼完了タイミング（時刻ｔ４）は、例えば上眼瞼の速度が図５（ｂ）に示す閾値速度Ｖthを下回る（又は上回る）ことによって知ることができる。また、閉眼完了タイミング（時刻ｔ２）および開眼開始タイミング（時刻ｔ３）は、例えば上眼瞼の速度が図５（ｂ）に示す閾値速度Ｖthを下回る（又は上回る）ことによって知ることができる。

また、瞼開閉計測部７は、閉眼速度及び開眼速度に相当する数値として、閉眼速度と開眼速度との比、すなわち［開眼速度］／［閉眼速度］もしくは［閉眼速度］／［開眼速度］を算出してもよく、閉眼速度と開眼速度との差、すなわち［開眼速度］−［閉眼速度］もしくは［閉眼速度］−［開眼速度］を算出してもよい。このような数値を採用することにより、個人差や計測バラツキなどの影響を抑えた瞬目特徴量を算出することが可能となる。

瞬目特徴量の他の例について、図６を参照しながら説明する。図６に示すグラフＧ３は瞼位置の遷移（左目盛）であり、グラフＧ４は瞼速度の遷移（右目盛）である。本実施形態に係る瞬目計測装置１は、瞬目時の瞼の詳細な位置情報を計測値として出力できるため、以下のような瞬目特徴量を算出することができる。
１．瞬目前上瞼位置（開眼時上眼瞼位置）：閉眼前における上瞼位置、すなわち閉眼前の瞼速度がＶth以下の時刻における上瞼位置
２．閉眼時上瞼位置：閉眼動作と開眼動作との間における上瞼位置、すなわち閉眼完了タイミングと閉眼開始タイミングとの間に挟まれた瞼速度がＶth以下の時刻における上瞼位置
３．瞬目後上瞼位置（開眼時上眼瞼位置）：開眼後における上瞼位置、すなわち開眼後の瞼速度がＶth以下の時刻における上瞼位置
４．閉眼時上眼瞼変化量（Ｈ１）：瞬目前瞼位置と閉眼時瞼位置との差
５．開眼時上眼瞼変化量（Ｈ２）：閉眼時瞼位置と瞬目後瞼位置との差
６．閉眼時最大速度時刻（ｔa）：閉眼速度の絶対値が最大となる時刻
７．閉眼／開眼時極小速度時刻（ｔb）：閉眼動作から開眼動作へ移る際の、瞼位置及び瞼速度が極小となる時刻
８．開眼時最大速度時刻（ｔc）：開眼速度の絶対値が最大となる時刻
９．閉眼時１０％時刻（ｔd１０）：瞼位置が、閉眼前の瞼位置から閉眼後の瞼位置までの距離の１０％に達した時刻
１０．閉眼時５０％時刻（ｔd５０）：瞼位置が、閉眼前の瞼位置から閉眼後の瞼位置までの距離の５０％に達した時刻
１１．閉眼時９０％時刻（ｔd９０）：瞼位置が、閉眼前の瞼位置から閉眼後の瞼位置までの距離の９０％に達した時刻
１２．開眼時１０％時刻（ｔe１０）：瞼位置が、開眼前の瞼位置から開眼後の瞼位置までの距離の１０％に達した時刻
１３．開眼時５０％時刻（ｔe５０）：瞼位置が、開眼前の瞼位置から開眼後の瞼位置までの距離の５０％に達した時刻
１４．開眼時９０％時刻（ｔe９０）：瞼位置が、開眼前の瞼位置から開眼後の瞼位置までの距離の９０％に達した時刻

さらに、上記各時刻より、下記の瞬目特徴量を算出することも可能となる。
１５．閉眼時間：（閉眼時１０％時刻（ｔd１０）と閉眼時９０％時刻（ｔd９０）との時間差）
１６．開眼時間：（開眼時１０％時刻（ｔe１０）と開眼時９０％時刻（ｔe９０）との時間差）

また、閉眼／開眼時の特徴を示すために、下記の瞬目特徴量を算出することも可能となる。
１７．閉眼時の比：（ｔd５０−ｔd９０）／（ｔd１０−ｔd５０）
１８．開眼時の比：（ｔe５０−ｔe９０）／（ｔe１０−ｔe５０）
１９．閉眼時の差：（ｔd５０−ｔd９０）−（ｔd１０−ｔd５０）
２０．開眼時の差：（ｔe５０−ｔe９０）−（ｔe１０−ｔe５０）
また、ここまで、瞬目特徴量として、速度に関する指標を用いたが、速度の時間微分である加速度に関する特徴量を用いることもできる。

瞼開閉計測部７は、以上のように算出されたｎ回の瞬目動作（ｎは２以上の自然数）に係る瞬目特徴量について代表値を算出する。このような代表値としては、対象となる瞬目特徴量をＸとした場合におけるｎ回分（ｎは２以上の自然数）の瞬目特徴量Ｘ１〜Ｘｎの平均値Ｘave、瞬目特徴量Ｘ１〜Ｘｎの最大値Ｘmax、瞬目特徴量Ｘ１〜Ｘｎの最小値Ｘmin、及び下記の式（１）で表される瞬目特徴量Ｘ１〜ＸｎのばらつきＸstd等が挙げられる。

Ｘstd＝｛Σ（Ｘi−Ｘave）2／n(n-1)｝(i=1,・・・,n)・・・（１）

瞼開閉計測部７は、代表値が所定の連続随意瞬目動作の計測タイミングにおいて算出されたものである場合、この代表値を連続随意瞬目動作に関する第１の特徴量の代表値であると認識する。瞼開閉計測部７は、予め設定された第１の特徴量用の評価パターンと算出した第１の特徴量の代表値とを比較して、第１の特徴量の評価を行う。

同様に、瞼開閉計測部７は、代表値が所定の単発随意瞬目動作の計測タイミングにおいて算出されたものである場合、この代表値を単発随意瞬目動作に関する第２の特徴量であると認識する。瞼開閉計測部７は、予め設定された第２の特徴量用の評価パターンと算出した第２の特徴量の代表値とを比較して、第２の特徴量の評価を行う。

図７（ａ）は、単発随意瞬目動作における上眼瞼の縁部の位置の時間変化を示しており、図７（ｂ）は単発随意瞬目動作における上眼瞼の縁部の移動速度の時間変化（すなわち（ａ）に示すグラフの時間微分値）を示している。また、図８（ａ）は、連続随意瞬目動作における上眼瞼の縁部の位置の時間変化を示しており、図８（ｂ）は連続随意瞬目動作における上眼瞼の縁部の移動速度の時間変化を示している。なお、図７及び図８においては、複数回の計測結果のグラフを閉眼時最大速度時間ｔaを基準に重ね合わせることでグラフ形状の比較を行っている。また、図７及び図８において、実線はＶＤＴ作業前（疲労のない状態）における複数の瞬目動作の計測結果を示しており、破線は１時間程度のＶＤＴ作業後における複数の瞬目動作の計測結果を示している。

図７及び図８に示すように、単発随意瞬目動作及び連続随意瞬目動作の両方において、ＶＤＴ作業前の瞬目動作は再現性が高く、ＶＤＴ作業後の瞬目は、上眼瞼の縁部の位置変位及び速度変位の両方においてグラフ形状のばらつきが大きくなり再現性が低くなることが分かる。特に、連続随意瞬目動作における開眼時上瞼位置（瞬目前上瞼位置，瞬目後上瞼位置）、閉眼時上瞼位置、深さ（閉眼時上眼瞼変化量Ｈ１，開眼時上眼瞼変化量Ｈ２）のばらつきについてＶＤＴ作業前後の差が顕著となる。また、単発随意瞬目動作及び連続随意瞬目動作の両方において、閉眼時の最大速度（閉眼速度）Ｖmax１及び開眼時の最大速度（開眼速度）Ｖmax２の減少とばらつきの増大とが見出せる。

以上のように、連続随意瞬目動作における第１の特徴量と単発随意瞬目動作における第２の特徴量とはその傾向に差異があるため、それぞれの傾向に応じた評価パターンとの比較を行うことで信頼性の高い瞬目特徴量の評価結果を得ることが可能となる。また、瞬目特徴量として、ＶＤＴ作業前後の差が顕著に現れる閉眼速度、開眼速度、及び開眼時上眼瞼位置（瞬目前上瞼位置，瞬目後上瞼位置）を算出することで、計測対象者の生体状態に対する判定精度の向上が図られる。

瞼開閉計測部７は、第１の特徴量及び第２の特徴量の評価結果に基づいて、計測対象者の生体状態を判定する。このような生体状態としては、疲労状態や眠気に対する覚醒状態の他、意識の集中状態、眼精疾患やアルツハイマー病等の疾患状態等が挙げられる。以下、計測対象者の生体状態として疲労状態を判定する場合について図９を参照して説明する。

図９は、ＶＤＴ作業時間と閉眼／開眼速度との関係を示すグラフである。図９（ａ）は単発瞬目における、ＶＤＴ作業直前（疲労なしの状態）及びＶＤＴ作業を６０分継続した直後のそれぞれにおける、閉眼／開眼速度を示した。図９（ｂ）は連続瞬目における計測結果が示されている。棒グラフの先端に示されている誤差表記は、複数回瞬目の標準偏差（ばらつき）を示している。図９を参照すると、いずれの数字もＶＤＴ前後で大きく変化していることがわかる。例えば、図９（ａ）では、ＶＤＴ前後で、約１/３程度の速度になり、ばらつきは、３〜４倍に増加している。図９（ｂ）でも、同じ傾向が見られた。従って、瞬目特徴量として算出された閉眼／開眼に関する指標を用いることで、計測体対象者の疲労度などの指標化が可能となる。

なお、瞬目動作における開眼動作及び閉眼動作は、その所要時間が５０ミリ秒から２５０ミリ秒程度という極めて高速な現象であり、これらの瞬目特徴量を計測するには、好ましくは、それらの１／１０倍程度（５０ミリ秒の現象を捉える場合には５ミリ秒すなわち２００Ｈｚ）のサンプリング周期での計測が必要となる。このため、従来のＣＣＤカメラ（３０フレーム／秒）では、開眼動作や閉眼動作を高精度かつ正確に計測することは困難であった。上記実施形態では、高いフレームレートを有する撮像装置としてＭＯＳ型の撮像装置を例示したが、これに限定されるものではない。例えば、ＣＣＤカメラの部分読み出し機能（高速部分読み出し）や、まとめ読み出し（ビニング機能）を利用すれば、高フレームレートを実現することが可能となる。

瞬目計測装置１は、このようにして判定された計測対象者の生体状態を外部に提示する。提示先としては、例えば表示装置（ディスプレイ）や各種の疲労軽減装置（ＶＤＴのコントラストや輝度等を調整する装置など）が挙げられる。

図１０は、瞬目計測装置１の動作に関するフローチャートである。図１０に示すように、瞬目計測装置１では、まず撮像工程において、図１に示した眼１００及びその周辺の撮影を撮像部５が行い、画像データを取得する（ステップＳ１）。次に、図４（ａ）に示した暗部領域Ｄ２（黒目部分）を瞼抽出処理部６が抽出し、暗部領域Ｄ２を通り眼瞼の開閉方向を長手方向とする領域Ａ１の輝度ヒストグラム（図４（ｂ））を作成する。そして、瞼抽出処理部６は、この輝度ヒストグラムに基づいて、眼瞼の縁部１０１（図１参照）に相当する画像部分Ｄ３を検出し、画像部分Ｄ３の位置を示す眼瞼位置情報を作成する（ステップＳ２）。

ステップＳ２において眼瞼位置情報が作成されると、指示部１０は、単発随意瞬目動作の計測タイミングであると認識して、計測対象者に連続随意瞬目動作を行わせるための指示を出す（ステップＳ３）。計測対象者が連続随意瞬目動作を行った場合、瞼開閉計測部７は、第１の特徴量算出工程において、眼瞼位置情報の時間変化に基づき第１の特徴量を算出する（ステップＳ４）。瞼開閉計測部７は、所定回数の第１の特徴量を算出した後、これらの第１の特徴量における代表値を算出する（ステップＳ５）。

ステップＳ５において第１の特徴量の代表値が算出されると、指示部１０は、連続随意瞬目動作の計測タイミングであると認識して、計測対象者に単発随意瞬目動作を行わせるための指示を出す（ステップＳ６）。計測対象者が単発随意瞬目動作を行った場合、瞼開閉計測部７は、第２の特徴量算出工程において、眼瞼位置情報の時間変化に基づき第２の特徴量を算出する（ステップＳ７）。その後、瞼開閉計測部７は、第２の特徴量における代表値を算出する（ステップＳ８）。

続いて、瞼開閉計測部７は、第１の特徴量の代表値及び第２の特徴量の代表値に対する評価を行う（ステップＳ９）。瞼開閉計測部７は、第１の特徴量の代表値及び第２の特徴量の代表値の評価結果に基づいて、計測対象者の生体状態を判定する（ステップＳ１０）。

以上説明した瞬目計測装置１によれば、単発随意瞬目動作と連続随意瞬目動作という特性の異なる瞬目動作についてそれぞれ第１，第２の特徴量を算出して評価することにより、単発随意瞬目動作の特徴量のみを評価する場合と比べて、計測対象者の生体状態に対するより高精度な判定が可能となるので、生体状態の判定結果に係る信頼性の向上を図ることができる。また、単発随意瞬目動作及び連続随意瞬目動作を計測することで、比較的簡素な構成及び手順により、生体状態の判定結果に係る信頼性の向上が実現できる。

また、この瞬目計測装置１では、計測対象者に対して単発随意瞬目動作又は連続随意瞬目動作を行わせるための指示を出す指示部１０を備えているため、装置を操作する計測作業者が計測対象者に対して単発随意瞬目動作や連続随意瞬目動作を行わせるための指示を出す必要が無くなるので、計測作業時間の短縮及び計測作業者の労力削減が図られる。また、瞬目計測装置１の計測準備が整った適切なタイミングで自動的に指示を出すことが可能となるので、計測作業の自動化に有利である。

なお、瞬目計測装置１は、単発随意瞬目動作及び連続随意瞬目動作の両方を必ず計測する必要は無く、例えば連続随意瞬目動作の計測のみで生体状態を判定することもできる。この場合、計測対象者の生態状態が反映されやすい連続随意瞬目動作について、その第１の特徴量を算出して評価することにより、単発随意瞬目動作の計測のみで生体状態を判定する場合と比べて、計測対象者の生体状態に対するより高精度な判定が可能となる。

本実施形態による瞬目計測装置１は、次のような応用が可能である。例えば、ＶＤＴ作業や車の運転、製品検査等に従事する者の眼を計測し、開眼速度又は開眼速度に相当する数値が所定の閾値を越えた場合に警告を発して休息を促す等、疲労度モニタとして応用できる。また、瞬目計測装置１により計測される開眼速度又は開眼速度に相当する数値に応じて、環境パラメータ（例えば、ＶＤＴ作業時であれば画面のコントラストや輝度、作業時の部屋の明るさなど）を調整することにより、作業者の疲労度に応じた作業環境の調整を行うことも可能である。また、瞬目計測装置１は小型に構成でき且つ非接触計測が可能なので、携帯電話のカメラ機能やパソコンのＷＥＢカメラなどに組み合わせて手軽な健康度計測装置として利用することもできる。

本発明による瞬目計測装置は、上記した実施形態に限られるものではなく、他に様々な変形が可能である。例えば、用途によっては、被験者が通常の外界を見ながら、同時に瞬目を計測する必要があるが、その場合には、図１１に示すような構成により、ヘッドマウントディスプレイのような形で装着することも可能である。

また、上記実施形態では撮像手段として１ｋＨｚ以上のフレームレートを有する撮像装置（ＩＶＳカメラ）を使用したが、エリアセンサやラインセンサを使用してもよい。ラインセンサを使用する場合、瞬目に伴う眼瞼の位置の変化を検出するために、ラインセンサの長手方向が眼瞼の開閉方向に沿うようにラインセンサを設置するとよい。また、瞬目特徴量は、上述したものに限られない。瞬目特徴量として算出される開眼速度又は開眼速度に相当する数値は上述した３つの数値（最大移動速度、最大移動速度となる時刻を含む所定期間での移動距離、移動速度の半値幅）に限られるものではなく、他の数値を算出／提示してもよい。

また、指示部１０による計測対象者への指示は、音声によるものに限られず、指標の点滅や照明光源の点滅の他、振動、電気刺激、風刺激等の外的刺激により指示する態様であってもよい。また、連続随意瞬目動作及び単発随意瞬目動作の計測の順番は、上述した順番に限られず、どちらが先に計測されてもよい。

１…瞬目計測装置、２…照明、３…ダイクロイックミラー、４…集光レンズ、５…撮像部（撮像手段）、６…瞼抽出処理部、７…瞼開閉計測部（第１の特徴量算出手段，第２の特徴量算出手段，生体状態判定手段）、８…カメラ、９…視標、１０・・・指示部（第１の指示手段、第２の指示手段）、１１・・・スピーカ、５１…光検出部、５１ａ…画素、５３…増幅部、５３ａ…アンプ、５５…変換部、５５ａ…変換器、５７…スイッチ部、５７ａ…スイッチ、Ｄ2…暗部領域、Ｅ1，Ｅ2…エッジ部分、Ｌ１…赤外光、Ｌ２…光像、Ｌ３…可視光。

Claims (6)

1. 計測対象者の瞬目動作に基づいて前記計測対象者の生体状態を判定するための瞬目計測装置であって、
   前記計測対象者の眼を撮像する撮像手段と、
   連続随意瞬目動作の計測タイミングにおいて、前記計測対象者に前記連続随意瞬目動作を行わせるための指示を出す第１の指示手段と、
   前記連続随意瞬目動作の計測タイミング中に前記撮像手段により撮像された前記眼の画像に基づいて、前記連続随意瞬目動作に関する第１の特徴量を算出する第１の特徴量算出手段と、
   前記第１の特徴量算出手段により算出された前記第１の特徴量に基づいて、前記計測対象者の生体状態を判定する生体状態判定手段と、
   を備えることを特徴とする瞬目計測装置。
2. 単発随意瞬目動作の計測タイミングにおいて、前記計測対象者に単発随意瞬目動作を行わせるための指示を出す第２の指示手段と、
   前記単発随意瞬目動作の計測タイミング中に前記撮像手段により撮像された前記眼の画像に基づいて、前記単発随意瞬目動作に関する第２の特徴量を算出する第２の特徴量算出手段と、を更に備え、
   前記生体状態判定手段は、前記第１の特徴量算出手段により算出された前記第１の特徴量と前記第２の特徴量算出手段により算出された前記第２の特徴量とに基づいて、前記計測対象者の生体状態を判定することを特徴とする請求項１に記載の瞬目計測装置。
3. 前記第１の特徴量算出手段は、前記第１の特徴量として前記連続随意瞬目動作における開眼時上眼瞼位置を算出し、
   前記第２の特徴量算出手段は、前記第２の特徴量として前記単発随意瞬目動作における開眼時上眼瞼位置を算出することを特徴とする請求項２に記載の瞬目計測装置。
4. 前記第１の特徴量算出手段は、前記第１の特徴量として前記連続随意瞬目動作における閉眼速度を算出し、
   前記第２の特徴量算出手段は、前記第２の特徴量として前記単発随意瞬目動作における閉眼速度を算出することを特徴とする請求項２又は請求項３に記載の瞬目計測装置。
5. 前記第１の特徴量算出手段は、前記第１の特徴量として前記連続随意瞬目動作における開眼速度を算出し、
   前記第２の特徴量算出手段は、前記第２の特徴量として前記単発随意瞬目動作における開眼速度を算出することを特徴とする請求項１〜請求項４の何れか一項に記載の瞬目計測装置。
6. 計測対象者の瞬目動作に基づいて前記計測対象者の生体状態を判定するための瞬目計測方法であって、
   連続随意瞬目動作の計測タイミングにおいて、前記計測対象者に前記連続随意瞬目動作を行わせるための指示を出す指示工程と、
   前記連続随意瞬目動作の計測タイミング中に前記計測対象者の眼を撮像する撮像工程と、
   前記撮像工程において撮像された前記眼の画像に基づいて、前記連続随意瞬目動作に関する第１の特徴量を算出する第１の特徴量算出工程と、
   前記第１の特徴量算出工程において算出された前記第１の特徴量に基づいて、前記計測対象者の生体状態を判定する生体状態判定工程と、
   を含むことを特徴とする瞬目計測方法。

Images