JP2006251206A - 情報提示装置及び情報提示方法とそのプログラム - Google Patents

Abstract

【課題】実空間上の対象物が移動した後も、少なくとも当該対象物の痕跡を表示することを可能にする。
【解決手段】情報提示装置１のＣＰＵ１１は、領域情報受付プログラム１４ａを実行して、カメラ入力Ｉ／Ｆ１５から入力されたカメラ２の撮影画像を表示装置１９に表示する。そして、入力装置１８から入力される領域情報を受け付け、領域情報記憶エリア１３ａに記憶させる。また、情報提示装置１のＣＰＵ１１は、投影制御プログラム１４ｂを実行して、上記領域情報記憶エリア１３ａに記憶された領域情報をそれぞれ読み出して、投影画像を作成し、作成された投影画像を投影画像記憶エリア１３ｂに記憶すると共に、この投影画像をプロジェクタ出力Ｉ／Ｆ１６からプロジェクタ３に出力する。
【選択図】 図２

Description

この発明は、例えば、プロジェクタ等の投影装置により情報を提示する情報提示装置及び情報提示方法とそのプログラムに関する。

従来、複数の人で情報を共有する手段の一つとして、実物体の上に情報を投影する方法が提案されている（例えば、特許文献１を参照）。これによると、対面でのコミュニケーションに限らず、例えば、遠隔作業支援システムのように遠隔地間で情報を伝達する際にも、話の対象となっている実空間上の物体に関連する情報をプロジェクタで投影することができる。このように、実空間上に視覚的に情報を提示することで、情報を容易にかつ正確に伝達することができる。

特開２００１−２１１３７２号公報

しかしながら、上記従来の情報提示装置のように、実空間に存在する対象物の上に情報を重畳して投影したのち、実空間内の物体が移動した場合、投影された情報だけが提示されたままで、この情報が何に対して付与されたのか不明になる。
この発明は上記事情に着目してなされたもので、その目的とするところは、実空間上の対象物が移動した後も、少なくとも当該対象物の痕跡を表示することを可能とする情報提示装置及び情報提示方法とそのプログラムを提供することにある。

上記目的を達成するためにこの発明に係わる情報提示装置及び情報提示方法とそのプログラムは、撮影装置及び投影装置が配置される空間において、当該空間に存在する対象物に関連する付加情報を上記投影装置により上記空間に提示する情報提示装置であって、上記対象物を上記撮影装置により撮影して得られる第１の画像情報を取得する。そして、上記付加情報の入力を受け付ける手段と、上記取得された第１の画像情報と上記受け付けた付加情報とを合成して第２の画像情報を作成する手段とを備え、作成された第２の画像情報を上記対象物の存在位置に対応付けて、上記投影装置により上記空間に投影させるようにしたものである。

このように構成することにより、実空間上の対象物が移動した後も、対象物に関する情報と対象物との関連性を明確に表すことが可能になる。このため、対象物が移動してしまった場合でも、付加情報のみがそのまま提示されることなく、何に関する付加情報であるか明確に把握させることができる。

また、この発明は次のような各種構成を備えることも特徴とする。
第１の構成は、上記第１の画像情報中の対象物を含む特定の範囲を指定する情報の入力を受け付ける手段と、上記受け付けた特定範囲を指定する情報に基づいて、上記第１の画像情報から上記特定範囲に該当する画像を抽出して第３の画像情報を作成する手段とをさらに備え、上記第２の画像情報を作成する手段は、上記作成された第３の画像情報と上記受け付けた付加情報とを合成して第２の画像情報を作成する。
これにより、対象物の特定範囲にのみ投影画像が表示されるため、対象物と付加情報との関連性を容易に把握することができる。

第２の構成は、上記特定範囲を指定する情報の入力を受け付ける手段は、上記第１の画像情報中の対象物の輪郭を表す情報の入力を受け付けるようにする。
このようにすると、対象物の領域にのみに投影画像が表示されるため、対象物と付加情報との関連性をより確実に把握することができる。

第３の構成は、上記第２の画像情報を作成する手段は、上記第３の画像情報の表示の有無を制御する表示制御手段を備え、上記表示制御手段により表示有りと設定された場合は、上記作成された第３の画像情報と上記受け付けた付加情報とを合成して第２の画像情報を作成し、上記表示制御手段により表示無しと設定された場合は、上記受け付けた付加情報のみからなる第２の画像情報を作成するものである。
このように構成すると、実空間に対象物が存在する場合は、対象物の画像を投影しないようにすることができる。これにより、実空間の対象物に対象物の画像が重畳されて視認性を損なうことがない。

第４の構成は、上記表示制御手段は、上記対象物が上記空間内の上記特定範囲に存在するか否かを判定する対象物検出手段と、上記対象物検出手段により、上記対象物が上記特定範囲に存在しないと判定された場合には上記第３の画像情報を表示有りに設定し、上記対象物が上記特定範囲に存在すると判定された場合には上記第３の画像情報を表示無しに設定する。

これにより、対象物が存在するか否かを検出して、対象物の画像の表示・非表示が自律的に切り替えられるため、対象物に関する情報を対象物と共により確実に伝達することが可能となる。
第５の構成は、上記対象物検出手段は、上記撮影装置により撮影して得られる第４の画像情報と上記第３の画像情報との差分値を算出し、算出された差分値が所定の閾値を超えた場合には上記対象物が存在しないと判定し、上記算出された差分値が所定の閾値を超えない場合には上記対象物が存在すると判定する。
このように構成することにより、新たに他の装置を必要とすることなく実現可能であり、例えば、市販の画像処理アルゴリズムを用いて対象物の存在を簡単に検出することができる。

第６の構成は、空間に存在する対象物を撮影装置により撮影して得られる第１の画像情報を取得する手段を備え、上記第１の画像情報を取得したのち、上記対象物が上記空間内の存在位置に存在するか否かを検出する。この検出により、上記対象物が上記存在位置に存在しないと判定された場合に、上記第１の画像情報を上記対象物の存在位置に対応付けて、投影装置により上記空間に投影させるものである。
このようにすると、付加情報が提示されなくとも、実空間上の対象物が移動した場合に、実空間上に存在した当該対象物の痕跡を明示することができる。

要するにこの発明によれば、実空間上の対象物が移動した後も、少なくとも当該対象物の痕跡を表示することを可能とする情報提示装置及び情報提示方法とそのプログラムを提供することができる。

（第１の実施形態）
図１は、この発明の第１の実施形態に係わる情報提示装置を備える情報提示システムを示す概略構成図である。
この情報提示システムは、情報提示装置１とカメラ２とプロジェクタ３とを備える。カメラ２及びプロジェクタ３は、情報提示装置１にそれぞれ接続されている。また、情報提示装置１には、キーボードやマウス等からなる入力装置１８と液晶表示器（ＬＣＤ）等の表示装置１９とが接続される。

また、カメラ２及びプロジェクタ３は、同図に示すようにカメラ２の撮影範囲とプロジェクタ３の映像投影範囲が一致するように固定されている。例えば、ハーフミラーやミラー、カメラ２やプロジェクタ３のフォーカス・ズーム機能を用いて、カメラ２とプロジェクタ３の光軸と画角を一致させる。この状態で、カメラ２による撮影画像をそのままプロジェクタ３に出力した場合、被写体である対象物５に対象物５の撮影画像が重なって投影される。また、投影付加情報５１は、ユーザが情報提示装置１から入力した対象物５に関連する情報であり、プロジェクタ３により投影される画像、映像またはテキストデータ等で表される。

図２は、この発明の第１の実施形態に係わる情報提示装置１の機能構成を示すブロック図である。
情報提示装置１は、主制御部として中央処理ユニット（ＣＰＵ：Central Processing Unit）１１を備える。このＣＰＵ１１にバス１２を介してデータメモリ１３とプログラムメモリ１４が接続され、さらに、カメラ入力インタフェース（カメラ入力Ｉ／Ｆ）１５と、プロジェクタ出力インタフェース（プロジェクタ出力Ｉ／Ｆ）１６と、入出力インタフェース（入出力Ｉ／Ｆ）１７とが接続される。そして、入出力Ｉ／Ｆ１７には、上述したキーボード等の入力装置１８及びＬＣＤ等の表示装置１９がそれぞれ接続されている。

カメラ入力Ｉ／Ｆ１５は、上記カメラ２との接続インタフェースであり、カメラ２の撮影画像を入力する機能を有する。また、プロジェクタ出力Ｉ／Ｆ１６は、プロジェクタ３との接続インタフェースであり、ＣＰＵ１１の制御のもと、プロジェクタ３に投影画像を出力する。

データメモリ１３は、例えば、ＲＡＭやハードディスクにより構成され、領域情報記憶エリア１３ａと投影画像記憶エリア１３ｂが記憶される。領域情報記憶エリア１３ａには、プロジェクタ３により投影される投影画像を作成するための領域情報が記憶される。図３に領域情報記憶エリア１３ａの構成を示す。

領域情報記憶エリア１３ａに記憶される各領域情報は、領域情報を識別するためのＩＤと、領域画像と、付加情報と、領域座標と、表示フラグとから構成される。領域画像は、カメラ２の撮影画像から対象物５を含む領域を抽出した画像である。付加情報は、画像やテキストデータ等からなる対象物５に関連する付加情報である。領域座標は、上記カメラ２の撮影画像における対象物５の領域を表す座標値である。表示フラグは、領域画像を表示するか否かを“ＯＮ”と“ＯＦＦ”で設定する。

投影画像記憶エリア１３ｂには、上記領域情報記憶エリア１３ａに基づいて、後述する投影制御プログラム１４ｂにより作成されるプロジェクタ３の投影画像が記憶される。また、投影画像記憶エリア１３ｂに記憶された投影画像は、投影制御プログラム１４ｂにより、プロジェクタ出力Ｉ／Ｆ１６を介してプロジェクタ３に出力される。

プログラムメモリ１４には、この発明を実現するための制御プログラムとして、領域情報受付プログラム１４ａと投影制御プログラム１４ｂとが格納される。領域情報受付プログラム１４ａは、上記領域情報を構成するための入力データを受け付け、領域情報記憶エリア１３ａに記憶する機能を有する。また上述したように、投影画像記憶エリア１３ｂには、領域画像を表示するか否かの表示フラグがそれぞれ設けられており、領域情報受付プログラム１４ａは、この表示フラグを“ＯＮ”又は“ＯＦＦ”に更新する処理を行う。

投影制御プログラム１４ｂは、上記領域情報記憶エリア１３ａに記憶される領域情報を読み出して、この読み出された領域情報をもとにプロジェクタ３の投影画像を作成し、作成した投影画像を投影画像記憶エリア１３ｂに記憶すると共に、プロジェクタ出力Ｉ／Ｆ１６からプロジェクタ３に出力する。

次に、以上のように構成された情報提示装置１の動作について説明する。図４は、この情報提示装置１の領域情報受付処理の手順とその内容を示すフローチャートである。
はじめに、ステップＳ４ａにより、情報提示装置１は、カメラ２による対象物５の撮影画像をカメラ入力Ｉ／Ｆ１５から取り込み、入出力Ｉ／Ｆ１７により表示装置１９に出力する。次に、情報提示装置１のＣＰＵ１１は、領域情報受付プログラム１４ａを実行し、キーボードやマウス等の入力装置１８から入力される領域情報（ここでは、付加情報、領域座標、表示フラグ）を入出力Ｉ／Ｆ１７を介して取り込む。付加情報は、対象物５に関する表示情報であり、画像データまたは、キーボード等の入力装置から入力されたテキストデータなどである。領域座標は、例えば、対象物５の撮像画像が表示されている表示装置１９の画面上で、マウス等の入力装置１８により対象物５を包含する領域を移動させ、この移動操作の始点から終点までの軌跡の座標値とする。

次に、ステップＳ４ｃにおいて、上記受け付けた領域座標に従ってカメラ２のよる撮影画像から領域画像を抽出する。そして、ステップＳ４ｄにより、この領域画像と領域座標と付加情報と表示フラグとを各領域情報に固有に発行されるＩＤに対応付けて領域情報記憶エリア１３ａに記憶させる。

次に、上記記憶された領域情報にしたがって、情報提示装置１の情報提示動作について説明する。図５は、この情報提示装置１の領域情報提示処理の手順とその内容を示すフローチャートである。
情報提示装置１のＣＰＵ１１は、投影制御プログラム１４ｂを実行して、先ず、投影画像記憶エリア１３ｂに記憶される投影画像を初期化したのち、ステップＳ５ａ〜Ｓ５ｆにおいて、プロジェクタ３に投影させる投影画像の作成処理を行う。ステップＳ５ｂにおいて、領域情報記憶エリア１３ａから領域情報を読み出す。

そして、ステップＳ５ｃにより、表示フラグが、“ＯＮ”に設定されているか否かを判定する。この判定により、表示フラグが“ＯＮ”の場合は、ステップＳ５ｄに移行して、領域画像を領域座標に従って投影画像に書き込む。続いて、ステップＳ５ｅにおいて付加情報を上記投影画像に書き込む。一方、ステップＳ５ｃの判定において、表示フラグが“ＯＦＦ”の場合は、ステップＳ５ｄの書き込み処理をスキップして、ステップＳ５ｅに移行して、付加情報のみを上記投影画像に書き込む。このステップＳ５ｂ〜Ｓ５ｆの処理を領域情報記憶エリア１３ａに記憶されるすべての各領域情報についてそれぞれ行う。

そして、上述の処理のように投影画像を作成したのち、ステップＳ５ｇにおいて、情報提示装置１のＣＰＵ１１は、作成された投影画像を投影画像記憶エリア１３ｂに記憶させると共に、この投影画像をプロジェクタ出力Ｉ／Ｆ１６によりプロジェクタ３に出力する。かくして、実空間上の対象物５に重畳された領域画像（対象物５の画像）及びこの対象物５に関連する投影付加情報５１がプロジェクタ３により投影される。

このように第１の実施形態では、情報提示装置１のＣＰＵ１１は、領域情報受付プログラム１４ａを実行して、カメラ入力Ｉ／Ｆ１５から入力されたカメラ２の撮影画像を表示装置１９に表示する。そして、入力装置１８から入力される領域情報を受け付け、領域情報記憶エリア１３ａに記憶させる。また、情報提示装置１のＣＰＵ１１は、投影制御プログラム１４ｂを実行して、上記領域情報記憶エリア１３ａに記憶された領域情報をそれぞれ読み出して、投影画像を作成し、作成された投影画像を投影画像記憶エリア１３ｂに記憶すると共に、この投影画像をプロジェクタ出力Ｉ／Ｆ１６からプロジェクタ３に出力するようにしたものである。

したがって第１の実施形態によれば、図１０（ｂ）に示したように、対象物５に関する投影付加情報５１だけでなく、対象物の画像５２も合わせてプロジェクタ３により実際の対象物５に重畳して投影される。従来では、図１０（ａ）のように投影付加情報５１のみが投影されていたので、実際の対象物５が存在しなくなった場合に、投影された投影付加情報５１が何に対する情報であるのか不明となっていた。この発明では、投影付加情報５１と共に対象物の画像５２も表示されているため、何に関する付加情報であるのかを確実に把握させることができる。

また、表示フラグを設定することにより領域画像を表示するか否かを制御できる。このように構成すると、実空間に対象物５が存在する場合は、図１０（ａ）に示すように対象物の画像５２を投影しないようにすることができる。これにより、実空間の対象物５に対象物の画像５２が重畳されることによる視認性の低下を避けることができる。

なお、上記第１の実施形態において、領域座標は、マウス等の入力装置１８の移動軌跡の座標値とするように構成したが、その他にも、入力装置１８から対象物５を選択することで、市販の画像認識アルゴリズムにより対象物５の輪郭を抽出し、抽出された輪郭を表す座標値を領域座標として用いるようにしてもよい。

（第２の実施形態）
図６は、この発明の第２の実施形態に係わる情報提示装置１Ａの機能構成を示すブロック図である。なお、この図は、上記第１の実施形態における情報提示装置１の他の構成例を示すものであり、同図において上記図２と同一部分には同一符号を付して詳しい説明は省略する。
情報提示装置１Ａは、ＣＰＵ１１を備え、このＣＰＵ１１にバス１２を介してデータメモリ１３１とプログラムメモリ１４１が接続され、さらに、カメラ入力Ｉ／Ｆ１５と、プロジェクタ出力Ｉ／Ｆ１６と入出力Ｉ／Ｆ１７とが接続される。そして、上記第１の実施形態と同様に入出力Ｉ／Ｆ１７には入力装置１８と表示装置１９とが接続されている。

データメモリ１３１には、領域情報記憶エリア１３１ａと投影画像記憶エリア１３ｂとカメラ画像記憶エリア１３ｃとが記憶される。領域情報記憶エリア１３１ａに記憶される各領域情報は、領域情報を識別するためのＩＤと、領域画像と、付加情報と、領域座標とから構成される。すなわち、上記第１の実施形態の領域情報記憶エリア１３ａから、表示フラグが削除されたものである。カメラ画像記憶エリア１３ｃには、カメラ入力Ｉ／Ｆ１５から入力されたカメラ２の撮影画像が記憶される。

プログラムメモリ１４１には、領域情報受付プログラム１４ａと投影制御プログラム１４１ｂとに加え、差分算出プログラム１４ｃが格納される。差分算出プログラム１４ｃは、上記カメラ画像記憶エリア１３ｃに記憶されるカメラ画像と領域情報記憶エリア１３１ａに記憶される各領域画像との差分をそれぞれ算出する機能を有する。詳細については、後述する。

このように構成された情報提示装置１Ａの動作について説明する。図７は、この情報提示装置１Ａの領域情報提示処理の手順とその内容を示すフローチャートである。なお、これに先立ち、上記第１の実施形態と同様に図４に示した領域情報受付処理が行われたものとする。

情報提示装置１ＡのＣＰＵ１１は、投影制御プログラム１４ｂを実行して、先ず、投影画像記憶エリア１３ｂに記憶される投影画像を初期化したのち、ステップＳ７ａ〜Ｓ７ｇにおいて、プロジェクタ３に投影させる投影画像の作成処理を行う。ステップＳ７ｂにより、領域情報記憶エリア１３１ａから領域情報（領域画像、領域座標、付加情報）を読み出す。次に、ステップＳ７ｃにおいて、上記読み出された領域情報をもとに、領域画像とカメラ画像記憶エリア１３ｃに記憶されるカメラ画像との領域座標内における画素ごとの差分値の総和を算出する。

そして、ステップＳ７ｄにおいて、上記算出された差分値の総和と予め決められた閾値とを比較判定し、差分値の総和が閾値より大きい場合には、ステップＳ７ｅに移行して、領域画像を領域座標に従って投影画像に書き込む。これに続いて、ステップＳ７ｆにおいて付加情報を上記投影画像に書き込む。一方、ステップＳ７ｄの判定において、差分値の総和が閾値より小さい場合は、ステップＳ７ｄの領域画像の書き込み処理をスキップして、ステップＳ７ｆに移行して、付加情報のみを上記投影画像に書き込む。このステップＳ７ｂ〜Ｓ７ｆの処理を領域情報記憶エリア１３１ａに記憶されるすべての各領域情報についてそれぞれ行う。

そして、上述の処理のように投影画像を作成したのち、ステップＳ７ｈにおいて、情報提示装置１ＡのＣＰＵ１１は、作成された投影画像を投影画像記憶エリア１３ｂに記憶させると共に、この投影画像をプロジェクタ出力Ｉ／Ｆ１６によりプロジェクタ３に出力する。かくして、実空間上の対象物５に重畳された領域画像（対象物５の画像）及びこの対象物５に関連する投影付加情報５１がプロジェクタ３により投影される。

第２の実施形態では、カメラ２から入力される対象物５の撮影画像と領域画像との画素ごとの差分値の総和を算出し、算出された値が予め決められた閾値より大きい場合は、領域画像をプロジェクタ３により投影し、閾値より小さい場合には領域画像を投影しないようにする。つまり、実空間上の対象物５が移動した場合には、領域画像（対象物５の画像）が投影され、実空間上に対象物５が領域情報登録時の位置に存在する場合には、対象物５に領域画像（対象物５の画像）が重畳されることがない。

このような構成であるから、実空間に対象物５が存在するか否かを検出して、対象物５の領域画像の表示／非表示が自律的に切り替えられるため、対象物５に関する投影付加情報５１を対象物５と共により確実に伝達することが可能となる。また、これにより、投影付加情報５１が存在しない場合でも、実空間上に対象物５が存在した痕跡を明示することができる。

また、実空間に対象物５が存在するか否かの検出処理は、カメラ２の撮影画像と上記領域画像との差分値を算出し、算出された差分値が所定の閾値を超えた場合には、上記対象物が存在しないと判定し、算出された差分値が所定の閾値を超えない場合は、上記対象物５が実空間に存在すると判定している。
このように構成することにより、新たに他の装置を必要とすることなく実現可能であり、例えば、市販の画像処理アルゴリズムを用いて対象物の存在を簡単に検出することができる。また、実空間に対象物５が存在するか否かを判定するための閾値にある程度の幅をもたせることで、例えば、照明条件が多少変化しても対象物５を認識することができるため、ある程度の環境の変化に対しても安定した動作が可能である。

さらに、上記判定において、差分算出に用いた画素数、つまり領域座標に含まれる画素数を用いて、（算出された差分値）／（差分算出に用いた画素数）の値を求め、この値が予め設定された閾値を超えるか否かで対象物５の有無を判定するようにしてもよい。これにより、上述した差分値の積算よりも、領域座標に含まれる画素数で正規化された値を用いることで、領域画像の大小にかかわらず、より適切な指標によって対象物５の有無を判定することができる。

なお、上記第２の実施形態では、カメラ２の撮影画像と領域画像とを画像処理により比較させて実空間上の対象物５の有無を判定するように構成したが、対象物５が領域座標に該当する位置に存在するか否かを検出できればよく、例えば、赤外線センサや超音波センサのような他の検出器を使用するようにしてもよい。

（第３の実施形態）
図８は、第３の実施形態に係わる情報提示装置を備えた遠隔作業支援システムの概略構成図である。なお、同図において上記第１の実施形態における図１と同一部分には同一符号を付して詳しい説明は省略する。
この遠隔作業支援システムは、作業現場に配置される情報提示装置１Ｂと遠隔指示者がいるサポートセンタに配置される指示装置６との間を通信ネットワークＮＷを介して接続可能としたものである。上記通信ネットワークＮＷは、有線伝送路、無線伝送路のどちらでもよく、例えば、ＬＡＮ（Local Area Network）やインターネットを含むＷＡＮ（Wide Area Network）を介するように構成してもよい。情報提示装置１Ｂには、第１の実施形態と同様にカメラ２及びプロジェクタ３がそれぞれ接続されている。また、指示装置６には、液晶表示器（ＬＣＤ）などの表示装置とキーボードやマウス等からなる入力装置が接続される。

図９は、図８に示した情報提示装置１Ｂの機能構成を示すブロック図である。なお、この図は、上記第１の実施形態における情報提示装置１の他の構成例を示すものであり、同図において上記図２と同一部分には同一符号を付して詳しい説明は省略する。
情報提示装置１Ｂは、情報提示装置１における入出力Ｉ／Ｆ１７、入力装置１８、及び表示装置１９のかわりに通信インタフェース（通信Ｉ／Ｆ）２０を備える。通信Ｉ／Ｆ２０は、上記通信ネットワークＮＷを経由してサポートセンタに設置される指示装置６との間で通信を行う。また、ＣＰＵ１１に接続されるプログラムメモリ１４２は、領域情報受付プログラム１４２ａと投影制御プログラム１４ｂとを格納する。

領域情報受付プログラム１４２ａは、指示装置６から入力される領域情報を通信Ｉ／Ｆ２０により受信して、領域情報記憶エリア１３ａに記憶する。第１の実施形態で述べたように、投影画像記憶エリア１３ｂには、領域画像を表示するか否かの表示フラグがそれぞれ設けられており、領域情報受付プログラム１４２ａは、指示装置６から送信される表示フラグに基づいて、この表示フラグを“ＯＮ”又は“ＯＦＦ”に更新する処理を行う。

指示装置６は、例えば、パーソナル・コンピュータにより構成され、表示装置と入力装置と通信Ｉ／Ｆとを備える。通信Ｉ／Ｆは、上記通信ネットワークＮＷを経由して作業現場に設置される情報提示装置１Ｂとの間で通信を行う。表示装置は、液晶表示器（ＬＣＤ）等により構成され、情報提示装置１Ｂから送られるカメラ２の撮影画像を表示する。入力装置は、例えば、キーボードやマウスが用いられ、遠隔指示者が領域情報を入力するのに使用される。入力された領域情報は作業装置の通信Ｉ／Ｆから通信ネットワークＮＷを介して情報提示装置１Ｂに送信される。

以上のように構成された遠隔作業支援システムの動作について説明する。情報提示装置１ＢのＣＰＵ１１は、領域情報受付プログラム１４２ａを実行して、作業現場の様子をカメラ２により撮影し、この撮影画像を通信Ｉ／Ｆ２０により通信ネットワークＮＷを介して指示装置６に向けて送信する。指示装置６は、情報提示装置１Ｂから送信されたカメラ２の撮影画像を受信して、表示装置に出力する。

サポートセンタの遠隔指示者は、上記表示装置に表示されたカメラ２の撮影画像から作業現場の様子を把握し、マウス等で対象物５の領域を選択し、この対象物５の領域情報（ここでは、付加情報、領域座標、表示フラグ）を通信ネットワークＮＷを介して情報提示装置１Ｂに送信する。そして、情報提示装置１Ｂは、送信された領域情報を通信Ｉ／Ｆ２０を介して受信する。その後、指示装置６から入力された領域情報にしたがって、第１の実施形態と同様に、上記図４のステップＳ４ｃ〜Ｓ４ｄの処理を行い、領域情報が領域情報記憶エリア１３ａに記憶される。このように記憶された領域情報をもとに、第１の実施形態と同様に投影制御プログラム１４ｂにより、対象物５の画像と共に、投影付加情報５１がプロジェクタ３により投影される。

以上のように第３の実施形態では、情報提示装置１Ｂは、通信Ｉ／Ｆ２０を備え、この通信Ｉ／Ｆ２０により通信ネットワークＮＷを介して指示装置６との間で接続可能である。情報提示装置１ＢのＣＰＵ１１は、領域情報受付プログラム１４２ａを実行して、カメラ２の撮影画像を通信Ｉ／Ｆ２０により指示装置６に送信する。一方、指示装置６は、上記送信されたカメラ２の撮像画像を表示装置に出力する。そして、指示装置６は、遠隔指示者から入力装置により入力された領域情報を通信ネットワークＮＷを介して情報提示装置１Ｂに送信する。情報提示装置１Ｂは、この指示装置６から送信された領域情報を通信Ｉ／Ｆ２０により受信して、領域情報記憶エリア１３ａに記憶するようにしたものである。

これにより、遠隔指示者は、サポートセンタに居ながらにして、作業現場の様子を把握すると共に、対象物５に関連する投影付加情報５１を作業現場に提示することができる。さらに、作業現場の対象物５が存在するか否かを遠隔から確認して、領域画像（対象物５の画像）を表示するか否かを制御することができる。

なお、第３の実施形態では、指示装置６から領域情報として領域座標と付加情報とを情報提示装置１Ｂに送信するように構成したが、表示装置に出力されているカメラ２の撮影画像から領域座標に基づいて領域画像を抽出し、抽出された領域画像と領域座標と付加情報とを送信するようにしてもよい。

この発明は、上記各実施形態に限定されるものではない。例えば、この情報提示装置１は、第３の実施形態に示した遠隔作業支援システム以外にも、例えば、遠隔医療システムや教育支援システムのような様々な用途に適用することができる。また、情報提示装置１の構成、データメモリ１３に記憶される項目、及びプログラムメモリ１４に格納される各プログラムの処理手順とその処理内容についてもこの発明の要旨を逸脱しない範囲で種々に変形して実施できる。

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲でその構成要素を変形して具体化できる。また、上記各実施形態で開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。

この発明の第１の実施形態に係わる情報提示装置を備える情報提示システムを示す概略図。 図１に示す情報提示装置の機能構成を示すブロック図。 図２に示す情報提示装置の領域情報記憶エリアの構成を示す図。 図１に示す情報提示装置の領域情報受付処理の手順とその内容を示すフローチャート。 図１に示す情報提示装置の領域情報提示処理の手順とその内容を示すフローチャート。 この発明の第２の実施形態に係わる情報提示装置を備える情報提示システムを示す概略図。 図６に示す情報提示装置の領域情報提示処理の手順とその内容を示すフローチャート。 この発明の第３の実施形態に係わる情報提示装置を備える遠隔作業支援システムを示す概略図。 図８に示す情報提示装置の機能構成を示すブロック図。 プロジェクタにより投影される画像を示す図。

符号の説明

１，１Ａ，１Ｂ…情報提示装置、２…カメラ２…プロジェクタ、５…対象物、５１…付加情報、１１…ＣＰＵ、１２…バス、１３，１３１…データメモリ、１３ａ，１３１ａ…領域情報記憶エリア、１３ｂ…投影画像記憶エリア、１３ｃ…カメラ画像記憶エリア、１４，１４１，１４２…プログラムメモリ、１４ａ，１４２ａ…領域情報受付プログラム、１４ｂ…投影制御プログラム、１４ｃ…差分算出プログラム、１５…カメラ入力Ｉ／Ｆ、１６…プロジェクタ出力Ｉ／Ｆ、１７…入出力Ｉ／Ｆ、１８…入力装置、１９…表示装置、ＮＷ…通信ネットワーク、６…指示装置、５１…投影付加情報、５２…対象物の画像。

Claims (10)

1. 撮影装置及び投影装置が配置される空間において、当該空間に存在する対象物に関連する付加情報を前記投影装置により前記空間に提示する情報提示装置であって、
   前記対象物を前記撮影装置により撮影して得られる第１の画像情報を取得する手段と、
   前記付加情報の入力を受け付ける手段と、
   前記取得された第１の画像情報と前記受け付けた付加情報とを合成して第２の画像情報を作成する手段と、
   前記作成された第２の画像情報を前記対象物の存在位置に対応付けて、前記投影装置により前記空間に投影させる手段と
   を具備することを特徴とする情報提示装置。
2. 前記第１の画像情報中の対象物を含む特定の範囲を指定する情報の入力を受け付ける手段と、
   前記受け付けた特定範囲を指定する情報に基づいて、前記第１の画像情報から前記特定範囲に該当する画像を抽出して第３の画像情報を作成する手段と
   をさらに具備し、
   前記第２の画像情報を作成する手段は、
   前記作成された第３の画像情報と前記受け付けた付加情報とを合成して第２の画像情報を作成することを特徴とする請求項１記載の情報提示装置。
3. 前記特定範囲を指定する情報の入力を受け付ける手段は、
   前記第１の画像情報中の対象物の輪郭を表す情報の入力を受け付けることを特徴とする請求項２記載の情報提示装置。
4. 前記第２の画像情報を作成する手段は、
   前記第３の画像情報の表示の有無を制御する表示制御手段
   を備え、
   前記表示制御手段により表示有りと設定された場合は、前記作成された第３の画像情報と前記受け付けた付加情報とを合成して第２の画像情報を作成し、前記表示制御手段により表示無しと設定された場合は、前記受け付けた付加情報のみからなる第２の画像情報を作成することを特徴とする請求項２記載の情報提示装置。
5. 前記表示制御手段は、
   前記対象物が前記空間内の前記特定範囲に存在するか否かを判定する対象物検出手段と、
   前記対象物検出手段により、前記対象物が前記特定範囲に存在しないと判定された場合には前記第３の画像情報を表示有りに設定し、前記対象物が前記特定範囲に存在すると判定された場合には前記第３の画像情報を表示無しに設定する手段と
   を備えることを特徴とする請求項４記載の情報提示装置。
6. 前記対象物検出手段は、前記撮影装置により撮影して得られる第４の画像情報と前記第３の画像情報との差分値を算出し、算出された差分値が所定の閾値を超えた場合には前記対象物が存在しないと判定し、前記算出された差分値が所定の閾値を超えない場合には前記対象物が存在すると判定することを特徴とする請求項５記載の情報提示装置。
7. 空間に存在する対象物を撮影装置により撮影して得られる第１の画像情報を取得する手段と、
   前記第１の画像情報を取得したのち、前記対象物が前記空間内の存在位置に存在するか否かを検出する手段と、
   前記検出する手段により、前記対象物が前記存在位置に存在しないと判定された場合に、前記第１の画像情報を前記対象物の存在位置に対応付けて、投影装置により前記空間に投影させる手段と
   を具備することを特徴とする情報提示装置。
8. 撮影装置及び投影装置が配置される空間において、当該空間に存在する対象物に関連する付加情報を前記投影装置により前記空間に提示する情報提示方法であって、
   前記対象物を前記撮影装置により撮影して得られる第１の画像情報を取得する過程と、
   前記付加情報の入力を受け付ける過程と、
   前記取得された第１の画像情報と前記受け付けた付加情報とを合成して第２の画像情報を作成する過程と、
   前記作成された第２の画像情報を前記対象物の存在位置に対応付けて、前記投影装置により前記空間に投影させる過程と
   を具備することを特徴とする情報提示方法。
9. 撮影装置及び投影装置が配置される空間において、当該空間に存在する対象物に関連する付加情報を前記投影装置により前記空間に提示する、コンピュータを備える情報提示装置で使用されるプログラムであって、
   前記対象物を前記撮影装置により撮影して得られる第１の画像情報を取得する処理と、
   前記付加情報の入力を受け付ける処理と、
   前記取得された第１の画像情報と前記受け付けた付加情報とを合成して第２の画像情報を作成する処理と、
   前記作成された第２の画像情報を前記対象物の存在位置に対応付けて、前記投影装置により前記空間に投影させる処理と
   を、前記コンピュータに実行させることを特徴とするプログラム。
10. 対象物が存在すると共に撮影装置及び投影装置が配置される空間において、前記投影装置により前記空間に情報を提示する、コンピュータを備える情報提示装置で使用されるプログラムであって、
    前記対象物を前記撮影装置により撮影して得られる第１の画像情報を取得する処理と、
    前記第１の画像情報を取得したのち、前記対象物が前記空間内の存在位置に存在するか否かを検出する処理と、
    前記検出する処理により、前記対象物が前記存在位置に存在しないと判定された場合に、前記第１の画像情報を前記対象物の存在位置に対応付けて、前記投影装置により前記空間に投影させる処理と
    を、前記コンピュータに実行させることを特徴とするプログラム。

Images