JP2017110975A - 計測装置、システム、計測方法、決定方法及びプログラム - Google Patents

Abstract

【課題】ワークの位置及び姿勢の少なくとも一方を計測するのに有利な計測装置を提供する。
【解決手段】パターン光が投影されたワーク４を撮像して取得される画像を用いてワークの位置及び姿勢の少なくとも一方を計測する計測装置であって、パターン光をワークに投影する投影部と、パターン光が投影されたワークを撮像して画像を取得する撮像部と、ワークに起因して撮像部で取得される画像に生じる輝度むらＢＵに関する輝度情報に基づいて、ワークに対する、投影部の光軸ＯＡ１と撮像部の光軸ＯＡ２との相対的な傾き方向で規定される基線方向を決定する決定部と、決定部で決定されたワークに対する基線方向となるように投影部及び撮像部の位置及び姿勢の少なくとも一方を制御するための制御情報を出力する出力部と、を有する。
【選択図】図５

Description

本発明は、ワークの位置及び姿勢の少なくとも一方を計測する計測装置、システム、計測方法、決定方法及びプログラムに関する。

近年、工業製品の組立工程などのこれまで人間が行ってきた複雑なタスクをロボットが代わりに行うようになってきている。ロボットはハンドなどのエンドエフェクタによって部品を把持して組立を行うが、このような組立を実現するためには、把持対象の物品（ワーク）の位置や姿勢を計測する必要がある。

例えば、距離画像から得られる計測情報（距離点群データ）を利用したモデルフィッティングによって、ワークの位置や姿勢を計測する技術が知られている。また、距離画像を取得する技術として、一般的に、パターンを有する光をワークに照射（投影）し、かかる光の照射方向とは異なる方向からパターンを撮像して三角測量の原理を適用するアクティブステレオ法が知られている。

アクティブステレオ法では、ワークに照射されたパターンを撮像する際の輝度むらに起因して画像におけるパターンが歪み、計測誤差（距離計測誤差）が発生してしまう。例えば、樹脂の筐体を含むワークには、射出成型時に筐体の表面に形状むらが生じ、かかる形状むらに起因して輝度むらが生じてしまう。

そこで、輝度むらに起因するパターンの歪みを補正する技術が提案されている（特許文献１及び２参照）。特許文献１に開示された技術では、ワークに対して、パターンを有する光と、パターンを有していない光とを個別に照射して、パターンを有する光に対応するパターン画像と、パターンを有していない光に対応する全照射画像とを取得する。そして、パターン画像での輝度むらを、全照射画像での輝度むらで補正することで、輝度むらに起因するパターンの歪みを補正している。また、特許文献２に開示された技術では、事前に輝度むらに起因するパターンの歪みを取得して補正量を決定し、実計測時に、かかる補正量を用いてパターンの歪みを補正している。

特開平３−２８９５０５号公報 特開２００８−２４１４８３号公報

組立工程を高速化するために、ロボットを移動させながらワークの位置や姿勢を計測する場合、１回の撮像から１つの距離画像を取得しなければならない。

しかしながら、特許文献１に開示された技術では、１つの距離画像を取得するために、パターン画像及び全照射画像（輝度むら補正用の画像）を取得するための少なくとも２回の撮像が必要となるため、それぞれの画像を取得するタイミングにずれが生じてしまう。従って、パターン画像と全照射画像との間に視野ずれが発生し、輝度むらに起因するパターンの歪みの高精度な補正を実現することができない。また、ワークに対するパターンの照射方向によって、輝度むらに起因するパターンの歪みが変化してしまう。

一方、特許文献２に開示された技術は、事前に輝度むらに起因するパターンの歪みを取得して補正量を決定しているため、計測装置に対して、ワークの位置や姿勢が変化しない場合はよいが、ワークの位置や姿勢が任意に変化する場合には適用することが困難である。

本発明は、このような従来技術の課題に鑑みてなされ、ワークの位置及び姿勢の少なくとも一方を計測するのに有利な計測装置を提供することを例示的目的とする。

上記目的を達成するために、本発明の一側面としての計測装置は、パターン光が投影されたワークを撮像して取得される画像を用いて前記ワークの位置及び姿勢の少なくとも一方を計測する計測装置であって、前記パターン光を前記ワークに投影する投影部と、前記パターン光が投影された前記ワークを撮像して画像を取得する撮像部と、前記ワークに起因して前記撮像部で取得される画像に生じる輝度むらに関する輝度情報に基づいて、前記ワークに対する、前記投影部の光軸と前記撮像部の光軸との相対的な傾き方向で規定される基線方向を決定する決定部と、前記決定部で決定された前記ワークに対する基線方向となるように前記投影部及び前記撮像部の位置及び姿勢の少なくとも一方を制御するための制御情報を出力する出力部と、を有することを特徴とする。

本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される好ましい実施形態によって明らかにされるであろう。

本発明によれば、例えば、ワークの位置及び姿勢の少なくとも一方を計測するのに有利な計測装置を提供することができる。

本発明の一側面としての把持システムの構成を示す概略図である。 第１の実施形態における計測装置の構成を示す概略図である。 図２に示す計測装置における投影部のマスクの構成の一例を示す図である。 ワークに起因して画像に生じる輝度むらの一例を示す図である。 輝度むらの周期方向と基線方向との関係を説明するための図である。 均一に照明されたワークを撮像して取得された画像に対応する画像データを周波数解析した結果を示す図である。 第２の実施形態における計測装置の構成を示す概略図である。

以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は、本発明の一側面としての把持システムＧＳの構成を示す概略図である。把持システムＧＳは、工業製品の組立工程などにおいて、把持対象の物品であるワークを把持（ピッキング）する機能を有する。把持システムＧＳは、例えば、トレイに不規則にバラ積みされたワークを把持する。把持システムＧＳは、図１に示すように、計測装置１００と、把持装置３００とを有する。

計測装置１００は、アクティブステレオ法を採用し、パターンを有する光（パターン光）が投影されたワークを撮像して取得される画像を用いて、ワークの位置及び姿勢の少なくとも一方（以下では、「位置姿勢」と称する）を計測する。計測装置１００は、支持部１１０を介して、外部装置である把持装置３００に支持されている（取り付けられている）。計測装置１００の具体的な構成や機能などについては、以下の各実施形態で詳細に説明する。

把持装置３００は、計測装置１００で計測されたワークの位置姿勢に基づいて、かかるワークを把持する６軸アームロボットとして具現化される。把持装置３００は、図１に示すように、ハンド３１０と、駆動部３２０と、制御部３３０とを有する。

ハンド３１０は、ワークを把持する複数のフィンガを含む。ハンド３１０は、本実施形態では、２つのフィンガを含み、ワークを２つのフィンガで挟み込むように把持する。

駆動部３２０は、制御部３３０の制御下において、ハンド３１０を駆動する。また、駆動部３２０は、上述したように、支持部１１０を介してハンド３１０の近傍に取り付けられた計測装置１００を支持し、計測装置１００の位置姿勢を変更する変更部としても機能する。駆動部３２０には、当業界で周知の如何なる構成をも適用することが可能であるが、ハンド３１０及び計測装置１００を３次元的に移動させ、且つ、回転させることが可能なように構成される。

制御部３３０は、ＣＰＵやメモリなどを含み、把持装置３００の全体（動作）を制御する。制御部３３０は、計測装置１００で計測されたワークの位置姿勢に基づいて、ハンド３１０でワークを把持する際の把持位置やワークに対してハンド３１０を挿入する際の挿入方向などを含む把持条件を決定し、かかる把持条件に基づいて、駆動部３２０を制御する。また、制御部３３０は、計測装置１００から出力される、計測装置１００の位置姿勢を制御するための制御情報に基づいて、計測装置１００の位置姿勢を変更する変更部として機能する駆動部３２０を制御する。

把持システムＧＳでは、以下の各実施形態で説明するように、計測装置１００によってワークの位置姿勢を高精度に計測することが可能であるため、ワークの把持ミス（ハンド３１０によるワークの破損やワークの落下など）を低減することができる。

＜第１の実施形態＞
図２は、把持システムＧＳにおける計測装置１００として適用される計測装置１００Ａの構成を示す概略図である。計測装置１００Ａは、図２に示すように、投影部１と、撮像部２と、処理部３とを有する。計測装置１００Ａは、距離画像計測部によって取得した距離画像を利用してモデルフィッティングすることによって、ワーク４の位置姿勢を計測する装置である。なお、モデルフィッティングは、予め作成されたワーク４のＣＡＤモデルに対して行われものであって、ワーク４の３次元形状が既知であることを前提とする。

また、図示してはいないが、投影部１と撮像部２とは、一体化されて筐体に収容されている。投影部１及び撮像部２を収容する筐体は、６自由度で移動可能なように、支持部１１０を介して把持装置３００（駆動部３２０）に支持されている。計測装置１００Ａと把持装置３００との姿勢関係は、キャリブレーションによって予め保障されている。

計測装置１００Ａの主要部である距離画像を取得するための距離画像計測部について説明する。距離画像とは、計測対象であるワーク４（の表面上の点）の３次元等の情報を示すものであって、各画素が奥行きの情報を含む画像である。距離画像計測部は、投影部１、撮像部２及び処理部３によって構成される。

投影部１は、パターン光をワーク４に投影する。撮像部２は、投影部１によってパターン光が投影されたワーク４を、投影部１とは異なる方向（投影部１に対して特定方向に傾いた方向）から撮像してパターン画像を取得する。処理部３は、撮像部２で取得されたパターン画像から、三角測量の原理に基づいて、距離画像を求める。更に、処理部３は、距離画像をモデルフィッティングすることによって、ワーク４の位置姿勢に関する情報を求める。

距離画像計測部において、投影部１からワーク４に投影するパターンは、１つのパターン画像から距離画像を求めることが可能なパターンである。これは、計測装置１００Ａ（投影部１及び撮像部２を収容する筐体）を移動させながらワーク４の位置姿勢を計測することを想定しているからである。複数のパターン画像から距離画像を求める計測方式では、計測装置１００Ａの移動によって各距離画像の視野ずれが生じてしまうため、距離画像を高精度に求めることができない。

１つのパターン画像から距離画像を求めることが可能なパターンとしては、図３に示すように、ドットによって符号化されたドットラインパターンが知られている。ワーク４に投影されたドットラインパターンのドットの位置関係に基づいて、投影パターンと各ラインとの対応付けを行うことで、１つのパターン画像から距離画像を求めることができる。なお、本実施形態では、投影部１からワーク４に投影するパターンの具体例として、ドットラインパターンを説明した。但し、投影部１からワーク４に投影するパターンは、ドットラインパターンに限定されるものではなく、１つのパターン画像から距離画像を求めることができるパターンであればよい。

投影部１は、本実施形態では、光源７と、照明光学系８と、マスク９と、投影光学系１０とを含む。照明光学系８は、光源７から射出された光でマスク９を均一に照明するための光学系である。マスク９には、例えば、ガラス基板をクロムめっきすることによって、ワーク４に投影するパターン（に対応する透過部）が形成されている。本実施形態では、マスク９には、図３に示すように、ドットラインパターンが形成されている。投影光学系１０は、マスク９に形成されたパターンの像をワーク４に投影するための光学系である。

このように、投影部１は、照明光学系８によって、光源７からの光でマスク９を均一に照明し、投影光学系１０によって、マスク９のパターンからの光をワーク４に結像する。本実施形態では、マスク９を用いてパターンをワーク４に投影する方式（固定マスクパターン方式）について説明したが、これに限定されるものではない。例えば、ＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）プロジェクタや液晶プロジェクタを用いてパターンをワーク４に投影してもよい。

撮像部２について説明する。撮像部２は、距離画像を取得するためのユニットであって、本実施形態では、撮像光学系５と、撮像素子６とを含む。撮像光学系５は、ワーク４に投影されたパターンを撮像素子６に結像するための光学系である。撮像素子６は、パターン画像を取得するためのイメージセンサであって、例えば、ＣＭＯＳセンサやＣＣＤセンサなどで構成されている。

計測装置１００Ａでは、パターン光が投影されたワーク４を撮像して取得されるパターン画像に輝度むらが生じる場合がある。例えば、ワーク４が樹脂の筐体を含んでいる場合、射出成型時に筐体の表面に形状むらが生じていることが多い。このような筐体の表面の形状むらに起因して反射率のむらが発生し、撮像素子６で取得されるパターン画像に輝度むらが生じてしまう。パターン画像に輝度むらが生じると、パターン画像におけるパターンが歪んでしまうため、計測誤差（距離計測誤差）が発生し、ワーク４の位置姿勢の計測精度の低下を招いてしまう。

図４は、ワーク４が樹脂の筐体を含む場合に、かかるワーク４を撮像して取得される画像（濃淡画像）に生じる輝度むら（輝度分布）の一例を示す図である。ワーク４は、例えば、樹脂の筐体４ａと、ピン４ｂとを含む電子部品である。このようなワーク４（の筐体４ａ）を撮像して取得される濃淡画像ＩＭ１を参照するに、α方向に周期性を有する輝度むらが生じていることがわかる。ワーク４の筐体４ａの表面の形状むらは、輝度むらと同様に、α方向に周期性を有し、かかる形状むらに起因する反射特性によって輝度むらが生じている。

計測装置１００Ａでは、このような輝度むらの周期方向と基線方向との関係を規定して、ワーク４の位置姿勢を計測する。以下では、投影部１に対して撮像部２が相対的に傾き視差を持つ方向、即ち、投影部１（投影光学系１０）の光軸と撮像部２（撮像光学系５）の光軸との相対的な傾き方向で規定される方向を、計測装置１００Ａの基線方向として説明する。

図５（ａ）及び図５（ｂ）は、ワーク４に起因する輝度むらの周期方向と基線方向との関係を説明するための図である。図５（ａ）及び図５（ｂ）において、ＯＡ１は、投影光学系１０の光軸を表し、ＯＡ２は、撮像光学系５の光軸を表している。図５（ａ）及び図５（ｂ）では、投影光学系１０の光軸ＯＡ１と撮像光学系５の光軸ＯＡ２とがＸ方向に相対的に傾いているため、Ｘ方向が基線方向となる。投影光学系１０によってワーク４に投影されるパターン光は、Ｘ方向に周期性を有するものとする。また、ＢＵは、ワーク４を撮像して取得されるパターン画像に生じる輝度むら（輝度分布）を表している。

図５（ａ）は、ワーク４を撮像して取得されるパターン画像に生じる輝度むらの周期方向（Ｘ方向）と基線方向とが平行である場合、即ち、輝度むらの周期方向とパターン光の周期方向とが同一となる場合を示している。この場合、パターン画像におけるパターンは、輝度むらによって、距離算出方向に一律に歪む傾向が強くなるため、ラインごとにオフセット値を有する傾向が強くなる。従って、距離画像をモデルフィッティングすることによってワーク４の位置姿勢を求める際に、大きな計測誤差を生じる可能性が高くなる。

一方、図５（ｂ）は、ワーク４を撮像して取得されるパターン画像に生じる輝度むらの周期方向（Ｙ方向）と基線方向とが直交する場合、即ち、輝度むらの周期方向とパターン光の周期方向とが直交する場合を示している。この場合、パターン画像におけるパターンが距離算出方向に歪む確率が低くなるとともに、１つのライン内では歪む方向がばらつくため、平均的な距離誤差は小さくなる。従って、距離画像をモデルフィッティングすることによってワーク４の位置姿勢を求める際に、平均化効果によって、計測誤差への影響が小さくなる。

このように、ワーク４を撮像して取得されるパターン画像に生じる輝度むらの周期方向と基線方向との関係によって、ワーク４の位置姿勢を求める際の計測誤差への影響が変化する。従って、ワーク４を撮像してパターン画像を取得する際に、基線方向を輝度むらの周期方向に直交させることで、ワーク４の位置姿勢を高精度に計測することが可能となる。

ここで、輝度むらの周期方向を決定（取得）する手法について説明する。ワーク４が樹脂の筐体を含む場合、一般的に、ワーク４の種類ごとに、その表面の形状むらの特性が似ている。これは、射出成型時の金型や成型プロセスが同一であるからである。従って、ワーク４の種類ごとに、輝度むらの周期方向を決定することが可能である。

まず、ワーク４の種類ごとに輝度むらを求める。具体的には、ワーク４を均一に照明した状態でワーク４を撮像して画像を取得する。この際、ワーク４の位置姿勢の実計測で生じる輝度むらを考えると、ワーク４に対する照明方位及び撮像方位は、ワーク４に対するパターン光の投影方位と一致させるとよい。例えば、計測装置１００Ａにおいて、投影部１（の光路）からマスク９を取り外し、投影部１によってワーク４を均一に照明した状態で、かかるワーク４を撮像部２で撮像して画像を取得する。そして、処理部３において、かかる画像に対応する画像データを周波数解析することで、輝度むらの周期性が高い方向、即ち、周期方向を決定する。但し、このような輝度むらの周期方向を決定するための処理は、計測装置１００Ａで行う必要はなく、その一部又は全部を外部の計測装置や情報処理装置を用いて行ってもよい。このようにして取得された輝度むらの周期方向は、ワーク４の種類ごとに、輝度むらに関する輝度情報として、処理部３のメモリ１１などの記憶部に記憶される。

図６（ａ）及び図６（ｂ）は、均一に照明されたワーク４を撮像して取得された画像に対応する画像データを周波数解析した結果を示す図である。図６（ａ）は、均一に照明されたワーク４を撮像して取得された画像に対応する画像データに対して、２次元ＦＦＴ処理を施すことで得られる各周波数の強度分布を示している。図６（ａ）では、Ｘ方向の周波数を横軸に採用し、Ｙ方向の周波数を縦軸に採用している。図６（ｂ）は、方位方向を横軸に採用し、方位方向ごとに積和した値を縦軸に採用して、図６（ａ）に示す強度分布をプロットしたグラフを示している。ここでは、方位方向は、各方位に対して±５度の範囲の値を積和しているが、これに限定されるものではない。図６（ｂ）を参照するに、９０度の方位方向にピークが現れているため、ワーク４に起因する輝度むらは、９０度の方向に強い周期性を有していることがわかる。

計測装置１００Ａにおける計測処理、即ち、ワーク４の位置姿勢を計測する処理について説明する。まず、第１計測として、ワーク４に対する基線方向が任意である状態において、撮像部２で取得された画像に基づいて、ワーク４の位置姿勢（に関する第１情報）を求める。具体的には、投影部１及び撮像部２を任意の位置姿勢とし、即ち、ワーク４に起因する輝度むらの周期方向を考慮せずに、投影部１によってパターン光をワーク４に投影し、かかるワーク４を撮像部２で撮像してパターン画像を取得する。そして、処理部３において、かかるパターン画像から距離画像を求め、距離画像をモデルフィッティングすることでワーク４の位置姿勢を求める。但し、第１計測では、輝度むらの周期方向と基線方向との関係を規定して距離画像を求めていないため、第１計測で求められるワーク４の位置姿勢の精度を保障することができない。

次いで、第１計測で求められたワーク４の位置姿勢と、メモリ１１に記憶された輝度情報、即ち、輝度むらの周期方向と、予め決定されている第２計測時の計測装置１００Ａの位置姿勢情報とに基づいて、ワーク４に対する基線方向を決定する。具体的には、処理部３において、輝度むらの周期方向と基線方向とが予め設定した関係、詳細には、直交するように、ワーク４に対する基線方向を決定する。また、処理部３は、決定したワーク４に対する基線方向となるように投影部１及び撮像部２の位置姿勢を制御するための制御情報を生成して、把持装置３００の制御部３３０に出力する。このように、処理部３は、輝度情報に基づいて、ワーク４に対する基線方向を決定する決定部として機能するとともに、投影部１及び撮像部２の位置姿勢を制御するための制御情報を出力する出力部としても機能する。

次に、第２計測として、輝度むらの周期方向と基線方向とが直交する状態において、撮像部２で取得された画像に基づいて、ワーク４の位置姿勢（に関する第２情報）を求める。具体的には、把持装置３００において、制御部３３０が処理部３から出力された制御情報に基づいて駆動部３２０を制御することで、ワーク４に対する基線方向を、第１計測の状態から輝度むらの周期方向と基線方向とが直交する状態に変更する。このように、輝度むらの周期方向と基線方向とが直交する状態において、投影部１によってパターン光をワーク４に投影し、かかるワーク４を撮像部２で撮像してパターン画像を取得する。そして、処理部３において、かかるパターン画像から距離画像を求め、距離画像をモデルフィッティングすることでワーク４の位置姿勢を求める。第２計測では、輝度むらの周期方向と基線方向との関係を規定して距離画像を求めているため、第２計測で求められるワーク４の位置姿勢の精度を保障することができる。

このように、本実施形態の計測装置１００Ａでは、輝度むらの周期方向と基線方向とが直交するようにワーク４に対する基線方向を規定し、その状態で取得されたパターン画像（距離画像）からワーク４の位置姿勢を求めている。従って、計測装置１００Ａは、パターン画像におけるパターンの歪みを低減し、ワーク４の位置姿勢を高精度に求めることができる。

＜第２の実施形態＞
図７は、把持システムＧＳにおける計測装置１００として適用される計測装置１００Ｂの構成を示す概略図である。計測装置１００Ｂは、図７に示すように、投影部１と、撮像部２０２と、処理部２０３と、照明部２０５とを有する。計測装置１００Ｂは、距離画像計測部と濃淡画像計測部とによって距離画像と濃淡画像とを同時に取得し、距離画像及び濃淡画像の２つの画像を利用してモデルフィッティングすることによって、ワーク４の位置姿勢を計測する装置である。

また、図示してはいないが、投影部１、撮像部２０２及び照明部２０５とは、一体化されて筐体に収容され、支持部１１０を介して把持装置３００（駆動部３２０）に支持されている。計測装置１００Ｂと把持装置３００との姿勢関係は、キャリブレーションによって予め保障されている。

計測装置１００Ｂにおいて、距離画像を取得するための距離画像計測部ついては、第１の実施形態（計測装置１００Ａ）と同様であるため、ここでの詳細な説明は省略する。撮像部２０２は、第１の実施形態と比較して、パターン画像用の光と濃淡画像用の光とを分離する波長分離素子２７を更に含む。また、撮像部２０２は、撮像素子６の代わりに、パターン画像を取得するための撮像素子６Ａと、濃淡画像を取得するための撮像素子６Ｂとを含む。

計測装置１００Ｂの主要部である濃淡画像を取得するための濃淡画像計測部について説明する。濃淡画像とは、均一に照明されたワーク４を撮像して得られるグレースケール画像である。本実施形態では、濃淡画像からワーク４の輪郭や稜線に対応するエッジを求め、エッジを画像特徴としてワーク４の位置姿勢を求める際に用いる。濃淡画像計測部は、撮像部２０２、処理部２０３及び照明部２０５によって構成される。照明部２０５は、投影部１からのパターン光の波長とは異なる波長の光でワーク４を均一に照明する。撮像部２０２は、照明部２０５によって均一に照明されたワーク４を撮像して濃淡画像を取得する。

照明部２０５は、複数の光源２１を含み、本実施形態では、リング照明を実現するために、複数の光源２１をリング状に配列して構成されている。照明部２０５は、リング照明によって、ワーク４に影が発生しないように、ワーク４を均一に照明する。但し、ワーク４を均一に照明するための照明方式は、リング照明に限定されるものではなく、同軸落射照明やドーム照明などであってもよい。

処理部２０３は、撮像部２０２で取得された濃淡画像にエッジ検出処理を施してワーク４のエッジ（エッジ画像）を求める。エッジ検出処理のアルゴリズムとしては、Ｃａｎｎｙ法やその他の様々な方法がある。

第１の実施形態では、ワーク４の形状むら（反射特性）に起因する輝度むらの周期方向を予め取得して記憶部に記憶している。一方、本実施形態では、ワーク４の位置姿勢を計測するために取得した濃淡画像から輝度むらの周期情報を取得する。

計測装置１００Ｂにおける計測処理、即ち、ワーク４の位置姿勢を計測する処理について説明する。まず、第１計測として、ワーク４に対する基線方向が任意である状態において、撮像部２０２で取得された距離画像（第１画像）及び濃淡画像（第２画像）に基づいて、ワーク４の位置姿勢（に関する第１情報）を求める。具体的には、投影部１及び撮像部２０２を任意の位置姿勢とし、即ち、ワーク４に起因する輝度むらの周期方向を考慮せずに、投影部１によってパターン光をワーク４に投影するとともに、照明部２０５によってワーク４を均一に照明する。かかる状態において、ワーク４を撮像部２０２で撮像してパターン画像及び濃淡画像を取得する。そして、処理部２０３において、パターン画像から距離画像を、濃淡画像からエッジ画像を求め、距離画像及びエッジ画像をモデルフィッティングすることでワーク４の位置姿勢を求める。但し、第１計測では、輝度むらの周期方向と基線方向との関係を規定して距離画像を求めていないため、第１計測で求められるワーク４の位置姿勢の精度を保障することができない。

次いで、処理部２０３において、濃淡画像に対応する画像データを周波数解析することで輝度むらの周期方向を決定（取得）する。ここで、濃淡画像から輝度むらの周期方向を決定するプロセスは、第１の実施形態と同様である。

次に、処理部２０３は、第１計測で求められたワーク４の位置姿勢と、濃淡画像から取得された輝度情報、即ち、輝度むらの周期方向と、予め決定されている第２計測時の計測装置１００Ｂの位置姿勢情報とに基づいて、ワーク４に対する基線方向を決定する。具体的には、処理部２０３において、輝度むらの周期方向と基線方向とが予め設定した関係、詳細には、直交するように、ワーク４に対する基線方向を決定する。また、処理部２０３は、決定したワーク４に対する基線方向となるように投影部１及び撮像部２０２の位置姿勢を制御するための制御情報を生成して、把持装置３００の制御部３３０に出力する。

次に、第２計測として、輝度むらの周期方向と基線方向とが直交する状態において、撮像部２０２で取得された画像に基づいて、ワーク４の位置姿勢（に関する第２情報）を求める。具体的には、把持装置３００において、制御部３３０が処理部２０３から出力された制御情報に基づいて駆動部３２０を制御することで、ワーク４に対する基線方向を、第１計測の状態から輝度むらの周期方向と基線方向とが直交する状態に変更する。このように、輝度むらの周期方向と基線方向とが直交する状態において、投影部１によってパターン光をワーク４に投影するとともに、照明部２０５によってワーク４を均一に照明する。かかる状態において、ワーク４を撮像部２０２で撮像してパターン画像及び濃淡画像を取得する。そして、処理部２０３において、パターン画像から距離画像を、濃淡画像からエッジ画像を求め、距離画像及びエッジ画像をモデルフィッティングすることでワーク４の位置姿勢を求める。第２計測では、輝度むらの周期方向と基線方向との関係を規定して距離画像及び濃淡画像を求めているため、第２計測で求められるワーク４の位置姿勢の精度を保障することができる。

このように、本実施形態の計測装置１００Ｂでは、輝度むらの周期方向と基線方向とが直交するようにワーク４に対する基線方向を規定し、その状態で取得されたパターン画像（距離画像）及び濃淡画像からワーク４の位置姿勢を求めている。従って、計測装置１００Ｂは、パターン画像におけるパターンの歪みを低減し、ワーク４の位置姿勢を高精度に求めることができる。

また、把持システムＧＳにおいては、計測装置１００が最終的な計測位置に位置するまでに、駆動部３２０による移動動作がある。計測装置１００では、従来技術ように、輝度むらを補正するために複数の画像を取得する必要がないため、駆動部３２０による移動動作中に、ワーク４を計測することが可能である。従って、駆動部３２０の移動動作中に上述した第１計測を行い、最終的な計測位置での計測、即ち、第２計測における輝度むらの周期方向と基線方向との関係を規定するとよい。これにより、全体的なタクトに影響を与えることなく、ワーク４の位置姿勢を高精度に計測することが可能となる。

また、上述した実施形態では、計測装置１００Ａの処理部３や計測装置１００Ｂの処理部２０３において、投影部１及び撮像部２又は２０２の位置姿勢を制御するための制御情報を生成しているが、これに限定されるものではない。例えば、把持装置３００の制御部３３０において、投影部１及び撮像部２又は２０２の位置姿勢を制御するための制御情報を生成することも可能である。この場合、計測装置１００Ａ又は１００Ｂは、第１計測で求められたワーク４の位置姿勢、及び、メモリ１１に記憶された輝度情報又は濃淡画像から取得された輝度情報を、把持装置３００の制御部３３０に出力する。そして、把持装置３００の制御部３３０は、第１計測で求められたワーク４の位置姿勢と、輝度情報と、予め決定されている第２計測時の計測装置１００Ａ又は１００Ｂの位置姿勢情報とに基づいて、ワーク４に対する基線方向を決定する。そして、制御部３３０は、決定したワーク４に対する基線方向となるように投影部１及び撮像部２の位置姿勢を制御するための制御情報を生成し、かかる制御情報に基づいて駆動部３２０を制御する。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。

１００、１００Ａ、１００Ｂ：計測装置 １：投影部 ２：撮像部 ３：処理部 ４：ワーク

Claims (12)

1. パターン光が投影されたワークを撮像して取得される画像を用いて前記ワークの位置及び姿勢の少なくとも一方を計測する計測装置であって、
   前記パターン光を前記ワークに投影する投影部と、
   前記パターン光が投影された前記ワークを撮像して画像を取得する撮像部と、
   前記ワークに起因して前記撮像部で取得される画像に生じる輝度むらに関する輝度情報に基づいて、前記ワークに対する、前記投影部の光軸と前記撮像部の光軸との相対的な傾き方向で規定される基線方向を決定する決定部と、
   前記決定部で決定された前記ワークに対する基線方向となるように前記投影部及び前記撮像部の位置及び姿勢の少なくとも一方を制御するための制御情報を出力する出力部と、
   を有することを特徴とする計測装置。
2. 前記投影部及び前記撮像部を、前記投影部及び前記撮像部の位置及び姿勢の少なくとも一方を変更する外部装置に支持させる支持部を更に有し、
   前記出力部は、前記外部装置に前記制御情報を出力し、
   前記外部装置は、前記制御情報に基づいて、前記投影部及び前記撮像部の位置及び姿勢の少なくとも一方を変更することを特徴とする請求項１に記載の計測装置。
3. 前記投影部及び前記撮像部の位置及び姿勢の少なくとも一方を変更する変更部と、
   前記出力部から出力された前記制御情報に基づいて、前記変更部を制御する制御部と、
   を更に有することを特徴とする請求項１に記載の計測装置。
4. 前記決定部は、前記輝度むらの周期方向と前記基線方向とが直交するように、前記ワークに対する基線方向を決定することを特徴とする請求項１乃至３のうちいずれか１項に記載の計測装置。
5. 前記画像に基づいて、前記ワークの位置及び姿勢の少なくとも一方に関する情報を求める処理を行う処理部を更に有し、
   前記処理部は、前記ワークに対する基線方向が任意である状態において前記撮像部で取得された画像に基づいて、前記ワークの位置及び姿勢の少なくとも一方に関する第１情報を求め、
   前記決定部は、前記輝度情報と前記第１情報とに基づいて、前記ワークに対する基線方向を決定し、
   前記処理部は、前記ワークに対する基線方向が前記状態から前記決定部で決定された前記ワークに対する基線方向に変更された状態において前記撮像部で取得された画像に基づいて、前記ワークの位置及び姿勢の少なくとも一方に関する第２情報を求めることを特徴とする請求項１乃至４のうちいずれか１項に記載の計測装置。
6. 前記輝度情報を記憶する記憶部を更に有し、
   前記決定部は、前記記憶部に記憶されている前記輝度情報を取得することを特徴とする請求項１乃至５のうちいずれか１項に記載の計測装置。
7. 前記パターン光の波長とは異なる波長の光で前記ワークを均一に照明する照明部を更に有し、
   前記撮像部は、前記パターン光が投影された前記ワークを撮像して第１画像を取得するとともに、前記照明部によって照明された前記ワークを撮像して第２画像を取得し、
   前記決定部は、前記第２画像に対応する画像データを周波数解析することで前記輝度情報を取得することを特徴とする請求項１乃至４のうちいずれか１項に記載の計測装置。
8. 前記第１画像及び前記第２画像に基づいて、前記ワークの位置及び姿勢の少なくとも一方に関する情報を求める処理を行う処理部を更に有し、
   前記処理部は、前記ワークに対する基線方向が任意である状態において前記撮像部で取得された前記第１画像及び前記第２画像に基づいて、前記ワークの位置及び姿勢の少なくとも一方に関する第１情報を求め、
   前記決定部は、前記第１情報と、前記第２画像とに基づいて、前記ワークに対する基線方向を決定し、
   前記処理部は、前記ワークに対する基線方向が前記状態から前記決定部で決定された前記ワークに対する基線方向に変更された状態において前記撮像部で取得された前記第１画像及び前記第２画像に基づいて、前記ワークの位置及び姿勢の少なくとも一方に関する第２情報を求めることを特徴とする請求項７に記載の計測装置。
9. パターン光が投影されたワークを撮像して取得される画像を用いて前記ワークの位置及び姿勢の少なくとも一方を計測する計測装置と、前記計測装置で計測された前記ワークの位置及び姿勢の少なくとも一方に基づいて、前記ワークを把持する把持装置とを備えたシステムであって、
   前記計測装置は、
   前記パターン光を前記ワークに投影する投影部と、
   前記パターン光が投影された前記ワークを撮像して画像を取得する撮像部と、
   前記ワークに起因して前記撮像部で取得される画像に生じる輝度むらに関する輝度情報に基づいて、前記ワークに対する、前記投影部の光軸と前記撮像部の光軸との相対的な傾き方向で規定される基線方向を決定する決定部と、
   前記決定部で決定された前記ワークに対する基線方向となるように前記投影部及び前記撮像部の位置及び姿勢の少なくとも一方を制御するための制御情報を前記把持装置に出力する出力部と、
   を有し、
   前記把持装置は、
   前記投影部及び前記撮像部を支持し、前記投影部及び前記撮像部の位置及び姿勢の少なくとも一方を変更する変更部と、
   前記出力部から出力された前記制御情報に基づいて、前記変更部を制御する制御部と、
   を有することを特徴とするシステム。
10. パターン光をワークに投影する投影部と、前記パターン光が投影された前記ワークを撮像して画像を取得する撮像部とを備える計測装置を用いて、前記ワークの位置及び姿勢の少なくとも一方を計測する計測方法であって、
    前記ワークに対する、前記投影部の光軸と前記撮像部との光軸との相対的な傾き方向で規定される基線方向が任意である状態において前記撮像部で取得された画像に基づいて、前記ワークの位置及び姿勢の少なくとも一方に関する第１情報を求める工程と、
    前記ワークに起因して前記撮像部で取得される画像に生じる輝度むらに関する輝度情報と、前記第１情報とに基づいて、前記ワークに対する基線方向を決定する工程と、
    前記ワークに対する基線方向を前記状態から前記決定された前記ワークに対する基線方向に変更して前記撮像部で取得された画像に基づいて、前記ワークの位置及び姿勢の少なくとも一方に関する第２情報を求める工程と、
    を有することを特徴とする計測方法。
11. パターン光をワークに投影する投影部と、前記パターン光が投影された前記ワークを撮像して画像を取得する撮像部とを備える計測装置における、前記ワークに対する、前記投影部の光軸と前記撮像部との光軸との相対的な傾き方向で規定される基線方向を決定する決定方法であって、
    前記ワークに起因して前記撮像部で取得される画像に生じる輝度むらに関する輝度情報を取得する工程と、
    前記輝度情報に基づいて、前記ワークに対する前記基線方向を決定する工程と、
    を有することを特徴とする決定方法。
12. 請求項１１に記載の決定方法の各工程をコンピュータに実行させるためのプログラム。