JP5764969B2

JP5764969B2 - Image composition method

Info

Publication number: JP5764969B2
Application number: JP2011038748A
Authority: JP
Inventors: 哲近藤; 金子　智弥; 智弥金子
Original assignee: Obayashi Corp
Current assignee: Obayashi Corp
Priority date: 2011-02-24
Filing date: 2011-02-24
Publication date: 2015-08-19
Anticipated expiration: 2031-02-24
Also published as: JP2012175665A

Description

本発明は、撮影した実画像と生成した仮想画像とを合成する画像合成方法に関する。 The present invention relates to an image composition method for compositing a captured real image and a generated virtual image.

撮影した実画像と生成した仮想画像とを合成する画像合成方法としては、例えば、撮影した撮影画像に含まれる特定の被写体と対応づけられた付加画像を、特定の被写体の位置に応じて撮影画像上に配置して合成画像を生成する画像合成方法が知られている（例えば、特許文献１参照）。このような画像合成方法にて合成された合成画像は、たとえば表示画面等に表示される。 As an image composition method for synthesizing a captured actual image and a generated virtual image, for example, an additional image associated with a specific subject included in the captured captured image is captured according to the position of the specific subject. An image composition method for generating a composite image by arranging the image on the top is known (for example, see Patent Document 1). The synthesized image synthesized by such an image synthesizing method is displayed on a display screen, for example.

特開２０１０―１８７０５２号公報JP 2010-187052 A

上記従来の画像合成方法は、特定の被写体の位置に応じて撮影画像上の位置に付加画像を配置するので、例えば特定の被写体を撮影して表示された付加画像としての仮想画像が表示画面より大きい場合には、仮想画像の画面から外れて表示されていない部位を画面に表示すべく撮影の方向を変更すると、特定の被写体が画面から外れてしまうことにより、画像を合成することができないという課題がある。 In the conventional image composition method, the additional image is arranged at a position on the captured image in accordance with the position of the specific subject. Therefore, for example, a virtual image as an additional image displayed by photographing the specific subject is displayed on the display screen. If it is large, if the direction of imaging is changed to display on the screen the part that is not displayed off the screen of the virtual image, the specific subject will be off the screen and the image cannot be synthesized. There are challenges.

本発明は、かかる課題に鑑みてなされたものであり、その目的とするところは、仮想画像が対応づけられた特定の被写体が含まれない撮影範囲であっても、特定の被写体にて対応づけられた、実画像上の位置に仮想画像を合成することが可能な画像合成方法を提供することにある。 The present invention has been made in view of such a problem, and the object of the present invention is to associate a specific subject with a shooting range that does not include the specific subject with which the virtual image is associated. Another object of the present invention is to provide an image synthesis method capable of synthesizing a virtual image at a position on a real image.

かかる目的を達成するために本発明の画像合成方法は、
被写体を撮影した実画像と予め生成されている仮想画像とを合成する画像合成方法であって、
前記被写体に、自身の位置を示す位置情報を有し前記仮想画像が対応づけられた位置情報被写体と、撮影された実画像から識別可能であって前記仮想画像が対応づけられていない識別被写体とを貼付する工程と、
前記位置情報被写体と、前記識別被写体と、を含む前記被写体を撮影し、撮影された前記実画像を構成する画像データを記憶する実画像記憶工程と、
前記画像データに基づいて、前記位置情報被写体に対する前記識別被写体の情報識別間相対位置を算出し、算出した前記情報識別間相対位置と前記仮想画像とを前記識別被写体に対応づけた識別被写体情報を、記憶する識別被写体情報記憶工程と、
前記位置情報被写体を含まず前記識別被写体を含む前記被写体を撮影した際に、前記識別被写体情報に基づいて前記実画像と前記仮想画像とを合成する画像合成工程と、
を有することを特徴とする画像合成方法である。 In order to achieve this object, the image composition method of the present invention includes:
An image synthesis method for synthesizing a real image obtained by photographing a subject and a virtual image generated in advance,
A position information subject having position information indicating its own position and associated with the virtual image, and an identified subject that is identifiable from the captured real image and not associated with the virtual image ; A process of attaching,
A real image storage step of photographing the subject including the position information subject and the identification subject, and storing image data constituting the photographed real image;
Based on the image data, a relative position between information identifications of the identification subject with respect to the position information subject is calculated, and identification subject information in which the calculated information identification relative position and the virtual image are associated with the identification subject is obtained. An identification subject information storing step for storing,
An image synthesis step of synthesizing the real image and the virtual image based on the identified subject information when the subject including the identified subject is captured without including the position information subject;
An image composition method characterized by comprising:

このような画像合成方法によれば、被写体に設けられ自身の位置を示す位置情報を有する情報被写体と識別被写体とを含む被写体を撮影した画像データに基づいて算出した情報識別間相対位置と識別被写体とが対応づけられて記憶されているので、位置情報被写体を含まず識別被写体を含む被写体を撮影した場合であっても、画像上における識別被写体の位置から、位置情報被写体の位置を特定することが可能である。このため、識別被写体の正確な位置を特定できるので、予め生成されている仮想画像を、実画像の正確な位置に配置した合成画像を生成することが可能である。このため、情報被写体を含まず識別被写体を含む被写体を撮影した場合であっても、仮想画像と実画像とを適切な位置に配置して合成することが可能である。 According to such an image composition method, the relative position between the identification information and the identification subject calculated based on the image data obtained by photographing the subject including the information subject having the positional information indicating the position of the subject provided on the subject and the identification subject. Are stored in association with each other, so that the position of the position information subject can be identified from the position of the identified subject on the image even when the subject including the identified subject is captured without including the position information subject. Is possible. For this reason, since the exact position of the identified subject can be specified, it is possible to generate a composite image in which a virtual image generated in advance is arranged at an accurate position of the actual image. For this reason, even when the subject including the identification subject is captured without including the information subject, the virtual image and the real image can be arranged and combined at an appropriate position.

かかる画像合成方法であって、新たに撮影した実画像の画像データに、前記識別被写体と、前記識別被写体と異なる他の識別被写体とが含まれていた場合に、前記新たに撮影した前記実画像の画像データに基づいて、前記識別被写体と前記他の識別被写体との識別同士間相対位置を算出し、算出した前記識別同士間相対位置と前記他の識別被写体とを対応づけた新たな識別被写体情報を記憶することが望ましい。 In this image composition method, when the image data of a newly captured actual image includes the identified subject and another identified subject different from the identified subject, the newly captured actual image Based on the image data, a relative position between the identified subject and the other identified subject is calculated, and a new identified subject in which the calculated relative position between the identified subject and the other identified subject is associated with each other. It is desirable to store information.

このような画像合成方法によれば、識別被写体と他の識別被写体との識別同士間相対位置を算出し、算出した識別同士間相対位置と他の識別被写体を対応づけて記憶するので、記憶された識別同士間相対位置と情報識別間相対位置とに基づいて、他の識別被写体と情報被写体との相対位置を算出することが可能である。このため、他の識別被写体の正確な位置を特定できるので、予め生成されている仮想画像を、実画像の正確な位置に配置した合成画像を生成することが可能である。このため、撮影範囲に他の識別被写体しか含まれていない場合であっても、仮想画像と実画像とを適切な位置に配置して合成することが可能である。 According to such an image composition method, the relative position between the identification subject and the other identification subject is calculated, and the calculated relative position between the identification subject and the other identification subject are stored in association with each other. It is possible to calculate the relative position between another identification subject and the information subject based on the relative position between the identifications and the relative position between the information identifications. For this reason, since the exact position of another identification subject can be specified, it is possible to generate a composite image in which a virtual image generated in advance is arranged at an accurate position of the actual image. For this reason, even when only another identification subject is included in the shooting range, the virtual image and the real image can be arranged and combined at an appropriate position.

かかる画像合成方法であって、新たに撮影した実画像の画像データに、前記識別被写体と、前記識別被写体と異なる他の識別被写体とが含まれていた場合に、前記新たに撮影した前記実画像の画像データに基づいて、前記識別被写体と前記他の識別被写体との識別同士間相対位置を算出し、算出した前記識別同士間相対位置と前記情報識別間相対位置とに基づいて、前記位置情報被写体と前記他の識別被写体との新たな情報識別間相対位置を算出し、算出した前記新たな情報識別間相対位置と前記他の識別被写体とを対応づけた新たな識別被写体情報を記憶することが望ましい。 In this image composition method, when the image data of a newly captured actual image includes the identified subject and another identified subject different from the identified subject, the newly captured actual image Based on the image data, the relative position between the identification subject and the other identification subject is calculated, and based on the calculated relative position between the identification and the relative position between the information identification, the position information A new information identification relative position between the subject and the other identification subject is calculated, and new identification subject information in which the calculated new information identification relative position is associated with the other identification subject is stored. Is desirable.

このような画像合成方法によれば、識別被写体と他の識別被写体との識別同士間相対位置を算出し、算出した識別同士間相対位置と情報識別間相対位置とに基づいて、位置情報被写体と他の識別被写体との新たな情報識別間相対位置を算出し、算出した新たな情報識別間相対位置と他の識別被写体とを対応づけて記憶するので、位置情報被写体に対する他の識別被写体の相対位置を特定することが可能である。このため、撮影範囲に他の識別被写体しか含まれていない場合であっても、記憶されている新たな情報識別間相対位置に基づいて仮想画像と実画像とを適切な位置に配置して合成することが可能である。 According to such an image composition method, the relative position between the identification subject and another identification subject is calculated, and based on the calculated relative position between the identification and the relative position between the information identification, Since a new relative position between information identifications with other identification subjects is calculated and the calculated new relative position between information identifications and the other identification subjects are stored in association with each other, the relative position of the other identification subjects with respect to the positional information subject It is possible to specify the position. For this reason, even when only other identification subjects are included in the shooting range, the virtual image and the real image are arranged at an appropriate position based on the new stored relative position between information identification and synthesized. Is possible.

かかる画像合成方法であって、新たに撮影した実画像の画像データに、前記識別被写体情報が既に記憶されている前記識別被写体が含まれている場合には、記憶されている前記識別被写体情報に基づいて前記実画像と前記仮想画像とを合成することが望ましい。 In this image composition method, when the identified subject for which the identified subject information is already stored is included in the image data of a newly captured real image, the stored identified subject information is included in the stored identified subject information. It is desirable to synthesize the real image and the virtual image based on this.

このような画像合成方法によれば、新たに撮影した実画像の画像データに含まれていた識別被写体の識別被写体情報が既に記憶されている場合には、記憶されている識別被写体情報に基づいて、仮想画像と実画像とを適切な位置に配置して容易に合成することが可能である。 According to such an image composition method, when the identification subject information of the identification subject included in the image data of the newly photographed real image is already stored, it is based on the stored identification subject information. The virtual image and the real image can be easily combined by arranging them at appropriate positions.

本発明によれば、仮想画像が対応づけられた特定の被写体が含まれない撮影範囲であっても、特定の被写体にて対応づけられた、実画像上の位置に仮想画像が合成された合成画像を生成することが可能である。 According to the present invention, even in a shooting range that does not include a specific subject to which a virtual image is associated, a composition in which a virtual image is synthesized at a position on a real image that is associated with a specific subject. An image can be generated.

本発明に係る画像合成方法を実現するための装置の一例を示すブロック図である。It is a block diagram which shows an example of the apparatus for implement | achieving the image composition method which concerns on this invention. 本実施形態にて撮影される被写体と撮影範囲のイメージを示す図である。It is a figure which shows the to-be-photographed object and image of the imaging | photography range in this embodiment. 本実施形態にて実画像と仮想画像の全体とが合成された合成画像のイメージを示す図である。It is a figure which shows the image of the synthesized image by which the real image and the whole virtual image were synthesize | combined in this embodiment. 本実施形態の画像合成方法を説明するためのフローチャートである。図５は、実施形態において撮影されたＡマーカーを含む実画像と表示部に表示される画像とを対応づけて説明するためのイメージ図である。It is a flowchart for demonstrating the image composition method of this embodiment. FIG. 5 is an image diagram for explaining the actual image including the A marker photographed in the embodiment and the image displayed on the display unit in association with each other. 実施形態において撮影されたＡマーカーを含む実画像と表示部に表示される画像とを対応づけて説明するためのイメージ図である。It is an image figure for demonstrating matching the real image containing A marker image | photographed in embodiment, and the image displayed on a display part. 実施形態において撮影されたＡマーカーを含まない実画像と表示部に表示される画像とを対応づけて説明するためのイメージ図である。It is an image figure for matching and explaining the actual image which does not contain the A marker imaged in the embodiment, and the image displayed on the display unit.

以下、本発明の一実施形態について図面を用いて詳細に説明する。
図１は、本発明に係る画像合成方法を実現するための装置の一例を示すブロック図である。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram showing an example of an apparatus for realizing an image composition method according to the present invention.

本実施形態の画像合成方法は、たとえば、被写体を撮影した実画像に、撮影された被写体に含まれる情報被写体の情報に基づいて予め形成されている仮想画像を重ね合わせた合成画像を表示する際に、仮想画像が対応づけられた情報被写体が、撮影範囲から外れても、情報被写体にて対応づけられた、実画像上の位置に仮想画像を合成することを可能とする画像合成方法である。 The image composition method of the present embodiment is, for example, when displaying a composite image in which a virtual image formed in advance based on information on an information subject included in a photographed subject is superimposed on a real image obtained by photographing the subject. In addition, even if the information subject associated with the virtual image is out of the shooting range, the image composition method can synthesize the virtual image at a position on the real image associated with the information subject. .

図２は、本実施形態にて撮影される被写体と撮影範囲のイメージを示す図である。図３は、本実施形態にて実画像と仮想画像の全体とが合成された合成画像のイメージを示す図である。 FIG. 2 is a diagram illustrating an image of a subject and a shooting range shot in the present embodiment. FIG. 3 is a diagram illustrating an image of a combined image obtained by combining the real image and the entire virtual image in the present embodiment.

本実施形態では、図２に示すように、室内の壁３に、例えば、ＱＲコード(登録商標)やバーコードなどの情報を示す情報被写体としてのマーカー２１が設けられており、このマーカー２１とともに室内を撮影した際に、マーカー２１に対応づけられた仮想画像としての例えばシステムキッチンの仮想画像２３と、マーカー２１の位置情報Ｐとに基づいて、撮影した実画像２０とマーカー２１に対応づけられたシステムキッチンの仮想画像２３とを合成する例について説明する。 In the present embodiment, as shown in FIG. 2, a marker 21 as an information subject indicating information such as a QR code (registered trademark) or a barcode is provided on the indoor wall 3. When a room is photographed, the photographed actual image 20 and the marker 21 are associated with each other based on, for example, the virtual image 23 of the system kitchen as a virtual image associated with the marker 21 and the position information P of the marker 21. An example of combining the virtual image 23 of the system kitchen will be described.

また、本実施形態においては、２種類のマーカー２１を用いている。２種類のマーカー２１のうちの一方のマーカー２１は、撮影した実画像２０を解析してマーカー２１であることを識別可能であり、仮想画像２３が対応づけられた情報被写体としての情報マーカー２１ａであり、他方のマーカー２１は、情報を有していないが撮影した実画像２０を解析してマーカー２１であることを識別可能な識別被写体としての識別マーカー２１ｂである。また、情報マーカー２１ａ及び識別マーカー２１ｂは、説明の便宜上、図面では情報マーカー２１ａを「Ａ」にて示し、以下、Ａマーカー２１ａとする。また、識別マーカー２１ｂは同一のマーカー２１ｂを２つ使用するが、説明にてこれらを区別するために、一方の識別マーカー２１ｂを「Ｂ」にて示し、以下、Ｂマーカー２１ｂとし、他方の識別マーカー２１ｂを「Ｃ」にて示し、以下、Ｃマーカー２１ｂとして示す。 In the present embodiment, two types of markers 21 are used. One of the two types of markers 21 can be identified as the marker 21 by analyzing the captured real image 20, and is an information marker 21a as an information subject associated with the virtual image 23. The other marker 21 is an identification marker 21b as an identification subject that has no information but can identify the marker 21 by analyzing the captured real image 20. Further, for convenience of explanation, the information marker 21a and the identification marker 21b are indicated by “A” in the drawings, and are hereinafter referred to as A marker 21a. In addition, although two identical markers 21b are used as the identification marker 21b, in order to distinguish these in the description, one identification marker 21b is indicated by “B”, hereinafter referred to as B marker 21b, and the other identification The marker 21b is indicated by “C”, and is hereinafter referred to as C marker 21b.

情報マーカー２１ａは、当該情報マーカー２１ａが設けられている位置と、仮想画像２３の所定の位置とが対応づけた相対位置を示す位置情報Ｐを有しており、情報マーカー２１ａを含む被写体が撮影されると、情報マーカー２１ａに対応づけられた仮想画像２３が、位置情報Ｐに基づいて、マーカー２１ａが設けられている位置に位置あわせされて実画像２０と合成される。例えば、Ａマーカー２１ａには、システムキッチンの仮想画像２３が対応づけられており、Ａマーカー２１ａに対応づけられているシステムキッチンの仮想画像２３の所定の位置が、当該Ａマーカー２１ａが設けられている位置に位置あわせされると、図３に示すように、システムキッチンの仮想画像２３が実画像２０の室内の適切な位置に配置されるような位置にＡマーカー２１ａが設けられている。このため、Ａマーカー２１ａは、例えばＧＰＳ等を用いて正確に実測して配置され、配置されている自身の、地球上における絶対位置を示す位置情報を有している。 The information marker 21a has position information P indicating a relative position in which a position where the information marker 21a is provided and a predetermined position of the virtual image 23 are associated with each other, and a subject including the information marker 21a is photographed. Then, the virtual image 23 associated with the information marker 21a is aligned with the position where the marker 21a is provided based on the position information P, and is combined with the actual image 20. For example, a virtual image 23 of the system kitchen is associated with the A marker 21a, and a predetermined position of the virtual image 23 of the system kitchen associated with the A marker 21a is provided with the A marker 21a. As shown in FIG. 3, the A marker 21 a is provided at a position where the virtual image 23 of the system kitchen is arranged at an appropriate position in the room of the real image 20 as shown in FIG. 3. For this reason, the A marker 21a is accurately measured by using, for example, GPS, and has position information indicating the absolute position of the arranged A on the earth.

ところで、室内は広さが限られるため、図３に示すように、システムキッチンの仮想画像２３の全体が、撮影範囲、具体的には、カメラのファインダー内などに含まれるとは限らない。このため、Ａマーカー２１ａを含むように撮影範囲を定めると、システムキッチンの仮想画像２３のうちの撮影範囲外に位置している部位は、見ることができず、撮影範囲外に位置している部位を見るために、撮影範囲を移動するとＡマーカー２１ａが撮影範囲から外れてしまい、撮影範囲にシステムキッチンの仮想画像２３が現れず、システムキッチンの仮想画像２３の見たい部位を見ることができない場合がある。 By the way, since the size of the room is limited, as shown in FIG. 3, the entire virtual image 23 of the system kitchen is not necessarily included in the shooting range, specifically, the finder of the camera. For this reason, when the imaging range is determined so as to include the A marker 21a, the part located outside the imaging range in the virtual image 23 of the system kitchen cannot be seen and is located outside the imaging range. When the imaging range is moved to view the part, the A marker 21a is out of the imaging range, the virtual image 23 of the system kitchen does not appear in the imaging range, and the desired part of the virtual image 23 of the system kitchen cannot be seen. There is a case.

本発明は、撮影範囲内にＡマーカー２１ａが存在しない場合であっても、適切な位置に配置されているように見えるシステムキッチンの仮想画像２３の見たい部位を見ることを可能とする画像合成方法である。 The present invention is an image composition that makes it possible to see a desired portion of the virtual image 23 of the system kitchen that appears to be arranged at an appropriate position even when the A marker 21a does not exist within the imaging range. Is the method.

このような画像合成方法を実現するための画像合成装置１は、被写体を撮影する撮像部１０と、撮影した被写体の実画像と予め形成されている仮想画像とを合成する処理を含み画像合成装置を制御する制御部１２と、画像を合成するために必要な各種情報やデータが記憶される記憶部１４と、合成された合成画像を表示する表示部１６と、本画像合成装置１を操作するための操作部１８と、を有している。本実施形態の画像合成装置１は、例えば、撮像部１０と、撮影した画像を表示する表示部１６とを有し持ち運び可能な、例えばデジタルカメラ、デジタルビデオカメラ、携帯電話、携帯情報端末（ＰＤＡ）、モバイルコンピュータなどに、画像合成処理が実行可能なプログラムが記憶されている。 An image composition apparatus 1 for realizing such an image composition method includes an image capturing unit 10 that captures a subject, and a process that combines a real image of the captured subject and a virtual image that is formed in advance. The control unit 12 for controlling the image, the storage unit 14 for storing various information and data necessary for synthesizing the image, the display unit 16 for displaying the synthesized image, and the image synthesizing apparatus 1 And an operation unit 18 for this purpose. The image composition device 1 of the present embodiment has, for example, an imaging unit 10 and a display unit 16 that displays a captured image, and is portable, for example, a digital camera, a digital video camera, a mobile phone, a personal digital assistant (PDA). ), A program capable of executing image composition processing is stored in a mobile computer or the like.

そして、画像合成装置１の使用者が、被写体を撮影すると、表示部１６に撮影された実画像が表示される。このとき、撮影された実画像２０に、予め設定された、例えば、ＱＲコード(登録商標)やバーコードなどの、所定の合成情報を示す情報被写体としてのＡマーカー２１ａや画像データから識別可能な識別被写体としてのＢマーカー２１ｂ及びＣマーカー２１ｂが含まれていた場合には、当該マーカー２１を検出して情報を取得し、取得した情報に基づいて、撮影した実画像２０と予め記憶されている仮想画像２３とを合成した合成画像２４を生成し合成画像２４が表示部１６に表示されるように構成されている。 Then, when the user of the image composition device 1 photographs the subject, the captured actual image is displayed on the display unit 16. At this time, the photographed real image 20 can be identified from an A marker 21a as an information subject indicating predetermined composite information, such as a QR code (registered trademark) or a barcode, or image data set in advance. When the B marker 21b and the C marker 21b as identification subjects are included, the marker 21 is detected to acquire information, and the captured real image 20 is stored in advance based on the acquired information. A composite image 24 obtained by combining the virtual image 23 is generated, and the composite image 24 is displayed on the display unit 16.

撮像部１０は、例えば、デジタルカメラやデジタルビデオカメラのような、撮影により、画像を構成する複数の画素の各画像データを生成するＣＣＤセンサーなどの撮像素子により、光情報を電気情報に変換し、変換した画像データに基づいて表示部１６に画像を表示するように構成されている。 The imaging unit 10 converts optical information into electrical information by an imaging element such as a CCD sensor that generates image data of a plurality of pixels constituting an image by photographing, such as a digital camera or a digital video camera. The display unit 16 is configured to display an image based on the converted image data.

表示部１６は、画像を構成する複数の画素の画像データを、各素子に対応させて表示することが可能な、例えば液晶パネルなどにて構成されている。ここで、各画素の画像データとは、例えば、各画素をＲ（レッド）成分、Ｇ（グリーン）成分、Ｂ（ブルー）成分に分解した各成分を示すデータである。 The display unit 16 is configured by, for example, a liquid crystal panel that can display image data of a plurality of pixels constituting an image corresponding to each element. Here, the image data of each pixel is, for example, data indicating each component obtained by decomposing each pixel into an R (red) component, a G (green) component, and a B (blue) component.

操作部１８は、画像合成装置１を使用する使用者が、画像合成装置１に対し撮影等の操作を行ったり、設定を変更するなどの操作を行う部位であり、少なくとも実画像２０を撮影するための所謂シャッターを有している。 The operation unit 18 is a part where a user who uses the image composition device 1 performs an operation such as photographing or changing settings on the image composition device 1, and photographs at least the actual image 20. So-called shutters are provided.

記憶部１４は、本画像合成装置１にて合成画像を生成するための各種情報が記憶されており、また、情報が記憶される情報記憶領域１４ａと、合成画像を生成する処理の中で画像データが書き換えられていく作業領域となる画像仮想展開領域１４ｂとを有している。 The storage unit 14 stores various types of information for generating a composite image in the image composition apparatus 1, and also stores an information storage area 14a in which information is stored and an image in the process of generating the composite image. It has an image virtual development area 14b which is a work area in which data is rewritten.

情報記憶領域１４ａには、被写体に含まれているＡマーカー２１ａに対応づけられた仮想画像２３を特定する情報、仮想画像２３の実画像２０に対して配置すべき位置を、Ａマーカー２１ａが設けられている位置および本画像合成装置１の撮影時の視点位置との相対位置にて示す位置情報Ｐなどが記憶されている。また、情報記憶領域１４ａには、撮影された実画像２０に含まれたＢマーカー２１ｂ、Ｃマーカー２１ｂ等の識別マーカーと仮想画像２３と対応づけて合成画像を生成するための情報が記憶される記憶領域が含まれている。 In the information storage area 14a, the A marker 21a is provided with information for specifying the virtual image 23 associated with the A marker 21a included in the subject and the position of the virtual image 23 to be arranged with respect to the actual image 20. The position information P indicated by the relative position with respect to the current position and the viewpoint position when the image synthesizing apparatus 1 is photographed is stored. The information storage area 14a stores information for generating a composite image in association with the virtual image 23 and identification markers such as the B marker 21b and the C marker 21b included in the photographed real image 20. A storage area is included.

画像仮想展開領域１４ｂは、撮影された画像データが画素毎に記憶される記憶領域である。上述したように、各画素の画像データはＲ，Ｇ，Ｂの３つの成分を示すデータを有するので、画像仮想展開領域１４ｂは、合成画像を構成する画素数の３倍の記憶領域を有している。 The image virtual development area 14b is a storage area in which photographed image data is stored for each pixel. As described above, since the image data of each pixel has data indicating three components of R, G, and B, the image virtual development area 14b has a storage area that is three times the number of pixels constituting the composite image. ing.

画像仮想展開領域１４ｂに記憶される画像データは、合成画像を生成する際には必要に応じて対応する画素の画像データが書き換えられる。そして、画像仮想展開領域１４ｂに画素毎に記憶された３つのデータは、各画素の画像データが書き換えられる場合には、Ｒ成分、Ｇ成分、Ｂ成分の各データがそれぞれ書き換えられる。このとき、画像仮想展開領域１４ｂは、記憶領域が表示部１６または撮像部１０の素子と同様に配列されている必要はなく、各記憶領域の画像データが、表示部１６または撮像部１０の素子と対応づけられて記憶されていればよい。 The image data stored in the image virtual development area 14b is rewritten with the corresponding pixel image data as necessary when generating a composite image. The three data stored for each pixel in the image virtual development area 14b are rewritten respectively for the R component, the G component, and the B component when the image data of each pixel is rewritten. At this time, in the image virtual development area 14b, the storage area does not need to be arranged in the same manner as the elements of the display unit 16 or the imaging unit 10, and the image data of each storage area is the element of the display unit 16 or the imaging unit 10. As long as they are stored in association with each other.

制御部１２は、使用者により操作部１８が操作されることにより、撮像部１０や表示部１６を制御したり、撮影された実画像２０の画像データからマーカー２１を抽出し、マーカー２１にて示される情報を解析する解析処理、解析された情報に基づいて、実画像２０と記憶部１４に記憶されている仮想画像２３とを合成する画像合成処理等の各種処理を実行する。 The control unit 12 controls the imaging unit 10 and the display unit 16 by operating the operation unit 18 by the user, or extracts the marker 21 from the image data of the captured real image 20. Various processes such as an analysis process for analyzing the displayed information and an image synthesis process for synthesizing the actual image 20 and the virtual image 23 stored in the storage unit 14 are executed based on the analyzed information.

次に、制御部１２による画像合成方法について説明する。 Next, an image composition method by the control unit 12 will be described.

本実施形態の画像合成方法は、画像合成装置１に設けられ、撮像部１０にて撮影するための操作部１８であるシャッターが操作されて処理が開始される。このとき、画像合成装置１が、デジタルカメラなどのように、単に実画像を撮影するときと、合成画像を生成するときとで処理を切り替えるスイッチが操作部１８に設けられていてもよい。また、常に合成画像を生成する処理が実行されるように設定されており、撮影された実画像にマーカー２１が検出されたときのみ合成画像を生成する処理を実行することとしてもよい。 The image composition method according to the present embodiment is provided in the image composition apparatus 1, and a process is started by operating a shutter which is an operation unit 18 for photographing with the imaging unit 10. At this time, the operation unit 18 may be provided with a switch for switching processing between when the image composition device 1 simply captures a real image and when a composite image is generated, such as a digital camera. Further, it is set to always execute the process of generating the composite image, and the process of generating the composite image may be executed only when the marker 21 is detected in the captured real image.

図４は、本実施形態の画像合成方法を説明するためのフローチャートであり、図５は、実施形態において撮影されたＡマーカーを含む実画像と表示部に表示される画像とを対応づけて説明するためのイメージ図である。図６は、実施形態において撮影されたＡマーカーを含まない実画像と表示部に表示される画像とを対応づけて説明するためのイメージ図である。 FIG. 4 is a flowchart for explaining the image composition method of the present embodiment, and FIG. 5 explains the real image including the A marker photographed in the embodiment in association with the image displayed on the display unit. It is an image figure for doing. FIG. 6 is an image diagram for explaining a real image that does not include the A marker photographed in the embodiment and an image displayed on the display unit in association with each other.

制御部１２は、シャッターが操作されると撮像部１０にて被写体を撮影し、撮影された実画像２０を構成する各画素の画像データを生成し（Ｓ１）、生成した画像データを記憶部１４の画像仮想展開領域１４ｂに記憶する（実画像記憶工程Ｓ２）。ここでは、図２及び図５（ａ）に示すような撮影範囲Ｆ１にて撮影されたとする。また、このとき、制御部１２は実画像の撮影時に撮像部１０から取得した情報に基づき、一般的なカメラにも搭載されているオートフォーカス機構の原理を利用して、例えば、レンズの上半分と下半分にて生じる重心位置の違いを利用して被写体と、撮像部１０の視点位置との距離を計測し、計測した距離情報を記憶部１４に記憶する。 When the shutter is operated, the control unit 12 captures a subject with the imaging unit 10, generates image data of each pixel constituting the captured actual image 20 (S1), and stores the generated image data in the storage unit 14. Is stored in the virtual image development area 14b (actual image storage step S2). Here, it is assumed that the image is captured in the imaging range F1 as shown in FIG. 2 and FIG. At this time, the control unit 12 uses, for example, the upper half of the lens based on the information acquired from the imaging unit 10 at the time of capturing a real image, using the principle of an autofocus mechanism mounted on a general camera. The distance between the subject and the viewpoint position of the imaging unit 10 is measured using the difference between the center of gravity positions generated in the lower half and the measured distance information is stored in the storage unit 14.

次に制御部１２は、実画像２０の画像データに情報被写体としてのＡマーカー２１ａが撮影されているか否かを解析する（Ｓ３）。このとき、実画像２０の画像データにＡマーカー２１ａが撮影されていた場合には（Ｓ４）、Ａマーカー２１ａに対応づけられている情報を記憶部１４から取得する（Ｓ５）。このとき、撮影した実画像２０と合成する仮想画像２３の情報と仮想画像２３を合成するための位置情報Ｐ、すなわち、Ａマーカー２１ａの位置に位置あわせされる仮想画像上の位置を示す情報とを取得する（Ｓ５）。実画像２０の画像データにＡマーカー２１ａが撮影されていなかった場合の処理については後述する。 Next, the control unit 12 analyzes whether or not the A marker 21a as the information subject is captured in the image data of the actual image 20 (S3). At this time, when the A marker 21a is captured in the image data of the real image 20 (S4), information associated with the A marker 21a is acquired from the storage unit 14 (S5). At this time, information on the virtual image 23 to be combined with the captured real image 20 and position information P for combining the virtual image 23, that is, information indicating a position on the virtual image aligned with the position of the A marker 21a Is acquired (S5). Processing when the A marker 21a is not photographed in the image data of the actual image 20 will be described later.

次に制御部１２は、取得した情報に基づいて、画像仮想展開領域１４ｂに記憶されている実画像２０の対象となる画素の画像データを、情報マーカー２１に対応付けられ情報記憶領域１４ａに記憶されている仮想画像２３の画像データに書き換えて合成画像２４を生成する（Ｓ６）。 Next, based on the acquired information, the control unit 12 stores the image data of the target pixel of the real image 20 stored in the image virtual development area 14b in the information storage area 14a in association with the information marker 21. The synthesized image 24 is generated by rewriting the image data of the virtual image 23 (S6).

次に制御部１２は、撮影した実画像２０に識別マーカー２１が含まれているか否かを解析する（Ｓ９）。このとき、識別マーカー２１が含まれていない場合には、画像仮想展開領域１４ｂに記憶されている、図５（ｂ）に示すような合成画像２４を表示部１６に表示して（Ｓ１３）、処理を終了する。本実施形態の場合には、Ｂマーカー２１ｂが含まれていることが検出される。 Next, the control unit 12 analyzes whether or not the identification marker 21 is included in the photographed real image 20 (S9). At this time, if the identification marker 21 is not included, the composite image 24 as shown in FIG. 5B stored in the image virtual development area 14b is displayed on the display unit 16 (S13). The process ends. In the present embodiment, it is detected that the B marker 21b is included.

そして、Ｂマーカー２１ｂのような識別マーカー２１ｂが含まれていた場合には、検出した識別マーカー２１が既に情報記憶領域１４ａに記憶されているか否かを判定する（Ｓ１０）。このとき、検出した識別マーカー２１ｂの情報が記憶されている場合には、その他に識別マーカー２１ｂが含まれているか否かが判定され、含まれていない場合には、画像仮想展開領域１４ｂに記憶されている、図５（ｂ）に示すような合成画像２４を表示部１６に表示して（Ｓ１３）、処理を終了する。 If the identification marker 21b such as the B marker 21b is included, it is determined whether or not the detected identification marker 21 is already stored in the information storage area 14a (S10). At this time, if the information of the detected identification marker 21b is stored, it is determined whether or not the other identification marker 21b is included. If not, the information is stored in the image virtual development area 14b. The composite image 24 as shown in FIG. 5B is displayed on the display unit 16 (S13), and the process ends.

一方、検出した識別マーカー２１の情報が記憶されていない場合には、撮影時に計測した、被写体と撮像部１０の視点位置との距離を示す距離情報及び合成画像上における、情報マーカー２１ａと識別マーカー２１ｂの位置から、現実の情報マーカー２１ａに対する識別マーカー２１ｂの相対位置（情報識別間相対位置Ｑ）を算出する（Ｓ１１）。そして、算出した相対位置（情報識別間相対位置Ｑ）を示す情報とシステムキッチンの仮想画像２３とを対応づけた識別被写体情報Ｔを情報記憶領域１４ａに記憶する（識別被写体情報記憶工程Ｓ１２）。その後、実画像２０に、その他に識別マーカー２１が含まれているか否かが判定され（Ｓ９）、含まれていない場合には、画像仮想展開領域１４ｂに記憶されている、図５（ｂ）に示すような合成画像２４を表示部１６に表示して（Ｓ１３）、処理を終了する。また、実画像２０に、その他に識別マーカー２１が含まれていた場合には、含まれていた識別マーカー２１ｂに対応づけられた識別被写体情報Ｔの情報記憶領域１４ａにおける有無を判定し（Ｓ１０）、記憶されていない場合には、相対位置（情報識別間相対位置Ｑ）を算出し（Ｓ１１）、算出した相対位置（情報識別間相対位置Ｑ）の情報と仮想画像２３とを対応づけた識別被写体情報Ｔを情報記憶領域１４ａに記憶する処理（識別被写体情報記憶工程Ｓ１２）を繰り返す。 On the other hand, when the information of the detected identification marker 21 is not stored, the distance information indicating the distance between the subject and the viewpoint position of the imaging unit 10 measured at the time of shooting and the information marker 21a and the identification marker on the composite image From the position of 21b, the relative position (relative position Q between information identifications) of the identification marker 21b with respect to the actual information marker 21a is calculated (S11). And the identification subject information T which matched the information which shows the calculated relative position (relative position Q between information identification) and the virtual image 23 of a system kitchen is memorize | stored in the information storage area 14a (identification subject information storage process S12). Thereafter, it is determined whether or not the identification marker 21 is included in the actual image 20 (S9). If not included, the image is stored in the image virtual development area 14b. FIG. Is displayed on the display unit 16 (S13), and the process is terminated. If the actual image 20 includes an identification marker 21 in addition, the presence / absence of the identification subject information T associated with the included identification marker 21b in the information storage area 14a is determined (S10). If not stored, the relative position (relative position Q between information identification) is calculated (S11), and the information of the calculated relative position (relative position Q between information identification) and the virtual image 23 are associated with each other. The process of storing the subject information T in the information storage area 14a (identified subject information storage step S12) is repeated.

本実施形態の場合には、撮影した実画像２０を解析してＢマーカー２１ｂが含まれていることが検出されたのち、Ｂマーカー２１ｂに対応づけられた識別被写体情報Ｔが情報記憶領域１４ａに記憶されていないと判定され（Ｓ１０）、撮影時に計測した距離情報及び合成画像２４上における、Ａマーカー２１ａとＢマーカー２１ｂとの位置から、現実のＡマーカー２１ａに対するＢマーカー２１ｂの相対位置（情報識別間相対位置Ｑ）を算出し（Ｓ１１）、算出した相対位置（情報識別間相対位置Ｑ）を示す情報とシステムキッチンの仮想画像２３とを対応づけた識別被写体情報Ｔを情報記憶領域１４ａに記憶する（識別被写体情報記憶工程Ｓ１２）。そして、撮影範囲（図２、Ｆ１）には、他に識別マーカー２１は含まれていないので（Ｓ９）、画像仮想展開領域１４ｂに記憶されている、図５（ｂ）に示すような合成画像２４を表示部１６に表示して（Ｓ１３）、処理を終了する。 In the case of the present embodiment, after analyzing the photographed real image 20 and detecting that the B marker 21b is included, the identification subject information T associated with the B marker 21b is stored in the information storage area 14a. It is determined not to be stored (S10), and the relative position (information) of the B marker 21b with respect to the actual A marker 21a is determined from the distance information measured at the time of shooting and the positions of the A marker 21a and B marker 21b on the composite image 24. (Relative inter-identification position Q) is calculated (S11), and identification subject information T in which information indicating the calculated relative position (inter-identification relative position Q) is associated with the virtual image 23 of the system kitchen is stored in the information storage area 14a. Store (identified subject information storage step S12). Since no other identification marker 21 is included in the shooting range (FIG. 2, F1) (S9), the composite image shown in FIG. 5B is stored in the image virtual development area 14b. 24 is displayed on the display unit 16 (S13), and the process ends.

次に、画像合成装置１の向きが変更され、図２及び図６（ａ）に示すような撮影範囲Ｆ２にて新たに撮影され、撮影された実画像２０を構成する各画素の画像データが生成され（Ｓ１）、生成された画像データを記憶部１４の画像仮想展開領域１４ｂに記憶する（実画像記憶工程、Ｓ２）。また、この場合にも、被写体と撮像部１０の視点位置との距離を計測し、計測した距離情報を情報記憶領域１４ａに記憶する。 Next, the orientation of the image composition device 1 is changed, and image data of each pixel constituting the photographed actual image 20 is newly photographed in the photographing range F2 as shown in FIG. 2 and FIG. It is generated (S1), and the generated image data is stored in the image virtual development area 14b of the storage unit 14 (actual image storage step, S2). Also in this case, the distance between the subject and the viewpoint position of the imaging unit 10 is measured, and the measured distance information is stored in the information storage area 14a.

次に制御部１２は、実画像２０の画像データに情報被写体としてのＡマーカー２１ａが撮影されているか否かを解析する（Ｓ３）。このとき、実画像２０の画像データにはＡマーカー２１ａが含まれていない。 Next, the control unit 12 analyzes whether or not the A marker 21a as the information subject is captured in the image data of the actual image 20 (S3). At this time, the image data of the actual image 20 does not include the A marker 21a.

撮影した実画像２０にＡマーカー２１ａが含まれていない場合には（Ｓ４）、撮影した実画像２０に既に記憶されている識別マーカー２１ｂが含まれているか否かを解析する（Ｓ７）。このとき、識別マーカー２１が含まれていない場合には、画像仮想展開領域１４ｂに記憶されている実画像２０を表示部１６に表示して（Ｓ１３）処理を終了する。 If the photographed real image 20 does not include the A marker 21a (S4), it is analyzed whether or not the identification marker 21b already stored in the photographed real image 20 is included (S7). At this time, if the identification marker 21 is not included, the actual image 20 stored in the image virtual development area 14b is displayed on the display unit 16 (S13), and the process is terminated.

一方、識別マーカー２１ｂに対応づけられた識別被写体情報Ｔが情報記憶領域１４ａに記憶されている場合には、記憶されている識別マーカー２１ｂの相対位置を示す識別同士間相対位置Ｒに基づいて、現状の撮影範囲Ｆ２の実画像に合成されるべき仮想画像２３の画像データを特定し、画像仮想展開領域１４ｂに記憶されている画像データの対応する画素を特定した仮想画像２３の画像データに書き換える（画像合成工程Ｓ８）。 On the other hand, when the identification subject information T associated with the identification marker 21b is stored in the information storage area 14a, the identification relative position R indicating the relative position of the identification marker 21b is stored. The image data of the virtual image 23 to be combined with the actual image in the current shooting range F2 is specified, and the corresponding pixel of the image data stored in the image virtual development area 14b is rewritten with the specified image data of the virtual image 23. (Image composition step S8).

その後、実画像２０に、その他に識別マーカー２１が含まれているか否かが判定され（Ｓ９）、含まれていない場合には、画像仮想展開領域１４ｂに記憶されている合成画像２４を表示部１６に表示して（Ｓ１３）、処理を終了する。 Thereafter, it is determined whether or not the identification marker 21 is included in the real image 20 (S9). If not included, the composite image 24 stored in the virtual image development area 14b is displayed on the display unit. 16 (S13), and the process ends.

実画像２０に、その他に識別マーカー２１が含まれていた場合には（Ｓ９）、含まれていた識別マーカー２１ｂに対応づけられた識別被写体情報Ｔの情報記憶領域１４ａにおける有無を判定し（Ｓ１０）、記憶されていない場合には、相対位置（識別同士間相対位置Ｒ）を算出し（Ｓ１１）、算出した相対位置（識別同士間相対位置Ｒ）と仮想画像２３とを対応づけた識別被写体情報Ｔを情報記憶領域１４ａに記憶する処理（識別被写体情報記憶工程Ｓ１２）を繰り返す。 If the actual image 20 includes other identification markers 21 (S9), the presence / absence of identification subject information T associated with the included identification markers 21b in the information storage area 14a is determined (S10). If not stored, a relative position (relative position R between identifications) is calculated (S11), and the identified subject in which the calculated relative position (relative position R between identifications) is associated with the virtual image 23 is calculated. The process of storing the information T in the information storage area 14a (identified subject information storage step S12) is repeated.

本実施形態の場合には、図２及び図６（ａ）に示すように、撮影範囲Ｆ２にはＡマーカー２１ａが含まれていないので（Ｓ４）、実画像２０に既に記憶されている識別マーカー２１ｂが含まれているか否かが判定される（Ｓ７）。このとき、Ｂマーカー２１ｂに対応づけられた識別被写体情報Ｔは、情報記憶領域１４ａに記憶されているので、Ｂマーカー２１ｂの識別被写体情報Ｔ、すなわち、Ｂマーカー２１ｂのＡマーカー２１ａに対する相対位置を示す情報識別間相対位置Ｑに基づいて、現状の撮影範囲Ｆ２の実画像に合成されるべきシステムキッチンの仮想画像２３の画像データを特定し、画像仮想展開領域１４ｂに記憶されている画像データの対応する画素を特定した仮想画像２３の画像データに書き換える（画像合成工程Ｓ８）。 In the present embodiment, as shown in FIGS. 2 and 6A, since the A marker 21a is not included in the imaging range F2 (S4), the identification marker already stored in the real image 20 It is determined whether or not 21b is included (S7). At this time, since the identification subject information T associated with the B marker 21b is stored in the information storage area 14a, the identification subject information T of the B marker 21b, that is, the relative position of the B marker 21b with respect to the A marker 21a is determined. Based on the relative position Q between the information identifications shown, the image data of the virtual image 23 of the system kitchen to be combined with the actual image in the current shooting range F2 is specified, and the image data stored in the image virtual development area 14b is identified. The corresponding pixel is rewritten to the image data of the specified virtual image 23 (image composition step S8).

その後、実画像２０が解析されると、Ｃマーカー２１ｂが検出されるので（Ｓ９）、検出されたＣマーカー２１ｂに対応づけられた識別被写体情報Ｔの情報記憶領域１４ａにおける有無を判定する（Ｓ１０）。このとき、Ｃマーカー２１ｂに対応づけられた識別被写体情報Ｔは記憶されていないので相対位置（識別同士間相対位置Ｒ）を算出し（Ｓ１１）、算出した相対位置（識別同士間相対位置Ｒ）の情報と仮想画像２３とを対応づけた識別被写体情報Ｔを記憶領域１４ａに記憶して（識別被写体情報記憶工程Ｓ１２）、画像仮想展開領域１４ｂに記憶されている、図６（ｂ）に示すような合成画像２４を表示部１６に表示して（Ｓ１３）、処理を終了する。 Thereafter, when the real image 20 is analyzed, the C marker 21b is detected (S9), and the presence / absence of the identification subject information T associated with the detected C marker 21b in the information storage area 14a is determined (S10). ). At this time, since the identification subject information T associated with the C marker 21b is not stored, the relative position (relative position R between identifications) is calculated (S11), and the calculated relative position (relative position R between identifications) is calculated. 6B is stored in the storage area 14a (identification subject information storage step S12) and stored in the image virtual development area 14b. Such a composite image 24 is displayed on the display unit 16 (S13), and the process ends.

本実施形態の画像合成方法によれば、被写体との相対位置を示す位置情報Ｐを有する情報マーカー２１ａと識別マーカー２１ｂとを含む被写体を撮影した画像データに基づいて算出した情報識別間相対位置Ｑと仮想画像２３とが記憶されているので、情報マーカー２１ａを含まず識別マーカー２１ｂを含む被写体を撮影した場合であっても、画像上における識別マーカー２１ｂの位置から、情報マーカー２１ａの位置を特定することが可能である。そして、生成する合成画像２４にて実画像２０と合成される仮想画像２３は、情報マーカー２１ａが有する被写体との相対位置を示す位置情報Ｐに基づいて実画像２０と合成されるので、情報マーカー２１ａの位置が特定されれば、仮想画像２３と実画像２０とを適切な位置にて合成することが可能である。このため、情報マーカー２１ａを含まず識別マーカー２１ｂを含む被写体を撮影した場合であっても、仮想画像２３と実画像２０とを適切な位置に配置して合成することが可能である。そして、仮想画像２３が対応づけられた情報マーカー２１ａが含まれない撮影範囲Ｆ２であっても、情報マーカー２１ａの位置情報Ｐに基づいて仮想画像２３が位置決めされて合成された合成画像２４における撮影範囲Ｆ２に対応する範囲の合成画像２４を生成することが可能である。 According to the image composition method of the present embodiment, the relative position Q between information identifications calculated based on the image data obtained by photographing the subject including the information marker 21a having the positional information P indicating the relative position to the subject and the identification marker 21b. And the virtual image 23 are stored, the position of the information marker 21a is specified from the position of the identification marker 21b on the image even when a subject including the identification marker 21b is captured without including the information marker 21a. Is possible. The virtual image 23 combined with the real image 20 in the generated combined image 24 is combined with the real image 20 based on the position information P indicating the relative position with respect to the subject of the information marker 21a. If the position of 21a is specified, the virtual image 23 and the real image 20 can be combined at an appropriate position. Therefore, even when a subject that does not include the information marker 21a and includes the identification marker 21b is photographed, the virtual image 23 and the real image 20 can be arranged and combined at appropriate positions. Even in the shooting range F2 that does not include the information marker 21a associated with the virtual image 23, the shooting is performed in the combined image 24 in which the virtual image 23 is positioned and combined based on the position information P of the information marker 21a. It is possible to generate a composite image 24 in a range corresponding to the range F2.

また、識別マーカー２１ｂと他の識別マーカー２１ｂとの識別同士間相対位置Ｒを算出し、算出した識別同士間相対位置Ｒと仮想画像２３とを対応づけて記憶するので、記憶された識別同士間相対位置Ｒと情報識別間相対位置Ｑとに基づいて、他の識別マーカー２１ｂと情報マーカー２１ａとの相対位置を算出することが可能である。このため、識別同士間相対位置Ｒと仮想画像２３とを対応づけた新たな識別被写体情報Ｔを記憶することにより、撮影範囲に他の識別マーカー２１ｂしか含まれていない場合であっても、仮想画像２３と実画像２０とを適切な位置に配置して合成することが可能である。 Moreover, since the relative position R between the identifications of the identification marker 21b and the other identification marker 21b is calculated and the calculated relative position R between the identifications and the virtual image 23 are stored in association with each other, the stored identifications Based on the relative position R and the relative position Q between information identification, it is possible to calculate the relative position between the other identification marker 21b and the information marker 21a. Therefore, by storing new identification subject information T in which the relative position R between the identifications and the virtual image 23 are associated with each other, even if only the other identification marker 21b is included in the imaging range, It is possible to synthesize the image 23 and the real image 20 by arranging them at appropriate positions.

また、識別マーカー２１ｂと他の識別マーカー２１ｂとの識別同士間相対位置Ｒを算出し、算出した識別同士間相対位置Ｒと情報識別間相対位置Ｑとに基づいて、情報マーカー２１ａと他の識別マーカー２１ｂとの情報識別間相対位置Ｑを算出し、算出した情報識別間相対位置Ｑと仮想画像２３とを対応づけて記憶するので、他の識別マーカー２１ｂと情報マーカー２１ａとの相対位置と仮想画像２３とを対応づけて記憶しておくことが可能である。このため、撮影範囲に他の識別マーカー２１ｂしか含まれていない場合であっても、記憶されている情報識別間相対位置Ｑに基づいて仮想画像２３と実画像２０とを適切な位置に配置して合成することが可能である。 Further, the relative position R between the identification markers 21b and the other identification markers 21b is calculated, and the information marker 21a and the other identification markers are determined based on the calculated identification relative position R and the information identification relative position Q. Since the relative position Q between information identifications with the marker 21b is calculated and the calculated relative position Q between information identifications and the virtual image 23 are stored in association with each other, the relative position between the other identification marker 21b and the information marker 21a is assumed to be virtual. It is possible to store the image 23 in association with each other. For this reason, even if only the other identification marker 21b is included in the imaging range, the virtual image 23 and the real image 20 are arranged at appropriate positions based on the stored relative position Q between information identifications. Can be synthesized.

また、新たに撮影した実画像２０の画像データに含まれていた識別マーカー２１ｂの識別被写体情報Ｔが既に記憶されている場合には、記憶されている識別被写体情報Ｔに基づいて、仮想画像２３と実画像２０とを適切な位置に配置して容易に合成することが可能である。 Further, when the identification subject information T of the identification marker 21b included in the image data of the newly photographed real image 20 has already been stored, the virtual image 23 is based on the stored identification subject information T. And the actual image 20 can be easily combined by arranging them at appropriate positions.

このように、Ａマーカー２１ａを含まずＢマーカー２１ｂ、Ｃマーカー２１ｂを含む被写体を撮影することにより、仮想画像２３の全体が含まれる合成画像２４の全体ではなく、例えば、Ａマーカー２１ａから離れた位置を撮影範囲Ｆ２により特定される仮想画像２３の一部を合成の対象とした合成画像２４を生成することが可能である。また、Ｂマーカー２１ｂ、Ｃマーカー２１ｂのような識別マーカー２１ｂを複数設けることにより、Ａマーカー２１ａからより離れた位置の合成画像２４を生成することが可能である。 In this way, by shooting a subject that does not include the A marker 21a but includes the B marker 21b and the C marker 21b, it is not the entire composite image 24 that includes the entire virtual image 23, for example, away from the A marker 21a. It is possible to generate a composite image 24 in which a part of the virtual image 23 whose position is specified by the shooting range F2 is a target for synthesis. Further, by providing a plurality of identification markers 21b such as the B marker 21b and the C marker 21b, it is possible to generate a composite image 24 at a position further away from the A marker 21a.

例えば、撮影範囲Ｆ１には、Ａマーカー２１ａが含まれているので、撮影範囲Ｆ１の合成画像２４では、システムキッチンの仮想画像２３を実画像２０上に合成することは可能である。ところが、撮影範囲Ｆにはマーカー２１としてＡマーカー２１ａのみが含まれている場合には、システムキッチンのレンジフード２３ａの周辺を見ることはできない。 For example, since the A marker 21a is included in the shooting range F1, the virtual image 23 of the system kitchen can be combined with the real image 20 in the composite image 24 of the shooting range F1. However, when only the A marker 21a is included as the marker 21 in the photographing range F, it is impossible to see the periphery of the range hood 23a of the system kitchen.

このため、撮影範囲Ｆの範囲内に、図５（ａ）に示すように、Ａマーカー２１ａとともに含まれるようにＢマーカー２１ｂを設け、Ａマーカー２１ａに対するＢマーカー２１ｂの相対位置を示す情報を予め記憶しておき、Ｂマーカー２１ｂとレンジフード２３ａの周辺が含まれる撮影範囲Ｆ２にて被写体を撮影することにより、撮影された実画像のＢマーカー２１ｂの位置と記憶されているＡマーカー２１ａに対するＢマーカー２１ｂの相対位置を示す情報により、Ａマーカー２１ａの位置と撮影範囲Ｆ２との位置を特定することが可能である。そして、仮想画像２３の撮影範囲Ｆ２に適した領域の画像を、撮影範囲Ｆ２の実画像２０と合成して表示することを可能としている。このとき、Ｂマーカー２１ｂの位置精度が問われず、撮影範囲Ｆ１内にＡマーカー２１ａとともに含まれるように設ければ良いので、Ａマーカー２１ａが撮影範囲から外れてしまうような位置であっても、仮想画像２３を容易にかつ正確に合成することが可能である。また、さらに離れた位置の画像を見たい場合には、既に記憶されているマーカー２１と同じ撮影範囲内に新たな識別マーカー２１ｂが含まれるように撮影範囲を設定していけば、Ａマーカー２１ａの位置に拘わらず所望の位置の合成画像２４を生成すること画可能である。 For this reason, as shown in FIG. 5A, a B marker 21b is provided within the imaging range F so as to be included together with the A marker 21a, and information indicating the relative position of the B marker 21b with respect to the A marker 21a is provided in advance. The subject is recorded, and the subject is photographed in the photographing range F2 including the periphery of the B marker 21b and the range hood 23a, so that the position of the B marker 21b of the photographed real image and the B for the stored A marker 21a are recorded. With the information indicating the relative position of the marker 21b, the position of the A marker 21a and the position of the imaging range F2 can be specified. Then, an image of a region suitable for the shooting range F2 of the virtual image 23 can be combined with the real image 20 of the shooting range F2 and displayed. At this time, regardless of the positional accuracy of the B marker 21b, it may be provided so as to be included together with the A marker 21a in the shooting range F1, so even if the A marker 21a is out of the shooting range, It is possible to synthesize the virtual image 23 easily and accurately. Further, when it is desired to see an image at a further distant position, if the shooting range is set so that a new identification marker 21b is included in the same shooting range as the marker 21 that has already been stored, the A marker 21a It is possible to generate the composite image 24 at a desired position regardless of the position.

上記実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはいうまでもない。 The above embodiment is for facilitating the understanding of the present invention, and is not intended to limit the present invention. The present invention can be changed and improved without departing from the gist thereof, and it is needless to say that the present invention includes equivalents thereof.

上記実施形態においては、情報マーカー２１ａが含まれていない撮影範囲に複数の識別マーカー２１ｂが含まれていた場合に、２つの識別マーカー２１ｂ間の識別同士間相対位置Ｒを算出し、算出した識別同士間相対位置Ｒと仮想画像２３とを対応づけた識別被写体情報Ｔを情報記憶領域１４ａに記憶する例について説明したが、これに限るものではない。例えば、既に識別被写体情報Ｔが記憶されている識別マーカー２１ｂと識別被写体情報Ｔが記憶されていない識別マーカー２１ｂとの識別同士間相対位置Ｒを算出し、既に識別被写体情報Ｔが記憶されている識別マーカー２１ｂの情報識別間相対位置Ｑまたは識別同士間相対位置Ｒとから、記憶されていない識別マーカー２１ｂの情報識別間相対位置Ｑを算出し、算出された情報識別間相対位置Ｑと仮想画像２３とを対応づけた識別被写体情報Ｔを情報記憶領域１４ａに記憶してもよい。 In the above embodiment, when a plurality of identification markers 21b are included in the imaging range that does not include the information marker 21a, the relative position R between the identifications between the two identification markers 21b is calculated, and the calculated identification is calculated. Although an example in which the identification subject information T in which the relative position R and the virtual image 23 are associated with each other is stored in the information storage area 14a has been described, the present invention is not limited to this. For example, the relative position R between the identification marker 21b in which the identification subject information T is already stored and the identification marker 21b in which the identification subject information T is not stored is calculated, and the identification subject information T is already stored. The relative position Q between the information identifications of the identification marker 21b which is not stored is calculated from the relative position Q between the information identifications of the identification marker 21b or the relative position R between the identifications, and the calculated relative position Q between the information identifications and the virtual image The identified subject information T associated with 23 may be stored in the information storage area 14a.

上記実施形態おいては、Ａマーカー(位置情報被写体)２１ａの位置をＧＰＳ等を用いて実測した地球上の絶対位置としたが、これに限るものではない。例えば、被写体となる例えば建物などに固有の基準点、及び、建物に固有の基準点から所定距離だけ離れた点であっても構わない。このような場合には、例えば、建物αの原点（０，０，０）に（１，０，０）の向きにＡマーカーが貼付されていたり、建物βの原点（０，０，０）に（１，０，０）の向きにＡマーカーが貼付されていてもよい。また、建物αのＡマーカーと建物βのＡマーカーとの区別が必要な場合には、各々のＡマーカーに、例えば建物αの場合には「建物αの原点（０，０，０）に（１，０，０）の向きに貼付されている」というような建物を特定する情報を含む位置情報が対応づけられている。 In the above embodiment, the position of the A marker (position information subject) 21a is the absolute position on the earth measured using GPS or the like, but is not limited thereto. For example, it may be a reference point unique to a building or the like that is a subject, and a point that is a predetermined distance away from a reference point unique to the building. In such a case, for example, an A marker is attached in the direction of (1, 0, 0) to the origin (0, 0, 0) of the building α, or the origin (0, 0, 0) of the building β. In addition, an A marker may be attached in the direction of (1, 0, 0). Further, when it is necessary to distinguish between the A marker of the building α and the A marker of the building β, for example, in the case of the building α, “to the origin (0, 0, 0) of the building α ( Position information including information specifying a building such as “Attached in the direction of (1, 0, 0)” is associated.

このとき、Ａマーカー(位置情報被写体)には仮想画像２３を特定するための情報が対応づけられておらず、仮想画像を特定するための識別マーカーを別途備えていることとしてもよい。具体的には、建物構造モデルの仮想画像が対応づけられたＸマーカー(識別マーカー)や、設備モデルの仮想画像が対応づけられたＹマーカー（識別マーカー）を予め備えておく。Ｘマーカー及びＹマーカーは、Ａマーカーとの相対位置情報も対応づけられている。そして、例えば、Ａマーカーとの相対位置情報を有するＢマーカーとＸマーカーまたはＹマーカーが撮影された実画像に含まれる場合には、Ｂマーカーに基づいてＡマーカーの位置を特定し、特定されたＡマーカーの位置に基づいて、ＸマーカーまたはＹマーカーに対応づけられた仮想画像を配置して合成画像を生成することが可能である。このとき、Ｂマーカーに基づいて特定されたＡマーカーが建物αに設けられたＡマーカーの場合には、ＸマーカーまたはＹマーカーに基づいて建物αの建物構造モデルの仮想画像または建物αの設備モデルの仮想画像を合成し、Ｂマーカーに基づいて特定されたＡマーカーが建物βに設けられたＡマーカーの場合には、ＸマーカーまたはＹマーカーに基づいて建物βの建物構造モデルの仮想画像または建物βの設備モデルの仮想画像を合成することが可能である。すなわち、マーカーの汎用性を高めることが可能である。 At this time, information for specifying the virtual image 23 is not associated with the A marker (position information subject), and an identification marker for specifying the virtual image may be separately provided. Specifically, an X marker (identification marker) associated with a virtual image of a building structure model and a Y marker (identification marker) associated with a virtual image of an equipment model are provided in advance. The X marker and the Y marker are also associated with relative position information with the A marker. For example, when a B marker having relative position information with respect to the A marker and an X marker or a Y marker are included in the photographed actual image, the position of the A marker is specified based on the B marker. Based on the position of the A marker, a virtual image associated with the X marker or the Y marker can be arranged to generate a composite image. At this time, when the A marker specified based on the B marker is an A marker provided in the building α, a virtual image of the building structure model of the building α or an equipment model of the building α based on the X marker or the Y marker When the A marker specified based on the B marker is an A marker provided in the building β, the virtual image or building of the building structure model of the building β based on the X marker or the Y marker It is possible to synthesize a virtual image of the equipment model of β. That is, it is possible to increase the versatility of the marker.

上記実施形態においては、仮想画像２３がＡマーカー２１ａに対応づけられている例について説明したが、これに限るものではない。例えば、識別マーカーであるＢマーカー２１ｂやＣマーカー２１ｂに対応づけられていても良い。この場合には、撮影された実画像２０からＢマーカー２１ｂまたはＣマーカー２１ｂが検出されると、Ｂマーカー２１ｂまたはＣマーカー２１ｂに対応づけられた仮想画像２３が特定され、例えばＡマーカー２１ａの位置を基準として仮想画像２３が配置されるように設定されていたとする。このとき、実画像２０にＢマーカー２１ｂが検出された場合には、算出された情報識別間相対位置Ｑに基づいて仮想画像２３が位置合わせされるとともに、Ｂマーカー２１ｂの仮想画像２３上の位置が特定され、特定されたＢマーカー２１ｂの位置と撮影範囲とに基づいて、実画像２０と仮想画像２３とが合成される。また、実画像２０にＣマーカー２１ｂが検出された場合には、算出された情報識別間相対位置Ｑと識別同士間相対位置Ｒに基づいて仮想画像２３が位置合わせされるとともに、Ｃマーカー２１ｂの仮想画像２３上の位置が特定され、特定されたＣマーカー２１ｂの位置と撮影範囲とに基づいて、実画像２０と仮想画像２３とが合成される。また、Ｃマーカー２１ｂの場合には、識別同士間相対位置と情報識別間相対位置とに基づいて、Ａマーカー２１ａとＣマーカー２１ｂとの新たな情報識別間相対位置が記憶されている場合には、新たな情報識別間相対位置に基づいて仮想画像２３が位置合わせされるとともに、Ｃマーカー２１ｂの仮想画像２３上の位置が特定され、特定されたＣマーカー２１ｂの位置と撮影範囲とに基づいて、実画像２０と仮想画像２３とが合成されてもよい。 In the said embodiment, although the example with which the virtual image 23 was matched with the A marker 21a was demonstrated, it does not restrict to this. For example, it may be associated with the B marker 21b or the C marker 21b which are identification markers. In this case, when the B marker 21b or the C marker 21b is detected from the photographed real image 20, the virtual image 23 associated with the B marker 21b or the C marker 21b is specified. For example, the position of the A marker 21a Is set so that the virtual image 23 is arranged on the basis of. At this time, when the B marker 21b is detected in the real image 20, the virtual image 23 is aligned based on the calculated relative position Q between information identifications, and the position of the B marker 21b on the virtual image 23 Is identified, and the actual image 20 and the virtual image 23 are combined based on the position of the identified B marker 21b and the shooting range. When the C marker 21b is detected in the real image 20, the virtual image 23 is aligned based on the calculated relative position Q between information identifications and the relative position R between identifications, and the C marker 21b. The position on the virtual image 23 is specified, and the real image 20 and the virtual image 23 are combined based on the specified position of the C marker 21b and the shooting range. In the case of the C marker 21b, when the new relative position between information identifications of the A marker 21a and the C marker 21b is stored based on the relative position between identifications and the relative position between information identifications. The virtual image 23 is aligned based on the new relative position between information identifications, the position of the C marker 21b on the virtual image 23 is specified, and based on the specified position of the C marker 21b and the imaging range. The real image 20 and the virtual image 23 may be combined.

また、仮想画像２３は、マーカー２１に対応づけられておらず、画像合成装置１の使用者が操作により、仮想画像２３を選択しても良い。この場合には、仮想画像２３と実画像２０とを位置合わせするための基準となる位置が、仮想画像２３に対応づけられていても良いし、使用者が操作により基準位置を設定しても良い。 Further, the virtual image 23 is not associated with the marker 21, and the user of the image composition device 1 may select the virtual image 23 by an operation. In this case, a reference position for aligning the virtual image 23 and the real image 20 may be associated with the virtual image 23, or the reference position may be set by a user operation. good.

上記実施形態では、静止画像を合成する例について説明したが、動画を合成する場合には、動画のフレームレートに合わせて、合成した画像を生成して表示すればよい。例えば、フレームレートが１５ｆｐｓであれば、１秒間に１５回、上記のように画像の合成処理を繰り返し表示部の画像を書き換えることにより実現可能である。 In the above embodiment, an example of combining still images has been described. However, when combining moving images, a combined image may be generated and displayed in accordance with the frame rate of the moving images. For example, if the frame rate is 15 fps, it can be realized by rewriting the image on the display unit by repeating the image composition processing as described above 15 times per second.

１画像合成装置
３壁
１０撮像部
１２制御部
１４記憶部
１４ａ情報記憶領域
１４ｂ画像仮想展開領域
１６表示部
１８操作部
２０実画像
２１マーカー
２１ａ情報マーカー（Ａマーカー）
２１ｂ識別マーカー（Ｂマーカー、Ｃマーカー）
２３仮想画像
２４合成画像
Ｆ１撮影範囲
Ｆ２撮影範囲
Ｐ位置情報
Ｑ情報識別間相対位置
Ｒ識別同士間相対位置
Ｔ識別被写体情報 DESCRIPTION OF SYMBOLS 1 Image composition apparatus 3 Wall 10 Imaging part 12 Control part 14 Storage part 14a Information storage area 14b Image virtual expansion area 16 Display part 18 Operation part 20 Real image 21 Marker 21a Information marker (A marker)
21b Identification marker (B marker, C marker)
23 Virtual image 24 Composite image F1 Shooting range F2 Shooting range P Position information Q Information identification relative position R Identification identification relative position T Identification subject information

Claims

An image synthesis method for synthesizing a real image obtained by photographing a subject and a virtual image generated in advance,
A position information subject having position information indicating its own position and associated with the virtual image, and an identified subject that is identifiable from the captured real image and not associated with the virtual image ; A process of attaching,
A real image storage step of photographing the subject including the position information subject and the identification subject, and storing image data constituting the photographed real image;
Based on the image data, a relative position between information identifications of the identification subject with respect to the position information subject is calculated, and identification subject information in which the calculated information identification relative position and the virtual image are associated with the identification subject is obtained. An identification subject information storing step for storing,
An image synthesis step of synthesizing the real image and the virtual image based on the identified subject information when the subject including the identified subject is captured without including the position information subject;
An image synthesizing method characterized by comprising:

The image composition method according to claim 1,
When the image data of a newly captured real image includes the identification subject and another identification subject different from the identification subject,
Based on the image data of the newly captured real image, a relative position between the identification subject and the other identification subject is calculated, and the calculated relative position between the identification subject and the other identification subject are calculated. And storing new discriminated subject information associated with each other.

The image composition method according to claim 1,
When the image data of a newly captured real image includes the identification subject and another identification subject different from the identification subject,
Based on the image data of the newly captured real image, a relative position between the identified subject and the other identified subject is calculated, and the calculated relative position between the identified subject and the relative position between the information identified Based on the above, a new information identification relative position between the position information subject and the other identification subject is calculated, and the new information identification relative position calculated is associated with the other identification subject. A method for synthesizing an image, characterized in that the identification subject information is stored.

An image composition method according to any one of claims 1 to 3,
When the identification subject for which the identification subject information is already stored is included in the image data of the newly captured real image, the real image and the virtual image are based on the stored identification subject information. An image composition method characterized by compositing an image.