JPH1155686A

JPH1155686A - Image processing apparatus and method, key signal generating apparatus and method, image synthesizing apparatus, and recording medium

Info

Publication number: JPH1155686A
Application number: JP20820597A
Authority: JP
Inventors: Tomoo Mitsunaga; 知生光永; Migaku Yokoyama; 琢横山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-08-01
Filing date: 1997-08-01
Publication date: 1999-02-26
Anticipated expiration: 2017-08-01
Also published as: JP3728884B2

Abstract

(57)【要約】【課題】第１の画像の背景に複数の色が含まれている
場合には、第１の画像から抜き出したい前景の境界付近
において、オペレータが背景色の均一である領域毎に背
景色を指定してやる必要があったので、大変な作業量と
なっていた。【解決手段】背景色算出部６は、画像１入力を構成す
る前景と背景の境界に関する情報と、上記画像１入力を
用いて前景と背景の境界付近の画素における局所的な背
景色を算出する。また、背景色除去部７は、この背景色
算出部６で算出した背景色に基づいて画像から背景色の
影響を除去する。 (57) [Problem] When a plurality of colors are included in the background of a first image, an area where the operator has a uniform background color near a boundary of a foreground to be extracted from the first image. This required a lot of work because it was necessary to specify the background color every time. A background color calculation unit (6) calculates information on a boundary between a foreground and a background constituting an image 1 input and a local background color in a pixel near a boundary between the foreground and the background using the image 1 input. . Further, the background color removing unit 7 removes the influence of the background color from the image based on the background color calculated by the background color calculating unit 6.

Description

DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、入力画像から背景
色の影響を除去する画像処理装置及び方法、並びに前景
と背景からなる画像からキー信号を生成するキー信号生
成装置及び方法、並びに第１の画像の前景と第２の画像
の背景とを合成する画像合成装置、並びに記録媒体に関
する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus and method for removing the influence of background color from an input image, a key signal generating apparatus and method for generating a key signal from an image consisting of foreground and background, and a first method. The present invention relates to an image synthesizing apparatus for synthesizing a foreground of an image and a background of a second image, and a recording medium.

【０００２】[0002]

【従来の技術】従来から、例えば第１の画像ａの前景
と、背景からなる第２の画像ｂとを合成する処理が映画
製作や、他の映像ファイルを作成する際に行われてい
た。2. Description of the Related Art Conventionally, for example, a process of synthesizing a foreground of a first image a and a second image b composed of a background has been performed when making a movie or creating another video file.

【０００３】例えば、図１２に示すように、前景と背景
からなる第１の画像ａと、背景からのみなる第２の画像
ｂのうち、第１の画像ａの前景と第２の画像ｂの背景と
を合成する際には、第１の画像ａから前景を抜き出すた
めのマスク画像ｃを生成しなければならなかった。For example, as shown in FIG. 12, of a first image a composed of a foreground and a background and a second image b composed only of a background, a first image a composed of a foreground and a second image b When combining with the background, a mask image c for extracting the foreground from the first image a had to be generated.

【０００４】画素において前景が寄与する割合をキー信
号と呼ぶが、マスク画像ｃはキー信号を算出すれば用意
に生成することが出来る。例えばキー信号の値は、前景
において１、背景において０で、前景と背景が混合する
領域では０以上１以下の値になる。マスク画像ｃは、例
えばキー信号の値を用いて、０から２５５までの値を取
るモノクロ画像として容易に作成できる。The ratio of the contribution of the foreground to the pixels is called the key signal. The mask image c can be easily generated by calculating the key signal. For example, the value of the key signal is 1 in the foreground and 0 in the background. In a region where the foreground and the background are mixed, the value is 0 or more and 1 or less. The mask image c can be easily created as a monochrome image taking values from 0 to 255 using, for example, the value of a key signal.

【０００５】ところで、キー信号を用いて第１の画像ａ
から前景の画像を単純に抜き出す場合には問題がある。
前景の境界付近は前景色と背景色が混合しているので、
抜き出した前景画像と第２の画像ｂ（背景）をキー信号
を用いて合成してしまうと、合成画像の前景の境界付近
では、境界付近に残ってしまっている第１の画像ａの背
景色と、第２の画像ｂの新しい背景色が混ざってしまう
からである。By the way, the first image a
There is a problem when simply extracting the foreground image from the image.
Near the foreground border, the foreground and background colors are mixed,
When the extracted foreground image and the second image b (background) are combined using the key signal, the background color of the first image a remaining near the boundary of the foreground of the combined image remains near the boundary. This is because the new background color of the second image b is mixed.

【０００６】そのため、上記二つの画像ａ，ｂを混合す
る際には第１の画像ａから予め第１の画像の背景色の影
響を削除することが望ましい。Therefore, when mixing the two images a and b, it is desirable to remove the influence of the background color of the first image from the first image a in advance.

【０００７】一方、画像からキー信号を算出するための
従来の技術としてクロマキー法がある。クロマキーは色
空間（例えばＲＧＢ空間）上でキーの値ｋの等値面を決
定し、注目画素の色を色空間にマッピングして、マッピ
ング後の点を通る等値面のキーの値ｋを算出して、これ
をキー信号とする方法である。On the other hand, there is a chroma key method as a conventional technique for calculating a key signal from an image. The chroma key determines an iso-surface of a key value k in a color space (for example, an RGB space), maps a color of a pixel of interest to the color space, and calculates a key value k of the iso-surface passing through a point after the mapping. This is a method of calculating and using this as a key signal.

【０００８】クロマキーを用いた特許には、特開平１−
１５５４７６号公報に開示されている「絵柄のマスク作
成方法」、特開平４−６８７６３号公報に開示されてい
る「切き抜マスク作成方法」、特開平３−５１１６号公
報に開示されている「ディジタルラインクロマキー装
置」、Ｖｌａｈｏｓ．Ｐ，”Ｃｏｍｐｏｓｉｔｉｎｇｓ
ｙｓｔｅｍｆｏｒｒｅｃｏｒｄｅｄｓｉｇｎａｌ
ｃｏｌｏｒ”，ＵＳ−Ｐａｔｅｎｔ、がある。また、
クロマキーを用いた論文としては、三島，”多面体スラ
イスを用いたクロマキーのソフトウェア，”ＮＩＣＯＧ
ＲＡＰＨ論文集Ｖｏ．８ｐｐ−４４−５２（１９９
２）、を始めとして多数の応用例があるが、ここでは良
く知られている基本的な方法について説明する。A patent using a chroma key is disclosed in Japanese Unexamined Patent Publication No.
"Pattern mask making method" disclosed in 155476, "Cut-out mask making method" disclosed in JP-A-4-68763, and "Patent mask forming method" disclosed in JP-A-3-5116. Digital Line Chroma Key Device ", Vlahos. P, “Compositions
system for recorded signal
color ", US-Patent.
For a paper using chromakey, see Mishima, "Chromakey Software Using Polyhedral Slices," NICOG
RAPH Proceedings Vol. 8 pp-44-52 (199
Although there are many application examples including 2), here, a well-known basic method will be described.

【０００９】クロマキーは、例えば青一色で塗り潰され
た部屋において人や車を撮影し、出来上がった画像から
背景色となる青色を図１３に示すように色空間で削除す
る方法である。[0009] Chroma key is a method in which a person or a car is photographed in a room filled with, for example, blue and a background color blue is deleted from a completed image in a color space as shown in FIG.

【００１０】例えば、図１３の右上図における画像の注
目画素のキー信号を算出したい場合は、注目画素の色を
ＲＧＢ空間にマッピングする。ただし、背景色は青一色
であるとする。ＲＧＢ空間では図１３の左図に示すよう
に、背景の色を点（０，０，１）とする。また、前景だ
けの領域と前景と背景の混合した領域の境界を、切片ｂ
と傾きｍをオペレータが指定して生成される正４角錐の
４個の側面とする。ここで、キーの値ｋが０から１まで
の等値面は、キーの値ｋが０の点とキーの値ｋが１の等
値面を内挿するようにして得られるような、正４角錐の
４個の側面とする。For example, when it is desired to calculate the key signal of the target pixel of the image in the upper right diagram of FIG. 13, the color of the target pixel is mapped to the RGB space. However, it is assumed that the background color is only blue. In the RGB space, as shown in the left diagram of FIG. 13, the background color is set to a point (0, 0, 1). Also, the boundary between the region of only the foreground and the region where the foreground and the background are mixed is defined by the intercept b.
And the inclination m are four sides of a regular quadrangular pyramid generated by designating by the operator. Here, an iso-surface with a key value k of 0 to 1 is a positive iso-surface obtained by interpolating a point with a key value k of 0 and an iso-surface with a key value k of 1. There are four sides of a quadrangular pyramid.

【００１１】この場合、図１３においてキーの値が１の
等値面の下側で、かつ０≦Ｒ≦１，０≦Ｇ≦１，０≦Ｂ
≦１で表される立方体の内側の領域に含まれる点は、全
てキーの値ｋが１の点である。そして、画面上の各画素
毎に算出されたキーの値ｋを、画素において前景の影響
の占める割合を示すキー信号αとして、（１−α）と背
景の青色を掛け合わせて画素の色から引くことにより、
背景色の影響を削除した前景色のみの画像を得ることが
できる。In this case, in FIG. 13, the key value is below the iso-surface of 1 and 0 ≦ R ≦ 1, 0 ≦ G ≦ 1, 0 ≦ B
Points included in the area inside the cube represented by ≦ 1 are all points where the key value k is 1. Then, the key value k calculated for each pixel on the screen is used as a key signal α indicating the ratio of the influence of the foreground in the pixel, and (1-α) is multiplied by the blue color of the background to determine the color of the pixel. By pulling
It is possible to obtain an image of only the foreground color from which the influence of the background color has been removed.

【００１２】この方法では、オペレータは切片ｂと傾き
ｍを調節しながら、例えば生成されたキーを用いて背景
色の影響を削除した画像を見て、適当なキーの等値面を
作成することが出来る。切片ｂと傾きｍを調節すること
は、キーの値ｋが１の領域の境界を決定することなの
で、オペレータがＲＧＢ空間内の前景領域を決定する意
味を持つ。In this method, the operator adjusts the intercept b and the inclination m while viewing the image from which the influence of the background color has been removed using, for example, the generated key, and creates an isosurface of an appropriate key. Can be done. Adjusting the intercept b and the slope m determines the boundary of the area where the key value k is 1, and therefore has a meaning for the operator to determine the foreground area in the RGB space.

【００１３】[0013]

【発明が解決しようとする課題】しかし、上記図１２で
説明したように、第１の画像ａの背景に複数の色が含ま
れている場合には、第１の画像ａから抜き出したい前景
の境界付近において、例えばオペレータが背景色の均一
である領域毎に背景色を指定してやる必要があったの
で、大変な作業量となっていた。However, as described with reference to FIG. 12, when the background of the first image a includes a plurality of colors, the foreground to be extracted from the first image a is determined. In the vicinity of the boundary, for example, it is necessary for the operator to specify the background color for each area where the background color is uniform.

【００１４】また、上記図１３を用いて説明したよう
に、画像からキー信号を算出する際の、従来の技術であ
るクロマキーに代表される方法には問題があった。例え
ばクロマキーの様に背景色を予め指定してしまう方法で
は、前景と背景の境界付近において背景の中に多くの色
が含まれている場合に、対応できないからである。ま
た、キー作成の過程において、前景の中に指定した背景
色(例えば青色)が混ざっている場合に、本当は前景の中
の領域なのに背景と勘違いしてキーを作成してしまう。Also, as described with reference to FIG. 13, there is a problem in a method represented by a conventional technique, such as chroma key, when calculating a key signal from an image. This is because, for example, a method of specifying a background color in advance, such as a chroma key, cannot cope with a case where the background contains many colors near the boundary between the foreground and the background. Also, in the process of creating a key, if a designated background color (for example, blue) is mixed in the foreground, the key is created by misunderstanding the background as an area in the foreground.

【００１５】これらの問題は、前景と背景の境界付近に
おいて局所的な領域毎にキーを作成することで解決する
が、例えばオペレータが前景と背景の境界付近におい
て、局所的な領域毎に前景色(前景の領域)と背景色(背
景の領域)を決定することは、前景と背景の境界付近に
多数の背景色が存在する場合に、オペレータの作業が膨
大になってしまう。These problems can be solved by creating a key for each local region near the boundary between the foreground and the background. For example, the operator can set a key near the boundary between the foreground and the background for each local region. Determining the (foreground area) and the background color (background area) requires an enormous amount of operator work when there are many background colors near the boundary between the foreground and the background.

【００１６】そこで、本発明は、上記実情に鑑みてなさ
れたものであり、局所的な領域の背景色を自動的に算出
し、画像から除去するための画像処理装置及び方法の提
供を目的とする。The present invention has been made in view of the above circumstances, and has as its object to provide an image processing apparatus and method for automatically calculating a background color of a local area and removing the background color from an image. I do.

【００１７】また、本発明は、上記実情に鑑みてなされ
たものであり、前景と背景の境界付近において局所的な
前景色と背景色とを自動的に算出し、キー信号再生時に
オペレータの作業量を低減できるキー信号生成装置及び
方法の提供を目的とする。Further, the present invention has been made in view of the above circumstances, and automatically calculates a local foreground color and a background color near a boundary between a foreground and a background, and performs an operation of an operator when reproducing a key signal. It is an object of the present invention to provide a key signal generation device and method capable of reducing the amount.

【００１８】また、本発明は、上記実情に鑑みてされた
ものであり、上記画像処理装置及び方法、或いは上記キ
ー信号生成装置及び方法を用いて、画像合成時にオペレ
ータの作業量を低減させることのできる画像合成装置の
提供を目的とする。Further, the present invention has been made in view of the above circumstances, and reduces the amount of work of an operator at the time of image synthesis using the image processing apparatus and method or the key signal generation apparatus and method. It is an object of the present invention to provide an image synthesizing device capable of performing the following.

【００１９】また、本発明は、上記画像処理方法、或い
は上記キー信号生成方法に関するプログラムを記録した
記録媒体を提供することで、オペレータの作業量を低減
することを目的とする。Another object of the present invention is to provide a recording medium on which a program relating to the image processing method or the key signal generating method is recorded, thereby reducing the amount of work of an operator.

【００２０】[0020]

【課題を解決するための手段】本発明に係る画像処理装
置は、上記課題を解決するために、背景色算出手段が、
画像を構成する前景と背景の境界に関する情報と、上記
入力画像を用いて、前景と背景の境界付近の画素におけ
る局所的な背景色を算出し、背景色除去手段が、上記背
景色算出手段で算出した背景色に基づいて画像から背景
色の影響を除去する。In order to solve the above-mentioned problems, an image processing apparatus according to the present invention comprises:
Using the information on the boundary between the foreground and the background constituting the image and the input image, a local background color in a pixel near the boundary between the foreground and the background is calculated. The effect of the background color is removed from the image based on the calculated background color.

【００２１】ここで、上記背景色算出手段は、前景と背
景の境界に関する情報、例えば、前景だけの領域と、背
景だけの領域と、前景と背景が混合した領域に分割する
ための情報や、または、パラメータで制御される曲面で
表されるキーに関する情報を用いて、前景と背景が混合
した領域に含まれる画素について、注目する画素の近傍
に存在して、かつ、背景だけの領域に含まれる画素から
自動的に背景色を算出する。Here, the background color calculating means includes information relating to the boundary between the foreground and the background, for example, information for dividing into a region of only the foreground, a region of only the background, and a region in which the foreground and background are mixed, Alternatively, using information on a key represented by a curved surface controlled by a parameter, pixels included in an area where a foreground and a background are mixed are present in the vicinity of a pixel of interest and included in an area of only a background. Automatically calculates the background color from the pixels to be processed.

【００２２】また、上記背景色除去手段は、算出された
背景色とキー信号を用い、自動的に画像から背景色の影
響を削除する。The background color removing means automatically removes the influence of the background color from the image using the calculated background color and the key signal.

【００２３】また、本発明に係る画像処理方法は、上記
課題を解決するために、画像を構成する前景と背景の境
界に関する情報と上記画像を用いて、前景と背景の境界
付近の画素における局所的な背景色を算出し、この背景
色に基づいて画像から背景色の影響を除去する。Further, in order to solve the above-mentioned problems, the image processing method according to the present invention uses information on the boundary between the foreground and the background constituting the image and the above-mentioned image, and uses the information on the local in pixels near the boundary between the foreground and the background. The background color is calculated, and the influence of the background color is removed from the image based on the background color.

【００２４】また、本発明に係るキー信号生成装置は、
上記課題を解決するために、境界情報算出手段で前景と
上記背景の境界情報を算出し、前景色算出手段で上記境
界情報算出手段で算出した上記境界情報と上記画像とを
用いて上記前景と上記背景の境界付近における局所的な
前景色を算出し、背景色算出手段で境界情報算出手段で
算出した上記境界情報と上記画像とを用いて上記前景と
上記背景の境界付近における局所的な背景色を算出し、
キー信号生成装置で上記前景色算出手段で算出した上記
前景色と上記背景色算出手段で算出した上記背景色とを
用いてキー信号を生成する。Further, the key signal generating device according to the present invention is
In order to solve the above problem, the boundary information calculating means calculates the boundary information between the foreground and the background, and the foreground calculating section calculates the foreground by using the boundary information and the image calculated by the boundary information calculating section. A local foreground color near the boundary of the background is calculated, and a local background near the boundary between the foreground and the background is calculated using the boundary information and the image calculated by the boundary information calculation unit by the background color calculation unit. Calculate the color,
The key signal generation device generates a key signal using the foreground color calculated by the foreground color calculation means and the background color calculated by the background color calculation means.

【００２５】ここで、上記前景色算出手段と上記背景色
算出手段は、前景と背景の境界に関する情報、例えば、
前景だけの領域と、背景だけの領域と、前景と背景が混
合した領域に分割するための情報や、または、パラメー
タで制御される曲面で表されるキーに関する情報を用い
て、前景と背景が混合した領域に含まれる画素について
は、注目する画素の近傍に存在して、前景だけの領域に
含まれる画素から前景色を算出し、同様に、背景だけの
領域に含まれる画素から背景色を算出する。Here, the foreground color calculating means and the background color calculating means provide information on a boundary between the foreground and the background, for example,
The foreground and the background are determined by using information for dividing into a region of only the foreground, a region of only the background, a region in which the foreground and the background are mixed, or information on a key represented by a surface controlled by parameters. For the pixels included in the mixed region, the foreground color is calculated from the pixels existing in the vicinity of the pixel of interest and included in the foreground only region, and the background color is similarly calculated from the pixels included in the background only region. calculate.

【００２６】また、キー信号生成手段は、算出された前
景色と背景色を用いてキー信号を算出する。The key signal generation means calculates a key signal using the calculated foreground color and background color.

【００２７】また、本発明に係るキー信号生成方法は、
上記課題を解決するために、前景と上記背景の境界情報
を算出し、この境界情報と上記画像とを用いて、上記前
景と上記背景の境界付近における局所的な前景色と背景
色とを算出し、これら前景色と背景色とを用いて、上記
キー信号を生成する。Further, the key signal generating method according to the present invention comprises:
In order to solve the above problem, boundary information between the foreground and the background is calculated, and a local foreground color and a background color near the boundary between the foreground and the background are calculated using the boundary information and the image. The key signal is generated using the foreground color and the background color.

【００２８】また、本発明に係る画像合成装置は、上記
課題を解決するために、画像を構成する前景と背景の境
界に関する情報と上記画像を用いて、前景と背景の境界
付近の画素における局所的な背景色を算出する背景色算
出手段と、上記背景色算出手段で算出した背景色に基づ
いて画像から背景色の影響を除去する背景色除去手段と
を備える。Further, in order to solve the above-mentioned problems, an image synthesizing apparatus according to the present invention uses information on a boundary between a foreground and a background constituting an image and the above-mentioned image to generate a local image at a pixel near the boundary between the foreground and the background. A background color calculating means for calculating a typical background color, and a background color removing means for removing the influence of the background color from the image based on the background color calculated by the background color calculating means.

【００２９】ここで、上記背景色算出手段は、前景と背
景の境界に関する情報、例えば、前景だけの領域と、背
景だけの領域と、前景と背景が混合した領域に分割する
ための情報や、または、パラメータで制御される曲面で
表されるキーに関する情報を用いて、前景と背景が混合
した領域に含まれる画素について、注目する画素の近傍
に存在して、かつ、背景だけの領域に含まれる画素から
自動的に背景色を算出する。Here, the background color calculating means includes information on a boundary between the foreground and the background, for example, information for dividing into a region of only the foreground, a region of only the background, and a region in which the foreground and the background are mixed, Alternatively, using information on a key represented by a curved surface controlled by a parameter, pixels included in an area where a foreground and a background are mixed are present in the vicinity of a pixel of interest and included in an area of only a background. Automatically calculates the background color from the pixels to be processed.

【００３０】また、上記背景色除去手段は、算出された
背景色とキー信号を用い、自動的に画像から背景色の影
響を削除する。The background color removing means automatically removes the influence of the background color from the image using the calculated background color and the key signal.

【００３１】また、本発明に係る画像合成装置は、上記
課題を解決するために、前景と上記背景の境界情報を算
出する境界情報算出手段と、上記境界情報算出手段で算
出した上記境界情報と上記画像とを用いて、上記前景と
上記背景の境界付近における局所的な前景色を算出する
前景色算出手段と、上記境界情報算出手段で算出した上
記境界情報と上記画像とを用いて、上記前景と上記背景
の境界付近における局所的な背景色を算出する背景色算
出手段と、上記前景色算出手段で算出した上記前景色と
上記背景色算出手段で算出した上記背景色とを用いて、
上記キー信号を生成するキー信号生成手段と、上記キー
信号生成手段により生成された上記キー信号を用いて、
上記第１の画像の前景と、上記第２の画像の背景とを合
成する合成手段とを備える。In order to solve the above-mentioned problems, the image synthesizing apparatus according to the present invention comprises a boundary information calculating means for calculating boundary information between a foreground and a background, and the boundary information calculated by the boundary information calculating means. Using the image, foreground color calculation means for calculating a local foreground color near the boundary between the foreground and the background, and using the boundary information and the image calculated by the boundary information calculation means, A background color calculation unit that calculates a local background color near the boundary between the foreground and the background, and the foreground color calculated by the foreground color calculation unit and the background color calculated by the background color calculation unit,
Using a key signal generating means for generating the key signal and the key signal generated by the key signal generating means,
A synthesizing unit that synthesizes a foreground of the first image and a background of the second image.

【００３２】ここで、上記前景色算出手段と上記背景色
算出手段は、前景と背景の境界に関する情報、例えば、
前景だけの領域と、背景だけの領域と、前景と背景が混
合した領域に分割するための情報や、または、パラメー
タで制御される曲面で表されるキーに関する情報を用い
て、前景と背景が混合した領域に含まれる画素について
は、注目する画素の近傍に存在して、前景だけの領域に
含まれる画素から前景色を算出し、同様に、背景だけの
領域に含まれる画素から背景色を算出する。Here, the foreground color calculating means and the background color calculating means provide information on a boundary between the foreground and the background, for example,
The foreground and the background are determined by using information for dividing into a region of only the foreground, a region of only the background, a region in which the foreground and the background are mixed, or information on a key represented by a surface controlled by parameters. For the pixels included in the mixed region, the foreground color is calculated from the pixels existing in the vicinity of the pixel of interest and included in the foreground only region, and the background color is similarly calculated from the pixels included in the background only region. calculate.

【００３３】また、キー信号生成手段は、算出された前
景色と背景色を用いてキー信号を算出する。The key signal generation means calculates a key signal using the calculated foreground color and background color.

【００３４】また、本発明に係る記録媒体は、画像を構
成する前景と背景の境界に関する情報と上記入力画像を
用いて、前景と背景の境界付近の画素における局所的な
背景色を算出する背景色算出工程と、上記背景色算出手
段で算出した背景色に基づいて画像から背景色の影響を
除去する背景色除去工程とを備える処理手順を記録して
なる。Further, the recording medium according to the present invention calculates a local background color at a pixel near the boundary between the foreground and the background by using the input image and information on the boundary between the foreground and the background constituting the image. The processing procedure includes a color calculating step and a background color removing step of removing the influence of the background color from the image based on the background color calculated by the background color calculating means.

【００３５】また、本発明に係る記録媒体は、前景と上
記背景の境界情報を算出する境界情報算出工程と、上記
境界情報算出工程で算出した上記境界情報と上記画像と
を用いて、上記前景と上記背景の境界付近における局所
的な前景色を算出する前景色算出工程と、上記境界情報
算出工程で算出した上記境界情報と上記画像とを用い
て、上記前景と上記背景の境界付近における局所的な背
景色を算出する背景色算出工程と、上記前景色算出工程
で算出した上記前景色と上記背景色算出工程で算出した
上記背景色とを用いて、上記キー信号を生成するキー信
号生成工程とを備える処理手順を記録してなる。Further, the recording medium according to the present invention uses the boundary information calculating step of calculating boundary information between the foreground and the background, and the foreground using the boundary information and the image calculated in the boundary information calculating step. And a foreground color calculation step of calculating a local foreground color near the boundary of the background, and using the boundary information and the image calculated in the boundary information calculation step, a localization near the boundary between the foreground and the background A background color calculation step of calculating a typical background color, and a key signal generation of generating the key signal using the foreground color calculated in the foreground color calculation step and the background color calculated in the background color calculation step And a processing procedure including the steps.

【００３６】[0036]

【発明の実施の形態】以下、本発明に係る画像処理装置
及び方法、並びにキー信号生成装置及び方法、並びに画
像合成装置、並びに記録媒体に関する実施の形態につい
て説明する。DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of an image processing apparatus and method, a key signal generating apparatus and method, an image synthesizing apparatus, and a recording medium according to the present invention will be described.

【００３７】先ず、図１〜図４を用いて、上記画像処理
装置及び方法の実施の形態となる背景色除去装置につい
て説明する。First, a background color removing apparatus which is an embodiment of the image processing apparatus and method will be described with reference to FIGS.

【００３８】この背景色除去装置は、図１に示すよう
に、画像入力端子１からの入力画像から背景色の影響を
除去する背景色除去処理を行うため、画像１入力を構成
する前景と背景の境界に関する情報と、上記画像１入力
を用いて前景と背景の境界付近の画素における局所的な
背景色を算出する背景色算出部６と、この背景色算出部
６で算出した背景色に基づいて画像から背景色の影響を
除去する背景色除去部７とを備えてなる。As shown in FIG. 1, the background color elimination device performs a background color elimination process for eliminating the effect of the background color from the image input from the image input terminal 1. Therefore, the foreground and the background constituting the image 1 input are used. , A background color calculation unit 6 that calculates a local background color in a pixel near the boundary between the foreground and the background using the image 1 input, and a background color calculated by the background color calculation unit 6. And a background color removing unit 7 for removing the influence of the background color from the image.

【００３９】また、この背景色除去装置は、入力端子２
から供給されるキー信号α、すなわち上記前景と背景の
境界に関する情報、に応じて前景だけの領域Ｒ₁と、背
景だけの領域Ｒ₃と、前景と背景が混合した領域Ｒ₂を形
成する領域分割部３と、背景色を除去する対象となる注
目画素ｐを決定する注目画素決定部４と、この注目画素
決定部４で決定された注目画素ｐに最も近い、上記領域
Ｒ₃上での画素ｑを算出する最近画素算出部５も備えて
なる。Further, the background color removing device has an input terminal 2
Key signal supplied from the alpha, i.e. the region forming information on the boundary of the foreground and background, a region R ₁ of only the foreground in accordance with, the region R ₃ of only the background, the region R ₂ of the foreground and the background are mixed The dividing unit 3, a pixel of interest determination unit 4 that determines a pixel of interest p from which a background color is to be removed, and a region R ₃ closest to the pixel of interest p determined by the pixel of interest determination unit 4 It also includes a recent pixel calculation unit 5 that calculates the pixel q.

【００４０】そして、上記背景色算出部６は、上記最近
画素算出部５で算出された最近画素ｑに所定の条件下で
近傍であるいくつかの画素を算出し、これらのいくつか
の画素の色の平均値を算出して背景色ｂとする。The background color calculator 6 calculates a number of pixels that are close to the nearest pixel q calculated by the nearest pixel calculator 5 under a predetermined condition, and calculates a number of these pixels. The average value of the colors is calculated and set as the background color b.

【００４１】この背景色ｂは、背景色除去部７に供給さ
れる。背景色除去部７は、上記背景色を含んだ注目画素
ｐの色Ｃ１と、キー信号αと、上記背景色ｂを用いて、
背景色の影響を除去した画素の色Ｃ２を算出し、出力端
子８に供給する。The background color b is supplied to the background color removing section 7. The background color removing unit 7 uses the color C1 of the pixel of interest p including the background color, the key signal α, and the background color b,
The color C2 of the pixel from which the influence of the background color has been removed is calculated and supplied to the output terminal 8.

【００４２】この図１に示した各部での演算処理は、図
２に示す中央演算部（ＣＰＵ）１０内部の論理演算部
（ＡＬＵ）１１で行われる。The arithmetic processing in each unit shown in FIG. 1 is performed by a logical operation unit (ALU) 11 inside a central processing unit (CPU) 10 shown in FIG.

【００４３】ＣＰＵ１０は、ＡＬＵ１１の他、レジスタ
１２と、コントローラ１３を有してなる。このＣＰＵ１
０は、インターフェース（Ｉ／Ｆ）１５を介して供給さ
れる入力データを、一旦ＲＡＭ１８に記憶させた後、Ａ
ＬＵ１１による演算後に、ＲＡＭ１８またはＲＯＭ１９
を介して、出力データとして出力する。The CPU 10 has a register 12 and a controller 13 in addition to the ALU 11. This CPU1
0 indicates that after the input data supplied via the interface (I / F) 15 is once stored in the RAM 18,
After the calculation by the LU 11, the RAM 18 or the ROM 19
And output as output data.

【００４４】レジスタ１２は、ＡＬＵ１１における計算
に使用されるデータや計算結果などを、一時的に記憶す
る。ＡＬＵ１１は、レジスタ１２が保持するデータを読
み込み、そのデータに対して所定の演算を行ない、その
演算結果をレジスタ１２に出力する。コントローラ１３
は、ＲＯＭ１９に記憶されているプログラムに従って、
レジスタ１２およびＡＬＵ１１を制御し、プログラムに
記憶された計算などを行なわせる。The register 12 temporarily stores data used for calculation in the ALU 11, calculation results, and the like. The ALU 11 reads the data held in the register 12, performs a predetermined operation on the data, and outputs the operation result to the register 12. Controller 13
According to the program stored in the ROM 19
It controls the register 12 and the ALU 11 to perform calculations and the like stored in the program.

【００４５】ＲＡＭ１８は、ＣＰＵ１０を制御するプロ
グラムを記憶する他に、ＣＰＵ１０から供給されるデー
タを保管してＩ／Ｆ１５に出力するようになされてい
る。ＲＯＭ１９は、ＣＰＵ１０において使用されるデー
タやプログラムを、一時的に記憶するようになされてい
る。The RAM 18 stores a program for controlling the CPU 10 and also stores data supplied from the CPU 10 and outputs the data to the I / F 15. The ROM 19 temporarily stores data and programs used in the CPU 10.

【００４６】以下、図３のフローチャートと図４を用い
て、図１及び図２に示した背景色除去装置の動作を説明
する。The operation of the background color removing apparatus shown in FIGS. 1 and 2 will be described below with reference to the flowchart of FIG. 3 and FIG.

【００４７】ここで、レジスタ１２とコントローラ１３
における動作説明は省略するが、これらの各部は各ステ
ップにおいて必要に応じて上述した範囲で動作する。Here, the register 12 and the controller 13
Although the description of the operation in is omitted, these units operate in the above-described ranges as necessary in each step.

【００４８】また、最初に、画像とキー信号がＩ／Ｆ１
５を通じて入力され、ＲＯＭ１９に確保された２個の画
像用の記憶領域にそれぞれ記憶されているとする。ま
た、図４に示した画像１の境界線Ｌ₀，Ｌ₁の２曲線を表
すパラメータはＲＯＭ１９に記憶される。First, the image and the key signal are transmitted through the I / F 1
5 and are stored in two image storage areas secured in the ROM 19, respectively. The parameters representing the two curves of the boundary lines L ₀ and L ₁ of the image 1 shown in FIG.

【００４９】図３のフローチャートの各ステップで用い
られる変数は、ＲＡＭ１８からレジスタ１２に送られ、
上記図１に詳細な構成を示したＡＬＵ１１によって必要
な演算を施された後に、再びレジスタ１２を介してＲＡ
Ｍ１８に送られる。また、フローチャートにおける一連
の処理を行なうプログラムがＩ／Ｆ１５から入力されＲ
ＡＭ１８に記憶されている。Variables used in each step of the flowchart of FIG. 3 are sent from the RAM 18 to the register 12,
After necessary operations are performed by the ALU 11 whose detailed configuration is shown in FIG.
It is sent to M18. A program for performing a series of processes in the flowchart is input from I / F 15 and R
It is stored in AM18.

【００５０】なお、この背景色除去装置に入力されるキ
ー信号αは、本件出願人が特開平９−３７１５３号公報
にて開示した「キー信号生成装置及び方法」の技術によ
り生成できる。この技術は、前景と背景の混合比である
キー信号の曲面を近似して算出し、複数個のパラメータ
で制御する方法による。この方法を用いると図４に示す
ように、前景と背景の混合した領域の前景側の境界線Ｌ
₁と背景側の境界線Ｌ₀を算出できるため、画像全体を前
景のみの領域Ｒ₁と、前景と背景が混ざった領域Ｒ₂と、
背景のみの領域Ｒ₃に分割することが出来る。The key signal α input to the background color removing apparatus can be generated by the technique of "key signal generating apparatus and method" disclosed by the present applicant in Japanese Patent Application Laid-Open No. 9-37153. This technique is based on a method in which a curved surface of a key signal, which is a mixture ratio of a foreground and a background, is calculated by approximation and controlled by a plurality of parameters. Using this method, as shown in FIG. 4, the boundary line L on the foreground side of the region where the foreground and the background are mixed.
₁ and the background-side boundary line L ₀ can be calculated, so that the entire image is divided into a region R _{1 of} only the foreground, a region R ₂ where the foreground and the background are mixed,
Can be divided into regions R ₃ of the background only.

【００５１】上記背景除去装置では、ＡＬＵ１１を構成
している領域分割部３が上記キー信号αに基づいて上記
境界線Ｌ₁と上記境界線Ｌ₀を算出し、画像全体を前景の
みの領域Ｒ₁と、前景と背景が混ざった領域Ｒ₂と、背景
のみの領域Ｒ₃に分割している。[0051] In the background removal device, the area dividing unit 3 constituting the ALU11 calculates the boundary L ₁ and the boundary line L ₀ based on the key signal alpha, area of the entire image foreground only R _1, a region R ₂ of the foreground and background are mixed, is divided into regions R ₃ of the background only.

【００５２】先ず、ステップＳ１で、ＡＬＵ１１を構成
する注目画素決定部４は、画像中の画素を順に画素
（1）,画素（2）,...,画素（n）として、画素の番号ｉ
をｉ＝１で初期化する。具体的には、ＡＬＵ１１でｉに
１を代入する。First, in step S1, the target pixel determining unit 4 constituting the ALU 11 sequentially sets the pixels in the image as pixel (1), pixel (2),.
Is initialized with i = 1. Specifically, the ALU 11 substitutes 1 for i.

【００５３】ステップＳ２で、注目画素決定部４は、画
素ｉが前景のみの領域Ｒ₁、前景と背景の混合した領域
Ｒ₂、背景のみの領域Ｒ₃のどれに含まれるか調べる。具
体的には、番号ｉの画素に対応した領域をＲＡＭ１８に
記憶されている領域判定用のマップから算出する。ここ
で、領域Ｒ₂に含まれると判定すればステップＳ３〜ス
テップＳ６を処理する。また、領域Ｒ₁に含まれると判
定すればステップＳ８に進み、領域Ｒ₃に含まれると判
定すればステップＳ９に進む。[0053] In step S2, the target pixel determination unit 4 checks whether the pixel i is area R ₁ of only the foreground, region R ₂ of a mixture of the foreground and the background are included in any of the regions R ₃ of the background only. Specifically, an area corresponding to the pixel of the number i is calculated from an area determination map stored in the RAM 18. Here, the processing at the step S3~ step S6 if determined to be included in the region R _2. Further, if determined to be included in the region R ₁ proceeds to step S8, if it is determined to be included in the region R ₃ proceeds to step S9.

【００５４】ここで、ステップＳ２で画像ｉが領域Ｒ₂
に含まれると判定すると、ＡＬＵ１１を構成する最近画
素算出部５は、ステップＳ３で、領域Ｒ₃に含まれる画
素で、画素ｉに最も距離が近い画素ｑを求める。具体的
には、ＲＡＭ１８に記録されている領域判定用のマップ
から領域Ｒ₃に含まれる画素を探して画素ｉとの距離を
最近画素算出部５で算出し、画素の座標と算出した距離
を一時的な変数に格納し、格納した距離より短い距離が
得られた場合には、一時的な画素の座標と算出した距離
を更新し、最終的に画素ｉに最も近い画素ｑを算出し
て、画素ｑの座標をＲＡＭ１８に記憶する。Here, in step S2, the image i is stored in the region R ₂
If it is determined to be included in, recently pixel calculation unit 5 constituting the ALU 11, in step S3, the pixel included in the region R _3, obtaining the pixel q whose distance is close to the pixel i. Specifically, calculated in recent pixel calculation unit 5 the distance between the pixel i looking for pixels included in the region R ₃ from the map for determining regions recorded in the RAM 18, the distance and the calculated coordinates of the pixel When the distance stored in the temporary variable is shorter than the stored distance, the coordinates of the temporary pixel and the calculated distance are updated, and finally the pixel q closest to the pixel i is calculated. , And the coordinates of the pixel q are stored in the RAM 18.

【００５５】次ぎに、ステップＳ４で、ＡＬＵ１１を構
成する背景色算出部６は、領域Ｒ₃に含まれる画素で、
画素ｑから距離２以下、境界線Ｌ₀から距離２以下とい
う条件下での画素ｑ₁，ｑ₂,...を算出する。具体的に
は、ＲＡＭ１８に確保されている領域判定用のマップを
用いて、領域Ｒ₃に含まれる画素ｑ_iを探して画素ｑとの
距離を算出する。また、ＲＡＭ１８に記憶されている境
界線Ｌ₀のパラメータから曲線の方程式を算出して、画
素ｑ_iと境界線Ｌ₀の距離を算出する。そして、画素ｑか
ら距離２以下で、かつ境界線Ｌ₀から距離２以下の画素
を次々と算出して、ＲＡＭ１８に用意された画素用の配
列に色を書き込む。[0055] Next, in step S4, background color calculating section 6 constituting the ALU11 is a pixel included in the region R _3,
Pixels q ₁ , q ₂ ,... Are calculated under the condition that the distance from the pixel q is 2 or less and the distance from the boundary line L _{0 is} 2 or less. Specifically, using the area determination map secured in the RAM 18, a pixel q _i included in the area R ₃ is searched for and the distance to the pixel q is calculated. Further, a curve equation is calculated from the parameters of the boundary line L ₀ stored in the RAM 18 to calculate the distance between the pixel q _i and the boundary line L ₀ . Then, at a distance 2 or less from the pixel q, and then successively calculates the distance 2 following pixel from the boundary line L _0, and writes the color array of pixels which are prepared in RAM 18.

【００５６】そして、ステップＳ５で背景色算出部６
は、画素ｑ₁，ｑ₂,...の色の平均値ｂを算出する。具体
的には、ＲＡＭ１８に確保された画素用の配列に記憶さ
れている全ての色の平均値を算出し、ＲＡＭ１８に確保
された背景色用の変数ｂに書き込む。Then, in step S5, the background color calculating section 6
Calculates the average value b of the colors of the pixels q ₁ , q ₂ ,. Specifically, the average value of all the colors stored in the pixel array secured in the RAM 18 is calculated and written to the background color variable b secured in the RAM 18.

【００５７】そして、ステップＳ６で、ＡＬＵ１１を構
成している背景色除去部７は、画素ｉにおけるキー信号
αを入力して、色Ｃ２を、Ｃ２＝Ｃ１−（１−α）＊ｂから求める。具体的には、ＲＡＭ１８に確保された変数
Ｃ１，ｂと、ＲＯＭ１９に確保された画像用の記憶領域
に記憶されたキー信号のマップを参照して、ここから得
られる画素ｉのキー信号αを用いて、画素ｉから背景色
の影響を除去した色Ｃ２を上記式のように算出し、ＲＡ
Ｍ１８に確保された画像用の記憶領域の画素ｉに対応す
る場所に書き込む。Then, in step S6, the background color removing unit 7 constituting the ALU 11 receives the key signal α for the pixel i, and obtains the color C2 from C2 = C1- (1-α) * b. . Specifically, the key signal α of the pixel i obtained from the variables C1 and b secured in the RAM 18 and the key signal map stored in the image storage area secured in the ROM 19 is referred to. Is used to calculate the color C2 from the pixel i from which the influence of the background color has been removed, as in the above equation,
The data is written to the location corresponding to the pixel i in the image storage area secured in M18.

【００５８】上記ステップＳ２で画素ｉが領域Ｒ₁に含
まれると判定し、ステップＳ８に進むと、背景色除去部
７は、Ｃ２＝Ｃ１とする。すなわち、ＲＡＭ１８から取
り出した変数Ｃ２に画素ｉの値Ｃ１を代入する。[0058] determined that the pixel i in step S2 is included in the area R _1, the process proceeds to step S8, the background color removal section 7, and C2 = C1. That is, the value C1 of the pixel i is substituted for the variable C2 extracted from the RAM 18.

【００５９】また、上記ステップＳ２で画素ｉが領域Ｒ
₃に含まれると判定し、ステップＳ９に進むと、背景色
除去部７は、Ｃ２＝０とする。すなわち、ＲＡＭ１８か
ら取り出した変数Ｃ２に画素ｉの値０を代入する。In step S2, the pixel i is set in the region R
₃ and the process proceeds to step S9, the background color removing unit 7 sets C2 = 0. That is, the value 0 of the pixel i is substituted for the variable C2 extracted from the RAM 18.

【００６０】そして、ステップＳ７では、ＲＡＭ１８に
記憶されている変数ｉに１だけ加算する。また、ステッ
プＳ１０では、画素ｉ≦ｎか調べて、ｙｅｓならステッ
プＳ２に進み、ｎｏならｅｎｄとし、ＲＡＭ１８に確保
された画像用の記憶領域の色Ｃ２がＩ／Ｆ１５を経てモ
ニタ１７に表示される。Then, in step S7, 1 is added to the variable i stored in the RAM 18. In step S10, it is checked whether pixel i ≦ n. If yes, the process proceeds to step S2. If no, end is set. The color C2 of the image storage area secured in the RAM 18 is displayed on the monitor 17 via the I / F 15. You.

【００６１】このように、図１及び図２に示した背景色
除去装置は、従来と比較して、前景と背景の境界付近に
おいて、局所的に背景色が自動的に決定でき、背景色に
複数の色が含まれている場合にも、画像から背景色の影
響を高い精度で取り除くことが出来る。このため、オペ
レータが局所的な領域毎に背景色を指定する場合に比べ
て、作業量が大幅に削減できる。As described above, the background color removing apparatus shown in FIGS. 1 and 2 can automatically determine the background color locally near the boundary between the foreground and the background, as compared with the related art. Even when a plurality of colors are included, the influence of the background color can be removed from the image with high accuracy. For this reason, the amount of work can be significantly reduced as compared with the case where the operator specifies the background color for each local area.

【００６２】次ぎに、図５〜図８を用いて、上記キー信
号生成装置及び方法の実施の形態について説明する。Next, an embodiment of the above-described key signal generation apparatus and method will be described with reference to FIGS.

【００６３】この実施の形態は、前景と背景からなる画
像からキー信号を生成するキー信号生成装置であり、図
５に示すように、画像入力端子２０から入力された画像
の前景と背景の境界情報を算出する境界情報算出部２１
と、この境界情報算出部２１で算出した上記境界情報と
上記画像とを用いて、上記前景と背景の境界付近におけ
る局所的な前景色を算出する前景色算出部２５と、境界
情報算出部２１で算出した上記境界情報と上記画像とを
用いて、上記前景と上記背景の境界付近における局所的
な背景色を算出する背景色算出部２７と、前景色算出部
２５で算出した上記前景色と背景色算出部２７で算出し
た上記背景色とを用いて、上記キー信号を生成するキー
信号生成部２８とを備えてなる。This embodiment is a key signal generating apparatus for generating a key signal from an image composed of a foreground and a background. As shown in FIG. 5, a boundary between the foreground and the background of the image input from the image input terminal 20 is shown in FIG. Boundary information calculation unit 21 for calculating information
A foreground color calculation unit 25 that calculates a local foreground color near the boundary between the foreground and the background using the boundary information and the image calculated by the boundary information calculation unit 21; The background color calculation unit 27 that calculates a local background color near the boundary between the foreground and the background using the boundary information and the image calculated in the above, and the foreground color calculated by the foreground color calculation unit 25 A key signal generation unit that generates the key signal using the background color calculated by the background color calculation unit 27;

【００６４】また、このキー信号生成装置は、境界情報
算出部２１で算出した境界情報に基づいて入力画像を前
景だけの領域Ｒ₁、背景だけの領域Ｒ₃、前景と背景が混
合した領域Ｒ₂に分割する領域分割部２２と、キー信号
を生成する対象となる注目画素を決定する注目画素決定
部２３と、この注目画素決定部２３で決定された注目画
素ｐに最も近い、上記領域Ｒ₁上での画素ｒを算出する
最近画素算出部２４と、上記注目画素ｐに最も近い、上
記領域Ｒ₃上での画素ｑを算出する最近画素算出部２６
も備えてなる。Further, the key signal generation device converts the input image into a region R ₁ containing only the foreground, a region R ₃ containing only the background, and a region R containing both the foreground and the background based on the boundary information calculated by the boundary information calculation section 21. ₂ , a target pixel determining unit 23 for determining a target pixel for which a key signal is to be generated, and the region R closest to the target pixel p determined by the target pixel determining unit 23. A nearest pixel calculating unit 24 for calculating a pixel r on the pixel ₁ and a nearest pixel calculating unit 26 for calculating a pixel q on the region R ₃ closest to the pixel of interest p.
Will also be provided.

【００６５】そして、上記前景色算出部２５は、上記最
近画素算出部２４で算出された最近画素ｒに所定の条件
下で近傍であるいくつかの画素を算出し、これらのいく
つかの画素の色の平均値を算出して前景色ｆとする。The foreground color calculating section 25 calculates a number of pixels which are in the vicinity of the nearest pixel r calculated by the nearest pixel calculating section 24 under a predetermined condition, and calculates a number of these pixels. The average value of the colors is calculated and set as the foreground color f.

【００６６】また、上記背景色算出部２７は、上記最近
画素算出部２６で算出された最近画素ｑに所定の条件下
で近傍であるいくつかの画素を算出し、これらのいくつ
かの画素の色の平均値を算出して背景色ｂとする。The background color calculation section 27 calculates some pixels that are close to the latest pixel q calculated by the latest pixel calculation section 26 under a predetermined condition, and calculates the number of these pixels. The average value of the colors is calculated and set as the background color b.

【００６７】キー信号生成部２８は、上記前景色ｆと背
景色ｂに基づいて画素ｐにおけるキー信号αを生成して
出力端子２９に供給する。The key signal generator 28 generates a key signal α for the pixel p based on the foreground color f and the background color b, and supplies the key signal α to the output terminal 29.

【００６８】この図５に示した各部での演算処理も、上
記図２に示したＣＰＵ１０内部のＡＬＵ１１で行われ
る。ここで、ＣＰＵ１０、ＡＬＵ１１、レジスタ１２、
コントローラ１３、Ｉ／Ｆ１５、ＲＡＭ１８、ＲＯＭ１
９における基本的な動作は、既に上述した通りである。The arithmetic processing in each section shown in FIG. 5 is also performed by the ALU 11 in the CPU 10 shown in FIG. Here, the CPU 10, the ALU 11, the register 12,
Controller 13, I / F 15, RAM 18, ROM 1
The basic operation in 9 is as described above.

【００６９】以下、図６のフローチャートと図７及び図
８を用いて、図５及び図２に示したキー信号生成装置の
動作を説明する。The operation of the key signal generator shown in FIGS. 5 and 2 will be described below with reference to the flowchart of FIG. 6, and FIGS. 7 and 8.

【００７０】ここでも、レジスタ１２とコントローラ１
３における動作説明は省略するが、これらの各部は各ス
テップにおいて必要に応じて上述した範囲で動作する。Again, the register 12 and the controller 1
Although the description of the operation in 3 is omitted, these units operate in the above-described ranges as needed in each step.

【００７１】最初に、入力画像がＲＯＭ１９に確保され
た画像用の記憶領域に記憶されているとする。また、図
６のフローチャートにおける一連の処理を行なうプログ
ラムがＩ／Ｆ１５から入力されＲＡＭ１８に記憶されて
いるとする。First, it is assumed that the input image is stored in the image storage area secured in the ROM 19. It is also assumed that a program for performing a series of processes in the flowchart of FIG. 6 is input from I / F 15 and stored in RAM 18.

【００７２】そして、図６のフローチャートの各ステッ
プで用いられる変数は、ＲＡＭ１８からレジスタ１２に
送られ、ＡＬＵ１１によって必要な演算を施された後
に、再びレジスタ１２を介してＲＡＭ１８に送られる。The variables used in each step of the flowchart of FIG. 6 are sent from the RAM 18 to the register 12, subjected to necessary operations by the ALU 11, and sent again to the RAM 18 via the register 12.

【００７３】なお、境界情報算出部２１は、本件出願人
が特開平９−３７１５３号公報で開示した「キー信号生
成装置及び方法」の技術を用いて、図７に示すように、
画像１におけるキー信号の中間データとして、キーの値
が０の境界線Ｌ₀と、キーの値が１の境界線Ｌ₁を算出す
る。As shown in FIG. 7, the boundary information calculation unit 21 uses the technique of “key signal generation apparatus and method” disclosed by the present applicant in Japanese Patent Application Laid-Open No. 9-37153, as shown in FIG.
As intermediate data of a key signal in the image 1, a boundary line L0 having a key value of ₀ and a boundary line L1 having a key value of ₁ are calculated.

【００７４】そして、領域分割部２２は、境界線Ｌ₀、
Ｌ₁により図７に示すように、画像全体を前景のみの領
域Ｒ₁と、前景と背景が混ざった領域Ｒ₂と、背景のみの
領域Ｒ₃に分割する。Then, the area dividing section 22 calculates the boundary lines L ₀ ,
The L ₁ as shown in FIG. 7, a region R ₁ of the entire image foreground only, a region R ₂ that mix of foreground and background, is divided into regions R ₃ of the background only.

【００７５】先ず、ステップＳ１１で、ＡＬＵ１１を構
成する注目画素決定部２３は、画像中の画素を順に画素
（1）,画素（2）,...,画素（n）として、画素の番号ｉ
をｉ＝１で初期化する。具体的には、ＡＬＵ１１でｉに
１を代入する。First, in step S11, the pixel-of-interest determination unit 23 constituting the ALU 11 sequentially sets the pixels in the image as pixel (1), pixel (2),.
Is initialized with i = 1. Specifically, the ALU 11 substitutes 1 for i.

【００７６】ステップＳ１２で、注目画素決定部２３
は、画素ｉが前景のみの領域Ｒ₁、前景と背景の混合し
た領域Ｒ₂、背景のみの領域Ｒ₃のどれに含まれるか調べ
る。具体的には、番号ｉの画素に対応した領域をＲＡＭ
１８に記憶されている領域判定用のマップから算出す
る。ここで、領域Ｒ₂に含まれると判定すればステップ
Ｓ１３〜ステップＳ１６を処理する。また、領域Ｒ₁に
含まれると判定すればステップＳ１８に進み、領域Ｒ₃
に含まれると判定すればステップＳ１９に進む。At step S12, the target pixel determination unit 23
Checks whether the pixel i is included in the foreground only region R ₁ , the foreground / background mixed region R ₂ , or the background only region R ₃ . Specifically, the area corresponding to the pixel of the number i is stored in the RAM
18 is calculated from the area determination map stored in the memory 18. Here, the processing at the step S13~ step S16 if determined to be included in the region R _2. If it is determined that the region R ₁ is included, the process proceeds to step S 18, and the region R ₃
If it is determined to be included, the process proceeds to step S19.

【００７７】ここで、ステップＳ１２で画像ｉが領域Ｒ
₂に含まれると判定すると、ＡＬＵ１１を構成する最近
画素算出部２４は、ステップＳ１３で、領域Ｒ₁に含ま
れる画素で、画素ｉに最も距離が近い画素ｒを求める。
具体的には、ＲＡＭ１８に記録されている領域判定用の
マップから領域Ｒ₁に含まれる画素を探して画素ｉとの
距離を算出し、画素の座標と算出した距離を一時的な変
数に格納し、格納した距離より短い距離が得られた場合
には、一時的な画素の座標と算出した距離を更新し、最
終的に画素ｉに最も近い画素ｒを算出して、画素ｒの座
標をＲＡＭ１８に記憶する。同様に、このステップＳ１
３で、ＡＬＵ１１を構成する最近画素算出部２６は、領
域Ｒ₃に含まれる画素で、画素ｉに最も距離が近い画素
ｑを求める。Here, in step S12, the image i
If it is determined to be included in the _2, recently pixel calculation unit 24 constituting the ALU11, in step S13, the pixel included in the region R _1, obtaining the pixel r whose distance is close to the pixel i.
Specifically, calculates the distance between the pixel i looking for pixels contained the map of area determination recorded in RAM18 in the region R _1, stored in the temporary variable distances and the calculated coordinates of the pixel Then, when a distance shorter than the stored distance is obtained, the coordinates of the temporary pixel and the calculated distance are updated, a pixel r closest to the pixel i is finally calculated, and the coordinates of the pixel r are calculated. It is stored in the RAM 18. Similarly, this step S1
3, recent pixel calculation unit 26 constituting the ALU11 is a pixel included in the region R _3, obtaining the pixel q whose distance is close to the pixel i.

【００７８】次ぎに、ステップＳ１４で、ＡＬＵ１１を
構成する前景色算出部２５は、領域Ｒ₁に含まれる画素
で、画素ｒから距離２以下、境界線Ｌ₁から距離２以下
の画素ｒ₁，ｒ₂,...を算出する。具体的には、ＲＡＭ１
８に確保されている領域判定用のマップを用いて、領域
Ｒ₁に含まれる画素ｒ_iを探して画素ｒとの距離を算出す
る。また、ＲＡＭ１８に記憶されている境界線Ｌ₁のパ
ラメータから曲線の方程式を算出して、画素ｒ_iと境界
線Ｌ₁の距離を算出する。そして、画素ｒから距離２以
下で、かつ境界線Ｌ₁から距離２以下の画素を次々と算
出して、ＲＡＭ１８に用意された画素用の配列に色を書
き込む。同様に、背景色算出部２７は、領域Ｒ₃に含ま
れる画素で、画素ｑから距離２以下、境界線Ｌ₀から距
離２以下の画素ｑ₁，ｑ₂,...を算出する。[0078] Next, in step S14, the scenery calculator 25 before configuring ALU 11, the pixel included in the region R _1, the distance 2 or less from the pixel r, pixel r ₁ from the boundary line L ₁ distance 2 below, Calculate r ₂ , ... Specifically, RAM1
8 using a map for determining regions are reserved, and calculates the distance between the pixel r looking for pixel r _i included in the region R _1. Further, by calculating the equation of the curve from the parameters of the boundary line L ₁ stored in the RAM 18, calculates the distance of the pixel r _i and border L _1. Then, at a distance 2 or less from the pixel r, and then successively calculates the distance 2 following pixel from the boundary line L _1, and writes the color array of pixels which are prepared in RAM 18. Similarly, the background color calculation unit 27 calculates pixels q ₁ , q ₂ ,... At a distance of 2 or less from the pixel q and at a distance of 2 or less from the boundary line L ₀ among the pixels included in the region R ₃ .

【００７９】そして、ステップＳ１５で前景色算出部２
５は、画素ｒ₁，ｒ₂,...の色の平均値ｆを算出する。具
体的には、ＲＡＭ１８に確保された画素用の配列に記憶
されている全ての色の平均値を算出し、ＲＡＭ１８に確
保された背景色用の変数ｆに書き込む。同様に、背景色
算出部２７は、画素ｑ₁，ｑ₂,...の色の平均値ｂを算出
する。Then, in step S15, the foreground color calculation unit 2
5 calculates the average value f of the colors of the pixels r ₁ , r ₂ ,. Specifically, the average value of all the colors stored in the pixel array secured in the RAM 18 is calculated and written to the background color variable f secured in the RAM 18. Similarly, the background color calculation unit 27 calculates the average value b of the colors of the pixels q ₁ , q ₂ ,.

【００８０】そして、ステップＳ１６で、ＡＬＵ１１を
構成しているキー信号生成部２８は、画素ｉにおけるキ
ー信号αを算出する。Then, in step S16, the key signal generator 28 constituting the ALU 11 calculates the key signal α for the pixel i.

【００８１】このキー信号生成部２８は、図８に示すよ
うに、画素ｐの色Ｃ１、前景色ｆ、背景色ｂをＲＧＢ空
間にマッピングして、点ｆと点ｂを結ぶ半直線に対して
点Ｃ１の垂線の足である点ｇを求め、以下の式により画
素ｐのキー信号αを算出する。As shown in FIG. 8, the key signal generation unit 28 maps the color C1, the foreground color f, and the background color b of the pixel p into the RGB space, and calculates a half-line connecting the points f and b. A point g, which is the foot of the perpendicular to the point C1, is obtained, and the key signal α of the pixel p is calculated by the following equation.

【００８２】α＝｜ｇ−ｂ｜／｜ｆ−ｂ｜上記ステップＳ１２で画素ｉが領域Ｒ₁に含まれると判
定し、ステップＳ１８に進むと、キー信号生成部２８
は、α＝１とする。[0082] α = | g-b | / | f-b | is determined that the pixel i in step S12 is included in the area R _1, the process proceeds to step S18, the key signal generating section 28
Is α = 1.

【００８３】また、上記ステップＳ１２で画素ｉが領域
Ｒ₃に含まれると判定し、ステップＳ１９に進むと、キ
ー信号生成部２８は、α＝０とする。[0083] Further, it is determined that the pixel i in step S12 is included in the area R _3, In step S19, the key signal generating section 28, and alpha = 0.

【００８４】そして、ステップＳ１７では、ＲＡＭ１８
に記憶されている変数ｉに１だけ加算する。また、ステ
ップＳ２０では、画素ｉ≦ｎか調べて、ｙｅｓならステ
ップＳ１２に進み、ｎｏならｅｎｄとし、ＲＡＭ１８に
確保されたキー信号αがＩ／Ｆ１５を経てモニタ１７に
表示される。Then, in step S17, the RAM 18
Is added to the variable i stored in the. In step S20, it is checked whether pixel i ≦ n. If yes, the process proceeds to step S12. If no, end is set. The key signal α secured in the RAM 18 is displayed on the monitor 17 via the I / F 15.

【００８５】このように、図５及び図２に示したキー信
号生成装置は、従来と比較して、前景と背景の境界付近
において、局所的に前景色と背景色を自動的に決定でき
るので、局所的な領域毎に正確なキー信号を算出でき
る。このため、オペレータが局所的な領域毎に前景色と
背景色を指定する場合に比べて、作業量が大幅に削減で
きる。As described above, the key signal generation apparatus shown in FIGS. 5 and 2 can automatically determine the foreground and background colors locally near the boundary between the foreground and the background, as compared with the related art. In addition, an accurate key signal can be calculated for each local area. Therefore, the amount of work can be significantly reduced as compared with the case where the operator specifies the foreground color and the background color for each local area.

【００８６】次ぎに、上記画像処理装置及び方法の他の
実施の形態について図９及び図１０を参照しながら説明
する。Next, another embodiment of the image processing apparatus and method will be described with reference to FIGS. 9 and 10.

【００８７】この実施の形態は、画像から背景色の影響
を削除するために、局所的な背景色を自動的に算出し、
画像から除去する背景色除去装置である。In this embodiment, a local background color is automatically calculated in order to remove the influence of the background color from the image.
This is a background color removing device that removes from an image.

【００８８】この背景色除去装置の構成は、上記図１及
び図２に示した構成と基本的に同様である。異なるのは
最近画素算出部５での最近画素Ｂの算出処理であり、図
９に示すフローチャートではステップＳ３の処理が異な
る。The configuration of the background color removing device is basically the same as the configuration shown in FIGS. The difference is the calculation process of the latest pixel B in the latest pixel calculation unit 5, and the process of step S3 is different in the flowchart shown in FIG.

【００８９】先ず、ステップＳ１で、ＡＬＵ１１を構成
する注目画素決定部４は、上述したように画素の番号ｉ
をｉ＝１で初期化する。First, in step S1, the target pixel determining unit 4 forming the ALU 11 determines the pixel number i as described above.
Is initialized with i = 1.

【００９０】ステップＳ２で、注目画素決定部４は、画
素ｉが前景のみの領域Ｒ₁、前景と背景の混合した領域
Ｒ₂、背景のみの領域Ｒ₃のどれに含まれるか調べる。具
体的には、本件出願人が特開平９−３７１５３号公報で
開示した「キー信号生成装置及び方法」の技術を用い、
前景のキーが３次元のモデル、即ち、３次−１次のベジ
ェ曲面が３次のパラメータの方向に連続して輪の形に繋
がっている形状で生成されたとき、これをｘｙ＝０の平
面に射影して、前景のみの領域Ｒ₁、前景と背景の混合
した領域Ｒ₂、背景のみの領域Ｒ₃に分類して、画素ｉが
領域Ｒ₁，Ｒ₂，Ｒ₃のどれに含まれるかを調べる。[0090] In step S2, the target pixel determination unit 4 checks whether the pixel i is area R ₁ of only the foreground, region R ₂ of a mixture of the foreground and the background are included in any of the regions R ₃ of the background only. Specifically, using the technique of “key signal generation apparatus and method” disclosed by the present applicant in Japanese Patent Application Laid-Open No. 9-37153,
When the foreground key is generated in a three-dimensional model, that is, a shape in which a cubic-first-order Bezier surface is continuously connected to a ring shape in the direction of the cubic parameter, this is defined as xy = 0 by projecting the plane, the area R ₁ of the foreground alone, mixed region R ₂ of the foreground and background, are classified in the region R ₃ of the background alone, a pixel i is included in any of the regions R _1, R _2, R ₃ Find out if

【００９１】図１０は、ｎ個のベジェ曲面Ｑ_k（１≦ｋ
≦ｎ）が連続して繋がることで前景のキーを表したと
き、この曲面の高さを平面にマッピングした図である。FIG. 10 shows n Bezier curved surfaces Q _k (1 ≦ k
≦ n) is a diagram in which the height of this curved surface is mapped to a plane when the foreground key is represented by continuous connection.

【００９２】ここで、ベジェ曲面Ｑ_k（１≦ｋ≦ｎ）
は、前景と背景の混合した領域のキーを３次元の曲面で
表したもので、前景のキーの高さ方向（ｘｙｚ座標系の
ｚ方向）はキーの値ｋを表し、前景のキーの縦横方向
（ｘｙｚ座標系のｘｙ方向）は画像上の座標（ｘ，ｙ）
を表している。Here, the Bezier curved surface Q _k (1 ≦ k ≦ n)
Is a three-dimensional surface of a key in an area where the foreground and the background are mixed. The height direction of the foreground key (z direction in the xyz coordinate system) indicates the value k of the key, and the length and width of the key in the foreground. The direction (xy direction in the xyz coordinate system) is the coordinates (x, y) on the image
Is represented.

【００９３】そして、ベジェ曲面Ｑ_k（１≦ｋ≦ｎ）で
は、前景のキーの高さ方向（ｘｙｚ座標系のｚ方向）を
パラメータｓ（０≦ｓ≦１）で、前景のキーの縦横方向
（ｘｙｚ座標系のｘｙ方向）をパラメータｔ（０≦ｔ≦
１）で制御している。In the Bezier curved surface Q _k (1 ≦ k ≦ n), the height direction of the foreground key (z direction in the xyz coordinate system) is determined by the parameter s (0 ≦ s ≦ 1) and the vertical and horizontal directions of the foreground key. The direction (xy direction of the xyz coordinate system) is defined as a parameter t (0 ≦ t ≦
It is controlled in 1).

【００９４】ステップＳ２で画像ｉが領域Ｒ₂に含まれ
ると判定すると、最近画素算出部５は、ステップＳ３
で、領域Ｒ₃に含まれる画素で、画素ｉに最も距離が近
い画素Ｂを求める。具体的には、画素ｉの中心点Ｐにお
いて、画素ｉが含まれる曲面Ｑ_k（１≦ｋ≦ｎ）の３次
方向の曲線に対して法線を算出し、この法線上の画素で
あって、領域Ｒ₃に含まれる画素で、画素ｉに最も距離
が近い画素Ｂを求める。[0094] When the image i in step S2 is determined to be included in the region R _2, recently pixel calculation unit 5, step S3
In, the pixel included in the region R _3, obtaining the pixel B whose distance is close to the pixel i. Specifically, at the center point P of the pixel i, a normal is calculated with respect to a curve in the tertiary direction of the curved surface Q _k (1 ≦ k ≦ n) including the pixel i. Te, the pixel included in the region R _3, obtaining the pixel B whose distance is close to the pixel i.

【００９５】そして、ステップＳ４で背景色検出部６
は、領域Ｒ₃に含まれる画素で、画素Ｂから距離２以
下、曲線Ｌ₀から距離２以下の画素Ｂ₁，Ｂ₂,...を算出
し、ステップＳ５で画素Ｂ₁，Ｂ₂,...の色の平均値ｂを
算出する。Then, in step S4, the background color detector 6
Is a pixel included in the region R _3, the distance 2 or less from the pixel B, the distance 2 following pixel B ₁ from the curve L _0, B _2, calculates ..., pixel B _1, B ₂ in step S5, The average value b of the colors of... Is calculated.

【００９６】すなわち、ステップＳ３〜ステップＳ５で
は、注目する画素ｉの中心点Ｐにおいて、図１０に示す
ようにパラメータｓ方向の曲線に対する法線を算出し、
この法線が図１０におけるキー信号の値が０の曲線Ｌ₀
を通過した直後の画素をＢとして、画素Ｂから距離２以
内の範囲で、曲線Ｌ₀から距離２以内の範囲で曲面Ｑ
_k（１≦ｋ≦ｎ）の外側に含まれる画素の平均値を背景
色ｂとして算出する。That is, in steps S3 to S5, a normal to the curve in the parameter s direction is calculated at the center point P of the target pixel i as shown in FIG.
This normal line is a curve L ₀ where the value of the key signal in FIG. 10 is _0.
As B pixels immediately after passing through a range of distance within 2 from the pixel B, the curved surface Q in a range from the curve L ₀ length 2 within the
The average value of the pixels included outside _k (1 ≦ k ≦ n) is calculated as the background color b.

【００９７】そして、ステップＳ６で、ＡＬＵ１１を構
成している背景色除去部７は、画素ｉにおけるキー信号
αを入力して、色Ｃ２を、Ｃ２＝Ｃ１−（１−α）＊ｂから求める。Then, in step S6, the background color removing unit 7 constituting the ALU 11 receives the key signal α for the pixel i, and obtains the color C2 from C2 = C1- (1-α) * b. .

【００９８】上記ステップＳ２で画素ｉが領域Ｒ₁に含
まれると判定し、ステップＳ８に進むと、背景色除去部
７は、Ｃ２＝Ｃ１とする。[0098] determined that the pixel i in step S2 is included in the area R _1, the process proceeds to step S8, the background color removal section 7, and C2 = C1.

【００９９】また、上記ステップＳ２で画素ｉが領域Ｒ
₃に含まれると判定し、ステップＳ９に進むと、背景色
除去部７は、Ｃ２＝０とする。In step S2, the pixel i is set in the region R
₃ and the process proceeds to step S9, the background color removing unit 7 sets C2 = 0.

【０１００】そして、ステップＳ７では、ＲＡＭ１８に
記憶されている変数ｉに１だけ加算する。また、ステッ
プＳ１０では、画素ｉ≦ｎか調べて、ｙｅｓならステッ
プＳ２に進み、ｎｏならｅｎｄとし、ＲＡＭ１８に確保
された画像用の記憶領域の色Ｃ２がＩ／Ｆ１５を経てモ
ニタ１７に表示される。In step S7, 1 is added to the variable i stored in the RAM 18. In step S10, it is checked whether or not the pixel i ≦ n. If yes, the process proceeds to step S2. If no, the end is set. You.

【０１０１】このように、図９に動作を示した背景色除
去装置は、従来と比較して、前景と背景の境界付近にお
いて、局所的に背景色が自動的、かつ正確に決定でき、
背景色に複数の色が含まれている場合にも、画像から背
景色の影響を高い精度で取り除くことが出来る。このた
め、オペレータが局所的な領域毎に背景色を指定する場
合に比べて、作業量が大幅に削減できる。As described above, the background color elimination apparatus shown in FIG. 9 can automatically and accurately determine the background color locally near the boundary between the foreground and the background, as compared with the related art.
Even when the background color includes a plurality of colors, the effect of the background color can be removed from the image with high accuracy. For this reason, the amount of work can be significantly reduced as compared with the case where the operator specifies the background color for each local area.

【０１０２】次ぎに、本発明に係る画像合成装置の実施
の形態について図１１を参照しながら説明する。Next, an embodiment of an image synthesizing apparatus according to the present invention will be described with reference to FIG.

【０１０３】図１１において、画像提供装置６１及び６
２は、例えばビデオテーププレーヤ、或いはハードディ
スク装置などのディスクプレーヤなどで、所定の画像を
再生して出力するようになされている。なお、ここで
は、画像提供装置６１が再生する前景又は背景をそれぞ
れＦ又はＢとする画像Ｔ１（第１の画像）が、キー信号
生成装置６４及びミキサ６５に供給されるようになされ
ており、この画像Ｔ１が、キー信号を生成する対象とさ
れている。また、画像提供装置６２が再生する画像Ｔ２
（第２の画像）は、ミキサ６５に供給されるようになさ
れており、この画像Ｔ２に対し、画像Ｔ１の前景Ｆが合
成されるようになされている。In FIG. 11, the image providing devices 61 and 6
Reference numeral 2 denotes a video tape player or a disk player such as a hard disk device for reproducing and outputting a predetermined image. Here, an image T1 (first image) whose foreground or background is F or B, respectively, reproduced by the image providing device 61 is supplied to the key signal generation device 64 and the mixer 65. This image T1 is a target for generating a key signal. The image T2 reproduced by the image providing device 62
The (second image) is supplied to the mixer 65, and the foreground F of the image T1 is combined with the image T2.

【０１０４】キー信号生成装置６４は、上記図５に示し
たキー信号生成装置と同様に構成されており、上述した
ようにしてキー信号αを生成し、ミキサ６５に出力す
る。ミキサ６５は、キー信号生成装置６４からのキー信
号αを用いて、そこに入力される画像Ｔ１とＴ２とを合
成する。The key signal generator 64 has the same configuration as the key signal generator shown in FIG. 5, and generates the key signal α as described above and outputs it to the mixer 65. The mixer 65 combines the images T1 and T2 input thereto using the key signal α from the key signal generation device 64.

【０１０５】ここで、ミキサ６５は、上記図１に示した
背景除去装置の機能を備えており、画像Ｔ１から前景Ｆ
を抜き出す際に、背景色の影響を排除している。そし
て、その前景Ｆを、画像Ｔ２に合成（はめ込む）するよ
うになされている。Here, the mixer 65 has the function of the background removing device shown in FIG.
When extracting the image, the effect of the background color is eliminated. Then, the foreground F is combined with (fit into) the image T2.

【０１０６】次ぎに、その動作について説明する。画像
提供装置６１及び６２では、画像Ｔ１及びＴ２がそれぞ
れ再生され、ミキサ６５に供給される。さらに、画像提
供装置６１が再生する画像Ｔ１は、キー信号生成装置６
４にも供給される。Next, the operation will be described. In the image providing devices 61 and 62, the images T1 and T2 are reproduced and supplied to the mixer 65. Further, the image T1 reproduced by the image providing device 61 is the key signal generating device 6
4 as well.

【０１０７】キー信号生成装置６４では、上述したよう
にして、キー信号αを生成し、ミキサ６５に出力する。
ミキサ６５では、上記背景色除去装置の機能を用い、キ
ー信号αを用いて、そこに入力される画像Ｔ１から前景
Ｆを抜き出す際に、背景色を削除し、その前景Ｆを、画
像Ｔ２に合成する。これにより、画像Ｔ２に前景Ｆを合
成した画像（合成画像）Ｔ４が生成される。The key signal generation device 64 generates the key signal α as described above and outputs it to the mixer 65.
In the mixer 65, when the foreground F is extracted from the image T1 input thereto using the key signal α by using the function of the background color removing device, the background color is deleted, and the foreground F is converted to the image T2. Combine. As a result, an image (synthesized image) T4 in which the foreground F is synthesized with the image T2 is generated.

【０１０８】このように、上記画像合成装置は、画像合
成時に、上記キー信号生成方法を用いたキー信号生成装
置と、上記画像処理方法を用いたミキサを使って、画像
を合成しているので、オペレータの作業量を低減させる
ことができる。As described above, the image synthesizing apparatus synthesizes an image using the key signal generating apparatus using the key signal generating method and the mixer using the image processing method at the time of image synthesizing. Therefore, the amount of work of the operator can be reduced.

【０１０９】なお、ここでは、キー信号生成装置６４に
本発明のキー信号生成方法、及びミキサ６５に本発明の
画像処理方法を適用していたが、いずれか一方のみ、す
なわちキー信号生成装置６４には他のキー信号生成方法
を適用し、ミキサ６５にのみ本発明の画像処理方法を適
用してもよい。また、キー信号生成装置６４に本発明の
キー信号生成方法を適用し、ミキサ６５では特に背景色
を除去する機能を持たせなくてもよい。Here, the key signal generating method of the present invention is applied to the key signal generating device 64 and the image processing method of the present invention is applied to the mixer 65, but only one of them, that is, the key signal generating device 64 is used. , Another key signal generation method may be applied, and the image processing method of the present invention may be applied only to the mixer 65. Further, the key signal generation method of the present invention is applied to the key signal generation device 64, and the mixer 65 does not need to have a function of removing a background color.

【０１１０】尚、以上の実施の形態においては、前景と
背景の境界に関する情報は、前景だけの領域と、背景だ
けの領域と、前景と背景が混合した領域に分割するため
の情報であったが、この情報は、例えばオペレータがペ
イントツール等を用いて作成した画像の輪郭を、前景と
背景が混合した領域とし、この輪郭の内側を前景だけの
領域、この輪郭の外側を背景だけの領域とすることもで
きる。In the above embodiment, the information relating to the boundary between the foreground and the background is information for dividing into a region including only the foreground, a region including only the background, and a region where the foreground and the background are mixed. However, this information is, for example, the outline of the image created by the operator using a paint tool or the like, as a region where the foreground and background are mixed, the inside of this outline only the foreground, the outside of this outline only the background It can also be.

【０１１１】また、以上の実施の形態においては、画像
の局所的な領域における前景色や背景色を算出する際
に、前景と背景の混合した領域に含まれる画素から、前
景だけの領域、または背景だけの領域に含まれる画素の
内で注目する画素に最も近い画素を算出し、算出した画
素から一定距離の範囲に存在し、かつ、前景と背景が混
合した領域と前景だけの領域との境界線から一定距離の
範囲に存在する画素の平均値を算出して注目する画素の
前景色とし、また、前景と背景が混合した領域と背景だ
けの領域との境界線から一定距離の範囲に存在する画素
の平均値を算出して注目する画素の背景色とする方法を
示したが、これ以外の方法で局所的な領域における前景
色と背景色を算出する場合、即ち、注目する画素の近傍
となる画素を、前景だけの領域または背景だけの領域か
ら算出するために別の方法を用いる場合や、算出された
注目する画素の近傍となる画素から、注目する画素の前
景色や背景色を算出するために別の方法を用いる場合に
も、本発明の方法は適用可能であることは勿論である。In the above embodiment, when calculating the foreground color and background color in a local region of an image, the foreground-only region or the foreground-only region is calculated from the pixels included in the mixed region of the foreground and background. The pixel closest to the pixel of interest among the pixels included in the background-only region is calculated, and a pixel that is within a certain distance from the calculated pixel and that is a region in which the foreground and background are mixed and a region that is only the foreground is calculated. The average value of the pixels within a certain distance from the boundary line is calculated and used as the foreground color of the pixel of interest. The method of calculating the average value of the existing pixels and setting the background color of the pixel of interest has been described. However, when calculating the foreground color and the background color in a local region by other methods, that is, Neighboring pixels are placed in the foreground In order to calculate the foreground color or background color of the pixel of interest from another pixel in the vicinity of the calculated pixel of interest. Even when the method is used, the method of the present invention is of course applicable.

【０１１２】また、本発明に係る画像処理方法、すなわ
ち、画像を構成する前景と背景の境界に関する情報と上
記画像を用いて、前景と背景の境界付近の画素における
局所的な背景色を算出し、この背景色に基づいて画像か
ら背景色の影響を除去するという方法を用いた、処理手
順（プログラム）を記録媒体に記録し、このプログラム
を適宜読み出すことにより、容易に、注目画素における
背景色の影響を排除することができる。Further, the image processing method according to the present invention, that is, a local background color in a pixel near the boundary between the foreground and the background is calculated using the information on the boundary between the foreground and the background constituting the image and the image. By recording a processing procedure (program) on a recording medium using a method of removing the influence of the background color from the image based on the background color and reading out the program as appropriate, the background color at the target pixel can be easily obtained. Can be eliminated.

【０１１３】この処理手順は、詳細に示すと、画像を構
成する前景と背景の境界に関する情報と上記入力画像を
用いて、前景と背景の境界付近の画素における局所的な
背景色を算出する背景色算出工程と、上記背景色算出手
段で算出した背景色に基づいて画像から背景色の影響を
除去する背景色除去工程とからなる。This processing procedure will be described in detail. A background for calculating a local background color at a pixel near the boundary between the foreground and the background using the information on the boundary between the foreground and the background constituting the image and the input image. The method includes a color calculating step and a background color removing step of removing the influence of the background color from the image based on the background color calculated by the background color calculating means.

【０１１４】また、本発明に係るキー信号生成方法、す
なわち、前景と上記背景の境界情報を算出し、この境界
情報と上記画像とを用いて、上記前景と上記背景の境界
付近における局所的な前景色と背景色とを算出し、これ
ら前景色と背景色とを用いて、上記キー信号を生成する
という方法を用いた処理手順（プログラム）を記録した
記録媒体から該プログラムを読み出して実行することに
より、容易に、注目画素のキー信号を生成することがで
きる。The key signal generation method according to the present invention, that is, the boundary information between the foreground and the background is calculated, and the local information near the boundary between the foreground and the background is calculated using the boundary information and the image. A foreground color and a background color are calculated, and using the foreground color and the background color, the program is read out from a recording medium recording a processing procedure (program) using the method of generating the key signal and executed. This makes it possible to easily generate a key signal for the pixel of interest.

【０１１５】この処理手順は、詳細に示すと、前景と上
記背景の境界情報を算出する境界情報算出工程と、上記
境界情報算出工程で算出した上記境界情報と上記画像と
を用いて、上記前景と上記背景の境界付近における局所
的な前景色を算出する前景色算出工程と、上記境界情報
算出工程で算出した上記境界情報と上記画像とを用い
て、上記前景と上記背景の境界付近における局所的な背
景色を算出する背景色算出工程と、上記前景色算出工程
で算出した上記前景色と上記背景色算出工程で算出した
上記背景色とを用いて、上記キー信号を生成するキー信
号生成工程とからなる。This processing procedure will be described in detail. A boundary information calculating step for calculating boundary information between the foreground and the background, and the boundary information and the image calculated in the boundary information calculating step are used for the foreground. And a foreground color calculation step of calculating a local foreground color near the boundary of the background, and using the boundary information and the image calculated in the boundary information calculation step, a localization near the boundary between the foreground and the background A background color calculation step of calculating a typical background color, and a key signal generation of generating the key signal using the foreground color calculated in the foreground color calculation step and the background color calculated in the background color calculation step Process.

【０１１６】[0116]

【発明の効果】本発明に係る画像処理装置及び方法は、
局所的な領域の背景色を自動的に算出し、画像から除去
するので、背景色に複数の色が含まれている場合にも、
画像から背景色の影響を高い精度で取り除くことが出来
る。また、オペレータが局所的な領域毎に背景色を指定
する場合に比べて、作業量が大幅に削減できる。The image processing apparatus and method according to the present invention are:
Since the background color of the local area is automatically calculated and removed from the image, even if the background color includes multiple colors,
The effect of the background color can be removed from the image with high accuracy. Further, the amount of work can be significantly reduced as compared with a case where the operator specifies a background color for each local area.

【０１１７】また、本発明に係るキー信号生成装置及び
方法は、前景と背景の境界付近において局所的な前景色
と背景色とを自動的に算出してキー信号を生成するの
で、局所的な領域毎に正確なキー信号を算出できる効果
がある。また、オペレータが局所的な領域毎に前景色と
背景色を指定する場合に比べて、作業量が大幅に削減で
きる。Further, the key signal generation apparatus and method according to the present invention automatically calculate the local foreground color and the background color near the boundary between the foreground and the background, and generate the key signal. There is an effect that an accurate key signal can be calculated for each area. Further, the amount of work can be significantly reduced as compared with a case where the operator specifies a foreground color and a background color for each local area.

【０１１８】また、本発明に係る画像合成装置は、上記
画像処理装置及び方法、或いは上記キー信号生成装置及
び方法を用いるので、画像合成時にオペレータの作業量
を低減させることができる。Further, since the image synthesizing apparatus according to the present invention uses the above-described image processing apparatus and method or the above-described key signal generating apparatus and method, it is possible to reduce the amount of work of the operator during image synthesizing.

【０１１９】また、本発明に係る記録媒体は、背景色除
去時、又はキー信号生成時にオペレータの作業量を低減
させるという効果を広く提供することができる。Further, the recording medium according to the present invention can widely provide the effect of reducing the amount of work performed by the operator when the background color is removed or when the key signal is generated.

[Brief description of the drawings]

【図１】本発明に係る画像処理装置及び方法の実施の形
態となる背景色除去装置の機能ブロック図である。FIG. 1 is a functional block diagram of a background color removing apparatus which is an embodiment of an image processing apparatus and method according to the present invention.

【図２】上記図１の機能ブロック図を動作させる論理演
算部（ＡＬＵ）を含む全体構成を示す上記背景色除去装
置のブロック図である。FIG. 2 is a block diagram of the background color removing device showing an overall configuration including a logical operation unit (ALU) that operates the functional block diagram of FIG. 1;

【図３】上記背景色除去装置の動作を説明するためのフ
ローチャートである。FIG. 3 is a flowchart for explaining the operation of the background color removing device.

【図４】上記背景色除去装置の動作を説明するための図
である。FIG. 4 is a diagram for explaining the operation of the background color removing device.

【図５】本発明に係るキー信号生成装置及び方法の実施
の形態となるキー信号生成装置の機能ブロック図であ
る。FIG. 5 is a functional block diagram of a key signal generation device which is an embodiment of the key signal generation device and method according to the present invention.

【図６】上記キー信号生成装置の動作を説明するための
フローチャートである。FIG. 6 is a flowchart for explaining the operation of the key signal generation device.

【図７】上記キー信号生成装置の動作を説明するための
図である。FIG. 7 is a diagram for explaining the operation of the key signal generation device.

【図８】上記キー信号生成装置の要部の動作を説明する
ための特性図である。FIG. 8 is a characteristic diagram for explaining an operation of a main part of the key signal generation device.

【図９】上記背景除去装置及び方法の他の実施の形態の
動作を説明するためのフローチャートである。FIG. 9 is a flowchart for explaining the operation of another embodiment of the background removing apparatus and method.

【図１０】上記図９に示した他の実施の形態の動作を説
明するための図である。FIG. 10 is a diagram for explaining the operation of the other embodiment shown in FIG. 9;

【図１１】本発明に係る画像合成装置の実施の形態の構
成を示すブロック図である。FIG. 11 is a block diagram showing a configuration of an embodiment of an image synthesizing apparatus according to the present invention.

【図１２】画像合成処理を説明するための図である。FIG. 12 is a diagram illustrating an image combining process.

【図１３】クロマキー生成処理を説明するための図であ
る。FIG. 13 is a diagram for explaining chroma key generation processing.

[Explanation of symbols]

５最近（最も近い）画素算出部、６背景色算出部、
７背景色除去部、２４最近画素算出部、２５前景
色算出部、２６最近画素算出部、２７背景色算出
部、２８キー信号生成部5 recent (closest) pixel calculator, 6 background color calculator,
7 background color removing section, 24 recent pixel calculating section, 25 foreground color calculating section, 26 recent pixel calculating section, 27 background color calculating section, 28 key signal generating section

─────────────────────────────────────────────────────
────────────────────────────────────────────────── ───

【手続補正書】[Procedure amendment]

【提出日】平成１０年４月２７日[Submission date] April 27, 1998

【手続補正１】[Procedure amendment 1]

【補正対象書類名】図面[Document name to be amended] Drawing

【補正対象項目名】図１[Correction target item name] Fig. 1

【補正方法】変更[Correction method] Change

【補正内容】[Correction contents]

【図１】 FIG.

【手続補正２】[Procedure amendment 2]

【補正対象書類名】図面[Document name to be amended] Drawing

【補正対象項目名】図３[Correction target item name] Figure 3

【補正方法】変更[Correction method] Change

【補正内容】[Correction contents]

【図３】 FIG. 3

【手続補正３】[Procedure amendment 3]

【補正対象書類名】図面[Document name to be amended] Drawing

【補正対象項目名】図６[Correction target item name] Fig. 6

【補正方法】変更[Correction method] Change

【補正内容】[Correction contents]

【図６】 FIG. 6

【手続補正４】[Procedure amendment 4]

【補正対象書類名】図面[Document name to be amended] Drawing

【補正対象項目名】図８[Correction target item name] Fig. 8

【補正方法】変更[Correction method] Change

【補正内容】[Correction contents]

【図８】 FIG. 8

【手続補正５】[Procedure amendment 5]

【補正対象書類名】図面[Document name to be amended] Drawing

【補正対象項目名】図９[Correction target item name] Fig. 9

【補正方法】変更[Correction method] Change

【補正内容】[Correction contents]

【図９】 FIG. 9

Claims

[Claims]

1. An image processing apparatus for performing a background color removal process for removing an influence of a background color from an input image, comprising:
A background color calculating unit that calculates a local background color in a pixel near a boundary between a foreground and a background by using the input image; and determining an influence of the background color from the image based on the background color calculated by the background color calculating unit. An image processing apparatus comprising: a background color removing unit that removes the background color.

2. The image processing apparatus according to claim 1, wherein the information on the boundary is information for forming a region of only the foreground, a region of only the background, and a region where the foreground and the background are mixed. apparatus.

3. The image processing apparatus according to claim 1, wherein the boundary information is information on a key represented by a curved surface controlled by a parameter.

4. A direction perpendicular to the contour of the foreground is calculated for a pixel near the boundary between the foreground and the background using the boundary information, and the background color calculating means calculates the background color along this direction. The image processing apparatus according to claim 3, wherein:

5. An image processing method for removing an influence of a background color from an input image, comprising: information on a boundary between a foreground and a background constituting the image and the image; An image processing method comprising calculating a local background color and removing the influence of the background color from an image based on the background color.

6. The image processing apparatus according to claim 5, wherein the information on the boundary is information for forming a region of only the foreground, a region of only the background, and a region where the foreground and the background are mixed. Method.

7. The image processing method according to claim 5, wherein the boundary information is information relating to a key represented by a curved surface controlled by a parameter.

8. The method according to claim 1, wherein a direction perpendicular to the contour of the foreground is calculated for a pixel near the boundary between the foreground and the background using the boundary information, and a background color is calculated along this direction. The image processing method according to claim 7.

9. A key signal generation device for generating a key signal from an image composed of a foreground and a background, comprising: a boundary information calculation unit configured to calculate boundary information between the foreground and the background; and the boundary calculated by the boundary information calculation unit. A foreground color calculating means for calculating a local foreground color near a boundary between the foreground and the background using information and the image, and using the boundary information and the image calculated by the boundary information calculating means. A background color calculation unit that calculates a local background color near the boundary between the foreground and the background, and the foreground color calculated by the foreground color calculation unit and the background color calculated by the background color calculation unit. A key signal generation device, comprising: key signal generation means for generating a key signal.

10. The boundary information calculated by the boundary information calculating means is information for forming a region of only foreground, a region of only background, and a region where foreground and background are mixed. Item 10. The key signal generation device according to Item 9.

11. The key signal generation device according to claim 9, wherein the boundary information calculated by the boundary information calculation means is information on a key represented by a curved surface controlled by a parameter.

12. Using the boundary information, a direction perpendicular to the foreground contour is calculated for pixels near the boundary between the foreground and the background, and the foreground color calculating means and the background color calculating means are calculated along this direction. 12. The key signal generation device according to claim 11, wherein the device calculates a foreground color and a background color.

13. A key signal generation method for generating a key signal of a foreground from an image composed of a foreground and a background, wherein the boundary information between the foreground and the background is calculated, and the foreground is calculated using the boundary information and the image. And calculating a local foreground color and a background color near the boundary of the background and the background, and generating the key signal using the foreground color and the background color.

14. The key signal generation method according to claim 13, wherein said boundary information is information for forming a region of only foreground, a region of only background, and a region in which foreground and background are mixed. Method.

15. The key signal generation method according to claim 13, wherein the boundary information is information on a key represented by a curved surface controlled by a parameter.

16. A method of calculating a direction perpendicular to a contour of a foreground for a pixel near a boundary between the foreground and the background using the boundary information, and calculating a foreground color and a background color along the direction. The key signal generation method according to claim 15, wherein:

17. A first system comprising at least a foreground and a background
And a second image comprising at least a background, and synthesizing the foreground of the first image and the background of the second image. A background color calculating unit that calculates a local background color in a pixel near the boundary between the foreground and the background using the information on the boundary and the image; and a background color calculated from the background color calculated by the background color calculating unit. An image synthesizing apparatus, comprising: a background color removing unit that removes the influence of the background color.

18. A first system comprising at least a foreground and a background
And a second image comprising at least a background, and synthesizing the foreground of the first image and the background of the second image, wherein the boundary information between the foreground and the background is Boundary information calculation means to calculate, using the boundary information and the image calculated by the boundary information calculation means, foreground color calculation means to calculate a local foreground color near the boundary between the foreground and the background, Using the boundary information and the image calculated by the boundary information calculation unit, a background color calculation unit that calculates a local background color near the boundary between the foreground and the background, and a background color calculation unit that calculates the background color. Using the foreground color and the background color calculated by the background color calculation means, a key signal generation means for generating the key signal, using the key signal generated by the key signal generation means, Serial and foreground of the first image, the image synthesizing apparatus comprising: a synthesizing means for synthesizing the background of the second image.

19. The apparatus according to claim 19, further comprising: a background color removing unit configured to remove an influence of the background color from the image based on the key signal generated by the key signal generating unit and the background color calculated by the background color calculating unit. A synthesizing unit, foreground of the first image from which the influence of the background color has been removed by the background color removing unit,
19. The image synthesizing apparatus according to claim 18, wherein the image synthesizing unit synthesizes the background of the second image.

20. A recording medium in which a processing procedure for removing the influence of a background color from an input image is recorded, wherein information on a boundary between the foreground and the background constituting the image and the input image are used to determine the foreground and the background. A processing procedure comprising: a background color calculating step of calculating a local background color in a pixel near a boundary; and a background color removing step of removing an influence of a background color from an image based on the background color calculated by the background color calculating means. A recording medium characterized by recording the following.

21. A recording medium recording a processing procedure for generating a foreground key signal from an image composed of a foreground and a background, comprising: a boundary information calculating step of calculating boundary information between the foreground and the background; Using the boundary information and the image calculated in the calculation step, a foreground color calculation step of calculating a local foreground color near the boundary between the foreground and the background, and the boundary information calculated in the boundary information calculation step A background color calculation step of calculating a local background color near the boundary between the foreground and the background, using the foreground and the background color calculation steps. And a key signal generating step of generating the key signal using the background color described above.