[go: up one dir, main page]

JP2006186637A - Image generating apparatus and method, and program - Google Patents

Image generating apparatus and method, and program Download PDF

Info

Publication number
JP2006186637A
JP2006186637A JP2004377781A JP2004377781A JP2006186637A JP 2006186637 A JP2006186637 A JP 2006186637A JP 2004377781 A JP2004377781 A JP 2004377781A JP 2004377781 A JP2004377781 A JP 2004377781A JP 2006186637 A JP2006186637 A JP 2006186637A
Authority
JP
Japan
Prior art keywords
image
subject
unit
background image
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004377781A
Other languages
Japanese (ja)
Inventor
Akira Yoda
章 依田
Yukita Gotoda
祐己太 後藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2004377781A priority Critical patent/JP2006186637A/en
Publication of JP2006186637A publication Critical patent/JP2006186637A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image formed by excluding a moving subject from a background. <P>SOLUTION: An image generating apparatus includes an imaging section which successively picks up a plurality of images having the same imaging range, a subject image acquisition section which makes the imaging section pick up the images according to an instruction input and acquires a subject image including a specified subject, a background image generation section which generates the background image of the specified subject on the basis of the plurality of images that the imaging section picks up within a designated time range including timing when the subject image acquisition section receives the indication input, a subject region image extraction section which extracts the subject region image of a region of the designated subject from the subject image that the subject image acquisition section acquires, and a composite image generation section which generates a composite image by combining the subject region image that the subject region image extraction section extracts with the background image that the background image generation section generates. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、画像生成装置、画像生成方法、及びプログラムに関する。特に本発明は、画像を生成する画像生成装置、及び画像生成方法、並びに当該画像生成装置用のプログラムに関する。   The present invention relates to an image generation device, an image generation method, and a program. In particular, the present invention relates to an image generation apparatus that generates an image, an image generation method, and a program for the image generation apparatus.

撮像装置で撮像された画像から被写体を抽出して、抽出した被写体の背景を、別途用意した背景画像を用いて置換する技術がある(例えば、特許文献1参照。)。
特開2001−036801号公報
There is a technique of extracting a subject from an image captured by an imaging device and replacing the background of the extracted subject using a separately prepared background image (see, for example, Patent Document 1).
JP 2001-036801 A

観光地等で撮像した画像の背景に、撮像対象ではない観光客等が写ってしまい、撮像者にとって不本意な画像となってしまう場合がある。この場合、画像から撮像対象を抽出して、抽出した撮像対象の背景を、別途用意した背景画像を用いて置換することによって、撮像者は、観光客等が背景に写っていない合成画像を得ることができる。しかしながら、別途用意した背景画像が撮像されたときの季節、天候等が、実際に撮像者が撮像したときの季節、天候等と異なる場合には、得られる合成画像が現実感の乏しいものになってしまうという課題があった。   In some cases, tourists or the like who are not imaging targets appear in the background of an image captured at a sightseeing spot or the like, resulting in an unintentional image for the photographer. In this case, by extracting the imaging target from the image and replacing the extracted background of the imaging target with a separately prepared background image, the photographer obtains a composite image in which tourists and the like are not reflected in the background be able to. However, if the season, weather, etc. when a separately prepared background image is captured are different from the season, weather, etc., when the photographer actually captured, the resulting composite image will be less realistic. There was a problem that it would end up.

そこで本発明は、上記の課題を解決することができる画像生成装置、及び画像生成方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。   SUMMARY An advantage of some aspects of the invention is that it provides an image generation apparatus and an image generation method capable of solving the above-described problems. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.

本発明の第1の形態における画像生成装置は、撮像範囲が同一である複数の画像を連続して撮像する撮像部と、指示入力に基づいて撮像部に撮像させ、特定の被写体を含む被写体画像を取得する被写体画像取得部と、被写体画像取得部が指示入力を受け付けたタイミングを含む所定の時間範囲において撮像部が撮像した複数の画像に基づいて、特定の被写体の背景画像を生成する背景画像生成部と、被写体画像取得部が取得した被写体画像から特定の被写体の領域の被写体領域画像を抽出する被写体領域画像抽出部と、背景画像生成部が生成した背景画像に、被写体領域画像抽出部が抽出した被写体領域画像を合成して、合成画像を生成する合成画像生成部とを備える。   An image generation apparatus according to a first aspect of the present invention includes an imaging unit that continuously captures a plurality of images having the same imaging range, and an object image that includes a specific subject by causing the imaging unit to capture an image based on an instruction input. And a background image that generates a background image of a specific subject based on a plurality of images captured by the imaging unit in a predetermined time range including a timing at which the subject image acquisition unit receives an instruction input. A subject area image extracting unit that extracts a subject area image of a specific subject area from the subject image acquired by the subject image acquiring unit, and a background image generated by the background image generating unit; A combined image generation unit that combines the extracted subject area images to generate a combined image;

背景画像生成部は、撮像部が撮像した複数の画像を平均化することにより、背景画像を生成してもよい。撮像部は、複数の画素毎に、異なる色の光をそれぞれ受光する複数の受光部を有し、受光部は、受光面積が異なる複数の受光素子を含み、背景画像生成部は、撮像部が撮像した複数の画像に対して、受光素子毎に受光量を平均化することにより、背景画像を生成してもよい。   The background image generation unit may generate a background image by averaging a plurality of images captured by the imaging unit. The imaging unit includes a plurality of light receiving units that receive light of different colors for each of the plurality of pixels, the light receiving unit includes a plurality of light receiving elements having different light receiving areas, and the background image generation unit includes the imaging unit A background image may be generated by averaging the amount of received light for each of the plurality of captured images.

背景画像生成部は、背景画像の部分領域毎に異なる幅の時間範囲において撮像部が撮像した複数の画像を用いて、背景画像を生成してもよい。背景画像生成部は、合成画像において特定の被写体との距離がより遠い部分領域の背景画像を、より幅の広い時間範囲において撮像部が撮像した、より多い数の画像を用いて生成してもよい。背景画像生成部は、合成画像において特定の被写体の近傍に位置する第1部分領域の背景画像を、第1の時間範囲において撮像部が撮像した複数の画像を用いて生成し、合成画像において特定の被写体から第1部分領域より遠くに位置する第2部分領域の背景画像を、第1の時間範囲を含む第2の時間範囲において撮像部が撮像した複数の画像を用いて生成してもよい。   The background image generation unit may generate a background image using a plurality of images captured by the imaging unit in a time range having a different width for each partial region of the background image. The background image generation unit may generate a background image of a partial area farther away from the specific subject in the composite image using a larger number of images captured by the imaging unit in a wider time range. Good. The background image generation unit generates a background image of the first partial region located in the vicinity of the specific subject in the composite image using a plurality of images captured by the imaging unit in the first time range, and specifies the background image in the composite image A background image of the second partial area located farther from the subject than the first partial area may be generated using a plurality of images captured by the imaging unit in the second time range including the first time range. .

本発明の第2の形態における画像生成方法は、撮像範囲が同一である複数の画像を撮像部によって連続して撮像する段階と、指示入力に基づいて撮像部に撮像させ、特定の被写体を含む被写体画像を取得する段階と、指示入力を受け付けたタイミングを含む所定の時間範囲において撮像部によって撮像された複数の画像に基づいて、特定の被写体の背景画像を生成する段階と、被写体画像から特定の被写体の領域の被写体領域画像を抽出する段階と、背景画像に被写体領域画像を合成して、合成画像を生成する段階とを備える。   An image generation method according to a second aspect of the present invention includes a step of continuously capturing a plurality of images having the same imaging range by an imaging unit, and causing the imaging unit to capture an image based on an instruction input, including a specific subject. Acquiring a subject image, generating a background image of a specific subject based on a plurality of images captured by an imaging unit in a predetermined time range including a timing at which an instruction input is received, and specifying from the subject image Extracting a subject area image of the subject area, and synthesizing the subject area image with the background image to generate a composite image.

本発明の第3の形態によると、画像を生成する画像生成装置用のプログラムであって、画像生成装置用を、撮像範囲が同一である複数の画像を連続して撮像する撮像部、指示入力に基づいて撮像部に撮像させ、特定の被写体を含む被写体画像を取得する被写体画像取得部と、被写体画像取得部が指示入力を受け付けたタイミングを含む所定の時間範囲において撮像部が撮像した複数の画像に基づいて、特定の被写体の背景画像を生成する背景画像生成部と、被写体画像取得部が取得した被写体画像から特定の被写体の領域の被写体領域画像を抽出する被写体領域画像抽出部と、背景画像生成部が生成した背景画像に、被写体領域画像抽出部が抽出した被写体領域画像を合成して、合成画像を生成する合成画像生成部として機能させる。   According to the third aspect of the present invention, there is provided a program for an image generation apparatus that generates an image, the image generation apparatus for continuously capturing a plurality of images having the same imaging range, and an instruction input A subject image acquisition unit that acquires a subject image including a specific subject, and a plurality of images captured by the imaging unit in a predetermined time range including a timing at which the subject image acquisition unit receives an instruction input. A background image generation unit that generates a background image of a specific subject based on the image; a subject region image extraction unit that extracts a subject region image of a specific subject region from the subject image acquired by the subject image acquisition unit; and a background The subject region image extracted by the subject region image extraction unit is combined with the background image generated by the image generation unit to function as a composite image generation unit that generates a composite image.

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。   Note that the above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.

本発明によれば、移動する被写体を背景から除いた画像を提供することができる。   According to the present invention, it is possible to provide an image in which a moving subject is removed from the background.

以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。   Hereinafter, the present invention will be described through embodiments of the invention. However, the following embodiments do not limit the claimed invention, and all combinations of features described in the embodiments are inventions. It is not always essential to the solution.

図1は、本発明の一実施形態に係る画像生成装置300の利用環境の一例を示す。撮像者は、画像生成装置300を用いて山を背景とした撮像者自身を撮像する。撮像者は、利用者端末310を用いて画像生成装置300に撮像するよう指示する。画像生成装置300は、固定された撮像範囲の被写体を連続的に撮像しており、撮像者から撮像を指示されたときに、撮像者が写った画像から撮像者の像を抽出する。また、画像生成装置300は、撮像を指示された時刻を含む期間に撮像した複数の画像を用いて、飛行している飛行機、撮像者以外の移動している人物等が写っていない風景の背景画像を生成する。そして、画像生成装置300は、背景画像に撮像者の像を重ね合わせて得られる合成画像を、利用者端末310に送信する。また、画像生成装置300は、インターネット等に接続されたサーバ内の、利用者端末310と関連付けられたディレクトリに合成画像を格納しておき、撮像者は撮像した後に、当該サーバから合成画像を取得してもよい。   FIG. 1 shows an example of a usage environment of an image generation apparatus 300 according to an embodiment of the present invention. The imager uses the image generation apparatus 300 to image the imager himself with the mountain as a background. The imager uses the user terminal 310 to instruct the image generation apparatus 300 to capture an image. The image generation apparatus 300 continuously captures a subject in a fixed imaging range, and extracts an image of the photographer from an image taken by the photographer when instructed to capture by the photographer. In addition, the image generation apparatus 300 uses a plurality of images captured during a period including the time when the imaging is instructed, and a landscape background in which a flying airplane, a moving person other than the photographer, etc. are not captured Generate an image. Then, the image generation apparatus 300 transmits a composite image obtained by superimposing the image of the photographer on the background image to the user terminal 310. In addition, the image generation apparatus 300 stores the composite image in a directory associated with the user terminal 310 in a server connected to the Internet or the like, and the photographer acquires the composite image from the server after capturing the image. May be.

なお、利用者端末310および画像生成装置300は、赤外線通信、又は、無線LAN、インターネット等の通信回線を介して、撮像を指示する情報または合成画像等を送受信してもよい。また、利用者端末310は、携帯電話等の携帯情報端末であってよい。   Note that the user terminal 310 and the image generation apparatus 300 may transmit and receive information instructing imaging, a composite image, and the like via infrared communication, or a communication line such as a wireless LAN or the Internet. The user terminal 310 may be a portable information terminal such as a mobile phone.

本実施形態に係る画像生成装置300によれば、撮像者と風景だけが写った画像を得ることができる。さらに、撮像者は、撮像を指示した時刻に近い時刻における風景を背景に持つ画像を得ることができるので、より現実感のある画像を得ることができる。   According to the image generation apparatus 300 according to the present embodiment, an image in which only the photographer and the landscape are captured can be obtained. Furthermore, since the photographer can obtain an image having a landscape at the time close to the time when the imaging is instructed, a more realistic image can be obtained.

図2は、本発明の一実施形態に係る画像生成装置300のブロック構成の一例を示す。画像生成装置300は、撮像部200、指示入力受付部202、被写体画像取得部204、被写体領域画像抽出部206、背景画像取得部208、背景画像生成部210、及び合成画像生成部212を備える。なお、画像生成装置300が備える構成要素のうち、撮像部200のみが被写体を撮像できる場所に設置され、指示入力受付部202、被写体画像取得部204、被写体領域画像抽出部206、背景画像取得部208、背景画像生成部210、及び合成画像生成部212は、撮像部200とは異なる場所に備えられるパーソナルコンピュータ等によって実現されてもよい。   FIG. 2 shows an example of a block configuration of an image generation apparatus 300 according to an embodiment of the present invention. The image generation apparatus 300 includes an imaging unit 200, an instruction input reception unit 202, a subject image acquisition unit 204, a subject area image extraction unit 206, a background image acquisition unit 208, a background image generation unit 210, and a composite image generation unit 212. Of the components included in the image generating apparatus 300, only the imaging unit 200 is installed at a location where a subject can be captured, and an instruction input receiving unit 202, a subject image acquiring unit 204, a subject region image extracting unit 206, and a background image acquiring unit. 208, the background image generation unit 210, and the composite image generation unit 212 may be realized by a personal computer or the like provided in a place different from the imaging unit 200.

以下、画像生成装置300が備える構成要素の動作を説明する。撮像部200は、撮像方向、及び画角が固定されており、撮像範囲が同一である複数の画像を連続して撮像する。具体的には、撮像部200は、被写体からの光をCCD等の撮像デバイスで受光して、被写体を撮像する。また、撮像部200は、予め定められた時間間隔で連続的に被写体を撮像している。また、撮像部200は、連続的に撮像して得られる、予め定めた個数の画像を保持してもよい。   Hereinafter, operations of components included in the image generation apparatus 300 will be described. The imaging unit 200 continuously captures a plurality of images having a fixed imaging direction and angle of view and having the same imaging range. Specifically, the imaging unit 200 receives light from the subject with an imaging device such as a CCD and images the subject. Further, the imaging unit 200 continuously captures the subject at predetermined time intervals. The imaging unit 200 may hold a predetermined number of images obtained by continuously capturing images.

指示入力受付部202は、撮像を指示する旨を示す指示入力を利用者端末310から受信して、被写体画像取得部204に指示入力を送信する。被写体画像取得部204は、指示入力に基づいて撮像部200に撮像させ、被写体画像を取得する。なお、被写体画像取得部204は、指示入力を受け付けたタイミングに最も近いタイミングで撮像部200によって撮像された画像を被写体画像としてもよい。被写体領域画像抽出部206は、被写体画像取得部204が取得した被写体画像に写されている被写体の中から、人物等を特定の被写体として選択して、選択した特定の被写体の領域の被写体領域画像を抽出する。   The instruction input receiving unit 202 receives an instruction input indicating that imaging is instructed from the user terminal 310, and transmits the instruction input to the subject image acquisition unit 204. The subject image acquisition unit 204 causes the imaging unit 200 to capture an image based on the instruction input, and acquires a subject image. Note that the subject image acquisition unit 204 may use, as a subject image, an image captured by the imaging unit 200 at a timing closest to the timing at which an instruction input is received. The subject area image extraction unit 206 selects a person or the like as a specific subject from the subjects captured in the subject image acquired by the subject image acquisition unit 204, and the subject area image of the selected specific subject area. To extract.

背景画像取得部208は、被写体画像取得部204が指示入力を受け付けたタイミングを含む所定の時間範囲において撮像部200が撮像した複数の画像の中から、特定の被写体の背景画像を生成するために用いる画像を選択する。そして、背景画像生成部210は、背景画像取得部208が選択した複数の画像に基づいて、特定の被写体の背景画像を生成する。具体的には、背景画像生成部210は、撮像部200が撮像した複数の画像を、画素毎に平均化することによって、背景画像を生成する。   The background image acquisition unit 208 generates a background image of a specific subject from a plurality of images captured by the imaging unit 200 in a predetermined time range including a timing at which the subject image acquisition unit 204 receives an instruction input. Select an image to use. Then, the background image generation unit 210 generates a background image of a specific subject based on the plurality of images selected by the background image acquisition unit 208. Specifically, the background image generation unit 210 generates a background image by averaging a plurality of images captured by the imaging unit 200 for each pixel.

合成画像生成部212は、背景画像生成部210が生成した背景画像に、被写体領域画像抽出部206が抽出した被写体領域画像を合成して合成画像を生成する。合成画像生成部212が生成した合成画像は、利用者端末310に送信される。これにより、背景を移動している人物等が特定の被写体の背景に写り込んでいない画像を得ることができる。   The composite image generation unit 212 generates a composite image by combining the subject region image extracted by the subject region image extraction unit 206 with the background image generated by the background image generation unit 210. The composite image generated by the composite image generation unit 212 is transmitted to the user terminal 310. Thereby, it is possible to obtain an image in which a person or the like moving in the background is not reflected in the background of the specific subject.

図3は、撮像部200が有する画素230の構成の一例を示す。図3(a)は、画素230の配置の一例を示す。画素230は、各色の光を受光する受光部(242a〜c、以下242と総称する。)を備える。受光部242は、受光素子(244a〜c、以下244と総称する。)、及び受光素子(246a〜c、以下246と総称する。)、並びにフィルタ(240a〜c、以下240と総称する。)を備える。   FIG. 3 shows an example of the configuration of the pixel 230 included in the imaging unit 200. FIG. 3A shows an example of the arrangement of the pixels 230. The pixel 230 includes a light receiving portion (242a to c, hereinafter collectively referred to as 242) that receives light of each color. The light receiving unit 242 includes a light receiving element (244a to c, hereinafter collectively referred to as 244), a light receiving element (246a to c, hereinafter collectively referred to as 246), and a filter (240a to c, hereinafter collectively referred to as 240). Is provided.

図3(b)は、受光部242aが有する受光素子244a、及び受光素子246a、並びにフィルタ240aの構成の一例を示す。フィルタ240aは、被写体からの光のうち、赤の波長帯域の光を透過させる。受光素子246a、及び受光素子244aは、フィルタ240aを透過した光を受光する。受光素子244a、及び受光素子246aは、フォトダイオード等の受光素子であってよい。受光素子246aは、受光素子244aよりも受光する面積が大きく、感度が高い。   FIG. 3B illustrates an example of the configuration of the light receiving element 244a, the light receiving element 246a, and the filter 240a included in the light receiving unit 242a. The filter 240a transmits light in the red wavelength band among the light from the subject. The light receiving element 246a and the light receiving element 244a receive light transmitted through the filter 240a. The light receiving element 244a and the light receiving element 246a may be light receiving elements such as photodiodes. The light receiving element 246a has a larger light receiving area and higher sensitivity than the light receiving element 244a.

なお、受光部242b、及び受光部242cは、受光部242aと同一の構成要素を持つ。そして、受光部242b、及び受光部242cが持つ各構成要素の符号の末尾に、それぞれb、及びcの符号を付けることにより、いずれの受光部242の構成要素であるかを識別する。また、受光部242b、及び受光部242cの各々が備える受光素子244、及び受光素子246の動作は、それぞれ受光素子244a、及び受光素子246aの動作と同一であるので説明を省略する。また、受光部242bが備えるフィルタ240b、及び受光部242cが備えるフィルタ240cは、それぞれ緑、及び青の波長帯域の光を透過させる。   The light receiving unit 242b and the light receiving unit 242c have the same components as the light receiving unit 242a. Then, the light receiving unit 242b and the light receiving unit 242c are identified by adding the symbols b and c to the end of the codes of the respective structural elements of the light receiving unit 242c. The operations of the light receiving element 244 and the light receiving element 246 included in each of the light receiving unit 242b and the light receiving unit 242c are the same as the operations of the light receiving element 244a and the light receiving element 246a, respectively, and thus the description thereof is omitted. The filter 240b included in the light receiving unit 242b and the filter 240c included in the light receiving unit 242c transmit light in the green and blue wavelength bands, respectively.

背景画像生成部210は、撮像部200が撮像した複数の画像を色毎に平均化することにより、背景画像を生成する。具体的には、背景画像生成部210は、撮像部200が撮像した複数の画像に対して、複数の受光素子244毎に、また、複数の受光素子246毎に、受光量を平均化することによって背景画像を生成する。このため、背景画像を構成する各画素の色毎の受光量を広いダイナミックレンジで得ることができるので、背景画像の画質を向上させることができる。   The background image generation unit 210 generates a background image by averaging a plurality of images captured by the imaging unit 200 for each color. Specifically, the background image generation unit 210 averages the amount of received light for each of the plurality of light receiving elements 244 and for each of the plurality of light receiving elements 246 for the plurality of images captured by the imaging unit 200. To generate a background image. For this reason, the amount of light received for each color of each pixel constituting the background image can be obtained with a wide dynamic range, so that the image quality of the background image can be improved.

図4は、合成画像を生成するために用いる画像を選択する例を示す。図5は、図4で選択された画像を用いて合成画像を生成する手順の一例を示す。被写体画像取得部204は、指示入力受付部202から指示入力を受け付けた時刻である撮像指示時刻に最も近い時刻に撮像された画像を被写体画像とする。図4の例では、時刻t50に撮像された画像を被写体画像50とする。なお、被写体画像取得部204は、撮像部200が撮像指示時刻に撮像することができる場合には、撮像指示時刻において撮像部200に撮像させて得られる画像を被写体画像としてもよい。   FIG. 4 shows an example of selecting an image to be used for generating a composite image. FIG. 5 shows an example of a procedure for generating a composite image using the image selected in FIG. The subject image acquisition unit 204 sets the image captured at the time closest to the imaging instruction time, which is the time when the instruction input is received from the instruction input reception unit 202, as the subject image. In the example of FIG. 4, an image captured at time t50 is a subject image 50. Note that the subject image acquisition unit 204 may use, as the subject image, an image obtained by causing the imaging unit 200 to capture an image at the imaging instruction time when the imaging unit 200 can capture an image at the imaging instruction time.

被写体領域画像抽出部206は、被写体画像取得部204が取得した被写体画像50から特定の被写体を抽出して、抽出した特定の被写体の領域が写った被写体領域画像102を生成する。具体的には、被写体領域画像抽出部206は、被写体画像50の中央に位置する被写体520を、エッジ抽出等によって特定の被写体として抽出する。また、被写体領域画像抽出部206は、エッジ抽出等によって被写体画像50から複数の被写体の輪郭を抽出して、抽出した複数の被写体の輪郭と、予め定めた人物のパターンとのパターンマッチング等によって人物510及び人物520を抽出して、面積が最も大きい人物510を特定の被写体として決定してもよい。また、被写体領域画像抽出部206は、人間の肌の色に近い色を持つ被写体を被写体画像50から抽出して、抽出した被写体と、予め定めた顔のパターンとのパターンマッチング等によって正面を向いた顔を持つ人物510及び人物520を抽出して、正面を向いた顔を持つ人物510、又は520のいずれかを特定の被写体としてもよい。   The subject region image extraction unit 206 extracts a specific subject from the subject image 50 acquired by the subject image acquisition unit 204, and generates a subject region image 102 in which the extracted region of the specific subject is reflected. Specifically, the subject area image extraction unit 206 extracts a subject 520 located at the center of the subject image 50 as a specific subject by edge extraction or the like. The subject area image extraction unit 206 extracts the contours of a plurality of subjects from the subject image 50 by edge extraction or the like, and performs pattern matching between the extracted contours of the plurality of subjects and a predetermined person pattern. 510 and the person 520 may be extracted, and the person 510 having the largest area may be determined as a specific subject. In addition, the subject area image extraction unit 206 extracts a subject having a color close to the color of human skin from the subject image 50, and faces the front by pattern matching between the extracted subject and a predetermined face pattern. The person 510 and the person 520 having the faces that are present may be extracted, and either the person 510 or the person 520 having the face facing the front may be used as the specific subject.

また、被写体領域画像抽出部206は、特定の被写体の近傍に位置する複数の人物を判断して、当該複数の人物の全体を特定の被写体としてもよい。例えば、人物510が特定の被写体として抽出された場合に、人物510と接している人物520を抽出して、人物510及び人物520を、特定の被写体として決定する。また、被写体領域画像抽出部206は、エッジ抽出等によって得られた複数の被写体の輪郭を利用者端末310に送信して、撮像者に複数の被写体の中から被写体を選択させ、撮像者が選択した被写体の位置等の情報を受け取ることによって特定の被写体を決定してもよい。また、被写体領域画像抽出部206は、利用者端末310に被写体画像50を送信して、撮像者に特定の被写体の位置を選択させ、撮像者が選択した被写体の位置等の情報を受け取ることによって特定の被写体を決定してもよい。   Further, the subject area image extraction unit 206 may determine a plurality of persons located in the vicinity of the specific subject, and set the whole of the plurality of persons as the specific subject. For example, when the person 510 is extracted as a specific subject, the person 520 in contact with the person 510 is extracted, and the person 510 and the person 520 are determined as specific subjects. In addition, the subject area image extraction unit 206 transmits the contours of a plurality of subjects obtained by edge extraction or the like to the user terminal 310 to cause the photographer to select a subject from the plurality of subjects, and the photographer selects A specific subject may be determined by receiving information such as the position of the subject. Further, the subject area image extraction unit 206 transmits the subject image 50 to the user terminal 310, causes the photographer to select the position of a specific subject, and receives information such as the position of the subject selected by the photographer. A specific subject may be determined.

図5の例では、被写体領域画像抽出部206は、被写体画像50から、人物510及び人物520を特定の被写体として決定する。そして、被写体領域画像抽出部206は、被写体画像50における人物510及び人物520の領域をエッジ抽出等によって抽出して、人物512及び人物522のみが写っている被写体領域画像102を生成する。   In the example of FIG. 5, the subject area image extraction unit 206 determines the person 510 and the person 520 from the subject image 50 as specific subjects. Then, the subject area image extraction unit 206 extracts the areas of the person 510 and the person 520 in the subject image 50 by edge extraction or the like, and generates the subject area image 102 in which only the person 512 and the person 522 are shown.

背景画像取得部208は、被写体画像取得部204が指示入力を受け付けたタイミングを含む所定の時間範囲において撮像部200が撮像した複数の画像の中から、特定の被写体の背景画像を生成するために用いる画像を選択する。図4の例では、背景画像取得部208は、指示入力を受け付けたタイミングである撮像指示時刻を含む時間範囲(t1〜t100)で撮像された画像(1〜100)を選択する。そして、背景画像生成部210は、背景画像取得部208が選択した画像(1〜100)を平均化することによって背景画像104を生成する。複数の画像を平均化することによって得られる背景画像104には、時間範囲(t1〜t100)で静止している被写体のみが写される。   The background image acquisition unit 208 generates a background image of a specific subject from a plurality of images captured by the imaging unit 200 in a predetermined time range including a timing at which the subject image acquisition unit 204 receives an instruction input. Select an image to use. In the example of FIG. 4, the background image acquisition unit 208 selects images (1 to 100) captured in a time range (t1 to t100) including an imaging instruction time that is a timing at which an instruction input is received. Then, the background image generation unit 210 generates the background image 104 by averaging the images (1 to 100) selected by the background image acquisition unit 208. Only the subject that is stationary in the time range (t1 to t100) is captured in the background image 104 obtained by averaging the plurality of images.

例えば、図8の画像1の像544として写っている山は、時間範囲(t1〜t100)の間でほとんど変化していないため、画像100の像546は像544と略同一である。したがって、画像(1〜100)を平均化して得られる背景画像104には、山は像548として写る。一方で、画像1の像534として写っている飛行機の位置は、時間範囲(t1〜t100)において時間とともに変化して、画像100では像536の位置に移動する。したがって、飛行している飛行機の像は、背景画像104にはほとんど残らない。また、人物の像524は、時間範囲(t1〜t100)の間に動いておらず、画像100における人物の像526と略同一である。したがって、背景画像104には、人物の像528が写る。また、画像1の像514として写っている人物は、時間範囲(t1〜t100)の間に片腕を上に挙げていて、画像100において片腕が挙がった状態の像516として写っている。この場合、画像1の像514として写っている人物は、背景画像104においては、動かしている片腕がほぼ消えた像518として写る。そして、背景画像104には、動かしている片腕の後方にある柵が写る。   For example, since the mountain shown as the image 544 of the image 1 in FIG. 8 hardly changes during the time range (t1 to t100), the image 546 of the image 100 is substantially the same as the image 544. Therefore, the mountain appears as the image 548 in the background image 104 obtained by averaging the images (1 to 100). On the other hand, the position of the airplane shown as the image 534 of the image 1 changes with time in the time range (t1 to t100), and moves to the position of the image 536 in the image 100. Therefore, almost no image of the flying airplane remains in the background image 104. Further, the person image 524 does not move during the time range (t1 to t100), and is substantially the same as the person image 526 in the image 100. Therefore, the person image 528 appears in the background image 104. Further, the person shown as the image 514 of the image 1 has one arm up during the time range (t1 to t100), and is shown as the image 516 in which the one arm is raised in the image 100. In this case, the person shown as the image 514 of the image 1 appears in the background image 104 as an image 518 in which the moving one arm has almost disappeared. In the background image 104, a fence behind the moving one arm is shown.

合成画像生成部212は、背景画像104に被写体領域画像102を合成することによって、合成画像106を生成する。図8の例では、合成画像106は、二人の人物、風景である山、及び柵だけが写り、飛行する飛行機は写っていない画像となる。   The composite image generation unit 212 generates the composite image 106 by combining the subject region image 102 with the background image 104. In the example of FIG. 8, the composite image 106 is an image in which only two people, a mountain that is a landscape, and a fence are captured, and a flying airplane is not captured.

図6は、背景画像の部分領域の設定例を示す。背景画像取得部208は、特定の被写体の背景画像を生成するための画像を選択する場合に、画像に対して複数の部分領域を設定して、当該部分領域毎の背景画像を生成するために用いる画像を、当該部分領域毎に選択してもよい。図6の例では、特定の被写体の近傍から順に、画像を5つの部分領域(120、130、140、150、160)に分割されている。部分領域(120、130、140、150、160)のうち、部分領域120が特定の被写体の最も近傍に位置しており、部分領域130、部分領域140、部分領域150、及び部分領域160は、特定の被写体から部分領域120よりも遠くに位置する。なお、背景画像取得部208は、背景画像取得部208によって選択された複数の背景画像から抽出される特定の被写体の全てが収まる範囲を、特定の被写体の近傍に位置する部分領域120の範囲として設定してもよい。なお、それぞれの部分領域は、背景画像取得部208によって選択された複数の画像において、同じ領域に設定されていることが望ましい。   FIG. 6 shows an example of setting the partial area of the background image. When selecting an image for generating a background image of a specific subject, the background image acquisition unit 208 sets a plurality of partial areas for the image and generates a background image for each partial area. The image to be used may be selected for each partial area. In the example of FIG. 6, the image is divided into five partial areas (120, 130, 140, 150, 160) in order from the vicinity of the specific subject. Of the partial areas (120, 130, 140, 150, 160), the partial area 120 is located closest to the specific subject, and the partial area 130, the partial area 140, the partial area 150, and the partial area 160 are: It is located farther than the partial area 120 from a specific subject. The background image acquisition unit 208 sets a range in which all of the specific subjects extracted from the plurality of background images selected by the background image acquisition unit 208 fall as the range of the partial region 120 located in the vicinity of the specific subject. It may be set. Each partial region is preferably set to the same region in a plurality of images selected by the background image acquisition unit 208.

図7は、背景画像を生成するために用いる画像を選択する例を示す。また、図8は、図7で選択した画像から合成画像を生成する手順の一例を示す。図7の例では、背景画像取得部208は、指示入力を受け付けたタイミングである撮像指示時刻を含む時間範囲(t41〜t60)に撮像された画像(41〜60)を、被写体の近傍の部分領域120の背景画像を生成するために用いる画像として選択する。そして、背景画像生成部210は、背景画像取得部208が選択した画像(41〜60)を平均化することによって、部分領域120における背景画像122を生成する。   FIG. 7 shows an example of selecting an image used to generate a background image. FIG. 8 shows an example of a procedure for generating a composite image from the image selected in FIG. In the example of FIG. 7, the background image acquisition unit 208 displays the images (41 to 60) captured in the time range (t41 to t60) including the imaging instruction time, which is the timing at which the instruction input is received, in the vicinity of the subject. It selects as an image used in order to produce | generate the background image of the area | region 120. FIG. Then, the background image generation unit 210 generates the background image 122 in the partial region 120 by averaging the images (41 to 60) selected by the background image acquisition unit 208.

また、背景画像取得部208は、部分領域120よりも特定の被写体から遠方にある部分領域(130、140、150、160)における背景画像を生成するために用いる画像として、部分領域120の背景画像を生成するために用いる画像が撮像された時間範囲(t41〜t60)よりも幅の広い時間範囲において撮像部200が撮像した、より多い数の画像(1〜100)の中から選択する。また、背景画像取得部208は、部分領域(130、140、150、160)のそれぞれの背景画像を生成するために用いる画像として、部分領域120の背景画像を生成するために用いる画像(41〜60)を含む画像を選択する。   The background image acquisition unit 208 also uses the background image of the partial area 120 as an image used to generate a background image in the partial area (130, 140, 150, 160) farther from the specific subject than the partial area 120. Is selected from a larger number of images (1 to 100) captured by the imaging unit 200 in a time range wider than the time range (t41 to t60) in which the images used to generate the image are captured. The background image acquisition unit 208 also uses images (41 to 41) used to generate the background image of the partial region 120 as images used to generate the background images of the partial regions (130, 140, 150, 160). 60) is selected.

図7の例では、部分領域150の背景画像を生成するための画像として、時間範囲(t11〜t90)において撮像部200が撮像した画像(11〜90)を選択する。また、部分領域160の背景画像を生成するための画像としては、更に幅の広い時間範囲(t1〜t100)において撮像部200が撮像した、更に多い数の画像(1〜100)を選択する。そして、背景画像生成部210は、画像(11〜90)を用いて部分領域150の背景画像152を生成し、画像(1〜100)を用いて部分領域160の背景画像162を生成する。そして、背景画像生成部210は、部分領域(120、130、140、150、160)の各々における背景画像を合成することによって、背景画像110を生成する。   In the example of FIG. 7, images (11 to 90) captured by the imaging unit 200 in the time range (t11 to t90) are selected as images for generating the background image of the partial region 150. Further, as an image for generating the background image of the partial region 160, a larger number of images (1 to 100) captured by the imaging unit 200 in a wider time range (t1 to t100) are selected. Then, the background image generation unit 210 generates the background image 152 of the partial area 150 using the images (11 to 90), and generates the background image 162 of the partial area 160 using the images (1 to 100). Then, the background image generation unit 210 generates the background image 110 by synthesizing the background images in each of the partial regions (120, 130, 140, 150, 160).

なお、被写体領域画像抽出部206は、図5で説明した方法と同様の方法を用いて、被写体画像50から特定の被写体を抽出して、抽出した特定の被写体の領域が写った被写体領域画像102を生成する。そして、合成画像生成部212は、背景画像生成部210が生成した背景画像110に、被写体領域画像抽出部206が抽出した被写体領域画像102を合成することによって、合成画像108を生成する。   Note that the subject region image extraction unit 206 extracts a specific subject from the subject image 50 using a method similar to the method described in FIG. 5, and the subject region image 102 in which the extracted region of the specific subject is reflected. Is generated. Then, the composite image generation unit 212 generates the composite image 108 by combining the subject region image 102 extracted by the subject region image extraction unit 206 with the background image 110 generated by the background image generation unit 210.

背景画像生成部210は、部分領域(120、130、140、150、160)のそれぞれの背景画像を、撮像タイミングを含む時間範囲(t41〜t60)において撮像された画像(41〜60)を用いて生成するので、実際の撮像タイミングにおける背景に近い画像が背景画像110として得られる。また、背景画像生成部210は、合成画像において特定の被写体との距離がより遠い部分領域の背景画像を、より幅の広い時間範囲において撮像部200が撮像した、より多い数の画像を平均化することによって生成するので、画像上において特定の被写体から離れた位置を移動する物体は合成画像108には写らず、風景だけを合成画像108に残すことができる。また、背景画像生成部210は、被写体の近傍の部分領域120においては、他の部分領域(130、140、150、160)よりも、短い時間範囲において撮像部200が撮像した、より少ない数の画像を平均化して背景画像122を生成するので、動きのある面白い画像を得ることができる。図8の例では、合成画像108には人物が動かす腕が残像として残っており、躍動感のある画像が得られる。   The background image generation unit 210 uses images (41 to 60) obtained by capturing the background images of the partial regions (120, 130, 140, 150, and 160) in the time range (t41 to t60) including the imaging timing. Therefore, an image close to the background at the actual imaging timing is obtained as the background image 110. In addition, the background image generation unit 210 averages a larger number of images obtained by the imaging unit 200 in a wider time range of a background image of a partial region farther from a specific subject in the composite image. Therefore, an object moving at a position away from a specific subject on the image is not shown in the composite image 108, and only the landscape can be left in the composite image 108. In addition, the background image generation unit 210 has a smaller number of images captured by the imaging unit 200 in a shorter time range in the partial region 120 near the subject than in the other partial regions (130, 140, 150, 160). Since the background image 122 is generated by averaging the images, an interesting image with movement can be obtained. In the example of FIG. 8, the arm moved by the person remains in the composite image 108 as an afterimage, and an image with a feeling of dynamism is obtained.

図9は、本実施形態に係るコンピュータ1500のハードウェア構成の一例を示す。コンピュータ1500は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、及び表示装置1580を有するCPU周辺部と、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、及びCD−ROMドライブ1560を有する入出力部と、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、及び入出力チップ1570を有するレガシー入出力部とを備える。   FIG. 9 shows an example of a hardware configuration of a computer 1500 according to the present embodiment. The computer 1500 includes a CPU peripheral unit including a CPU 1505, a RAM 1520, a graphic controller 1575, and a display device 1580 connected to each other by a host controller 1582, and a communication interface 1530 connected to the host controller 1582 by an input / output controller 1584. An input / output unit having a hard disk drive 1540 and a CD-ROM drive 1560, and a legacy input / output unit having a ROM 1510, a flexible disk drive 1550, and an input / output chip 1570 connected to the input / output controller 1584.

ホスト・コントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505、及びグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510、及びRAM1520に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。   The host controller 1582 connects the RAM 1520, the CPU 1505 that accesses the RAM 1520 at a high transfer rate, and the graphic controller 1575. The CPU 1505 operates based on programs stored in the ROM 1510 and the RAM 1520 and controls each unit. The graphic controller 1575 acquires image data generated by the CPU 1505 and the like on a frame buffer provided in the RAM 1520 and displays the image data on the display device 1580. Alternatively, the graphic controller 1575 may include a frame buffer that stores image data generated by the CPU 1505 or the like.

入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信インターフェイス1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、コンピュータ1500内のCPU1505が使用するプログラム、及びデータを格納する。通信インターフェイス1530は、ネットワークを介して画像生成装置300と通信し、画像生成装置300にプログラム、及びデータを提供する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。   The input / output controller 1584 connects the host controller 1582 to the hard disk drive 1540, the communication interface 1530, and the CD-ROM drive 1560, which are relatively high-speed input / output devices. The hard disk drive 1540 stores programs and data used by the CPU 1505 in the computer 1500. The communication interface 1530 communicates with the image generation apparatus 300 via a network, and provides a program and data to the image generation apparatus 300. The CD-ROM drive 1560 reads a program or data from the CD-ROM 1595 and provides it to the hard disk drive 1540 and the communication interface 1530 via the RAM 1520.

また、入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、及び入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、コンピュータ1500が起動時に実行するブート・プログラムや、コンピュータ1500のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。   The input / output controller 1584 is connected to the ROM 1510, the flexible disk drive 1550, and the relatively low-speed input / output device of the input / output chip 1570. The ROM 1510 stores a boot program executed when the computer 1500 is started up, a program depending on the hardware of the computer 1500, and the like. The flexible disk drive 1550 reads a program or data from the flexible disk 1590 and provides it to the hard disk drive 1540 and the communication interface 1530 via the RAM 1520. The input / output chip 1570 connects various input / output devices via a flexible disk drive 1550 and, for example, a parallel port, a serial port, a keyboard port, a mouse port, and the like.

RAM1520を介して通信インターフェイス1530に提供されるプログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、RAM1520を介して通信インターフェイス1530に提供され、ネットワークを介して画像生成装置300に送信される。画像生成装置300に送信されたプログラムは、画像生成装置300においてインストールされて実行される。   A program provided to the communication interface 1530 via the RAM 1520 is stored in a recording medium such as the flexible disk 1590, the CD-ROM 1595, or an IC card and provided by the user. The program is read from the recording medium, provided to the communication interface 1530 via the RAM 1520, and transmitted to the image generation apparatus 300 via the network. The program transmitted to the image generation apparatus 300 is installed and executed in the image generation apparatus 300.

画像生成装置300にインストールされて実行されるプログラムは、画像生成装置300を、撮像部200、指示入力受付部202、被写体画像取得部204、被写体領域画像抽出部206、背景画像取得部208、背景画像生成部210、及び合成画像生成部212として機能させる。   A program that is installed and executed in the image generation apparatus 300 includes the image generation apparatus 300, the imaging unit 200, the instruction input reception unit 202, the subject image acquisition unit 204, the subject region image extraction unit 206, the background image acquisition unit 208, and the background. It functions as the image generation unit 210 and the composite image generation unit 212.

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDやPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ1500に提供してもよい。   The program shown above may be stored in an external storage medium. As the storage medium, in addition to the flexible disk 1590 and the CD-ROM 1595, an optical recording medium such as a DVD or PD, a magneto-optical recording medium such as an MD, a tape medium, a semiconductor memory such as an IC card, or the like can be used. Further, a storage device such as a hard disk or a RAM provided in a server system connected to a dedicated communication network or the Internet may be used as a recording medium, and the program may be provided to the computer 1500 via the network.

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更または改良を加えることができる。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. Various modifications or improvements can be added to the above embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

画像生成装置300の利用環境の一例を示す図である。2 is a diagram illustrating an example of a usage environment of an image generation device 300. FIG. 画像生成装置300のブロック構成の一例を示す図である。2 is a diagram illustrating an example of a block configuration of an image generation apparatus 300. FIG. 撮像部200が有する画素の構成の一例を示す図である。3 is a diagram illustrating an example of a configuration of a pixel included in an imaging unit 200. FIG. 背景画像を生成するための画像を選択する例を示す図である。It is a figure which shows the example which selects the image for producing | generating a background image. 合成画像を生成する手順の一例を示す図である。It is a figure which shows an example of the procedure which produces | generates a synthesized image. 部分領域の一例を示す図である。It is a figure which shows an example of a partial area | region. 背景画像を生成するための画像を選択する他の例を示す図である。It is a figure which shows the other example which selects the image for producing | generating a background image. 合成画像を生成する他の手順の一例を示す図である。It is a figure which shows an example of the other procedure which produces | generates a synthesized image. コンピュータ1500のハードウェア構成の一例を示す図である。2 is a diagram illustrating an example of a hardware configuration of a computer 1500. FIG.

符号の説明Explanation of symbols

200 撮像部
202 指示入力受付部
204 被写体画像取得部
206 被写体領域画像抽出部
208 背景画像取得部
210 背景画像生成部
212 合成画像生成部
230 画素
240 フィルタ
242 受光部
244 受光素子
246 受光素子
300 画像生成装置
310 利用者端末
200 Image pickup unit 202 Instruction input reception unit 204 Subject image acquisition unit 206 Subject region image extraction unit 208 Background image acquisition unit 210 Background image generation unit 212 Composite image generation unit 230 Pixel 240 Filter 242 Light reception unit 244 Light reception element 246 Light reception element 300 Image generation Device 310 User terminal

Claims (8)

撮像範囲が同一である複数の画像を連続して撮像する撮像部と、
指示入力に基づいて前記撮像部に撮像させ、特定の被写体を含む被写体画像を取得する被写体画像取得部と、
前記被写体画像取得部が指示入力を受け付けたタイミングを含む所定の時間範囲において前記撮像部が撮像した複数の画像に基づいて、前記特定の被写体の背景画像を生成する背景画像生成部と、
前記被写体画像取得部が取得した前記被写体画像から前記特定の被写体の領域の被写体領域画像を抽出する被写体領域画像抽出部と、
前記背景画像生成部が生成した前記背景画像に、前記被写体領域画像抽出部が抽出した前記被写体領域画像を合成して、合成画像を生成する合成画像生成部と
を備える画像生成装置。
An imaging unit that continuously captures a plurality of images having the same imaging range;
A subject image acquisition unit configured to cause the imaging unit to capture an image based on an instruction input and acquire a subject image including a specific subject;
A background image generation unit that generates a background image of the specific subject based on a plurality of images captured by the imaging unit in a predetermined time range including a timing at which the subject image acquisition unit receives an instruction input;
A subject region image extraction unit that extracts a subject region image of the specific subject region from the subject image acquired by the subject image acquisition unit;
An image generation apparatus comprising: a composite image generation unit configured to combine the subject region image extracted by the subject region image extraction unit with the background image generated by the background image generation unit to generate a composite image.
前記背景画像生成部は、前記撮像部が撮像した複数の画像を平均化することにより、前記背景画像を生成する
請求項1に記載の画像生成装置。
The image generation apparatus according to claim 1, wherein the background image generation unit generates the background image by averaging a plurality of images captured by the imaging unit.
前記撮像部は、複数の画素毎に、異なる色の光をそれぞれ受光する複数の受光部を有し、
前記受光部は、受光面積が異なる複数の受光素子を含み、
前記背景画像生成部は、前記撮像部が撮像した複数の画像に対して、前記受光素子毎に受光量を平均化することにより、前記背景画像を生成する
請求項2に記載の画像生成装置。
The imaging unit has a plurality of light receiving units for receiving light of different colors for each of a plurality of pixels,
The light receiving unit includes a plurality of light receiving elements having different light receiving areas,
The image generation apparatus according to claim 2, wherein the background image generation unit generates the background image by averaging a light reception amount for each of the light receiving elements with respect to a plurality of images captured by the imaging unit.
前記背景画像生成部は、前記背景画像の部分領域毎に異なる幅の時間範囲において前記撮像部が撮像した複数の画像を用いて、前記背景画像を生成する
請求項2に記載の画像生成装置。
The image generation apparatus according to claim 2, wherein the background image generation unit generates the background image using a plurality of images captured by the imaging unit in a time range having a different width for each partial region of the background image.
前記背景画像生成部は、前記合成画像において前記特定の被写体との距離がより遠い部分領域の背景画像を、より幅の広い時間範囲において前記撮像部が撮像した、より多い数の画像を用いて生成する
請求項4に記載の画像生成装置。
The background image generation unit uses a larger number of images captured by the imaging unit in a wider time range of a background image of a partial area farther from the specific subject in the composite image. The image generation apparatus according to claim 4, which generates the image generation apparatus.
前記背景画像生成部は、前記合成画像において前記特定の被写体の近傍に位置する第1部分領域の背景画像を、第1の時間範囲において前記撮像部が撮像した複数の画像を用いて生成し、前記合成画像において前記特定の被写体から前記第1部分領域より遠くに位置する第2部分領域の背景画像を、前記第1の時間範囲を含む第2の時間範囲において前記撮像部が撮像した複数の画像を用いて生成する
請求項5に記載の画像生成装置。
The background image generation unit generates a background image of a first partial region located in the vicinity of the specific subject in the composite image using a plurality of images captured by the imaging unit in a first time range; A plurality of background images of the second partial region located farther from the first partial region than the specific subject in the composite image are captured by the imaging unit in a second time range including the first time range. The image generation apparatus according to claim 5, wherein the image generation apparatus is generated using an image.
撮像範囲が同一である複数の画像を撮像部によって連続して撮像する段階と、
指示入力に基づいて前記撮像部に撮像させ、特定の被写体を含む被写体画像を取得する段階と、
指示入力を受け付けたタイミングを含む所定の時間範囲において前記撮像部によって撮像された複数の画像に基づいて、前記特定の被写体の背景画像を生成する段階と、
前記被写体画像から前記特定の被写体の領域の被写体領域画像を抽出する段階と、
前記背景画像に前記被写体領域画像を合成して、合成画像を生成する段階と
を備える画像生成方法。
A step of continuously capturing a plurality of images having the same imaging range by an imaging unit;
Acquiring the subject image including a specific subject by causing the imaging unit to capture an image based on an instruction input;
Generating a background image of the specific subject based on a plurality of images captured by the imaging unit in a predetermined time range including a timing at which an instruction input is received;
Extracting a subject area image of the specific subject area from the subject image;
Combining the subject area image with the background image to generate a composite image.
画像を生成する画像生成装置用のプログラムであって、前記画像生成装置を、
撮像範囲が同一である複数の画像を連続して撮像する撮像部、
指示入力に基づいて前記撮像部に撮像させ、特定の被写体を含む被写体画像を取得する被写体画像取得部、
前記被写体画像取得部が指示入力を受け付けたタイミングを含む所定の時間範囲において前記撮像部が撮像した複数の画像に基づいて、前記特定の被写体の背景画像を生成する背景画像生成部、
前記被写体画像取得部が取得した前記被写体画像から前記特定の被写体の領域の被写体領域画像を抽出する被写体領域画像抽出部、
前記背景画像生成部が生成した前記背景画像に、前記被写体領域画像抽出部が抽出した前記被写体領域画像を合成して、合成画像を生成する合成画像生成部
として機能させるプログラム。
A program for an image generation device for generating an image, wherein the image generation device is
An imaging unit that continuously captures a plurality of images having the same imaging range;
A subject image acquisition unit that causes the imaging unit to capture an image based on an instruction input and acquires a subject image including a specific subject;
A background image generation unit that generates a background image of the specific subject based on a plurality of images captured by the imaging unit in a predetermined time range including a timing at which the subject image acquisition unit receives an instruction input;
A subject region image extraction unit that extracts a subject region image of the specific subject region from the subject image acquired by the subject image acquisition unit;
A program that functions as a composite image generation unit that generates a composite image by combining the subject region image extracted by the subject region image extraction unit with the background image generated by the background image generation unit.
JP2004377781A 2004-12-27 2004-12-27 Image generating apparatus and method, and program Pending JP2006186637A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004377781A JP2006186637A (en) 2004-12-27 2004-12-27 Image generating apparatus and method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004377781A JP2006186637A (en) 2004-12-27 2004-12-27 Image generating apparatus and method, and program

Publications (1)

Publication Number Publication Date
JP2006186637A true JP2006186637A (en) 2006-07-13

Family

ID=36739414

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004377781A Pending JP2006186637A (en) 2004-12-27 2004-12-27 Image generating apparatus and method, and program

Country Status (1)

Country Link
JP (1) JP2006186637A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009071808A (en) * 2007-08-22 2009-04-02 Canon Inc Imaging apparatus and zoom control method
JP2012109898A (en) * 2010-11-19 2012-06-07 Aof Imaging Technology Ltd Imaging device, imaging method, and program
CN107395982A (en) * 2017-08-22 2017-11-24 北京小米移动软件有限公司 Photographic method and device
CN112818743A (en) * 2020-12-29 2021-05-18 腾讯科技(深圳)有限公司 Image recognition method and device, electronic equipment and computer storage medium

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009071808A (en) * 2007-08-22 2009-04-02 Canon Inc Imaging apparatus and zoom control method
JP2012109898A (en) * 2010-11-19 2012-06-07 Aof Imaging Technology Ltd Imaging device, imaging method, and program
CN107395982A (en) * 2017-08-22 2017-11-24 北京小米移动软件有限公司 Photographic method and device
CN112818743A (en) * 2020-12-29 2021-05-18 腾讯科技(深圳)有限公司 Image recognition method and device, electronic equipment and computer storage medium

Similar Documents

Publication Publication Date Title
CN113727012A (en) Shooting method and terminal
JP4464360B2 (en) Monitoring device, monitoring method, and program
TWI495346B (en) A moving picture photographing apparatus, an information processing apparatus, an information processing apparatus, an image data processing method, a computer program and a recording medium
CN102959941B (en) Information processing system, information processing device and information processing method
JP6025690B2 (en) Information processing apparatus and information processing method
JP2004145448A (en) Terminal device, server device, and image processing method
JP6907274B2 (en) Imaging device and imaging method
JP2015088096A (en) Information processor and information processing method
JP2015088095A (en) Information processor and information processing method
US20150116517A1 (en) Image processing device, image processing method, and program
JP2015088098A (en) Information processor and information processing method
US20070024710A1 (en) Monitoring system, monitoring apparatus, monitoring method and program therefor
JP2016103806A (en) Imaging apparatus, image processing apparatus, imaging system, image processing method, and program
US20130251267A1 (en) Image creating device, image creating method and recording medium
CN105744147A (en) Image Processing Device and Image Playback Device Which Control Display Of Wide-Range Image
CN113572957A (en) A shooting focusing method and related equipment
JP2023157347A (en) Image processing device, control method for image processing device, program, and image processing system
US20130308829A1 (en) Still image extraction apparatus
JP2014050022A (en) Image processing device, imaging device, and program
JP2013074572A (en) Image processing apparatus, image processing method, and program
US20230069407A1 (en) Remote operation apparatus and computer-readable medium
CN113726949A (en) Video processing method and electronic equipment
JP2006186637A (en) Image generating apparatus and method, and program
JP2005079776A (en) Image generation apparatus, image generation method and program
JP2019169985A (en) Image processing apparatus

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061208