JP2006186637A - Image generating apparatus and method, and program - Google Patents
Image generating apparatus and method, and program Download PDFInfo
- Publication number
- JP2006186637A JP2006186637A JP2004377781A JP2004377781A JP2006186637A JP 2006186637 A JP2006186637 A JP 2006186637A JP 2004377781 A JP2004377781 A JP 2004377781A JP 2004377781 A JP2004377781 A JP 2004377781A JP 2006186637 A JP2006186637 A JP 2006186637A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- unit
- background image
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title description 12
- 238000003384 imaging method Methods 0.000 claims abstract description 83
- 239000002131 composite material Substances 0.000 claims abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 239000000284 extract Substances 0.000 claims abstract description 13
- 238000012935 Averaging Methods 0.000 claims description 11
- 239000003086 colorant Substances 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像生成装置、画像生成方法、及びプログラムに関する。特に本発明は、画像を生成する画像生成装置、及び画像生成方法、並びに当該画像生成装置用のプログラムに関する。 The present invention relates to an image generation device, an image generation method, and a program. In particular, the present invention relates to an image generation apparatus that generates an image, an image generation method, and a program for the image generation apparatus.
撮像装置で撮像された画像から被写体を抽出して、抽出した被写体の背景を、別途用意した背景画像を用いて置換する技術がある(例えば、特許文献1参照。)。
観光地等で撮像した画像の背景に、撮像対象ではない観光客等が写ってしまい、撮像者にとって不本意な画像となってしまう場合がある。この場合、画像から撮像対象を抽出して、抽出した撮像対象の背景を、別途用意した背景画像を用いて置換することによって、撮像者は、観光客等が背景に写っていない合成画像を得ることができる。しかしながら、別途用意した背景画像が撮像されたときの季節、天候等が、実際に撮像者が撮像したときの季節、天候等と異なる場合には、得られる合成画像が現実感の乏しいものになってしまうという課題があった。 In some cases, tourists or the like who are not imaging targets appear in the background of an image captured at a sightseeing spot or the like, resulting in an unintentional image for the photographer. In this case, by extracting the imaging target from the image and replacing the extracted background of the imaging target with a separately prepared background image, the photographer obtains a composite image in which tourists and the like are not reflected in the background be able to. However, if the season, weather, etc. when a separately prepared background image is captured are different from the season, weather, etc., when the photographer actually captured, the resulting composite image will be less realistic. There was a problem that it would end up.
そこで本発明は、上記の課題を解決することができる画像生成装置、及び画像生成方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。 SUMMARY An advantage of some aspects of the invention is that it provides an image generation apparatus and an image generation method capable of solving the above-described problems. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.
本発明の第1の形態における画像生成装置は、撮像範囲が同一である複数の画像を連続して撮像する撮像部と、指示入力に基づいて撮像部に撮像させ、特定の被写体を含む被写体画像を取得する被写体画像取得部と、被写体画像取得部が指示入力を受け付けたタイミングを含む所定の時間範囲において撮像部が撮像した複数の画像に基づいて、特定の被写体の背景画像を生成する背景画像生成部と、被写体画像取得部が取得した被写体画像から特定の被写体の領域の被写体領域画像を抽出する被写体領域画像抽出部と、背景画像生成部が生成した背景画像に、被写体領域画像抽出部が抽出した被写体領域画像を合成して、合成画像を生成する合成画像生成部とを備える。 An image generation apparatus according to a first aspect of the present invention includes an imaging unit that continuously captures a plurality of images having the same imaging range, and an object image that includes a specific subject by causing the imaging unit to capture an image based on an instruction input. And a background image that generates a background image of a specific subject based on a plurality of images captured by the imaging unit in a predetermined time range including a timing at which the subject image acquisition unit receives an instruction input. A subject area image extracting unit that extracts a subject area image of a specific subject area from the subject image acquired by the subject image acquiring unit, and a background image generated by the background image generating unit; A combined image generation unit that combines the extracted subject area images to generate a combined image;
背景画像生成部は、撮像部が撮像した複数の画像を平均化することにより、背景画像を生成してもよい。撮像部は、複数の画素毎に、異なる色の光をそれぞれ受光する複数の受光部を有し、受光部は、受光面積が異なる複数の受光素子を含み、背景画像生成部は、撮像部が撮像した複数の画像に対して、受光素子毎に受光量を平均化することにより、背景画像を生成してもよい。 The background image generation unit may generate a background image by averaging a plurality of images captured by the imaging unit. The imaging unit includes a plurality of light receiving units that receive light of different colors for each of the plurality of pixels, the light receiving unit includes a plurality of light receiving elements having different light receiving areas, and the background image generation unit includes the imaging unit A background image may be generated by averaging the amount of received light for each of the plurality of captured images.
背景画像生成部は、背景画像の部分領域毎に異なる幅の時間範囲において撮像部が撮像した複数の画像を用いて、背景画像を生成してもよい。背景画像生成部は、合成画像において特定の被写体との距離がより遠い部分領域の背景画像を、より幅の広い時間範囲において撮像部が撮像した、より多い数の画像を用いて生成してもよい。背景画像生成部は、合成画像において特定の被写体の近傍に位置する第1部分領域の背景画像を、第1の時間範囲において撮像部が撮像した複数の画像を用いて生成し、合成画像において特定の被写体から第1部分領域より遠くに位置する第2部分領域の背景画像を、第1の時間範囲を含む第2の時間範囲において撮像部が撮像した複数の画像を用いて生成してもよい。 The background image generation unit may generate a background image using a plurality of images captured by the imaging unit in a time range having a different width for each partial region of the background image. The background image generation unit may generate a background image of a partial area farther away from the specific subject in the composite image using a larger number of images captured by the imaging unit in a wider time range. Good. The background image generation unit generates a background image of the first partial region located in the vicinity of the specific subject in the composite image using a plurality of images captured by the imaging unit in the first time range, and specifies the background image in the composite image A background image of the second partial area located farther from the subject than the first partial area may be generated using a plurality of images captured by the imaging unit in the second time range including the first time range. .
本発明の第2の形態における画像生成方法は、撮像範囲が同一である複数の画像を撮像部によって連続して撮像する段階と、指示入力に基づいて撮像部に撮像させ、特定の被写体を含む被写体画像を取得する段階と、指示入力を受け付けたタイミングを含む所定の時間範囲において撮像部によって撮像された複数の画像に基づいて、特定の被写体の背景画像を生成する段階と、被写体画像から特定の被写体の領域の被写体領域画像を抽出する段階と、背景画像に被写体領域画像を合成して、合成画像を生成する段階とを備える。 An image generation method according to a second aspect of the present invention includes a step of continuously capturing a plurality of images having the same imaging range by an imaging unit, and causing the imaging unit to capture an image based on an instruction input, including a specific subject. Acquiring a subject image, generating a background image of a specific subject based on a plurality of images captured by an imaging unit in a predetermined time range including a timing at which an instruction input is received, and specifying from the subject image Extracting a subject area image of the subject area, and synthesizing the subject area image with the background image to generate a composite image.
本発明の第3の形態によると、画像を生成する画像生成装置用のプログラムであって、画像生成装置用を、撮像範囲が同一である複数の画像を連続して撮像する撮像部、指示入力に基づいて撮像部に撮像させ、特定の被写体を含む被写体画像を取得する被写体画像取得部と、被写体画像取得部が指示入力を受け付けたタイミングを含む所定の時間範囲において撮像部が撮像した複数の画像に基づいて、特定の被写体の背景画像を生成する背景画像生成部と、被写体画像取得部が取得した被写体画像から特定の被写体の領域の被写体領域画像を抽出する被写体領域画像抽出部と、背景画像生成部が生成した背景画像に、被写体領域画像抽出部が抽出した被写体領域画像を合成して、合成画像を生成する合成画像生成部として機能させる。 According to the third aspect of the present invention, there is provided a program for an image generation apparatus that generates an image, the image generation apparatus for continuously capturing a plurality of images having the same imaging range, and an instruction input A subject image acquisition unit that acquires a subject image including a specific subject, and a plurality of images captured by the imaging unit in a predetermined time range including a timing at which the subject image acquisition unit receives an instruction input. A background image generation unit that generates a background image of a specific subject based on the image; a subject region image extraction unit that extracts a subject region image of a specific subject region from the subject image acquired by the subject image acquisition unit; and a background The subject region image extracted by the subject region image extraction unit is combined with the background image generated by the image generation unit to function as a composite image generation unit that generates a composite image.
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。 Note that the above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.
本発明によれば、移動する被写体を背景から除いた画像を提供することができる。 According to the present invention, it is possible to provide an image in which a moving subject is removed from the background.
以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention. However, the following embodiments do not limit the claimed invention, and all combinations of features described in the embodiments are inventions. It is not always essential to the solution.
図1は、本発明の一実施形態に係る画像生成装置300の利用環境の一例を示す。撮像者は、画像生成装置300を用いて山を背景とした撮像者自身を撮像する。撮像者は、利用者端末310を用いて画像生成装置300に撮像するよう指示する。画像生成装置300は、固定された撮像範囲の被写体を連続的に撮像しており、撮像者から撮像を指示されたときに、撮像者が写った画像から撮像者の像を抽出する。また、画像生成装置300は、撮像を指示された時刻を含む期間に撮像した複数の画像を用いて、飛行している飛行機、撮像者以外の移動している人物等が写っていない風景の背景画像を生成する。そして、画像生成装置300は、背景画像に撮像者の像を重ね合わせて得られる合成画像を、利用者端末310に送信する。また、画像生成装置300は、インターネット等に接続されたサーバ内の、利用者端末310と関連付けられたディレクトリに合成画像を格納しておき、撮像者は撮像した後に、当該サーバから合成画像を取得してもよい。
FIG. 1 shows an example of a usage environment of an
なお、利用者端末310および画像生成装置300は、赤外線通信、又は、無線LAN、インターネット等の通信回線を介して、撮像を指示する情報または合成画像等を送受信してもよい。また、利用者端末310は、携帯電話等の携帯情報端末であってよい。
Note that the
本実施形態に係る画像生成装置300によれば、撮像者と風景だけが写った画像を得ることができる。さらに、撮像者は、撮像を指示した時刻に近い時刻における風景を背景に持つ画像を得ることができるので、より現実感のある画像を得ることができる。
According to the
図2は、本発明の一実施形態に係る画像生成装置300のブロック構成の一例を示す。画像生成装置300は、撮像部200、指示入力受付部202、被写体画像取得部204、被写体領域画像抽出部206、背景画像取得部208、背景画像生成部210、及び合成画像生成部212を備える。なお、画像生成装置300が備える構成要素のうち、撮像部200のみが被写体を撮像できる場所に設置され、指示入力受付部202、被写体画像取得部204、被写体領域画像抽出部206、背景画像取得部208、背景画像生成部210、及び合成画像生成部212は、撮像部200とは異なる場所に備えられるパーソナルコンピュータ等によって実現されてもよい。
FIG. 2 shows an example of a block configuration of an
以下、画像生成装置300が備える構成要素の動作を説明する。撮像部200は、撮像方向、及び画角が固定されており、撮像範囲が同一である複数の画像を連続して撮像する。具体的には、撮像部200は、被写体からの光をCCD等の撮像デバイスで受光して、被写体を撮像する。また、撮像部200は、予め定められた時間間隔で連続的に被写体を撮像している。また、撮像部200は、連続的に撮像して得られる、予め定めた個数の画像を保持してもよい。
Hereinafter, operations of components included in the
指示入力受付部202は、撮像を指示する旨を示す指示入力を利用者端末310から受信して、被写体画像取得部204に指示入力を送信する。被写体画像取得部204は、指示入力に基づいて撮像部200に撮像させ、被写体画像を取得する。なお、被写体画像取得部204は、指示入力を受け付けたタイミングに最も近いタイミングで撮像部200によって撮像された画像を被写体画像としてもよい。被写体領域画像抽出部206は、被写体画像取得部204が取得した被写体画像に写されている被写体の中から、人物等を特定の被写体として選択して、選択した特定の被写体の領域の被写体領域画像を抽出する。
The instruction
背景画像取得部208は、被写体画像取得部204が指示入力を受け付けたタイミングを含む所定の時間範囲において撮像部200が撮像した複数の画像の中から、特定の被写体の背景画像を生成するために用いる画像を選択する。そして、背景画像生成部210は、背景画像取得部208が選択した複数の画像に基づいて、特定の被写体の背景画像を生成する。具体的には、背景画像生成部210は、撮像部200が撮像した複数の画像を、画素毎に平均化することによって、背景画像を生成する。
The background
合成画像生成部212は、背景画像生成部210が生成した背景画像に、被写体領域画像抽出部206が抽出した被写体領域画像を合成して合成画像を生成する。合成画像生成部212が生成した合成画像は、利用者端末310に送信される。これにより、背景を移動している人物等が特定の被写体の背景に写り込んでいない画像を得ることができる。
The composite
図3は、撮像部200が有する画素230の構成の一例を示す。図3(a)は、画素230の配置の一例を示す。画素230は、各色の光を受光する受光部(242a〜c、以下242と総称する。)を備える。受光部242は、受光素子(244a〜c、以下244と総称する。)、及び受光素子(246a〜c、以下246と総称する。)、並びにフィルタ(240a〜c、以下240と総称する。)を備える。
FIG. 3 shows an example of the configuration of the
図3(b)は、受光部242aが有する受光素子244a、及び受光素子246a、並びにフィルタ240aの構成の一例を示す。フィルタ240aは、被写体からの光のうち、赤の波長帯域の光を透過させる。受光素子246a、及び受光素子244aは、フィルタ240aを透過した光を受光する。受光素子244a、及び受光素子246aは、フォトダイオード等の受光素子であってよい。受光素子246aは、受光素子244aよりも受光する面積が大きく、感度が高い。
FIG. 3B illustrates an example of the configuration of the
なお、受光部242b、及び受光部242cは、受光部242aと同一の構成要素を持つ。そして、受光部242b、及び受光部242cが持つ各構成要素の符号の末尾に、それぞれb、及びcの符号を付けることにより、いずれの受光部242の構成要素であるかを識別する。また、受光部242b、及び受光部242cの各々が備える受光素子244、及び受光素子246の動作は、それぞれ受光素子244a、及び受光素子246aの動作と同一であるので説明を省略する。また、受光部242bが備えるフィルタ240b、及び受光部242cが備えるフィルタ240cは、それぞれ緑、及び青の波長帯域の光を透過させる。
The
背景画像生成部210は、撮像部200が撮像した複数の画像を色毎に平均化することにより、背景画像を生成する。具体的には、背景画像生成部210は、撮像部200が撮像した複数の画像に対して、複数の受光素子244毎に、また、複数の受光素子246毎に、受光量を平均化することによって背景画像を生成する。このため、背景画像を構成する各画素の色毎の受光量を広いダイナミックレンジで得ることができるので、背景画像の画質を向上させることができる。
The background
図4は、合成画像を生成するために用いる画像を選択する例を示す。図5は、図4で選択された画像を用いて合成画像を生成する手順の一例を示す。被写体画像取得部204は、指示入力受付部202から指示入力を受け付けた時刻である撮像指示時刻に最も近い時刻に撮像された画像を被写体画像とする。図4の例では、時刻t50に撮像された画像を被写体画像50とする。なお、被写体画像取得部204は、撮像部200が撮像指示時刻に撮像することができる場合には、撮像指示時刻において撮像部200に撮像させて得られる画像を被写体画像としてもよい。
FIG. 4 shows an example of selecting an image to be used for generating a composite image. FIG. 5 shows an example of a procedure for generating a composite image using the image selected in FIG. The subject
被写体領域画像抽出部206は、被写体画像取得部204が取得した被写体画像50から特定の被写体を抽出して、抽出した特定の被写体の領域が写った被写体領域画像102を生成する。具体的には、被写体領域画像抽出部206は、被写体画像50の中央に位置する被写体520を、エッジ抽出等によって特定の被写体として抽出する。また、被写体領域画像抽出部206は、エッジ抽出等によって被写体画像50から複数の被写体の輪郭を抽出して、抽出した複数の被写体の輪郭と、予め定めた人物のパターンとのパターンマッチング等によって人物510及び人物520を抽出して、面積が最も大きい人物510を特定の被写体として決定してもよい。また、被写体領域画像抽出部206は、人間の肌の色に近い色を持つ被写体を被写体画像50から抽出して、抽出した被写体と、予め定めた顔のパターンとのパターンマッチング等によって正面を向いた顔を持つ人物510及び人物520を抽出して、正面を向いた顔を持つ人物510、又は520のいずれかを特定の被写体としてもよい。
The subject region
また、被写体領域画像抽出部206は、特定の被写体の近傍に位置する複数の人物を判断して、当該複数の人物の全体を特定の被写体としてもよい。例えば、人物510が特定の被写体として抽出された場合に、人物510と接している人物520を抽出して、人物510及び人物520を、特定の被写体として決定する。また、被写体領域画像抽出部206は、エッジ抽出等によって得られた複数の被写体の輪郭を利用者端末310に送信して、撮像者に複数の被写体の中から被写体を選択させ、撮像者が選択した被写体の位置等の情報を受け取ることによって特定の被写体を決定してもよい。また、被写体領域画像抽出部206は、利用者端末310に被写体画像50を送信して、撮像者に特定の被写体の位置を選択させ、撮像者が選択した被写体の位置等の情報を受け取ることによって特定の被写体を決定してもよい。
Further, the subject area
図5の例では、被写体領域画像抽出部206は、被写体画像50から、人物510及び人物520を特定の被写体として決定する。そして、被写体領域画像抽出部206は、被写体画像50における人物510及び人物520の領域をエッジ抽出等によって抽出して、人物512及び人物522のみが写っている被写体領域画像102を生成する。
In the example of FIG. 5, the subject area
背景画像取得部208は、被写体画像取得部204が指示入力を受け付けたタイミングを含む所定の時間範囲において撮像部200が撮像した複数の画像の中から、特定の被写体の背景画像を生成するために用いる画像を選択する。図4の例では、背景画像取得部208は、指示入力を受け付けたタイミングである撮像指示時刻を含む時間範囲(t1〜t100)で撮像された画像(1〜100)を選択する。そして、背景画像生成部210は、背景画像取得部208が選択した画像(1〜100)を平均化することによって背景画像104を生成する。複数の画像を平均化することによって得られる背景画像104には、時間範囲(t1〜t100)で静止している被写体のみが写される。
The background
例えば、図8の画像1の像544として写っている山は、時間範囲(t1〜t100)の間でほとんど変化していないため、画像100の像546は像544と略同一である。したがって、画像(1〜100)を平均化して得られる背景画像104には、山は像548として写る。一方で、画像1の像534として写っている飛行機の位置は、時間範囲(t1〜t100)において時間とともに変化して、画像100では像536の位置に移動する。したがって、飛行している飛行機の像は、背景画像104にはほとんど残らない。また、人物の像524は、時間範囲(t1〜t100)の間に動いておらず、画像100における人物の像526と略同一である。したがって、背景画像104には、人物の像528が写る。また、画像1の像514として写っている人物は、時間範囲(t1〜t100)の間に片腕を上に挙げていて、画像100において片腕が挙がった状態の像516として写っている。この場合、画像1の像514として写っている人物は、背景画像104においては、動かしている片腕がほぼ消えた像518として写る。そして、背景画像104には、動かしている片腕の後方にある柵が写る。
For example, since the mountain shown as the
合成画像生成部212は、背景画像104に被写体領域画像102を合成することによって、合成画像106を生成する。図8の例では、合成画像106は、二人の人物、風景である山、及び柵だけが写り、飛行する飛行機は写っていない画像となる。
The composite
図6は、背景画像の部分領域の設定例を示す。背景画像取得部208は、特定の被写体の背景画像を生成するための画像を選択する場合に、画像に対して複数の部分領域を設定して、当該部分領域毎の背景画像を生成するために用いる画像を、当該部分領域毎に選択してもよい。図6の例では、特定の被写体の近傍から順に、画像を5つの部分領域(120、130、140、150、160)に分割されている。部分領域(120、130、140、150、160)のうち、部分領域120が特定の被写体の最も近傍に位置しており、部分領域130、部分領域140、部分領域150、及び部分領域160は、特定の被写体から部分領域120よりも遠くに位置する。なお、背景画像取得部208は、背景画像取得部208によって選択された複数の背景画像から抽出される特定の被写体の全てが収まる範囲を、特定の被写体の近傍に位置する部分領域120の範囲として設定してもよい。なお、それぞれの部分領域は、背景画像取得部208によって選択された複数の画像において、同じ領域に設定されていることが望ましい。
FIG. 6 shows an example of setting the partial area of the background image. When selecting an image for generating a background image of a specific subject, the background
図7は、背景画像を生成するために用いる画像を選択する例を示す。また、図8は、図7で選択した画像から合成画像を生成する手順の一例を示す。図7の例では、背景画像取得部208は、指示入力を受け付けたタイミングである撮像指示時刻を含む時間範囲(t41〜t60)に撮像された画像(41〜60)を、被写体の近傍の部分領域120の背景画像を生成するために用いる画像として選択する。そして、背景画像生成部210は、背景画像取得部208が選択した画像(41〜60)を平均化することによって、部分領域120における背景画像122を生成する。
FIG. 7 shows an example of selecting an image used to generate a background image. FIG. 8 shows an example of a procedure for generating a composite image from the image selected in FIG. In the example of FIG. 7, the background
また、背景画像取得部208は、部分領域120よりも特定の被写体から遠方にある部分領域(130、140、150、160)における背景画像を生成するために用いる画像として、部分領域120の背景画像を生成するために用いる画像が撮像された時間範囲(t41〜t60)よりも幅の広い時間範囲において撮像部200が撮像した、より多い数の画像(1〜100)の中から選択する。また、背景画像取得部208は、部分領域(130、140、150、160)のそれぞれの背景画像を生成するために用いる画像として、部分領域120の背景画像を生成するために用いる画像(41〜60)を含む画像を選択する。
The background
図7の例では、部分領域150の背景画像を生成するための画像として、時間範囲(t11〜t90)において撮像部200が撮像した画像(11〜90)を選択する。また、部分領域160の背景画像を生成するための画像としては、更に幅の広い時間範囲(t1〜t100)において撮像部200が撮像した、更に多い数の画像(1〜100)を選択する。そして、背景画像生成部210は、画像(11〜90)を用いて部分領域150の背景画像152を生成し、画像(1〜100)を用いて部分領域160の背景画像162を生成する。そして、背景画像生成部210は、部分領域(120、130、140、150、160)の各々における背景画像を合成することによって、背景画像110を生成する。
In the example of FIG. 7, images (11 to 90) captured by the
なお、被写体領域画像抽出部206は、図5で説明した方法と同様の方法を用いて、被写体画像50から特定の被写体を抽出して、抽出した特定の被写体の領域が写った被写体領域画像102を生成する。そして、合成画像生成部212は、背景画像生成部210が生成した背景画像110に、被写体領域画像抽出部206が抽出した被写体領域画像102を合成することによって、合成画像108を生成する。
Note that the subject region
背景画像生成部210は、部分領域(120、130、140、150、160)のそれぞれの背景画像を、撮像タイミングを含む時間範囲(t41〜t60)において撮像された画像(41〜60)を用いて生成するので、実際の撮像タイミングにおける背景に近い画像が背景画像110として得られる。また、背景画像生成部210は、合成画像において特定の被写体との距離がより遠い部分領域の背景画像を、より幅の広い時間範囲において撮像部200が撮像した、より多い数の画像を平均化することによって生成するので、画像上において特定の被写体から離れた位置を移動する物体は合成画像108には写らず、風景だけを合成画像108に残すことができる。また、背景画像生成部210は、被写体の近傍の部分領域120においては、他の部分領域(130、140、150、160)よりも、短い時間範囲において撮像部200が撮像した、より少ない数の画像を平均化して背景画像122を生成するので、動きのある面白い画像を得ることができる。図8の例では、合成画像108には人物が動かす腕が残像として残っており、躍動感のある画像が得られる。
The background
図9は、本実施形態に係るコンピュータ1500のハードウェア構成の一例を示す。コンピュータ1500は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、及び表示装置1580を有するCPU周辺部と、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、及びCD−ROMドライブ1560を有する入出力部と、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、及び入出力チップ1570を有するレガシー入出力部とを備える。
FIG. 9 shows an example of a hardware configuration of a
ホスト・コントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505、及びグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510、及びRAM1520に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
The
入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信インターフェイス1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、コンピュータ1500内のCPU1505が使用するプログラム、及びデータを格納する。通信インターフェイス1530は、ネットワークを介して画像生成装置300と通信し、画像生成装置300にプログラム、及びデータを提供する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。
The input /
また、入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、及び入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、コンピュータ1500が起動時に実行するブート・プログラムや、コンピュータ1500のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
The input /
RAM1520を介して通信インターフェイス1530に提供されるプログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、RAM1520を介して通信インターフェイス1530に提供され、ネットワークを介して画像生成装置300に送信される。画像生成装置300に送信されたプログラムは、画像生成装置300においてインストールされて実行される。
A program provided to the communication interface 1530 via the
画像生成装置300にインストールされて実行されるプログラムは、画像生成装置300を、撮像部200、指示入力受付部202、被写体画像取得部204、被写体領域画像抽出部206、背景画像取得部208、背景画像生成部210、及び合成画像生成部212として機能させる。
A program that is installed and executed in the
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDやPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ1500に提供してもよい。
The program shown above may be stored in an external storage medium. As the storage medium, in addition to the
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更または改良を加えることができる。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. Various modifications or improvements can be added to the above embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
200 撮像部
202 指示入力受付部
204 被写体画像取得部
206 被写体領域画像抽出部
208 背景画像取得部
210 背景画像生成部
212 合成画像生成部
230 画素
240 フィルタ
242 受光部
244 受光素子
246 受光素子
300 画像生成装置
310 利用者端末
200
Claims (8)
指示入力に基づいて前記撮像部に撮像させ、特定の被写体を含む被写体画像を取得する被写体画像取得部と、
前記被写体画像取得部が指示入力を受け付けたタイミングを含む所定の時間範囲において前記撮像部が撮像した複数の画像に基づいて、前記特定の被写体の背景画像を生成する背景画像生成部と、
前記被写体画像取得部が取得した前記被写体画像から前記特定の被写体の領域の被写体領域画像を抽出する被写体領域画像抽出部と、
前記背景画像生成部が生成した前記背景画像に、前記被写体領域画像抽出部が抽出した前記被写体領域画像を合成して、合成画像を生成する合成画像生成部と
を備える画像生成装置。 An imaging unit that continuously captures a plurality of images having the same imaging range;
A subject image acquisition unit configured to cause the imaging unit to capture an image based on an instruction input and acquire a subject image including a specific subject;
A background image generation unit that generates a background image of the specific subject based on a plurality of images captured by the imaging unit in a predetermined time range including a timing at which the subject image acquisition unit receives an instruction input;
A subject region image extraction unit that extracts a subject region image of the specific subject region from the subject image acquired by the subject image acquisition unit;
An image generation apparatus comprising: a composite image generation unit configured to combine the subject region image extracted by the subject region image extraction unit with the background image generated by the background image generation unit to generate a composite image.
請求項1に記載の画像生成装置。 The image generation apparatus according to claim 1, wherein the background image generation unit generates the background image by averaging a plurality of images captured by the imaging unit.
前記受光部は、受光面積が異なる複数の受光素子を含み、
前記背景画像生成部は、前記撮像部が撮像した複数の画像に対して、前記受光素子毎に受光量を平均化することにより、前記背景画像を生成する
請求項2に記載の画像生成装置。 The imaging unit has a plurality of light receiving units for receiving light of different colors for each of a plurality of pixels,
The light receiving unit includes a plurality of light receiving elements having different light receiving areas,
The image generation apparatus according to claim 2, wherein the background image generation unit generates the background image by averaging a light reception amount for each of the light receiving elements with respect to a plurality of images captured by the imaging unit.
請求項2に記載の画像生成装置。 The image generation apparatus according to claim 2, wherein the background image generation unit generates the background image using a plurality of images captured by the imaging unit in a time range having a different width for each partial region of the background image.
請求項4に記載の画像生成装置。 The background image generation unit uses a larger number of images captured by the imaging unit in a wider time range of a background image of a partial area farther from the specific subject in the composite image. The image generation apparatus according to claim 4, which generates the image generation apparatus.
請求項5に記載の画像生成装置。 The background image generation unit generates a background image of a first partial region located in the vicinity of the specific subject in the composite image using a plurality of images captured by the imaging unit in a first time range; A plurality of background images of the second partial region located farther from the first partial region than the specific subject in the composite image are captured by the imaging unit in a second time range including the first time range. The image generation apparatus according to claim 5, wherein the image generation apparatus is generated using an image.
指示入力に基づいて前記撮像部に撮像させ、特定の被写体を含む被写体画像を取得する段階と、
指示入力を受け付けたタイミングを含む所定の時間範囲において前記撮像部によって撮像された複数の画像に基づいて、前記特定の被写体の背景画像を生成する段階と、
前記被写体画像から前記特定の被写体の領域の被写体領域画像を抽出する段階と、
前記背景画像に前記被写体領域画像を合成して、合成画像を生成する段階と
を備える画像生成方法。 A step of continuously capturing a plurality of images having the same imaging range by an imaging unit;
Acquiring the subject image including a specific subject by causing the imaging unit to capture an image based on an instruction input;
Generating a background image of the specific subject based on a plurality of images captured by the imaging unit in a predetermined time range including a timing at which an instruction input is received;
Extracting a subject area image of the specific subject area from the subject image;
Combining the subject area image with the background image to generate a composite image.
撮像範囲が同一である複数の画像を連続して撮像する撮像部、
指示入力に基づいて前記撮像部に撮像させ、特定の被写体を含む被写体画像を取得する被写体画像取得部、
前記被写体画像取得部が指示入力を受け付けたタイミングを含む所定の時間範囲において前記撮像部が撮像した複数の画像に基づいて、前記特定の被写体の背景画像を生成する背景画像生成部、
前記被写体画像取得部が取得した前記被写体画像から前記特定の被写体の領域の被写体領域画像を抽出する被写体領域画像抽出部、
前記背景画像生成部が生成した前記背景画像に、前記被写体領域画像抽出部が抽出した前記被写体領域画像を合成して、合成画像を生成する合成画像生成部
として機能させるプログラム。 A program for an image generation device for generating an image, wherein the image generation device is
An imaging unit that continuously captures a plurality of images having the same imaging range;
A subject image acquisition unit that causes the imaging unit to capture an image based on an instruction input and acquires a subject image including a specific subject;
A background image generation unit that generates a background image of the specific subject based on a plurality of images captured by the imaging unit in a predetermined time range including a timing at which the subject image acquisition unit receives an instruction input;
A subject region image extraction unit that extracts a subject region image of the specific subject region from the subject image acquired by the subject image acquisition unit;
A program that functions as a composite image generation unit that generates a composite image by combining the subject region image extracted by the subject region image extraction unit with the background image generated by the background image generation unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004377781A JP2006186637A (en) | 2004-12-27 | 2004-12-27 | Image generating apparatus and method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004377781A JP2006186637A (en) | 2004-12-27 | 2004-12-27 | Image generating apparatus and method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006186637A true JP2006186637A (en) | 2006-07-13 |
Family
ID=36739414
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004377781A Pending JP2006186637A (en) | 2004-12-27 | 2004-12-27 | Image generating apparatus and method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006186637A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009071808A (en) * | 2007-08-22 | 2009-04-02 | Canon Inc | Imaging apparatus and zoom control method |
| JP2012109898A (en) * | 2010-11-19 | 2012-06-07 | Aof Imaging Technology Ltd | Imaging device, imaging method, and program |
| CN107395982A (en) * | 2017-08-22 | 2017-11-24 | 北京小米移动软件有限公司 | Photographic method and device |
| CN112818743A (en) * | 2020-12-29 | 2021-05-18 | 腾讯科技(深圳)有限公司 | Image recognition method and device, electronic equipment and computer storage medium |
-
2004
- 2004-12-27 JP JP2004377781A patent/JP2006186637A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009071808A (en) * | 2007-08-22 | 2009-04-02 | Canon Inc | Imaging apparatus and zoom control method |
| JP2012109898A (en) * | 2010-11-19 | 2012-06-07 | Aof Imaging Technology Ltd | Imaging device, imaging method, and program |
| CN107395982A (en) * | 2017-08-22 | 2017-11-24 | 北京小米移动软件有限公司 | Photographic method and device |
| CN112818743A (en) * | 2020-12-29 | 2021-05-18 | 腾讯科技(深圳)有限公司 | Image recognition method and device, electronic equipment and computer storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113727012A (en) | Shooting method and terminal | |
| JP4464360B2 (en) | Monitoring device, monitoring method, and program | |
| TWI495346B (en) | A moving picture photographing apparatus, an information processing apparatus, an information processing apparatus, an image data processing method, a computer program and a recording medium | |
| CN102959941B (en) | Information processing system, information processing device and information processing method | |
| JP6025690B2 (en) | Information processing apparatus and information processing method | |
| JP2004145448A (en) | Terminal device, server device, and image processing method | |
| JP6907274B2 (en) | Imaging device and imaging method | |
| JP2015088096A (en) | Information processor and information processing method | |
| JP2015088095A (en) | Information processor and information processing method | |
| US20150116517A1 (en) | Image processing device, image processing method, and program | |
| JP2015088098A (en) | Information processor and information processing method | |
| US20070024710A1 (en) | Monitoring system, monitoring apparatus, monitoring method and program therefor | |
| JP2016103806A (en) | Imaging apparatus, image processing apparatus, imaging system, image processing method, and program | |
| US20130251267A1 (en) | Image creating device, image creating method and recording medium | |
| CN105744147A (en) | Image Processing Device and Image Playback Device Which Control Display Of Wide-Range Image | |
| CN113572957A (en) | A shooting focusing method and related equipment | |
| JP2023157347A (en) | Image processing device, control method for image processing device, program, and image processing system | |
| US20130308829A1 (en) | Still image extraction apparatus | |
| JP2014050022A (en) | Image processing device, imaging device, and program | |
| JP2013074572A (en) | Image processing apparatus, image processing method, and program | |
| US20230069407A1 (en) | Remote operation apparatus and computer-readable medium | |
| CN113726949A (en) | Video processing method and electronic equipment | |
| JP2006186637A (en) | Image generating apparatus and method, and program | |
| JP2005079776A (en) | Image generation apparatus, image generation method and program | |
| JP2019169985A (en) | Image processing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061208 |