[go: up one dir, main page]

JP5385032B2 - 撮影装置および撮影制御方法 - Google Patents

撮影装置および撮影制御方法 Download PDF

Info

Publication number
JP5385032B2
JP5385032B2 JP2009161757A JP2009161757A JP5385032B2 JP 5385032 B2 JP5385032 B2 JP 5385032B2 JP 2009161757 A JP2009161757 A JP 2009161757A JP 2009161757 A JP2009161757 A JP 2009161757A JP 5385032 B2 JP5385032 B2 JP 5385032B2
Authority
JP
Japan
Prior art keywords
person
unit
size
subject
comparison
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009161757A
Other languages
English (en)
Other versions
JP2011019051A5 (ja
JP2011019051A (ja
Inventor
進 高塚
憲文 柴山
尚稔 須藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Mobile Communications Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Mobile Communications Inc filed Critical Sony Mobile Communications Inc
Priority to JP2009161757A priority Critical patent/JP5385032B2/ja
Priority to EP10168075.9A priority patent/EP2275864B1/en
Priority to US12/828,336 priority patent/US8417109B2/en
Publication of JP2011019051A publication Critical patent/JP2011019051A/ja
Publication of JP2011019051A5 publication Critical patent/JP2011019051A5/ja
Application granted granted Critical
Publication of JP5385032B2 publication Critical patent/JP5385032B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)

Description

本発明は、撮影装置に関し、特に撮影者が自分自身を撮影する撮影制御方法に関する。
証明写真などを被撮影者自身が撮影する自動写真撮影装置において、被撮影者の状態を認識し、この認識した状態に応じて被撮影者に姿勢の変更等を音声で指示する技術が提案されている(特許文献1参照)。
一方、カメラ撮影により得られた画像の中に存在する人の顔(領域)を検出したり、笑顔を検出して撮像を行ったりする技術も知られている。
特開2002−40550号公報
建物や風景などの被写体を背景とした人物撮影の際、被撮影者と別に撮影者が存在する場合には、撮影者がカメラのファインダやモニタ画面で撮影前に被撮影者に対して指示を出して、背景に対する被撮影者の立ち位置を調整することができる。
しかし、撮影者が自分自身を被撮影者としてタイマー等による撮影を行う場合には、撮影画像において背景に対する自分自身の立ち位置が好ましいかどうかは撮影してみなければ分からない。
そのため、背景と被撮影者との関係が所望の結果となるまで何度か取り直しをするか、または、意に添わない結果に我慢する、というのが現状である。
特許文献1に記載の従来技術は撮影ボックス内の限られた空間内での撮影であり、現実の建物や風景を背景とした撮影において背景に対する被撮影者の立ち位置を所望の関係にすることは困難である。
本発明はこのような従来の問題に対して、現実の建物や風景を背景とした自分撮りにおいて背景に対する被撮影者の立ち位置を所望の関係にすることを企図する。
本発明による撮影装置は、撮影部と、この撮影部による撮影画像を表示画面上で表示する表示部と、予め用意された人物指標を前記表示画面上で設定する人物指標設定手段と、前記人物指標の目標位置および/または目標サイズを操作する操作部と、撮影画像中の人物の位置および/またはサイズを検出する人物検出手段と、前記撮影画像中の検出された人物の位置および/またはサイズを前記目標位置および/または目標サイズと比較する比較手段と、前記比較手段の比較結果が一致する方向に前記被撮影者に対する誘導指示を発生する誘導指示手段と、前記比較手段による比較結果が所定の許容誤差以内で一致した後、所定の条件が満足されたときシャッタを駆動するよう前記撮影部を制御する制御手段とを備え、前記制御手段は、前記検出された人物の位置と前記目標位置との一致を判断する際、鉛直方向の許容誤差を水平方向の許容誤差より大きく設定するものである。
前記誘導指示手段は、例えば、被撮影者が移動すべき前後左右方向を光で示す光誘導指示手段である。光誘導指示手段としては、複数の発光素子、あるいは、表示画面を有するサブ表示部で構成することができる。
前記誘導指示手段は、被撮影者が移動すべき前後左右方向を音声で示す音声誘導手段で構成することも可能である。
前記人物検出手段は、人物の特定の部位、例えば、人物の顔の位置および/またはサイズを検出する。
前記制御手段は、前記検出された人物の位置と前記目標位置との一致を判断する際、鉛直方向の許容誤差を水平方向の許容誤差より大きく設定することにより、撮影装置の上下方向の傾きや、設置位置の高さ、被撮影者の背丈などの調整しがたい誤差の許容度が高くなる。その結果、上下方向の誤差が原因でいつまでも所定の条件が満足されない事態が回避される。
前記所定の条件が満足されたときとは、例えば、前記比較手段による比較結果が所定の許容誤差以内で一致した時点から、予め定めた時間が経過したとき、あるいは、前記比較手段による比較結果が所定の許容誤差以内で一致した後、前記人物検出手段により被撮影者の笑顔が検出されたときである。
前記比較手段による比較結果が所定の許容誤差以内で一致したとき、その旨を光または音声で報知する手段をさらに備えてもよい。
鉛直方向を検出する検出手段を備えてもよく、この場合、人物指標設定手段は、検出された鉛直方向に合わせて前記人物指標を設定する。
被撮影者が複数人存在する場合、前記比較手段は、予め定められた規則により特定された被撮影者の位置および/またはサイズを前記目標位置および/または目標サイズと比較する。
本発明による撮影制御方法は、撮影部に対するユーザの操作に応じて、背景の撮影画像を表示画面上で表示するステップと、ユーザの操作に応じて、前記表示画面上、前記背景に重ねて、予め用意された人物指標を設定するステップと、前記背景の撮影画像中の被撮影者の位置および/またはサイズを検出するステップと、前記撮影画像中に検出された人物の位置および/またはサイズを前記目標位置および/または目標サイズと比較するステップと、前記比較結果が一致する方向に前記被撮影者に対する誘導指示を発生するステップと、前記比較結果が所定の許容誤差以内で一致した後、所定の条件が満足されたときシャッタを駆動するよう前記撮影部を制御するステップとを備えたものである。
本発明によれば、人物指標を用いて背景と被撮影者との関係を予め確認して設定することにより、被撮影者の立ち位置を当該関係に合わせるように被撮影者を誘導指示することが可能になる。その結果、現実の建物や風景を背景とした自分撮りにおいて背景に対する被撮影者の立ち位置を比較的容易に所望の関係にすることができる。
本発明の撮影装置の主要な構成要素を表したブロック図である。 本発明の実施の形態における携帯電話端末の概略のハードウェア構成を示す図である。 本発明の実施の形態における具体的なカメラ撮影の状況を説明するための図である。 本発明の実施の形態における人物指標の説明図である。 本発明の実施の形態における誘導指示のための光誘導指示手段の一例としてのLED群を示した図である。 図5に示したLED群を利用して行う誘導指示の具体例を示した図である。 図5に示したLED群を利用して行う誘導指示の他の具体例を示した図である。 本発明の実施の形態において、シャッタを駆動する方法の一例の説明図である。 本発明の実施の形態において、シャッタを駆動する方法の他の例の説明図である。 本発明の実施の形態における誘導指示の他の例の説明図である。 本発明の実施の形態における誘導指示のさらに他の例の説明図である。 本発明の実施の形態における携帯端末を用いた自分撮りの処理手順を表したフローチャートである。 本発明の実施の形態における携帯端末を用いた自分撮りの他の処理手順を表したフローチャートである。
以下、本発明の好適な実施の形態について図面を参照しながら具体的に説明する。
まず、図1に、本発明の撮影装置の主要な構成要素を表したブロック図を示す。
撮影部11は、デジタルカメラのような、被写体の画像データを取得するための既存の撮影手段であり、CMOSセンサやCCDなどの撮像素子、レンズなどを有する。
表示部12は、表示画面を構成するLCD,有機EL等のディスプレイパネルを有し、ユーザインタフェース情報や撮影部11の撮影画像などを表示する表示手段である。
操作部13は、撮影部11や人物指標設定部14等をユーザが操作するための操作手段であり、各種の操作キー、ダイヤル、タッチセンサなどにより構成される。
人物指標設定部14は、撮影しようとする背景に対する人物(ユーザ自身)の好ましい配置(構図)を予め設定するための手段である。これにより、後述するように、撮影部11によりいわゆるカメラスルー状態で、表示部12の表示画面上で背景画像に対して、予め用意された人物指標を所望の位置および所望のサイズで設定することができる。カメラスルー状態では一定周期で連続的に撮影が行われ、表示画面に被写体の画像がリアルタイムで逐次表示される。人物指標は、ユーザ自身の身代わりとしての像であり、本実施の形態では人型形状の画像である。但し、人物指標はこれに限るものではなく、人物の目標とする位置および目標とするサイズが認識できる任意の表示指標であればよい。例えば、人の顔を模擬した四角形や楕円等の単なる図形であってもよい。あるいは、前もって撮影されたユーザ自身の撮影像から人物指標部分を抜き出したものであってもよい。
人物検出部15は、ユーザが人物指標設定部14の設定を終えた後に、撮影部11の前方のカメラ視野内で撮影対象の背景の前に移動したとき、撮影画像中に現れた被撮影者(人物像)の位置およびサイズを検出する手段である。ここでは、人の顔を検出することにより人物の位置およびサイズを検出する。より具体的には、人の顔の位置およびサイズを検出する。
比較部16は、人物検出部15により検出された人物の位置およびサイズを前記人物指標設定部14で設定された目標位置および/または目標サイズと比較する。
誘導指示部17は、比較部16の比較結果が一致する方向に前記被撮影者(ユーザ)に対する誘導指示を発生する手段である。この誘導指示や結果の報知は後述するように、音声や光を用いて行うことができる。
撮影制御部18は、比較部16による比較結果が所定の許容誤差以内で一致した後、所定の条件が満足されたとき撮影部11のシャッタを駆動するよう制御を行う手段である。所定の条件については後述する。
以下、本発明の撮影装置の一例としてカメラ付の携帯端末について説明する。但し、撮影装置は、このような携帯端末に限るものではなく、例えばデジタルカメラであってもよい。
図2に、典型的な携帯端末として携帯電話端末の概略のハードウェア構成を示す。
この携帯端末100は、バス117で相互に接続された制御部101、通信部102、アンテナ103、表示部104、サブ表示部104a、操作部105、記憶部106、発光素子107、音声処理部108、撮像制御部111、加速度センサ113、時計部115を備える。音声処理部108にはスピーカ109およびマイク110が接続される。撮像制御部111にはカメラ112(撮影部)が接続される。
制御部101は、CPUを含み、携帯端末100の各部の制御および必要なデータ処理を行う。本実施の形態ではこの制御部101が図1に示した人物指標設定部14、人物検出部15、比較部16、誘導指示部17、撮影制御部18等を構成する。
通信部102は、アンテナ103を介して基地局との間で無線通信を行う。この機能は本実施の形態では直接必要とされない。
表示部104は、図1の表示部12に相当し、LCD,有機EL等の表示デバイスを含み、その表示画面上に情報を表示する。
サブ表示部104aは、必須の構成要素ではないが、後述する一実施の形態において、制御部101とともに誘導指示部17を構成する。特に、被撮影者が移動すべき前後左右方向を光で示す光誘導指示手段を構成しうる。
操作部105は、図1の操作部13に相当し、テンキーや各種制御キーを有し、ユーザからの指示やデータの入力を受け付ける。
記憶部106は、ROM、RAM、フラッシュメモリ等の記憶手段を備え、OS、各種アプリケーションプログラム等のコンピュータプログラム、各種データを記憶する。各種データとしては、本実施の形態における人物指標(またはユーザ自身の撮影画像)等を含む。
発光素子107は、LEDなどの複数の発光素子を含む。本実施の形態では、発光素子107は、制御部101とともに誘導指示部17を構成しうる。特に、被撮影者が移動すべき前後左右方向を光で示す光誘導指示手段を構成しうる。
音声処理部108は、受話音声、警報、音楽データの音声、本実施の形態における音声指示等を出力するスピーカ109と、送話音声等を集音するマイク110とに接続され、音声信号の符号化、復号化を含む所定の音声処理を行う。音声処理部108およびスピーカ109は、制御部101とともに図1の誘導指示部17を構成しうる。特に、被撮影者が移動すべき前後左右方向を音声で示す音声誘導手段を構成しうる。
加速度センサ113は、例えば互いに直交する3軸方向の加速度を検出する手段である。端末の静止時には重力加速度のみが作用するので、加速度センサ113は本発明の「鉛直方向を検出する検出手段」として機能する。但し、「鉛直方向を検出する検出手段」としては加速度センサに限るものではない。
時計部115は、RTC(Real Time Clock)等を含み、年月日および時間情報を生成する時計機能およびタイマー設定を行うタイマー機能を提供する。
以下、このような構成における本実施の形態の動作を説明する。
図3は、本実施の形態における具体的なカメラ撮影の状況を説明するための図である。
携帯端末100のユーザ20は、建物や風景などの被写体を背景とし、自分自身のその中に含めて、タイマー等を用いた撮影(自分撮り)を行う。この例では、ユーザが適当な位置に携帯端末を載置して、寺院をカメラの視野に入れた状態で、タイマー等を利用した撮影を起動し、自分自身がカメラ視野内に移動して寺院を背景とした人物撮影を行う場合を想定している。しかし、自分自身がカメラの前方のどこに立てば、背景である寺院と自分自身の映像との関係が好ましい結果になるかは正確に判断することが困難である。
この課題に対して本実施の形態では、図4に示すように、撮影に先立って、撮影対象の背景に対してユーザの代わりとなる予め用意された人物指標22を所望の位置に所望のサイズで設定する。この例では、携帯端末100として、表示部および撮影部を背中合わせに収容した上部筐体と、操作部を収容した下部筐体とをいわゆる2軸ヒンジで結合した型の端末を示している。しかし、本発明はこの型の端末に限定されるものではない。この場合、撮像部を収容した上部筐体に加速度センサ113も収容される。上部筐体の向きを変えても、その状態での鉛直方向が判明するので、人物指標22は、その鉛直方向に沿って頭部を上側にして表示する。また、画面上での上下左右方向も鉛直方向を基準として判断される。人物指標22のデフォルト位置およびデフォルトサイズは任意である。例えば、操作の便宜を考慮すると、図4(a)に示すように、表示画面中央にサイズの可変範囲内の中サイズで表示するようにしてもよい。人物指標22を背景の側部に配置したいときには、操作部の操作により図4(b)に示すように水平方向へ平行移動させる。さらに、サイズの変更が必要であれば、図4(c)に示すように、操作部の別の操作により、人物指標22をその位置でサイズ変更する。
あるいは、デフォルトの位置およびサイズ(総称して配置)は、ユーザの好みがありうることを考慮して、前回の位置およびサイズの結果を記憶部106内の所定の領域に不揮発的に保存しておき、次回のデフォルト値として利用するようにしてもよい。
表示画面上での人物指標22の位置およびサイズの操作は、操作部105によるキー操作等により行う。その具体的な操作方法については任意であり、特に限定するものではない。図中のマーク24は、一例として、いわゆる十字キーを用いた移動操作を示している。ユーザにより設定された人物指標22の位置およびサイズは記憶部106内の所定の領域に一時保存される。
ついで、ユーザがカメラの前に移動する。ユーザがカメラ視野内に入ったときに、撮影画像中の被撮影者の人物像(特に顔画像)の検出により、その人物の位置およびサイズを前記設定された目標位置および目標サイズと比較し、比較結果が一致する方向に被写体となるユーザに対する誘導指示を発生する。
図5は本実施の形態における誘導指示のための光誘導指示手段の一例である発光素子107としてのLED107a〜107eを示している。この例では、LED107a〜107dは、上部筐体のカメラ112(のレンズ部)が配置された面(表示部104の背面)の四方の端部に配置された、被写体となるユーザに対する移動方向の誘導指示のための4つの発光素子である。また、それらの中央部に配置されたLED107eは、当該ユーザの顔の位置およびサイズについて人物指標との比較結果が一致したときにその旨をユーザに知らしめるための発光素子である。LED107a〜107dとLED107eの発光色や発光態様は異なってもよい。例えば、LED107a〜107dの発光色は赤色、LED107eの色は緑色、等である。また、発光態様には、点灯、点滅、等がありうる。点灯の光強度や点滅の周期を変えることも可能である。LED107a〜107dについて点灯の光強度や点滅の周期を変更させることは、例えば、移動方向だけでなく、必要とされる大まかな移動量を示すために利用することができる。例えば光強度が大きいほど、あるいは、点滅の周期が短いほど、大きな移動量が求められている、ということを示すことができる。
また、LED107eの点滅は例えば後述するタイマーの単位時間(例えば秒)のカウントに同期させて、ユーザにカウントダウンの様子を知らしめることができる。
図6は、図5に示したLED群を利用して行う誘導指示の具体例を示している。図6(a1)〜(a3)はカメラスルー状態の撮影画像60を示している。図6(b1)〜(b3)は、それぞれ図6(a1)〜(a3)に対応する携帯端末100のLED107a〜107eの状態を示している。図6(b1)〜(b3)は、撮影画像60の背景内に位置するユーザ(人物)から携帯端末を見たときの携帯端末の外観を示している。設定された人物指標22の配置状態が図4(c)に示した状態である場合を想定する。
図6(a1)の撮影画像60中のユーザ像61のサイズは設定された人物指標のサイズより大きい。そこで、図6(b1)に示すように、携帯端末は上側のLED107bを発光(点灯または点滅)させる。これは、ユーザに現在の位置よりカメラから遠ざかる(後ろに下がる)ことを指示している。ユーザがカメラから遠ざかるにつれて、撮影画像60中の人物像のサイズが小さくなり、図6(a2)の状態で、ユーザ像61のサイズが人物指標のサイズと許容誤差内で一致したとき、LED107bを発光が停止する。しかし、この状態ではなお、ユーザ像61の位置が、設定された人物指標の位置に比べて水平方向にずれている。そこで、図6(b2)に示すように端末はLED107cを発光させる。この場合、ユーザから端末に向かって右側のLEDが発光しているので、ユーザにとって右側へ移動する指示が行われたこととなる。ユーザが右側へ移動していき、図6(a3)に示すように、ユーザ像61の位置が、設定された人物指標の位置と許容誤差範囲で一致したとき、LED107cの発光が停止する。ユーザ像61の位置およびサイズが、設定された人物指標の位置およびサイズと許容誤差範囲で一致したとき、図6(b3)に示すように、中央のLED107eが発光(点灯または点滅)する。これにより、ユーザは、自身の立ち位置が、設定された位置に一致したことが分かる。
なお、検出された顔の位置と人物指標の位置との一致を判断する際、鉛直方向(画面の上限方向)の位置は、カメラの上下方向の傾き(レンズ光軸の鉛直面内での角度)、カメラの設置位置の高さ、被撮影者の背丈などの種々の要因により、一致させることが困難となりうる。そこで、鉛直方向の位置の許容誤差を水平方向の許容誤差より大きく設定するようにしてもよい。「許容誤差を大きく設定する」とは、位置判定を行わない場合や判定結果を無視する場合も含みうるものとする。
図7は、図5に示したLED群を利用して行う誘導指示の他の具体例を示している。図7(a1)〜(a4)はカメラスルー状態の撮影画像60を示している。図7(b1)〜(b4)は、それぞれ図7(a1)〜(a4)に対応する携帯端末100のLED107a〜107eの状態を示している。図7(b1)〜(b4)は、撮影画像60の背景内に位置するユーザ(人物)から携帯端末を見たときの携帯端末の外観を示している。この例においても、設定された人物指標22の配置状態が図4(c)に示した状態である場合を想定する。
図7(a1)の撮影画像60中のユーザ像61のサイズは設定された人物指標のサイズより小さい。そこで、図7(b1)に示すように、携帯端末は下側のLED107dを発光(点灯または点滅)させる。これは、ユーザに現在の位置よりカメラへ近づく(前に出る)ことを指示している。ユーザがカメラへ近づくにつれて、撮影画像60中の人物像のサイズが大きくなり、図7(a2)の状態で、ユーザ像61のサイズが人物指標のサイズと許容誤差内で一致したとき、LED107dを発光が停止する。しかし、この状態ではなお、ユーザ像61の位置が、設定された人物指標の位置に比べて水平方向にずれている。そこで、図7(b2)に示すように端末はLED107cを発光させる。この場合、ユーザから端末に向かって右側のLEDが発光しているので、ユーザにとって右側へ移動する指示が行われたこととなる。ユーザが右側へ移動していき、図7(a3)に示すように、ユーザ像61の位置が、設定された人物指標の位置と許容誤差範囲で一致したとき、LED107cの発光が停止する。ただし、この場合、ユーザが右側へ移動しながら前に出てしまい、ユーザ像61のサイズが人物指標のサイズより大きくなったとする。このとき、図7(b3)のように、LED107bが発光し、ユーザに後ろに下がることを指示する。その結果、ユーザ像61の位置およびサイズが、設定された人物指標の位置およびサイズと許容誤差範囲で一致したとき、図7(b4)に示すように、中央のLED107eが発光(点灯または点滅)する。これにより、ユーザは、自身の立ち位置が、人物指標で設定された好ましい立ち位置と一致したことが分かる。
このようにサイズが一致した後に位置を修正する際に、再度サイズの修正が必要になる場合がある。この逆の場合もある。サイズと位置の誤差を修正するためにいずれの指示を先に出力するかは、特に限定するものではない。サイズと位置の両方の指示を一緒に出力することも可能である。
図8は、ユーザの立ち位置が所望の立ち位置となった後、実際の撮影を行うためのシャッタを駆動する方法の一例を説明するための図である。この例では、中央のLED107eが発光(好ましくは点滅)を開始し、その後、予め定めた時間の経過後にシャッタが自動的に駆動される。図ではシャッタが駆動される状態をフラッシュ発光として示しているが、実際にフラッシュの発光があるかどうかは問わない。「予め定めた時間」は固定値であってもよいし、ユーザが可変設定できるようにしてもよい。
図9は、ユーザの立ち位置が所望の立ち位置となった後、実際の撮影を行うためのシャッタを駆動する方法の他の例を説明するための図である。
この例では、中央のLED107eが発光(点灯または点滅)した後、ユーザの笑顔が検出されたとき、シャッタが自動的に駆動される。笑顔はユーザの撮影画像に基づいて判断することができる。このような笑顔検出を契機とするシャッタ駆動は公知の技術であり、ここでは特にその詳細な説明は省略する。
図10は、本実施の形態における誘導指示の他の例の説明図である。この例では、予め用意された音声メッセージを携帯端末から発生することにより誘導指示を行う。音声メッセージとしては、図10(a1)〜(a3)と図10(b1〜b3)の関係は図6のそれと同様である。音声メッセージとしては、図示に示した「後ろに下がって下さい。」「右に移動して下さい。」の他、「前に出て下さい。」「左に移動して下さい。」等が考えられる。所望の立ち位置となったときには、図の例では、「正しい構図です。」という音声メッセージが出力される。なお、この図の携帯端末の形態は図6等に示した端末の形態と異なり、LED107a〜107eは必要としない。
図10に示した誘導指示においても、「正しい構図です。」のメッセージの発生時点から予め定めた時間の経過時にシャッタを自動駆動する構成を採用することができる。あるいは、「正しい構図です。」のメッセージの発生後にユーザの笑顔を契機としてシャッタを自動駆動する構成を採用することもできる。
図11は、本実施の形態における誘導指示のさらに他の例の説明図である。
図11(a)は携帯端末100の外観を示している。この例では、カメラ112の位置する筐体面にサブ表示部104aが配置されていることを前提とする。この例では図11(b)(c)に示すように、ユーザに指示する移動方向をサブ表示部104aの表示画面内の矢印で移動方向を示す。矢印に代えてまたは加えて前後左右などの文字を表示してもよい。所望の立ち位置となったときは「OK」の文字を表示しているが、この表示に限るものではない。
また、図11(e)(f)に示すように、所望の立ち位置となった時点からの経過時間を数字のカウントダウンで示すようにしてもよい。これにより、ユーザにはシャッタが駆動されるタイミングを容易に推測することが可能となる。
図12に、本実施の形態における携帯端末を用いた自分撮りの処理手順を表したフローチャートを示す。この処理は、図2の制御部101により記憶部106内のプログラムを実行することにより実現されるものであり、携帯端末に対する自分撮りの撮影モードが起動されたときに開始される。
まず、ユーザは、携帯端末のカメラを撮影対象の背景に向けて台座等の上に載置(可能であれば三脚に設置)し、表示画面上で人物指標の配置操作により、被撮影者の(顔の)目標位置および目標サイズを指定する(S11)。ついで、立ち位置一致フラグをOffに設定する(S12)。立ち位置一致フラグは、被撮影者の撮影像の位置およびサイズが所定の許容誤差内で目標位置および目標サイズに一致したことを示す処理用のパラメータである。Offが不一致、Onが一致を示す。
次に、カメラスルーの撮影画像内から被撮影者の人物像、特に顔を検出する(S13)。顔が検出されるのを待って(S14)、ステップS15へ進む。
ステップS15では現在の画像内の顔サイズを、ステップS11で指定された目標顔サイズと比較する。検出された顔サイズが許容サイズの上限より大きい場合には、「後ろに下がってください」信号、すなわち被撮影者に後ろに下がることを指示する信号を出力する(S16)。検出された顔サイズが許容サイズの下限より小さい場合には、「前に出てください」信号、すなわち被撮影者に前に出ることを指示する信号を出力する(S18)。これらの信号は、上述したような光や音声による所定の誘導指示に変換される。立ち位置一致フラグがOnであればOffにして(S17)、ステップS13へ戻る。既にOffであればOff状態を維持する。
ステップS15において、検出された顔サイズが許容サイズの下限より小さい場合、「前に出て下さい」信号を出力し(S18)、上記ステップS17へ進む。
ステップS15において、検出された顔サイズがサイズ許容誤差の範囲内であれば、現在の画像内の顔位置をステップS11で指定された目標顔位置と比較する(S19)。検出された顔位置が許容位置範囲より左であれば、「左に移動してください」信号、すなわち、被撮影者に左方向に移動することを指示する信号を出力する(S20)。検出された顔位置が許容位置範囲より右であれば、「右に移動してください」信号、すなわち、被撮影者に右方向に移動することを指示する信号を出力する(S2)。その後、ステップS17へ移行する。この移動の結果、顔サイズが許容サイズ範囲から再度外れることもありうるので、顔サイズと顔位置とは常時、両方が判断される。
ステップS19において、検出された顔位置が許容位置範囲であると判定された場合、「正しい構図です」信号、すなわち、被撮影者の現在の立ち位置が意図された位置にあることを示す信号を出力する(S22)。ここで、立ち位置一致フラグがOnであるか否かを調べる(S25)。Onでなければ立ち位置一致フラグをOnにする(S23)。ついで、この時点の時刻を指定位置到達時刻として記録し(S24)、ステップS13に戻る。
ステップS25において立ち位置一致フラグがOnであれば、指定位置到達時刻から予め設定された時間(n秒)が経過したか否かをチェックする(S26)。経過していなければステップS13へ戻る。経過した時点で、写真を撮影する、すなわち、シャッタを駆動する(S27)。
図13に、本実施の形態における携帯端末を用いた自分撮りの他の処理手順を表したフローチャートを示す。図13において、図12に示したステップと同様のステップには同じ参照符号を付して重複した説明を省略する。両処理の差は、シャッタの駆動の契機がタイマーか笑顔かの違いである。図13の処理では、図12の処理におけるタイマー処理を行わずに、被撮影者の笑顔検出時とする。そのため、図13の処理では、立ち位置一致フラグに関する処理ステップS12、S17、S23、S25およびタイマーに関連する処理ステップS24,S26を削除している。また、笑顔の判定ステップS31をステップS22の後に挿入し、笑顔が検出されたとき、写真を撮影する、すなわちシャッタを駆動している(S32)。
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。例えば、LED107a〜107eの代わりに、サブ表示部104aの表示画面上に同等の発光表示を行うようにすることも可能である。位置およびサイズは両方の検出および比較を行う例を示したが、位置およびサイズの一方のみの検出および比較を行うことも可能である。
また、上記の説明では被撮影者が一人の場合について説明したが、複数人の被撮影者が存在する場合にも適用可能である。その場合、複数人のうちの一人を特定して上記の処理を適用する。現在、顔認識技術は単に人の顔を検出するだけでなく、ある人の顔を他の人の顔と識別することができる。そこで、一人の被撮影者の顔を追跡してその立ち位置の判断を行う。「予め定められた規則」としては、例えば、次のようなものが考えられる。(1)端末ユーザ自身の顔画像を登録しておき、この登録された顔画像と撮影画像中の顔画像とを比較して一致する顔画像の被撮影者を選択する。他の被撮影者が存在してもその顔画像については人物指標との比較対象とはならない。(2)撮影画像中に最初に現れた顔画像の被撮影者を選択する。好ましくは、この被撮影者についての立ち位置が決定されたあとに、仲間が撮影視野内に加わる。仲間が加わっても追跡される顔画像は変わらない。(3)撮影画像中に最後に現れた顔画像の被撮影者を選択する。この場合、カメラ視野内に新たな被撮影者が現れるたびに、追跡対象はその被撮影者の顔画像に更新される。
11…撮影部、12…表示部、13…操作部、14…人物指標設定部、15…人物検出部、16…比較部、17…誘導指示部、18…撮影制御部、20…ユーザ、22…人物指標、24…マーク、60…撮影画像、61…ユーザ像、100…携帯端末、101…制御部、102…通信部、103…アンテナ、104…表示部、104a…サブ表示部、105…操作部、106…記憶部、107…発光素子、108…音声処理部、109…スピーカ、110…マイク、111…撮像制御部、112…カメラ、113…加速度センサ、115…時計部、117…バス

Claims (14)

  1. 撮影部と、
    この撮影部による撮影画像を表示画面上で表示する表示部と、
    予め用意された人物指標を前記表示画面上で設定する人物指標設定手段と、
    前記人物指標の目標位置および/または目標サイズを操作する操作部と、
    撮影画像中の人物の位置および/またはサイズを検出する人物検出手段と、
    前記撮影画像中の検出された人物の位置および/またはサイズを前記目標位置および/または目標サイズと比較する比較手段と、
    前記比較手段の比較結果が一致する方向に前記被撮影者に対する誘導指示を発生する誘導指示手段と、
    前記比較手段による比較結果が所定の許容誤差以内で一致した後、所定の条件が満足されたときシャッタを駆動するよう前記撮影部を制御する制御手段とを備え、
    前記制御手段は、前記検出された人物の位置と前記目標位置との一致を判断する際、鉛直方向の許容誤差を水平方向の許容誤差より大きく設定する
    撮影装置。
  2. 前記誘導指示手段は、被撮影者が移動すべき前後左右方向を光で示す光誘導指示手段である請求項1に記載の撮影装置。
  3. 前記光誘導指示手段は複数の発光素子を含む請求項2に記載の撮影装置。
  4. 前記光誘導指示手段は、表示画面を有するサブ表示部を含む請求項2に記載の撮影装置。
  5. 前記誘導指示手段は、被撮影者が移動すべき前後左右方向を音声で示す音声誘導手段である請求項1に記載の撮影装置。
  6. 前記人物検出手段は、人物の顔の位置および/またはサイズを検出する請求項1に記載の撮影装置。
  7. 前記所定の条件が満足されたときとは、前記比較手段による比較結果が所定の許容誤差以内で一致した時点から、予め定めた時間が経過したときである請求項1に記載の撮影装置。
  8. 前記予め定めた時間をユーザが設定する手段をさらに備えた請求項に記載の撮影装置。
  9. 前記所定の条件が満足されたときとは、前記比較手段による比較結果が所定の許容誤差以内で一致した後、前記人物検出手段により被撮影者の笑顔が検出されたときである請求項1に記載の撮影装置。
  10. 前記比較手段による比較結果が所定の許容誤差以内で一致したとき、その旨を光または音声で報知する手段をさらに備えた請求項1〜のいずれかに記載の撮影装置。
  11. 鉛直方向を検出する検出手段を備え、前記人物指標設定手段は、検出された鉛直方向に合わせて前記人物指標を設定する請求項1に記載の撮影装置。
  12. 被撮影者が複数人存在する場合、前記比較手段は、予め定められた規則により特定された被撮影者の位置および/またはサイズを前記目標位置および/または目標サイズと比較する請求項1に記載の撮影装置。
  13. 前記予め用意された人物指標として、当該被写体の撮影画像を用いる請求項1に記載の撮影装置。
  14. 撮影部に対するユーザの操作に応じて、背景の撮影画像を表示画面上で表示するステップと、
    ユーザの操作に応じて、前記表示画面上、前記背景に重ねて、予め用意された人物指標を設定するステップと、
    前記背景の撮影画像中の被撮影者の位置および/またはサイズを検出するステップと、
    前記撮影画像中に検出された人物の位置および/またはサイズを前記目標位置および/または目標サイズと比較するステップと、
    前記比較結果が一致する方向に前記被撮影者に対する誘導指示を発生するステップと、
    前記比較結果が所定の許容誤差以内で一致した後、所定の条件が満足されたときシャッタを駆動するよう前記撮影部を制御するステップとを備え、
    前記制御するステップでは、前記検出された人物の位置と前記目標位置との一致を判断する際、鉛直方向の許容誤差を水平方向の許容誤差より大きく設定する
    撮影制御方法。
JP2009161757A 2009-07-08 2009-07-08 撮影装置および撮影制御方法 Expired - Fee Related JP5385032B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009161757A JP5385032B2 (ja) 2009-07-08 2009-07-08 撮影装置および撮影制御方法
EP10168075.9A EP2275864B1 (en) 2009-07-08 2010-07-01 Photographing device and photographing control method
US12/828,336 US8417109B2 (en) 2009-07-08 2010-07-01 Photographing device and photographing control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009161757A JP5385032B2 (ja) 2009-07-08 2009-07-08 撮影装置および撮影制御方法

Publications (3)

Publication Number Publication Date
JP2011019051A JP2011019051A (ja) 2011-01-27
JP2011019051A5 JP2011019051A5 (ja) 2012-08-09
JP5385032B2 true JP5385032B2 (ja) 2014-01-08

Family

ID=42541559

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009161757A Expired - Fee Related JP5385032B2 (ja) 2009-07-08 2009-07-08 撮影装置および撮影制御方法

Country Status (3)

Country Link
US (1) US8417109B2 (ja)
EP (1) EP2275864B1 (ja)
JP (1) JP5385032B2 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101700357B1 (ko) * 2009-11-30 2017-01-26 삼성전자주식회사 점프 영상 촬영 장치 및 방법
US8957981B2 (en) 2010-03-03 2015-02-17 Intellectual Ventures Fund 83 Llc Imaging device for capturing self-portrait images
JP6019567B2 (ja) * 2011-03-31 2016-11-02 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
KR101832959B1 (ko) * 2011-08-10 2018-02-28 엘지전자 주식회사 휴대 전자기기 및 이의 제어방법
KR20130056747A (ko) * 2011-11-22 2013-05-30 삼성전자주식회사 영상 촬영 방법 및 이를 적용한 영상 촬영 장치
JP5970937B2 (ja) * 2012-04-25 2016-08-17 ソニー株式会社 表示制御装置および表示制御方法
US9385324B2 (en) 2012-05-07 2016-07-05 Samsung Electronics Co., Ltd. Electronic system with augmented reality mechanism and method of operation thereof
EP2662803B1 (en) * 2012-05-07 2018-09-05 Samsung Electronics Co., Ltd. Electronic system with augmented reality mechanism and method of operation thereof
US9064184B2 (en) 2012-06-18 2015-06-23 Ebay Inc. Normalized images for item listings
JP5999336B2 (ja) * 2012-09-13 2016-09-28 カシオ計算機株式会社 撮像装置及び撮像処理方法並びにプログラム
JP6058978B2 (ja) 2012-11-19 2017-01-11 サターン ライセンシング エルエルシーSaturn Licensing LLC 画像処理装置及び画像処理方法、撮影装置、並びにコンピューター・プログラム
US9733786B2 (en) * 2012-11-20 2017-08-15 Twine Labs, Llc System and method of capturing and sharing media
US9554049B2 (en) * 2012-12-04 2017-01-24 Ebay Inc. Guided video capture for item listings
US9503632B2 (en) * 2012-12-04 2016-11-22 Lg Electronics Inc. Guidance based image photographing device and method thereof for high definition imaging
KR20140090318A (ko) 2013-01-07 2014-07-17 삼성전자주식회사 햅틱 기반 카메라 운용 지원 방법 및 이를 지원하는 단말기
KR102026717B1 (ko) * 2013-02-08 2019-10-04 삼성전자 주식회사 사진 촬영 가이드 방법 및 이를 구현하는 휴대 단말
US9106821B1 (en) * 2013-03-13 2015-08-11 Amazon Technologies, Inc. Cues for capturing images
US20140267817A1 (en) * 2013-03-14 2014-09-18 Ales Zerovec Systems and methods of attracting attention in photography or videography
US9066005B2 (en) * 2013-10-15 2015-06-23 Samsung Electronics Co., Ltd. Photographing device for displaying a manual focus guide and method thereof
JP6049608B2 (ja) * 2013-12-27 2016-12-21 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、記録媒体
WO2015115203A1 (ja) * 2014-01-28 2015-08-06 ソニー株式会社 撮影装置、撮影方法、及び、プログラム
CN106462032A (zh) * 2014-04-02 2017-02-22 夫斯特21有限公司 用于面部识别系统的灯光指示装置及其使用方法
KR102031874B1 (ko) * 2014-06-10 2019-11-27 삼성전자주식회사 구도 정보를 이용하는 전자 장치 및 이를 이용하는 촬영 방법
EP2958308A1 (en) * 2014-06-17 2015-12-23 Thomson Licensing Method for taking a self-portrait
US9848121B2 (en) * 2014-10-09 2017-12-19 Lenovo (Singapore) Pte. Ltd. Method and device to obtain an image aligned with a reference image
CN104935824A (zh) * 2015-07-30 2015-09-23 苏州寅初信息科技有限公司 一种用于盲拍时的取景方法及其拍摄装置
US10091414B2 (en) * 2016-06-24 2018-10-02 International Business Machines Corporation Methods and systems to obtain desired self-pictures with an image capture device
EP3478172A4 (en) 2016-06-29 2020-02-26 Vision Quest Industries Incorporated Dba VQ Orthocare MEASUREMENT AND CONTROL SYSTEM FOR ORTHOPEDIC DEVICES.
EP3591960A4 (en) * 2017-03-09 2020-07-29 Guangdong Oppo Mobile Telecommunications Corp., Ltd. DEPTH BASED CONTROL PROCESS AND DEVICE, AND ELECTRONIC DEVICE
CN110268703A (zh) * 2017-03-15 2019-09-20 深圳市大疆创新科技有限公司 成像方法和成像控制装置
CN107124558A (zh) * 2017-06-06 2017-09-01 青岛海信移动通信技术股份有限公司 移动终端及其拍照方法
JP6385543B1 (ja) * 2017-09-29 2018-09-05 株式会社ドワンゴ サーバ装置、配信システム、配信方法及びプログラム
US10574881B2 (en) 2018-02-15 2020-02-25 Adobe Inc. Smart guide to capture digital images that align with a target image model
CN108737717A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 拍摄方法、装置、智能设备及存储介质
JP2019186791A (ja) * 2018-04-12 2019-10-24 シャープ株式会社 撮像装置、撮像装置の制御方法、および制御プログラム
CN110381281B (zh) * 2019-07-17 2022-01-25 维沃移动通信有限公司 一种提示方法及移动终端
JP2021097287A (ja) * 2019-12-16 2021-06-24 シャープ株式会社 携帯端末、動画像取得方法、および動画像取得プログラム
CN111277763A (zh) * 2020-03-06 2020-06-12 维沃移动通信有限公司 电子设备及拍摄提示方法
CN112511743B (zh) * 2020-11-25 2022-07-22 南京维沃软件技术有限公司 视频拍摄方法和装置
US11165953B1 (en) 2020-12-17 2021-11-02 Gopro, Inc. Framing recommendations by image capture device
JP7061709B1 (ja) * 2021-03-05 2022-04-28 本田技研工業株式会社 撮影サポート装置、及び撮影サポート方法
WO2023220870A1 (zh) * 2022-05-16 2023-11-23 威盛电子股份有限公司 摄影装置的调整提示系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5345313A (en) * 1992-02-25 1994-09-06 Imageware Software, Inc Image editing system for taking a background and inserting part of an image therein
JP2002040550A (ja) 2000-07-25 2002-02-06 Konica Corp 自動写真撮影装置
GB2396433A (en) * 2002-12-19 2004-06-23 Nokia Corp Mobile phone camera with mirror
JP2004350208A (ja) * 2003-05-26 2004-12-09 Tohoku Pioneer Corp カメラ付き電子機器
JP2005156942A (ja) * 2003-11-26 2005-06-16 Konica Minolta Holdings Inc 人物撮影システム
JP4970716B2 (ja) * 2004-09-01 2012-07-11 株式会社ニコン 電子カメラ
JP4864502B2 (ja) * 2006-03-23 2012-02-01 富士フイルム株式会社 撮像装置および撮像条件案内方法
JP4853425B2 (ja) * 2007-08-14 2012-01-11 ソニー株式会社 撮像装置、撮像方法およびプログラム
JP2009058834A (ja) * 2007-08-31 2009-03-19 Fujifilm Corp 撮像装置
JP4513843B2 (ja) * 2007-09-10 2010-07-28 カシオ計算機株式会社 撮像装置及びプログラム
JP5060233B2 (ja) * 2007-09-25 2012-10-31 富士フイルム株式会社 撮像装置およびその自動撮影方法
JP2009147591A (ja) * 2007-12-13 2009-07-02 Casio Comput Co Ltd 撮像装置、および、プログラム
US7855737B2 (en) * 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
TW201023633A (en) * 2008-12-05 2010-06-16 Altek Corp An image capturing device for automatically position indicating and the automatic position indicating method thereof

Also Published As

Publication number Publication date
EP2275864A1 (en) 2011-01-19
US20110008036A1 (en) 2011-01-13
JP2011019051A (ja) 2011-01-27
US8417109B2 (en) 2013-04-09
EP2275864B1 (en) 2017-04-05

Similar Documents

Publication Publication Date Title
JP5385032B2 (ja) 撮影装置および撮影制御方法
US7664389B2 (en) System and method of photography using desirable feature recognition
US9332208B2 (en) Imaging apparatus having a projector with automatic photography activation based on superimposition
JP5194650B2 (ja) 電子カメラ
CN101815171B (zh) 图像撷取装置及其自动指示拍摄位置的方法
US8558935B2 (en) Scene information displaying method and apparatus and digital photographing apparatus using the scene information displaying method and apparatus
WO2016016984A1 (ja) 撮像装置およびその被写体追尾方法
JP2008118276A (ja) カメラ付き移動機器およびその撮影支援方法
CN106664361B (zh) 信息处理装置、信息处理方法和计算机可读存储介质
US20090115868A1 (en) Photographing device and method of controlling the same
JP6412743B2 (ja) 撮影支援装置、撮影支援システム、撮影支援方法及び撮影支援プログラム
JP5231285B2 (ja) 撮像装置
JP2013134570A (ja) 撮像装置及びその制御方法、並びにプログラム
JP5019228B2 (ja) 画像撮影装置及びプログラム
JP2013131906A (ja) デジタルカメラ
JP2011041133A (ja) 撮影装置及び撮影方法
JP2005057416A (ja) 撮像装置及び撮像方法
JP5877030B2 (ja) 撮影装置および撮影方法
US20200053278A1 (en) Techniques for improving photograph quality for common problem situations
JP2005257869A (ja) 撮像装置
JP2013135268A (ja) 画像処理装置及び画像処理方法
JP2014068280A (ja) 撮像装置
JP2012027302A (ja) 投影機能付き撮像装置
JP2025155800A (ja) 撮影装置、情報処理装置、撮影装置の制御方法
JP2005110161A (ja) カメラ、アクセサリ、及びカメラシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120625

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130909

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131003

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees