[go: up one dir, main page]

JP3939899B2 - White balance adjustment device for electronic still camera - Google Patents

White balance adjustment device for electronic still camera Download PDF

Info

Publication number
JP3939899B2
JP3939899B2 JP2000154043A JP2000154043A JP3939899B2 JP 3939899 B2 JP3939899 B2 JP 3939899B2 JP 2000154043 A JP2000154043 A JP 2000154043A JP 2000154043 A JP2000154043 A JP 2000154043A JP 3939899 B2 JP3939899 B2 JP 3939899B2
Authority
JP
Japan
Prior art keywords
white balance
correction coefficient
time
balance correction
still camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000154043A
Other languages
Japanese (ja)
Other versions
JP2001339739A (en
Inventor
公一 佐藤
Original Assignee
ペンタックス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ペンタックス株式会社 filed Critical ペンタックス株式会社
Priority to JP2000154043A priority Critical patent/JP3939899B2/en
Publication of JP2001339739A publication Critical patent/JP2001339739A/en
Application granted granted Critical
Publication of JP3939899B2 publication Critical patent/JP3939899B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Cameras In General (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、電子スチルカメラに設けられ、撮影により得られた画像に対してホワイトバランス調整を施す装置に関する。
【0002】
【従来の技術】
従来電子スチルカメラとして、太陽光、蛍光灯等の照明光の色温度に応じて、記録媒体に記録される画像デ−タに対してホワイトバランス調整を自動的に施すことができるように構成されたものが知られている。すなわち、通常の撮影では、常にホワイトバランス調整を自動的に行うように定められており、操作スイッチを操作することによって、自動的なホワイトバランス調整を禁止することができる。例えば夕焼けの風景等のようにホワイトバランス調整を自動的には行いたくないときには、操作スイッチを操作して、マニュアル操作により調整すればよい。
【0003】
【発明が解決しようとする課題】
ところが、このようにホワイトバランス調整をマニュアル操作により調整する作業は煩雑であり、被写体に応じてホワイトバランス調整の度合いを変化させることは熟練を要するという問題があった。
【0004】
本発明は、被写体に応じてホワイトバランス調整の度合いを変化させることができるホワイトバランス調整装置を提供することを目的としてなされたものである。
【0005】
【課題を解決するための手段】
本発明に係る第1のホワイトバランス調整装置は、電子スチルカメラの周囲の光に含まれる色成分を検出する測色手段と、その色成分に基づいてホワイトバランス補正係数を求めるホワイトバランス補正係数演算手段と、ホワイトバランス調整の効果が弱まるようにホワイトバランス補正係数を変更するホワイトバランス補正係数変更手段とを備えることを特徴としている。
【0006】
ホワイトバランス補正係数変更手段は、電子スチルカメラに関する地球上の位置情報から日出入時刻を求め、撮影時刻と日出入時刻に基づいてホワイトバランス補正係数を変更してもよい。この構成においてホワイトバランス補正係数変更手段は、撮影時刻が日出入時刻の前後の所定時間内にあるとき、ホワイトバランス補正係数を変更することが好ましい。これによれば、夕焼けあるいは朝焼けの画像におけるホワイトバランス調整の度合いが弱まり、夕焼け等の赤みを強調した画像を得ることができる。
【0007】
ホワイトバランス補正係数変更手段は、電子スチルカメラに関する地球上の位置情報を全地球測位システムによって求めてもよい。これによれば、電子スチルカメラの位置が自動的に検出され、その位置と撮影時間とに基づいて、被写体が夕焼け等を含むか否かが自動的に推定されるので、ホワイトバランス調整の変更がさらに容易になる。
【0008】
測色手段がレッド、グリ−ンおよびブル−の色成分を検出し、ホワイトバランス補正係数演算手段がレッド、グリ−ンおよびブル−に関するホワイトバランス補正係数KR 、KG 、KB をそれぞれ求め、ホワイトバランス調整手段が、KR <KG かつKR <KB のとき、ホワイトバランス補正係数KR 、KG 、KB が1に近づくように変更してもよい。
【0009】
本発明に係る第2のホワイトバランス調整装置は、電子スチルカメラの周囲の光に含まれる色成分を検出してホワイトバランス補正係数を求めるホワイトバランス補正係数演算手段と、電子スチルカメラに関する地球上の位置情報と日時とから太陽の高度を求め、太陽の高度に基づいて、ホワイトバランス補正係数を変更するホワイトバランス補正係数変更手段とを備えることを特徴としている。
【0010】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。
図1は、本発明の一実施形態を適用した電子スチルカメラを後方から見た状態を示す斜視図である。
【0011】
この電子スチルカメラは一眼レフカメラであり、交換レンズ11はカメラ本体90に着脱自在に取り付けられる。カメラ本体90の上部の中央には光学ファインダ91が設けられ、背面92の略中央には液晶パネル(液晶表示素子)46が設けられている。液晶パネル46では、撮影光学系である交換レンズ11によって得られた画像が動画として表示され、また撮影動作によってメモリ(図示せず)に格納された静止画像が表示可能である。液晶パネル46の横には、モ−ド設定スイッチ95が設けられている。モ−ド設定スイッチ95は各種の動作モ−ドを設定するために設けられ、図示実施形態ではジョグダイアルである。
【0012】
カメラ本体90を背面92側から見たとき、カメラ本体90の上部の右側にはシャッタ釦93と状態表示装置55が設けられている。状態表示装置55は液晶表示素子から構成され、この液晶表示素子には電子スチルカメラの種々の設定状態が文字または記号として表示される。
【0013】
カメラ本体90の側面にはカードスロット96が形成されている。カードスロット96はPCカード(メモリカード)をカメラ本体90内に挿入するために設けられ、カードスロット96の内部にはPCカードが装着されるカードコネクタ(図示せず)が設けられている。
【0014】
カメラ本体90の下面には、全地球測位システム(GPS)ユニット80が取り付けられる。GPSユニット80内には、人工衛星等からの距離に基づいて、電子スチルカメラに関する地球上の位置情報(緯度、経度)を検出するプロセッサが設けられ、また各地の緯度および経度と1年間の各地における日出入時刻のデ−タとを記憶するメモリが設けられている。
【0015】
光学ファインダ91の上面には、測距センサ94が設けられている。測距センサ94は赤外線発光素子と赤外線受光素子(図示せず)を備え、赤外線が発光素子から照射され、例えば天井等の障害物において反射して受光素子により受光されることにより、障害物までの距離が計測されるように構成されている。
【0016】
図2は電子スチルカメラの主に電気的構成を示すブロック図である。
交換レンズ11はマウントピン12、13を介して、カメラ本体90(図1)内に設けられた電気回路と電気的に接続される。交換レンズ11のレンズ鏡筒内には前群レンズ14と後群レンズ15が設けられ、これらのレンズ14、15の間には絞り16が配設されている。各レンズ14、15はレンズ制御回路17の制御によって光軸方向に変位し、焦点調節が行なわれる。レンズ制御回路17は、カメラ本体内に設けられたシステムコントローラ31からマウントピン12を介して送られてくる制御信号に従って動作する。絞り16は、カメラ本体内に設けられた絞り駆動回路32からマウントピン13を介して送られてくる制御信号に従って動作し、絞り16の開度が調節される。絞り駆動回路32はシステムコントローラ31によって制御される。
【0017】
カメラ本体内において、レンズ14、15の光軸上には、ハーフミラー21が設けられている。ハーフミラー21はレンズ14、15の光軸に対して約45度だけ傾斜した位置に固定されている。ハーフミラー21の上方にはピント板22が設けられ、ピント板22の上方にはペンタプリズム23が設けられている。ペンタプリズム23の後方にはファインダの接眼レンズ24が配設されている。したがって、レンズ14、15から取込まれた光はハーフミラー21によって反射され、ペンタプリズム23側に導かれ、接眼レンズ24を介して被写体像が観察される。
【0018】
ハーフミラー21の後方には、赤外カットフィルタ26と光学ローパスフィルタ27が設けられている。光学ローパスフィルタ27の後方にはCCD(撮像素子)33が設けられている。したがって、レンズ14、15から取り込まれた光はハーフミラー21を透過してCCD33の受光面に照射される。すなわち、受光面にはレンズ14、15によって得られた画像が形成され、CCD33では、画像に対応した撮像信号が生成される。
【0019】
システムコントローラ31にはパルス信号発生回路(PPG)36が接続され、パルス信号発生回路36はシステムコントローラ31の制御によって種々のパルス信号を発生する。これらのパルス信号に基づいて、CCD駆動回路37とA/D変換器38と画像信号処理回路39とが駆動され、CCD駆動回路37によりCCD33の動作が制御される。すなわちCCD33から読み出された撮像信号は、A/D変換器38によってデジタル信号に変換され、画像信号処理回路39において、所定の画像処理を施される。画像信号処理回路39には、1つの画像に対応したデジタルの画像データを格納するために十分な容量を有するメモリ40が接続されている。
【0020】
また画像信号処理回路39には、モニタインターフェース41とカードインターフェース42とが接続されている。これらのインターフェース41、42はシステムコントローラ31によって制御される。
【0021】
モニタインターフェース41には、液晶駆動回路44を介してバックライト45と液晶パネル46が接続されている。液晶パネル46では、前述したように、CCD33から読み出された撮像信号に基づいて液晶駆動回路44が制御されることにより、交換レンズ11によって得られた画像が動画として表示され、また、メモリ40から読み出された画像データに基づいて、液晶駆動回路44が制御され、静止画像が表示される。カードインターフェース42にはカードコネクタ47が接続され、カードコネクタ47にはPCカード43が装着可能である。
【0022】
システムコントローラ31には、AFセンサ51と測光センサ52とオ−ト・ホワイトバランス(AWB)センサ97と測距センサ94が接続されている。AFセンサ51は従来公知の構成を有し、AFセンサ51によって、レンズ14、15の焦点調節状態が測定される。測光センサ52によって、露光時の絞り16の開度とCCD33における電荷蓄積時間(露光時間)とを決定するための測光が行なわれる。オ−ト・ホワイトバランスセンサ97は、レッド(R)、グリ−ン(G)およびブル−(B)の光成分を検出する受光センサ(図示せず)を有し、オ−ト・ホワイトバランス調整において用いられる。測距センサ94は上述したようにカメラ本体90の上面から障害物までの距離を測定するものであり、後述するように屋外撮影か室内撮影かを判別するために用いられる。
【0023】
またシステムコントローラ31には、測光スイッチ53とレリ−ズスイッチ54と状態表示装置55が接続されている。測光スイッチ53はシャッタ釦93を半押しすることによってオン状態となり、これにより、測光センサ52によって測光が行なわれる。レリ−ズスイッチ54はシャッタ釦93を全押しすることによってオン状態となり、これにより、CCD33の撮像動作が開始され、CCD33には画像に対応した撮像信号が発生する。
【0024】
さらにシステムコント−ラ31には、モ−ド設定スイッチ95が接続されている。モ−ド設定スイッチ95は上述したようにジョグダイアルであり、動作モ−ドに応じた回転位置に定めて押すことにより、その動作モ−ドが設定される。動作モ−ドとしては、マニュアル・ホワイトバランス調整モ−ド等がある。
【0025】
またシステムコントロ−ラ31には、GPSインタ−フェ−ス56が接続されている。GPSインタ−フェ−ス56は、画像信号処理回路39とGPSユニット80に接続されている。GPSユニット80において検出された日出入時刻のデ−タは、GPSインタ−フェ−ス56を介して画像信号処理回路39に伝送される。画像信号処理回路39では、CCD33から読み出された画像デ−タが、ホワイトバランス調整を施されてメモリ40に格納されるが、日出入時刻と撮影時刻とに基づいて、ホワイトバランス調整の効果を弱めることができる。
【0026】
図3は、撮影が屋外と室内のいずれで行われるのかを判別する撮影モ−ド判別ル−チンのフロ−チャ−トである。このプログラムはシステムコントロ−ラ31において実行される。
【0027】
ステップ101では、測距センサ94が駆動され、カメラ本体90の上面に位置する障害物までの空間距離Hが検出される。障害物としては、室内撮影では、その部屋の天井である場合が多く、屋外撮影では存在しないことが多く、存在していても通常の建物の天井よりも高いことが多い。
【0028】
ステップ102では空間距離Hが所定値以下であるか否かが判定される。所定値は、通常の建物の天井の高さよりも大きく、例えば5mである。ステップ102において空間距離Hが所定値よりも大きいと判定されたとき、すなわち電子スチルカメラの上方の比較的近いところに天井等の障害物が存在しないと判定されたとき、ステップ103が実行され、電子スチルカメラは現在屋外にあると推定されて屋外撮影モ−ドが設定される。これに対し、ステップ102において空間距離Hが所定値以下であると判定れたとき、ステップ104が実行され、電子スチルカメラは現在室内にあると推定されて室内撮影モ−ドが設定される。ステップ103または104において撮影モ−ドが選択されると、このル−チンは終了する。
【0029】
図4〜図5は、屋外撮影モ−ドの撮影動作を制御するプログラムである撮影動作制御ル−チンのフロ−チャ−トである。このプログラムはシステムコントロ−ラ31において実行される。
【0030】
ステップ201は、測光スイッチ53がオン状態に定められたことが確認されるまで繰り返し実行され、測光スイッチ53がオン状態に定められると、ステップ202において、測光演算が実行される。すなわち、測光センサ52によって行われた測光に基づいて、絞り16の開度とCCD33における電荷蓄積時間(露光時間)とが決定される。
【0031】
ステップ203では、電子スチルカメラの周囲の光に含まれるレッド(R)、グリ−ン(G)およびブル−(B)の色成分がAWBセンサ97によって検出され、測色演算が行われて、ホワイトバランス補正係数KR 、KG 、KB が求められる。ホワイトバランス補正係数KR 、KG 、KB は、ホワイトバランス調整を行うために、CCD33から読み出されたレッド、グリ−ンおよびブル−の画素デ−タに対して乗じられるものである。すなわち、例えば色温度の低い照明光を用いた撮影では、電子スチルカメラの周囲光においてレッドの色成分が相対的に多いので、レッドの画素信号のレベルを下げるべく、レッドのホワイトバランス補正係数KR は1よりも小さい値に定められる。
【0032】
ステップ204では、KR <KG かつKR <KB であるか否かが判定される。KR <KG とKR <KB が同時に満足されるのは、電子スチルカメラの周囲光においてレッドの成分がグリ−ンおよびブル−の成分よりも少ないときであり、これは夕焼けあるいは朝焼けの状況で撮影を行うときである可能性が高い。この場合、ステップ205へ進む。これに対し、KR <KG とKR <KB が同時に満足されないとき、夕焼けあるいは朝焼けでの撮影である可能性は低く、ステップ208が実行されて、ホワイトバランス補正係数KR 、KG 、KB に乗じられる修正係数αが1に定められる。
【0033】
ステップ205では、GPSユニット80から、電子スチルカメラに関する地球上の位置情報すなわち撮影が行われている場所の情報が取得される。ステップ206では、その位置情報に基づいて、撮影日の日出入時刻がGPSユニット80に設けられたメモリに記憶された日出入時刻のデ−タから算出される。ステップ207では、現在の時刻(すなわち撮影時刻)が、日の出あるいは日の入り時刻の前後の所定時間内(例えば±30分)に入っているか否かが判定される。現在の時刻は電子スチルカメラ内に設けられたクロック(図示せず)によって検出される。
【0034】
現在の時刻が日出入時刻の前後の所定時間内に入っているとき、ステップ204においてKR <KG かつKR <KB であると判定された原因が夕焼けあるいは朝焼けであると推定され、ステップ209が実行される。すなわちAWBセンサ97の検出結果に基づいて得られたホワイトバランス補正係数KR 、KG 、KB が1に近づくように変更すべく、修正係数αが0.3に定められる。これに対し、現在の時刻が日出入時刻の前後の所定時間内に入っていないとき、ステップ208が実行されて修正係数αが1に定められる。すなわちホワイトバランス補正係数KR 、KG 、KB は変更されない。修正係数αは、日の出または日の入り迄の時間Δtに従って、下記式により定めてもよい。
α=Δt(分)/100(分) (0<Δt<100(分)のとき)
α=1 (Δt≧100(分)のとき)
【0035】
ステップ208または209の実行の後、ステップ211では、レリ−ズスイッチ54がオン状態に定められたか否かが判定される。レリ−ズスイッチ54がオフ状態である間はステップ212が実行され、測光スイッチ53がオフ状態に切り換えられたか否かが判定される。測光スイッチ53がオフ状態に切り換えられると、すなわちシャッタ釦93が開放されると、このル−チンは終了する。測光スイッチ53がオン状態を維持しているとき、ステップ211が再び実行される。ステップ211、212が繰り返し実行される間に、レリ−ズスイッチ54がオン状態になると、ステップ213へ進む。
【0036】
ステップ213では撮影が実行され、CCD33において、画像に対応した撮像信号が生成される。そして、CCD33から撮像信号が読み出されてデジタル信号に変換され、画像信号処理回路39に入力される。ステップ214では、ステップ208または209において求められた修正係数αを用い、(1)式に従って新しいホワイトバランス補正係数KR 、KG 、KB が求められる。
N =(K N −1)・α+1 (1)
ここでKN はKR 、KG 、KB のいずれかであること、すなわち(1)式は全てのホワイトバランス補正係数に適用される。
【0037】
例えば、元の補正係数K N =2で、α=0.3であるとき、新しい補正係数は
N =(2−1)・0.3+1=1.3
となる。また、元の補正係数K N =0.5で、α=0.3であるとき、新しい補正係数は
N =(0.5−1)・0.3+1=0.85
となる。このように、ステップ208において設定された修正係数αを用いることにより、ホワイトバランス補正係数KR 、KG 、KB は1に近づき、ホワイトバランス調整の効果が弱められる。
【0038】
ステップ215では、ステップ214において求められた新しいホワイトバランス補正係数KR 、KG 、KB を用いて、CCD33から読み出された撮像信号すなわち画素デ−タに対してホワイトバランス調整が行われる。ステップ216では、ホワイトバランス調整された画素デ−タに従って、カラ−画像が液晶パネル46において表示される。この画素デ−タはステップ217においてPCカ−ド43に記録され、このル−チンは終了する。
【0039】
一方、室内撮影モ−ドにおける撮影動作制御ル−チンは、図4〜図5のフロ−チャ−トにおいてステップ204〜209、214を省略するとともに、ステップ215の内容を「ホワイトバランス補正係数KR 、KG 、KB を用いてホワイトバランス調整を行う」としたものである。
【0040】
なお、マニュアル・ホワイトバランス調整モ−ドはモ−ド設定スイッチ95を操作することによって設定され、この場合は、撮影者の操作によってホワイトバランス補正係数が決定される。
【0041】
以上のように本実施形態によれば、ホワイトバランス調整が簡単になり、被写体に応じてホワイトバランス調整の度合いを変化させることができる。また本実施形態では、電子スチルカメラに関する地球上の位置情報から日出入時刻を求め、撮影時刻と日出入時刻に基づいてホワイトバランス補正係数を変更するので、夕焼けあるいは朝焼けの画像におけるホワイトバランス調整の度合いを弱めて、夕焼け等の赤みを強調した画像を得ることができる。さらに本実施形態では、GPSユニット80を用いて電子スチルカメラに関する地球上の位置情報を全地球測位システムによって求めるので、電子スチルカメラの位置が自動的に検出され、その位置と撮影時間とに基づいて、被写体が夕焼け等を含むか否かが自動的に推定されるので、ホワイトバランス調整の変更がさらに容易になる。
【0042】
なお、GPSユニット80に代えて、撮影者が撮影場所の情報を電子スチルカメラに入力し、この情報に基づいて日出入時刻を求めてホワイトバランス補正係数の変更を行うように構成してもよい。
【0043】
さらに、屋外撮影か室内撮影かの判定を測距センサ94からの信号に基づいて判定するのではなく、撮影者がモ−ド設定スイッチ95等を操作して設定するようにしてもよい。
【0044】
【発明の効果】
以上のように本発明によれば、被写体に応じてホワイトバランス調整の度合いを変化させることが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施形態を適用した電子スチルカメラを後方から見た状態を示す斜視図である。
【図2】電子スチルカメラの主に電気的構成を示すブロック図である。
【図3】撮影が屋外と室内のいずれで行われるのかを判別する撮影モ−ド判別ル−チンのフロ−チャ−トである。
【図4】屋外撮影モ−ドの撮影動作を制御するプログラムである撮影動作制御ル−チンのフロ−チャ−トの前半部分である。
【図5】図4に示す撮影動作制御ル−チンのフロ−チャ−トの後半部分である。
【符号の説明】
80 GPSユニット
97 オ−ト・ホワイトバランスセンサ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an apparatus that is provided in an electronic still camera and performs white balance adjustment on an image obtained by photographing.
[0002]
[Prior art]
As a conventional electronic still camera, it is configured such that white balance adjustment can be automatically performed on image data recorded on a recording medium in accordance with the color temperature of illumination light such as sunlight or fluorescent light. Is known. That is, in normal shooting, white balance adjustment is always performed automatically, and automatic white balance adjustment can be prohibited by operating the operation switch. For example, when it is not desired to automatically adjust the white balance such as a sunset scene, the operation switch may be operated and adjusted manually.
[0003]
[Problems to be solved by the invention]
However, the work of adjusting the white balance adjustment by manual operation in this way is complicated, and there is a problem that changing the degree of white balance adjustment according to the subject requires skill.
[0004]
The present invention has been made for the purpose of providing a white balance adjustment device capable of changing the degree of white balance adjustment in accordance with a subject.
[0005]
[Means for Solving the Problems]
A first white balance adjusting apparatus according to the present invention includes a colorimetric means for detecting a color component included in light around an electronic still camera, and a white balance correction coefficient calculation for obtaining a white balance correction coefficient based on the color component. And white balance correction coefficient changing means for changing the white balance correction coefficient so that the effect of white balance adjustment is weakened.
[0006]
The white balance correction coefficient changing means may obtain a date / time of entry / exit from position information on the earth regarding the electronic still camera, and may change the white balance correction coefficient based on the photographing time and the date / time of entry / exit. In this configuration, it is preferable that the white balance correction coefficient changing means changes the white balance correction coefficient when the photographing time is within a predetermined time before and after the daylighting time. According to this, the degree of white balance adjustment in an image of sunset or sunrise is weakened, and an image in which redness such as sunset is emphasized can be obtained.
[0007]
The white balance correction coefficient changing unit may obtain position information on the earth regarding the electronic still camera by a global positioning system. According to this, the position of the electronic still camera is automatically detected, and it is automatically estimated whether or not the subject includes a sunset or the like based on the position and the shooting time. Is even easier.
[0008]
Colorimetric means red, glyceraldehyde - detecting the color components, red white balance correction coefficient calculation means, glyceraldehyde - - emission and Bull calculated white balance correction for coefficient K R, K G, a K B, respectively - down and Bull The white balance adjustment means may be changed so that the white balance correction coefficients K R , K G , and K B approach 1 when K R <K G and K R <K B.
[0009]
A second white balance adjusting device according to the present invention includes a white balance correction coefficient computing unit that detects a color component included in light around an electronic still camera and obtains a white balance correction coefficient, and an earth related to the electronic still camera. White balance correction coefficient changing means is provided for obtaining the altitude of the sun from the position information and the date and time, and changing the white balance correction coefficient based on the sun altitude.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a perspective view showing a state in which an electronic still camera to which an embodiment of the present invention is applied is viewed from behind.
[0011]
This electronic still camera is a single-lens reflex camera, and the interchangeable lens 11 is detachably attached to the camera body 90. An optical viewfinder 91 is provided at the center of the upper portion of the camera body 90, and a liquid crystal panel (liquid crystal display element) 46 is provided at the approximate center of the back surface 92. On the liquid crystal panel 46, an image obtained by the interchangeable lens 11 that is a photographing optical system is displayed as a moving image, and a still image stored in a memory (not shown) can be displayed by a photographing operation. A mode setting switch 95 is provided beside the liquid crystal panel 46. The mode setting switch 95 is provided for setting various operation modes, and is a jog dial in the illustrated embodiment.
[0012]
When the camera body 90 is viewed from the back 92 side, a shutter button 93 and a status display device 55 are provided on the right side of the upper part of the camera body 90. The status display device 55 includes a liquid crystal display element, and various setting states of the electronic still camera are displayed on the liquid crystal display element as characters or symbols.
[0013]
A card slot 96 is formed on the side surface of the camera body 90. The card slot 96 is provided for inserting a PC card (memory card) into the camera body 90, and a card connector (not shown) into which the PC card is inserted is provided inside the card slot 96.
[0014]
A global positioning system (GPS) unit 80 is attached to the lower surface of the camera body 90. The GPS unit 80 is provided with a processor for detecting position information (latitude, longitude) on the earth regarding the electronic still camera based on the distance from an artificial satellite or the like. A memory is provided for storing the date and time data of the day.
[0015]
A distance measuring sensor 94 is provided on the upper surface of the optical viewfinder 91. The distance measuring sensor 94 includes an infrared light emitting element and an infrared light receiving element (not shown). Infrared light is emitted from the light emitting element, reflected from an obstacle such as a ceiling, and received by the light receiving element. The distance is measured.
[0016]
FIG. 2 is a block diagram mainly showing an electrical configuration of the electronic still camera.
The interchangeable lens 11 is electrically connected to an electric circuit provided in the camera body 90 (FIG. 1) via mount pins 12 and 13. A front lens group 14 and a rear lens group 15 are provided in the lens barrel of the interchangeable lens 11, and a diaphragm 16 is disposed between these lenses 14 and 15. The lenses 14 and 15 are displaced in the direction of the optical axis under the control of the lens control circuit 17 to perform focus adjustment. The lens control circuit 17 operates in accordance with a control signal sent from the system controller 31 provided in the camera body via the mount pin 12. The aperture 16 operates in accordance with a control signal sent from the aperture drive circuit 32 provided in the camera body via the mount pin 13, and the opening of the aperture 16 is adjusted. The aperture drive circuit 32 is controlled by the system controller 31.
[0017]
A half mirror 21 is provided on the optical axis of the lenses 14 and 15 in the camera body. The half mirror 21 is fixed at a position inclined by about 45 degrees with respect to the optical axes of the lenses 14 and 15. A focus plate 22 is provided above the half mirror 21, and a pentaprism 23 is provided above the focus plate 22. A finder eyepiece 24 is disposed behind the pentaprism 23. Therefore, the light taken in from the lenses 14 and 15 is reflected by the half mirror 21 and guided to the pentaprism 23 side, and the subject image is observed through the eyepiece lens 24.
[0018]
An infrared cut filter 26 and an optical low-pass filter 27 are provided behind the half mirror 21. A CCD (imaging device) 33 is provided behind the optical low-pass filter 27. Therefore, the light taken in from the lenses 14 and 15 passes through the half mirror 21 and is irradiated on the light receiving surface of the CCD 33. That is, an image obtained by the lenses 14 and 15 is formed on the light receiving surface, and the CCD 33 generates an imaging signal corresponding to the image.
[0019]
A pulse signal generation circuit (PPG) 36 is connected to the system controller 31, and the pulse signal generation circuit 36 generates various pulse signals under the control of the system controller 31. Based on these pulse signals, the CCD drive circuit 37, the A / D converter 38, and the image signal processing circuit 39 are driven, and the CCD drive circuit 37 controls the operation of the CCD 33. That is, the image pickup signal read from the CCD 33 is converted into a digital signal by the A / D converter 38 and subjected to predetermined image processing in the image signal processing circuit 39. The image signal processing circuit 39 is connected to a memory 40 having a sufficient capacity for storing digital image data corresponding to one image.
[0020]
A monitor interface 41 and a card interface 42 are connected to the image signal processing circuit 39. These interfaces 41 and 42 are controlled by the system controller 31.
[0021]
A backlight 45 and a liquid crystal panel 46 are connected to the monitor interface 41 via a liquid crystal drive circuit 44. In the liquid crystal panel 46, as described above, the liquid crystal driving circuit 44 is controlled based on the image pickup signal read from the CCD 33, whereby the image obtained by the interchangeable lens 11 is displayed as a moving image, and the memory 40 The liquid crystal driving circuit 44 is controlled based on the image data read out from, and a still image is displayed. A card connector 47 is connected to the card interface 42, and a PC card 43 can be attached to the card connector 47.
[0022]
An AF sensor 51, a photometric sensor 52, an auto white balance (AWB) sensor 97, and a distance measuring sensor 94 are connected to the system controller 31. The AF sensor 51 has a conventionally known configuration, and the AF sensor 51 measures the focus adjustment state of the lenses 14 and 15. The photometric sensor 52 performs photometry to determine the opening of the diaphragm 16 at the time of exposure and the charge accumulation time (exposure time) in the CCD 33. The auto white balance sensor 97 has a light receiving sensor (not shown) for detecting red (R), green (G) and blue (B) light components, and the auto white balance. Used in adjustment. As described above, the distance measuring sensor 94 measures the distance from the upper surface of the camera body 90 to the obstacle, and is used to determine whether it is outdoor shooting or indoor shooting as will be described later.
[0023]
The system controller 31 is connected to a photometric switch 53, a release switch 54, and a status display device 55. The metering switch 53 is turned on by half-pressing the shutter button 93, whereby the metering sensor 52 performs metering. The release switch 54 is turned on when the shutter button 93 is fully pressed, whereby the imaging operation of the CCD 33 is started, and an imaging signal corresponding to the image is generated in the CCD 33.
[0024]
Further, a mode setting switch 95 is connected to the system controller 31. As described above, the mode setting switch 95 is a jog dial. When the mode setting switch 95 is pressed at a rotational position corresponding to the operation mode, the operation mode is set. The operation mode includes a manual white balance adjustment mode.
[0025]
A GPS interface 56 is connected to the system controller 31. The GPS interface 56 is connected to the image signal processing circuit 39 and the GPS unit 80. The date / time data detected by the GPS unit 80 is transmitted to the image signal processing circuit 39 via the GPS interface 56. In the image signal processing circuit 39, the image data read from the CCD 33 is subjected to white balance adjustment and stored in the memory 40. The effect of the white balance adjustment is based on the daylighting time and the photographing time. Can be weakened.
[0026]
FIG. 3 is a flowchart of a photographing mode discriminating routine for discriminating whether photographing is performed outdoors or indoors. This program is executed in the system controller 31.
[0027]
In step 101, the distance measuring sensor 94 is driven, and the spatial distance H to the obstacle located on the upper surface of the camera body 90 is detected. As an obstacle, in indoor photography, it is often the ceiling of the room, often not present in outdoor photography, and even if it exists, it is often higher than the ceiling of a normal building.
[0028]
In step 102, it is determined whether or not the spatial distance H is equal to or less than a predetermined value. The predetermined value is larger than the ceiling height of a normal building, for example, 5 m. When it is determined in step 102 that the spatial distance H is greater than the predetermined value, that is, when it is determined that there is no obstacle such as a ceiling in a relatively close position above the electronic still camera, step 103 is executed, It is presumed that the electronic still camera is currently outdoors, and the outdoor shooting mode is set. On the other hand, when it is determined in step 102 that the spatial distance H is equal to or smaller than the predetermined value, step 104 is executed, and it is estimated that the electronic still camera is currently in the room, and the indoor shooting mode is set. When the photographing mode is selected in step 103 or 104, this routine ends.
[0029]
4 to 5 are flowcharts of a photographing operation control routine which is a program for controlling the photographing operation in the outdoor photographing mode. This program is executed in the system controller 31.
[0030]
Step 201 is repeatedly executed until it is confirmed that the photometric switch 53 is set to the on state. When the photometric switch 53 is set to the on state, a photometric calculation is executed in step 202. That is, based on the photometry performed by the photometry sensor 52, the opening of the diaphragm 16 and the charge accumulation time (exposure time) in the CCD 33 are determined.
[0031]
In step 203, red (R), green (G), and blue (B) color components included in the ambient light of the electronic still camera are detected by the AWB sensor 97, and colorimetric calculation is performed. white balance correction coefficient K R, K G, is K B obtained. White balance correction coefficient K R, K G, K B, in order to perform the white balance adjustment, red read from CCD 33, glyceryl - emission and Blu - pixel data of - those to be multiplied to the other. That is, for example, in photographing using illumination light with a low color temperature, since the red color component is relatively large in the ambient light of the electronic still camera, the red white balance correction coefficient K is set to reduce the level of the red pixel signal. R is set to a value smaller than 1.
[0032]
In step 204, it is determined whether or not K R <K G and K R <K B. K R <K G and K R <K B are satisfied at the same time when the red component is less than the green and blue components in the ambient light of the electronic still camera. There is a high possibility that it is time to shoot in the situation. In this case, the process proceeds to step 205. On the other hand, when K R <K G and K R <K B are not satisfied at the same time, it is unlikely that the image is shot at sunset or sunrise, and step 208 is executed, and white balance correction coefficients K R , K G , the correction factor to be multiplied to K B alpha is determined to one.
[0033]
In step 205, position information on the earth regarding the electronic still camera, that is, information on the place where the image is being taken is acquired from the GPS unit 80. In step 206, based on the position information, the date / time of the shooting date is calculated from the data of the date / time of entry stored in the memory provided in the GPS unit 80. In step 207, it is determined whether or not the current time (that is, the photographing time) is within a predetermined time (for example, ± 30 minutes) before or after the sunrise or sunset time. The current time is detected by a clock (not shown) provided in the electronic still camera.
[0034]
When the current time is within a predetermined time period before and after the times of sunrise and sunset, K R <K G and K R <determined to be caused to be K B in step 204 is presumed to be a sunset or sunrise, Step 209 is executed. That is, the correction coefficient α is set to 0.3 so that the white balance correction coefficients K R , K G , and K B obtained based on the detection result of the AWB sensor 97 are close to 1. On the other hand, when the current time is not within a predetermined time before and after the daylighting time, step 208 is executed and the correction coefficient α is set to 1. That the white balance correction coefficients K R, K G, K B is not changed. The correction coefficient α may be determined by the following equation according to the time Δt until sunrise or sunset.
α = Δt (min) / 100 (min) (when 0 <Δt <100 (min))
α = 1 (when Δt ≧ 100 (minutes))
[0035]
After execution of step 208 or 209, in step 211, it is determined whether or not the release switch 54 is set to the on state. While the release switch 54 is in the off state, step 212 is executed to determine whether or not the photometric switch 53 has been switched to the off state. When the photometric switch 53 is switched to the off state, that is, when the shutter button 93 is released, this routine ends. When the photometric switch 53 is kept on, Step 211 is executed again. If the release switch 54 is turned on while steps 211 and 212 are repeatedly executed, the process proceeds to step 213.
[0036]
In step 213, shooting is performed, and the CCD 33 generates an imaging signal corresponding to the image. The imaging signal is read from the CCD 33 and converted into a digital signal, which is input to the image signal processing circuit 39. In step 214, new white balance correction coefficients K R , K G , and K B are obtained according to the equation (1) using the correction coefficient α obtained in step 208 or 209.
K N = (K N −1) · α + 1 (1)
Here, K N is any one of K R , K G , and K B , that is, the expression (1) is applied to all white balance correction coefficients.
[0037]
For example, when the original correction coefficient K N = 2 and α = 0.3, the new correction coefficient is K N = (2-1) · 0.3 + 1 = 1.3
It becomes. Also, when the original correction coefficient K N = 0.5 and α = 0.3, the new correction coefficient is K N = (0.5-1) · 0.3 + 1 = 0.85
It becomes. Thus, by using the correction coefficient α set in step 208, the white balance correction coefficients K R , K G , and K B approach 1 and the effect of white balance adjustment is weakened.
[0038]
In step 215, the new white-balance correction coefficient K R determined at step 214, K G, with K B, the image signal or pixel des read from CCD 33 - white balance adjustment is made to the data. In step 216, a color image is displayed on the liquid crystal panel 46 in accordance with the pixel data adjusted for white balance. This pixel data is recorded in the PC card 43 in step 217, and this routine is completed.
[0039]
On the other hand, the shooting operation control routine in the indoor shooting mode omits steps 204 to 209 and 214 in the flowcharts of FIGS. 4 to 5 and changes the contents of step 215 to “white balance correction coefficient K”. R, it is obtained by the K G, the white balance adjustment is performed using a K B ".
[0040]
The manual / white balance adjustment mode is set by operating the mode setting switch 95. In this case, the white balance correction coefficient is determined by the photographer's operation.
[0041]
As described above, according to the present embodiment, white balance adjustment is simplified, and the degree of white balance adjustment can be changed according to the subject. In the present embodiment, the date / time of entry / exit is obtained from the position information on the earth regarding the electronic still camera, and the white balance correction coefficient is changed based on the shooting time and the date / time of entry / exit, so that white balance adjustment in an image of sunset or sunrise can be performed. An image in which redness such as sunset is emphasized can be obtained by reducing the degree. Further, in the present embodiment, since the global positioning system obtains the position information on the earth regarding the electronic still camera using the GPS unit 80, the position of the electronic still camera is automatically detected, and based on the position and the shooting time. Thus, since it is automatically estimated whether or not the subject includes a sunset or the like, it is further easy to change the white balance adjustment.
[0042]
Instead of the GPS unit 80, the photographer may input the information on the shooting location to the electronic still camera, obtain the date and time of entry based on this information, and change the white balance correction coefficient. .
[0043]
Furthermore, instead of determining whether outdoor shooting or indoor shooting is performed based on a signal from the distance measuring sensor 94, the photographer may set it by operating the mode setting switch 95 or the like.
[0044]
【The invention's effect】
As described above, according to the present invention, the degree of white balance adjustment can be changed according to the subject.
[Brief description of the drawings]
FIG. 1 is a perspective view showing a state in which an electronic still camera to which an embodiment of the present invention is applied is viewed from the rear.
FIG. 2 is a block diagram mainly showing an electrical configuration of an electronic still camera.
FIG. 3 is a flowchart of a photographing mode discriminating routine for discriminating whether photographing is performed outdoors or indoors.
FIG. 4 is a first half of a flowchart of a shooting operation control routine that is a program for controlling a shooting operation in an outdoor shooting mode.
5 is the latter half of the flowchart of the photographing operation control routine shown in FIG. 4;
[Explanation of symbols]
80 GPS unit 97 Auto white balance sensor

Claims (5)

電子スチルカメラによって得られた画像にホワイトバランス調整を施す装置であって、前記電子スチルカメラの周囲の光に含まれる色成分を検出する測色手段と、前記色成分に基づいてホワイトバランス補正係数を求めるホワイトバランス補正係数演算手段と、前記ホワイトバランス調整の効果が弱まるように、撮影時刻と日出入時刻に基づいて前記ホワイトバランス補正係数を変更するホワイトバランス補正係数変更手段とを備え、前記ホワイトバランス補正係数変更手段が、前記撮影時刻が日出入時刻の前後の所定時間内にあるとき、前記撮影時刻と日出入時刻との時間差が小さいほどホワイトバランス調整の効果が弱まるように、以下の式に基づいて前記ホワイトバランス補正係数を変更し、前記時間差が前記所定時間内に入っていない場合には、前記ホワイトバランス補正係数を変更しないことを特徴とする電子スチルカメラのホワイトバランス調整装置。
N =(K N −1)・α+1
ただし、K N はホワイトバランス補正係数、αは1以下の修正係数。
An apparatus for performing white balance adjustment on an image obtained by an electronic still camera, a color measurement unit for detecting a color component included in light around the electronic still camera, and a white balance correction coefficient based on the color component White balance correction coefficient calculating means for obtaining the white balance correction coefficient changing means for changing the white balance correction coefficient based on the shooting time and the date and time of entry / exit so that the effect of the white balance adjustment is weakened. balanced correction coefficient changing means, when in a predetermined time before and after the shooting time of sunrise and sunset time, as the photographing time and sunrise effect of the time difference white balance adjustment the smaller of the input and time weakens, the following formula change the white balance correction coefficient based on the time difference Do not fall within the predetermined time period In this case, the white balance adjustment apparatus for an electronic still camera characterized in that it does not change the white balance correction coefficient.
K N = (K N −1) · α + 1
Where K N is a white balance correction coefficient, and α is a correction coefficient of 1 or less.
前記ホワイトバランス補正係数変更手段が、前記電子スチルカメラに関する地球上の位置情報から日出入時刻を求めることを特徴とする請求項1に記載のホワイトバランス調整装置。  2. The white balance adjustment apparatus according to claim 1, wherein the white balance correction coefficient changing unit obtains a date and time of entry and exit from position information on the earth regarding the electronic still camera. 前記ホワイトバランス補正係数変更手段が、前記地球上の位置情報を全地球測位システムによって求めることを特徴とする請求項2に記載のホワイトバランス調整装置。  The white balance adjustment apparatus according to claim 2, wherein the white balance correction coefficient changing unit obtains position information on the earth by a global positioning system. 前記測色手段がレッド、グリ−ンおよびブル−の色成分を検出し、前記ホワイトバランス補正係数演算手段がレッド、グリ−ンおよびブル−に関するホワイトバランス補正係数KR 、KG 、KB をそれぞれ求め、前記ホワイトバランス調整手段が、KR <KG かつKR <KB のとき、前記ホワイトバランス補正係数KR 、KG 、KB が1に近づくように変更することを特徴とする請求項1に記載のホワイトバランス調整装置。Said colorimetric means red, glyceraldehyde - emission and table - for detecting the color components, the white balance correction coefficient calculating means red, glyceraldehyde - emission and Bull - white balance correction for coefficient K R, K G, a K B Each of the white balance adjustment means is obtained so that the white balance correction coefficients K R , K G , and K B are changed to approach 1 when K R <K G and K R <K B. The white balance adjustment device according to claim 1. 電子スチルカメラによって得られた画像にホワイトバランス調整を施す装置であって、前記電子スチルカメラの周囲の光に含まれる色成分を検出してホワイトバランス補正係数を求めるホワイトバランス補正係数演算手段と、前記電子スチルカメラに関する地球上の位置情報から日出入時刻を求め、撮影時刻と日出入時刻に基づいて、前記ホワイトバランス補正係数を変更するホワイトバランス補正係数変更手段とを備え、前記ホワイトバランス補正係数変更手段が、前記撮影時刻が日出入時刻の前後の所定時間内にあるとき、前記撮影時刻と日出入時刻との時間差が小さいほどホワイトバランス調整の効果が弱まるように、以下の式に基づいて前記ホワイトバランス補正係数を変更し、前記時間差が前記所定時間内に入っていない場合には、前記ホワイトバランス補正係数を変更しないことを特徴とする電子スチルカメラのホワイトバランス調整装置。
N =(K N −1)・α+1
ただし、K N はホワイトバランス補正係数、αは1以下の修正係数。
A device for performing white balance adjustment on an image obtained by an electronic still camera, white balance correction coefficient calculating means for detecting a color component included in light around the electronic still camera and obtaining a white balance correction coefficient; White balance correction coefficient changing means for obtaining a date / time of entry / exit from the position information on the earth on the electronic still camera, and changing the white balance correction coefficient based on the photographing time and the date / time of entry / exit, and the white balance correction coefficient Based on the following formula, the changing means is such that when the shooting time is within a predetermined time before and after the daylight access time, the effect of white balance adjustment is weaker as the time difference between the shooting time and the daylight access time is smaller. When the white balance correction coefficient is changed and the time difference is not within the predetermined time White balance adjusting apparatus of an electronic still camera which is characterized not to change the white balance correction coefficient.
K N = (K N −1) · α + 1
Where K N is a white balance correction coefficient, and α is a correction coefficient of 1 or less.
JP2000154043A 2000-05-25 2000-05-25 White balance adjustment device for electronic still camera Expired - Fee Related JP3939899B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000154043A JP3939899B2 (en) 2000-05-25 2000-05-25 White balance adjustment device for electronic still camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000154043A JP3939899B2 (en) 2000-05-25 2000-05-25 White balance adjustment device for electronic still camera

Publications (2)

Publication Number Publication Date
JP2001339739A JP2001339739A (en) 2001-12-07
JP3939899B2 true JP3939899B2 (en) 2007-07-04

Family

ID=18659197

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000154043A Expired - Fee Related JP3939899B2 (en) 2000-05-25 2000-05-25 White balance adjustment device for electronic still camera

Country Status (1)

Country Link
JP (1) JP3939899B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004034711A1 (en) * 2002-10-11 2004-04-22 Seiko Epson Corporation Automatic adjustment of image quality according to type of light source

Also Published As

Publication number Publication date
JP2001339739A (en) 2001-12-07

Similar Documents

Publication Publication Date Title
CN100510937C (en) Finder device and camera
EP2215831B1 (en) Image capturing apparatus and control method therefor
US6798456B1 (en) Exposure period control device for electronic still camera
US6272289B1 (en) Camera
JPH05110912A (en) Camera
JP3665520B2 (en) Liquid crystal display element control device for electronic still camera
US6734895B1 (en) Digital camera and recording medium
JP2004104673A (en) Digital camera
JP4182864B2 (en) Electronic camera
JP4105933B2 (en) Digital camera and image generation method
JP3939899B2 (en) White balance adjustment device for electronic still camera
JP4763941B2 (en) Display control device, control method, program, and recording medium
JP2001078083A (en) Exposure time control device for electronic still camera
JP2002131824A (en) camera
JP3887144B2 (en) Light source selection device for electronic still camera
JPH05100288A (en) Camera with electric view finder
JPH05107604A (en) Camera
JP4780877B2 (en) Electronic camera and control method
JP2004212892A (en) Imaging device
JP2899839B2 (en) Infrared film camera
JP4446517B2 (en) Electronic camera white balance control device and remote controller
US6356714B1 (en) Electronic flash light-emission controlling method and apparatus and camera
JP2005136654A (en) camera
JP4940072B2 (en) Imaging apparatus, control method, and program
JP2005257743A (en) Electronic camera with auto bracketing function

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040628

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070320

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070329

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100406

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110406

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110406

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130406

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140406

Year of fee payment: 7

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees