JP2012217137A - 画像処理装置、画像処理方法、画像処理プログラム - Google Patents

Abstract

【課題】色空間を選択することにより指定された領域の色に基づいて精度の高い領域特定
を行うことができる画像処理装置、画像処理方法、画像処理プログラムを提供する。
【解決手段】指定された色情報に基づいて、色空間を選択する色空間選択部と、色空間において指定された色情報で示される色と一致する色を有する領域を、色領域特定に供される色領域特定画像から特定する領域特定部とを備える画像処理装置である。
【選択図】図１

Description

本技術は、画像処理装置、画像処理方法、画像処理プログラムに関する。

従来から、デジタルスチルカメラ、デジタルビデオカメラなどの撮像装置は、移動する被写体を撮像する際に自動的にその被写体を追尾して、オートフォーカス、構図調整、露出調整、さらに撮像装置自体のパン・チルト動作などを行う機能を備えている。

このような追尾機能は、例えば、ブロックマッチングによって追尾対象としての領域の動きを検出する方法により行われる。また、撮像によって得られる撮像画像の色相情報、輝度情報に着目し、それらを用いて入力画像中から追尾対象を捜し出すヒストグラム法も知られている（特許文献１）。

特開平０９−１８１９５３号公報

特許文献１に記載の自動追尾装置は、常にＨＳＶ色空間における色相に着目することにより、照度の変動時における追尾性能の向上を図ったものである。しかし、低彩度色は撮影時における照度のわずかな変化によって色相が大きく変化するという特性を有する。この特性により、追尾対象としての領域の色相を確実に追尾することができなくなり、追尾性能が低下するという問題がある。

したがって、撮像時において、追尾対象としての領域の色が光の照射具合や撮像環境の変化によって変化した場合、例えば、追尾対象が明るい場所から急に暗い場所（日陰など）に移動した場合など、追尾対象の色と追尾対象指定時における追尾対象の色との差が大きくなり、精度の高い追尾を行うことができなくなる。

本技術は、このような点に鑑みてなされたものであり、色空間を選択することにより、画像における色彩的特徴に基づいて精度の高い領域特定を行うことができる画像処理装置、画像処理方法、画像処理プログラムを提供することを目的とする。

上述した課題を解決するために、第１の技術は、指定された色情報に基づいて、色空間を選択する色空間選択部と、色空間において指定された色情報で示される色と一致する色を有する領域を、色領域特定に供される色領域特定画像から特定する領域特定部とを備える画像処理装置である。

また、第２の技術は、指定された色情報に基づいて、色空間を選択し、色空間において指定された色情報で示される色と一致する色を有する領域を、色領域特定に供される色領域特定画像から特定する画像処理方法である。

また、第３の技術は、指定された色情報に基づいて、色空間を選択し、色空間において指定された色情報で示される色と一致する色を有する領域を、色領域特定に供される色領域特定画像から特定する画像処理方法をコンピュータに実行させる画像処理プログラムである。

本技術によれば、撮像時において撮像環境の変化があっても画像における色彩的特徴に基づく領域の特定を高い精度で行うことができる。

図１は、本技術の係る画像処理装置の構成を示すブロック図である。 図２は、画像処理装置によって行われる画像処理の全体の流れを示すフローチャートである。 図３は、色空間選択処理の流れを示すフローチャートである。 図４は、彩度が低い場合における色空間の特徴を説明する図である。 図５は、彩度が高い場合における色空間の特徴を説明する図である。 図６は、ＹＵＶ色空間が選択された場合の領域特定処理の流れを示すフローチャートである。 図７は、ＨＳＶ色空間またはＨＳＬ色空間が選択された場合における領域特定処理の流れを示すフローチャートである。 図８は、色情報と画像の背景の関係について説明するための図である。 図９は、領域特定処理における明度と彩度の関係について説明するための図である。 図１０は、領域特定処理について説明するための図である。 図１１は、領域選択処理について説明するための図である。 図１２は、画像処理装置を備える撮像装置の構成を示すブロック図である。

以下、本技術の実施の形態について図面を参照しながら説明する。ただし、本技術は以下の実施の形態のみに限定されるものではない。なお、説明は以下の順序で行う。
＜１．実施の形態＞
［１−１．画像処理装置の構成］
［１−２．画像処理全体の流れ］
［１−３．色空間選択処理］
［１−４．領域特定処理］
［１−５．画像処理装置を備える撮像装置の構成］
＜２．変形例＞

＜１．実施の形態＞
［１−１．画像処理装置の構成］
図１は、本技術に係る画像処理装置１の構成を示すブロック図である。画像処理装置１は、例えば、デジタルスチルカメラなどの撮像装置に搭載され、被写体を自動的に追尾する追尾制御などに用いられる。

画像処理装置１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）から構成される制御部により所定のプログラムが実行されることなどにより実現される。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭはＣＰＵのワークメモリとして用いられる。ＣＰＵはＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって画像情報取得部２、色空間選択部３、領域特定部４として機能する。

ただし、画像処理装置１は、プログラムによって実現されるのみでなく、画像情報取得部２、色空間選択部３および領域特定部４それぞれの機能を有するハードウェアを組み合わせた専用の装置として実現されてもよい。

画像情報取得部２には、外部から、例えばＲＧＢ形式の画像信号が入力される。画像処理装置１が撮像装置に搭載されている場合には、撮像装置による撮像で得られた画像信号が入力される。また、画像情報取得部２には、画像信号に係る画像中において任意に指定された領域（以下、指定領域と称する。）を示す指定領域の情報が入力される。

そして、画像情報取得部２は、入力画像における指定領域の色（以下、色情報と称する。）を取得する。色情報は、例えば、ＲＧＢ形式の画像信号から得た輝度信号と色差信号の値でも良い。また、色情報は、ＲＧＢ形式の画像信号が入力された場合、指定領域におけるＲ画素の平均値、Ｇ画素の平均値、Ｂ画素の平均値を用いて取得しても良い。また、指定領域における単一の画素のＲＧＢ値に基づいて取得するようにしてもよい。取得した色情報は入力画像と共に色空間選択部３に供給される。画像処理装置１は、指定領域の指定が行われた画像（色領域指定に供される色領域指定画像）以降に入力された画像中において、指定領域の色情報に応じた色と同一の色を有する領域（以下、同一色領域と称する。）を特定する処理を行うものである。なお、ここでは、指定領域の指定が行われた画像以降に入力された画像中において、特定する処理を行う場合で説明するが、これに限られず、任意の画像に基づいて指定領域が指定され、その他の任意の画像について特定する処理を行っても良い。また、ＧＵＩ上などでユーザに選択させた色を色情報として取得しても良い。この場合は、色領域指定画像は不要となる。

また、画像情報取得部２は、指定領域および画像全体について検波を行うことにより色ヒストグラムの取得、画像全体の色の取得も行う。さらに、画像情報取得部２は指定領域の画像全域における大きさ、位置、動きベクトルなど（以下、これらの情報を付随情報と称する。）の取得も行う。付随情報も画像信号と共に色空間選択部３に供給される。付随情報は、後述する領域特定部４により複数の同一色領域の候補の中から１つが選択され、同一色領域が特定される際に用いられる。ただし、付随情報の取得は必須の処理ではなく、画像処理装置１が付随情報を用いる構成である場合にのみ取得するようにするとよい。

指定領域の指定は、画像処理装置１が搭載された撮像装置における入力部、画像処理装置１に接続された外部の入力装置などによって行われる。例えば、画像処理装置１が入力部としてのタッチスクリーンを備える撮像装置に搭載されている場合、タッチスクリーンに表示されているスルー画に対してユーザが指を接触させて入力を行うことにより、指定領域の指定がなされる。指定領域は、例えば、スルー画上において指などが接触した位置を中心とする所定の面積を有する領域として設定される。

また、パーソナルコンピュータなどの情報処理装置が画像処理装置１としての機能を実現する場合には、例えば、パーソナルコンピュータに付属されたマウスなどで指定した位置を中心とした所定の面積を有する領域として設定される。また、マウスなどでスルー画上において任意の領域を指定することより指定領域を設定するようにしてもよい。また、ユーザが指定する場合に限らず、顔などに対する画像認識を行い、顔の領域を指定領域として設定しても良い。

色空間選択部３は、画像情報取得部２により検出された色情報に基づいて色空間の選択および切り換え処理（以下、色空間選択処理と称する。）を行うものである。選択された色空間を示す情報は入力画像と共に領域特定部４に供給される。本実施の形態においては、色を輝度信号（Ｙ）と色差信号（Ｕ）（Ｖ）で表現するＹＵＶ色空間、色相（Ｈ）と彩度（Ｓ）と明度（Ｖ）とで表現するＨＳＶ色空間、色相（Ｈ）と彩度（Ｓ）と輝度（Ｌ）で表現するＨＳＬ（ＨＬＳ、ＨＳＩとも称する。）色空間のうちのいずれかを選択する。色空間選択処理の詳細については後述する。なお、本明細書では、ＹＵＶとして説明するがＹＣｂＣｒも同等である。

また、以下の説明においては、色相（Ｈ）のとりうる値の範囲は０〜３６０（０：赤）、彩度（Ｓ）のとりうる値の範囲は０〜２５５（０：無彩色、２５５：純色）、明度（Ｖ）のとりうる値の範囲は０〜２５５（０：暗い、２５５：明るい）である。さらに、輝度信号（Ｙ）と色差信号（Ｕ）（Ｖ）のとりうる値の範囲は０〜２５５であるものとする。

領域特定部４は、画像情報取得部２から供給された色情報、付随情報、色空間選択部３により選択された色空間に基づいて、入力画像（色領域特定に供される色領域特定画像）中から色情報に応じた色と同一の色を有する領域である同一色領域を特定する（以下、領域特定処理と称する。）。

また、領域特定部４は、画像中において同一色領域の候補（以下、同一色領域候補と称する。）が複数検出された場合には、複数の同一色領域候補の中から１つを選択することにより、同一色領域を特定する（以下、領域選択処理と称する。）。同一色領域を特定すると、領域特定部４は同一色領域の位置、範囲などを示す情報を画像処理装置１が搭載された撮像装置などにおいて追尾動作を制御する追尾制御部などに出力する。

［１−２．画像処理全体の流れ］
図２は、本実施の形態に係る画像処理装置１によって行われる画像処理の全体の流れを示すフローチャートである。まず、ステップＳ１０１で画像処理装置１に対する画像の入力が開始される。この例では、画像の入力は本技術に係る画像処理または撮像処理が行われる限り常に行われるものとして説明するが、追尾の実行中のみ等必要な際にのみ実行しても良い。また、画像処理はフレームごと、または、数フレームに一度の頻度で行われる。入力画像は画像処理装置１が搭載される撮像装置などにおいてスルー画として表示される。

次にステップＳ１０２で、指定領域の指定が行われたか否かが判定される。指定領域の指定が行われない場合にはステップＳ１０２の処理が繰り返される（ステップＳ１０２のＮｏ）。ステップＳ１０２で指定領域の指定が行われたと判定された場合には、処理はステップＳ１０３に進む（ステップＳ１０２のＹｅｓ）。次にステップＳ１０３で、画像情報取得部２により指定領域についての色情報、色ヒストグラム、入力画像全体の色、付随情報の取得が行われる。

次にステップＳ１０４で色空間選択部３によって、画像情報取得部２から供給された色情報などに基づいて色空間選択処理が行われる。色空間選択処理とは上述のようにＹＵＶ色空間、ＨＳＶ色空間、ＨＳＬ色空間のうちいずれの色空間を用いるかを選択し、色空間を選択したものに切り替える処理である。色空間選択処理の詳細については別フローチャートに基づいて後述する。

次にステップＳ１０５で、画像情報取得部２により取得された色情報および色空間選択部３により選択された色空間に基づいて領域特定処理が行われる。領域特定処理は、まず、色情報と入力画像を構成する各ピクセルの色とを比較し、色情報に応じた色と同一の色のピクセルを検出する。そして、色情報に応じた色と同一の色のピクセルにより構成される領域を同一色領域として特定する。なお、同一色領域が複数存在する場合、各同一色領域についての付随情報（大きさ、位置、動きベクトルなど）などの取得も行われる。領域特定処理の詳細については後述する。なお、本例では、同一色領域として、複数のピクセルを含む領域を同一色領域として特定しているが、同一色の１つのピクセルを特定する場合にも本技術を適用することができる。

次にステップＳ１０６で、平滑処理が施される。ただし、この処理は必須では無い。次にステップＳ１７で、同一色領域が複数であるか否かが判定される。同一色領域が複数ではない場合には処理はステップＳ１０８に進む（ステップＳ１０７のＮｏ）。一方、同一色領域が複数存在する場合には処理はステップＳ１０９に進む（ステップＳ１０７のＹｅｓ）。

ステップＳ１０９では、複数の同一色領域候補の中から指定領域に最も近いものを選択して同一色領域を特定する。各ピクセルの色が色情報に応じた色と同一であるか否かで同一色領域の特定を行う場合には、複数の同一色領域が複数個になる場合がある。このような場合にはそれら複数の同一色領域候補の中から最も指定領域に近いものを選択して同一色領域を特定する必要がある。複数の同一色領域候補からの選択はステップＳ１０３において取得した指定領域の付随情報と、各同一色領域候補についての付随情報を比較することにより行われる。

次にステップＳ１０８で、特定された同一色領域の位置、大きさなどを示す情報である同一色領域情報を外部の追尾制御部などに出力する。そして、画像処理装置１が搭載された撮像装置などにおいて追尾制御などが行われる。例えば、撮像装置がパン・チルト動作可能なものである場合には、追尾対象としての同一色領域を撮像装置の画角の略中心付近に適度な大きさで収まらせるための制御信号を生成して撮像装置のパン・チルト動作を司る動作制御部に出力する。この制御信号に基づいて撮像装置がパン、チルト動作することにより、同一色領域の追尾が行われる。また、同一色領域情報を用いて撮像装置の、ズーム動作、オートフォーカスなどを制御するようにしてもよい。

そして、ステップＳ１１０で画像処理が終了であるか否かが判定される。画像処理が終了の場合とは例えば、ユーザが画像処理装置１に対して画像処理の終了を指示した場合などである。画像処理が終了ではない場合には処理はステップＳ１０４に戻り、ステップＳ１０４乃至ステップＳ１１０が繰り返されることにより引き続き画像処理が行われる（ステップＳ１１０のＮｏ）。一方、画像処理が終了である場合には図２のフローチャートに示す処理は終了となる（ステップＳ１１０のＹｅｓ）。

［１−３．色空間選択処理］
次に、上述したステップＳ１０４の色空間選択処理の詳細について説明する。図３は、色空間選択処理の流れを示すフローチャートである。色空間選択処理では、まずステップＳ２０１で、ＹＵＶ色空間を選択するか否かが判定される。ＹＵＶ色空間を選択するか否かの判定は、色情報から抽出される彩度とＹＵＶ彩度閾との比較結果、および、色情報から抽出される明度とＹＵＶ明度閾値との比較結果に基づいて判断される。

例えば、ＹＵＶ彩度閾値を１１０、ＹＵＶ明度閾値を４０と設定する。そして、色情報から抽出される彩度が１１０以上であり、かつ、明度が４０以上である場合にはＹＵＶ色空間以外の色空間を用いると判定される。一方、彩度が１１０以上であり、かつ、明度が４０以上である場合以外はＹＵＶ色空間を用いると判定される。

ただし、上述したＹＵＶ彩度閾値およびＹＵＶ明度閾値の具体的な値は一例であり、撮像時の環境などに合わせてこれ以外の値を採用してもよい。例えば、屋外など影ができやすい環境においてはＹＵＶ彩度閾値を約１０％下げる、などである。これは、ＹＵＶ色空間に比べてＨＳＶ色空間は日が当たっている部分と当たっていない部分との違いを吸収できるという特性を有しているためである。

また、色情報から抽出される色相に応じてＹＵＶ彩度閾値を調整することも考えられる。具体的には、色相が赤または赤に近似する場合にはＹＵＶ彩度閾値を５％下げる。色相が黄／緑またはそれらに近似する場合にはＹＵＶ彩度閾値を５％上げる、などが考えられる。また、上述の説明では彩度および明度に基づいてＹＵＶ色空間を用いるか否かの判断を行ったが、必ずしも彩度および明度を用いるのではなく、彩度のみに基づいて判断してもよい。

図３のフローチャートの説明に戻る。ステップＳ２０１でＹＵＶ色空間を用いると判定された場合（ステップＳ２０１のＹｅｓ）、処理はステップＳ２０２に進み、ＹＵＶ色空間が選択され、選択された色空間を示す色空間選択情報が入力画像と共に領域特定部４に供給される。一方、ステップＳ２０１でＹＵＶ色空間を選択しないと判定された場合、処理はステップＳ２０３に進む（ステップＳ２０１のＮｏ）。

次に、ステップＳ２０３で、ＨＳＶ色空間を用いるか否かが判定される。ステップＳ２０３において、ＨＳＶ色空間を用いると判定された場合、処理はステップＳ２０４に進み（ステップＳ２０３のＹｅｓ）、ＨＳＶ色空間が選択される。一方、ステップＳ２０３において、ＨＳＶ色空間を用いないと判定された場合、処理はステップＳ２０５に進み（ステップＳ２０３のＮｏ）、ＨＳＬ色空間が選択される。

ＨＳＶ色空間を用いるか否かの判定は、入力画像の明度に基づいて行われる。具体的には、入力画像全体の明度の平均値がＨＳＶ第１明度閾値以上、かつ、各明度のうちの高い値の明度がＨＳＶ第２明度閾値以上、という条件をみたすか否かで判断する。上記条件を満たさない場合には撮像環境の照度が低いとしてＨＳＶ色空間が選択される。一方、上記条件を満たす場合には撮像環境の照度が高いとしてＨＳＬ色空間が選択される。

ＨＳＶ第１明度閾値は例えば１８０と設定することができる。また、ＨＳＶ第１明度閾値は例えば２２０と設定することができる。そして、画像全体の輝度の平均値が１８０以上であり、かつ、上位１５％の明度が２２０以上である場合にはＨＳＬ色空間を用いると判断され、それ以外ではＨＳＶ色空間を用いると判断される。

画像全体の明度が高い場合とは、言い換えれば、「色が飽和状態に近い（色の飽和が予想される」場合であるといえる。色が飽和状態に近い場合とは、撮像環境における照度が高い場合、または、撮像に用いた撮像素子のダイナミックレンジが狭い場合などが考えられる。ただし、撮像環境の照度が高くても撮像素子のダイナミックレンジが広い場合には色は飽和せず、また、ダイナミックレンジが狭くても撮像環境の照度が低い場合には色は飽和しない。したがって、ＨＳＶ色空間を用いるか否かの判定に用いる閾値は、撮像素子のダイナミックレンジに基づいて適宜設定するとよい。

このように、入力画像全体の明度に応じてＨＳＶ色空間とＨＳＬ色空間との選択を行うのは、ＨＳＶ色空間は、無限大のダイナミックレンジを前提としたものであり、一方、ＨＳＬ色空間は、色の飽和をモデルとして組み込んだものであるためである。したがって、例えば、晴天時の昼の屋外など撮像環境の照度が極めて高い場合でもＨＳＬ色空間を用いることにより、指定領域を見失うことなく正確な領域特定を行うことができる。色が飽和しやすいダイナミックレンジの狭い撮像素子を用いる場合も同様である。

なお、閾値の設定においては、撮像環境の要素を考慮することもできる。具体的には、撮像環境が屋内であり、かつ、時間帯が昼間であり、かつ、天候が晴れの場合にはＨＳＶ第１明度閾値およびＨＳＶ第２明度閾値を５〜１０％程度下げる（ＨＳＶ第１明度閾値１７０、ＨＳＶ第２明度閾値２０５）。これは、晴れた昼間に屋外に出た場合には照度が上昇する可能性があるためである。

さらに、天候が雨、または、曇り、または、夜（かつ、画面が暗い、すなわち平均明度が低い）場合にはＨＳＶ第１明度閾値およびＨＳＶ第２明度閾値を数％下げる。これは、雨、曇り、夜という環境は一般的に照度が低く暗いため、照度の変動により明るさが変化してもその変化はわずかであると考えられるからである。ただし、夜、かつ、画面が明るい場合には、ＨＳＶ第１明度閾値およびＨＳＶ第２明度閾値の調整は行わない（デフォルトの設定のままとする）とすることも可能である。これは、夜において画面が十分に明るい場合にはそれ以上明るくなることはまれである、という考えに基づくものである。画面が明るいか、暗いかの判断は例えば、画像全体の平均明度に基づいて行うことができる。

なお、撮像環境が屋内か屋外かの判断は例えば、上述のＨＳＶ第１明度閾値およびＨＳＶ第２明度閾値とは別に設定した第３明度閾値に基づいて行うことができる。入力画像の平均明度が第３明度閾値以下の場合には撮像環境が暗いとして屋内と判断し、第３明度閾値以上の場合には屋外と判断する。また、撮像に用いられる撮像装置がＧＰＳ（Global Positioning System）機能を備えている場合には、ＧＰＳにより取得した位置情報に基づいても判断することができる。また、被写体の色温度の測定結果を考慮して判断することも可能である。

また、昼間、夜などの時間帯の判断は撮像を行う撮像装置が備える時計機能などに基づき行うことができる。さらに、天候の判断は、例えば、撮像に用いる撮像装置がＧＰＳ機能に加えネットワーク接続機能を備えている場合には、ＧＰＳにより取得した位置情報に基づいて、気象情報サーバ（図示せず。）から現在位置についての気象情報を取得することなどにより行うことができる。

さらに、ＨＳＶ第１明度閾値およびＨＳＶ第２明度閾値は、撮像に用いられる撮像装置の自動露出のゲインに応じて調整するようにしてもよい。具体的には、自動露出のゲインが大きい場合には画像の明るさが変わりにくいため、ＨＳＶ第１明度閾値およびＨＳＶ第２明度閾値共に上げる。また、自動露出のゲインが小さい場合にはＨＳＶ第１明度閾値およびＨＳＶ第２明度閾値共に下げる。

上述のように、本実施の形態においては、色情報から評価される彩度が所定の閾値以下である場合にはＹＵＶ色空間を選択する。その理由および利点について図４を参照して説明する。図４ＡはＹＵＶ色空間を示し、図４ＢはＨＳＶ色空間を示す。

ＹＵＶ色空間は、横軸を輝度信号と青色成分の色差（Ｕ）、縦軸を輝度信号と赤色成分の色差（Ｖ）として、輝度信号（Ｙ）、ＵおよびＶを用いて表されたものである。また、ＨＳＶ色空間においては、色相は０〜３６０度の位相角として角度により表される。また、彩度は中心からの距離で表される。

図４Ａにおける第１の点４１１は指定領域の色情報に応じた色を示すものである。また、第１の点４１１から右下方向に延出する矢印４１２の先端に位置する第２の点４１３は撮像環境の照度の変化（例えば照明などの変化による）により変化した指定領域の色情報に応じた色を示すものである。したがって、矢印の長さは照度の変化による色情報の変化の度合いを示すものである。さらに、第１の点４１１を略中心とする円形状の領域４１４はＹＵＶ色空間において同一色であると判断される範囲を示すものである。

図４Ｂも同様に、第１の点４２１は指定領域の色情報に応じた色を示すものである。また、第１の点４２１から右下方向に延出する矢印４２２の先端に位置する第２の点４２３は撮像環境の照度の変化（例えば照明などの変化による）により変化した指定領域の色情報に応じた色を示すものである。したがって、矢印の長さは照度の変化による色情報の変化の度合いを示すものである。さらに、第１の点４２１を囲う略扇形の領域４２４はＨＳＶ色空間において同一色であると判断される範囲を示すものである。

図４Ａおよび図４Ｂは同一撮像環境下において同一の指定領域を検出して特定する場合である。したがって、図４Ａにおける矢印４１２と図４Ｂにおける矢印４２２の長さは等しく、照度の変化による色情報の変化は同じである。

彩度が低い範囲においては、色相は照度の変動に対して感度が高く、照度のわずかな変動に応じて大きく変動するという特性を有する。したがって、図４Ｂに示すように、色相を用いるＨＳＶ色空間においては、同一であると判定される領域４２４の範囲が狭くなる。よって、第２の点４２３が領域４２４の範囲内に収まらず、同一の色だとは判定されない。したがって、彩度が低い範囲においては、ＨＳＶ色空間を用いて、色相を領域特定の際の要素として用いると精度の高い領域特定が行えないおそれがある。

それに対し、色差は彩度の高低に対する感度が低いため、彩度の変動に応じた変動が少ないという特性を有する。したがって、図４Ａに示すように色差を用いるＹＵＶ色空間においては同一であると判定される領域４２４内に第２の点４２３が収まり、同一の色だとは判定される。したがって、指定領域の彩度が低い場合には、ＹＵＶ色空間を用いることにより指定領域を見失うことのない精度の高い領域特定が可能となる。

次に、色情報から評価される彩度が高い場合について説明する。図５ＡはＹＵＶ色空間を示し、図５ＢはＨＳＶ色空間を示す。

図５Ａにおける第１の点５１１は指定領域の色情報に応じた色を示すものである。また、第１の点５１１から右上方向に延出する矢印５１２の先端に位置する第２の点５１３は撮像環境の照度の変化（例えば照明などの変化）により変化した指定領域の色情報に応じた色を示すものである。さらに、第１の点５１１を略中心とする円形状の領域５１４はＹＵＶ色空間において同一色であると判断される範囲を示すものである。

図５Ｂも同様に、第１の点５２１は、指定領域の色情報に応じた色を示すものである。また、点５２１から右上方向に延出する矢印５２２の先端に位置する第２の点５２３は撮像環境の照度の変化（例えば照明などの変化）により変化した指定領域の色情報に応じた色を示すものである。さらに、第１の点５２１を略中心とする矩形状の領域５２４はＨＳＶ色空間において同一色であると判断される範囲を示すものである。

図５Ａおよび図５Ｂは同一撮像環境下において同一の指定領域を検出して特定する場合である。したがって、図５Ａにおける矢印５１２と図５Ｂにおける矢印５２２の長さは等しく、照度の変化による色情報の変化は同じである。

彩度が高い範囲においては、色相は照度の変動に対して感度が低いという特性を有する。よって、彩度が高い範囲においては、たとえ照度が変動したとしても色相は領域特定を行う際の要素として用いることができる。したがって、色相を用いるＨＳＶ色空間においては、図５Ｂに示すように同一であると判定される領域５２４は、彩度が低い場合である図４Ｂの領域４２４に比べて広くなる。よって、第２の点５２３が領域５２４の範囲内に収まっており、同一の色だと判定される。したがって、色情報の彩度が高い場合にはＨＳＶ色空間を用いることにより精度の高い領域特定が可能となる。

なお、ＨＳＬ色空間について図示は省略するが、ＨＳＬ色空間もＨＳＶ色空間と同様に色相は０〜３６０度の位相角として角度により表される。また、彩度は中心からの距離で表されており、彩度が高い範囲においてはＨＳＬ色空間を用いても精度の高い領域特定が可能となる。

上述した色空間選択処理が行われる際に、色空間の選択において用いられる彩度および明度が閾値付近の値をとる場合、色空間の切替が頻繁に繰り返して行われるおそれがある。これを防止するために、以下のような方法を採用することができる。なお、以下の処理を切替頻度抑制処理と称する。

切替頻度抑制処理では、色空間選択処理において用いられる彩度および明度がそれぞれ対応する閾値に近づいたと判定された段階で、現在選択されている色空間に基づく領域特定処理と並行して他の色空間を用いた領域特定処理も同時に行う。そして、各色空間における領域特定処理の結果を比較し、それぞれの信頼度を評価する。信頼度は例えば、色情報に応じた色と同一の色であると判定されたピクセルの数に基づいて定義することができる。色情報に応じた色と色が同一と判定されたピクセル数が多い順に信頼度が高いとして色空間を順位付けする。

そして、信頼度が最も高い色空間が現在選択されている色空間と異なる場合には閾値との比較結果に関わらず最も信頼度が高い色空間を選択する。一方、現在選択されている色空間の信頼度が最も高い場合には、その現在選択されている色空間に対応する閾値を引き下げて、色空間の切替が行われる頻度を下げる。

例えば、現在ＹＵＶ色空間が選択されており、ＹＵＶ色空間を選択するか否かを判定するために用いられる色情報の彩度が彩度閾値に近づいたと判定された場合を想定する。この場合、ＹＵＶ色空間を用いた領域特定処理の他に、ＨＳＶ色空間、ＨＳＬ色空間を用いた領域特定処理も並行して行われる。

そして、各色空間の領域特定処理の結果を比較し、ＨＳＶ色空間の信頼度がＹＵＶ色空間およびＨＳＬ色空間よりも高ければ色空間選択部３はＨＳＶ色空間を選択する。一方、現在選択されている色空間であるＹＵＶ色空間が最も信頼度が高い場合には、ＹＵＶ色空間とＨＳＶ色空間の切替の基準である彩度閾値および明度閾値を引き上げる。

なお、切替頻度抑制処理を実行するための基準、すなわち、彩度および明度がそれぞれ対応する閾値に近づいたか否かの判定基準は、撮像環境などに応じて適宜設定するとよい。例えば、彩度および明度が対応する閾値の±数％以内の範囲にある場合は切替頻度抑制処理を実行するなどである。

また、色空間の切替の頻度を下げるために、色空間選択処理において用いられる彩度閾値および明度閾値に数％のヒステリシスを設けるようにしてもよい。

以上のようにして色空間選択処理が行われる。このようにして選択された色空間に基づいて領域特定処理が行われる。なお、各色空間の領域特定処理の結果における同一色領域の大きさ、位置、信頼度などが異なる場合には色空間の切替の際に連続性が保たれるように、通常よりも時間的に広い範囲でスムージングをかけるようにしてもよい。

［１−４．領域特定処理］
次に、領域特定処理について説明する。まず、上述の色空間選択処理によってＹＵＶ色空間が選択された場合における領域特定処理について説明する。領域特定処理においてはまず、色情報に応じた色と同一の色を有するピクセルを検出する。この検出処理は入力画像を構成する全てのピクセルに対して行われる。ただし、所定の間隔を開けて、数ピクセルおきに行うようにしてもよい。また、複数のピクセルからなる領域ごとに行ってもよい。図６はＹＵＶ色空間が選択された場合の処理の流れを示すフローチャートである。

まずステップＳ３０１で、色情報に応じた色と、入力画像における判定対象のピクセル（以下、判定対象ピクセルと称する。）の色についての色差距離が算出される。色差信号Ｕおよび色差信号Ｖはそれぞれ対称性を持つパラメータであるため、１組のものとして扱う。色情報に応じた色の色差信号の１組を（Ｕ₀、Ｖ₀）とし、入力画像おける判定対象ピクセルの色差信号を（Ｕ₁、Ｖ₁）として、以下の式１に基づき色差距離Ｄを算出する。

［式１］
Ｖ＝（（Ｕ₀−Ｖ₁）²＋（Ｕ₀−Ｖ₁）²）^1/2

次にステップＳ３０２で、色差距離Ｄと所定の色差閾値とを比較することにより色差判定が行われる。色差判定において色差距離Ｄが色差閾値より大きいと判定された場合（ステップＳ３０２のＮｏ）、処理はステップＳ３０３に進み、判定対象ピクセルの色は色情報に応じた色と同一ではないと判定される。

一方、色差判定において色差距離Ｄが色差閾値以下であると判定された場合、処理はステップＳ３０４に進む（ステップＳ３０２のＹｅｓ）。そして、ステップＳ３０４で明度判定が行われる。明度判定においてはまず、明度についてのヒストグラムから所定の値以上の分布が検出された範囲の上端を上側明度閾値、下端を下側明度閾値とする。そして、判定対象ピクセルの明度が上側明度閾値と下側明度閾値の範囲内にあるか否か、言い換えると明度が明度範囲内であるか否かを判断することにより明度判定が行われる。

判定対象ピクセルの明度が上側明度閾値と下側明度閾値の範囲内にはない場合には処理はステップＳ３０３に進み（ステップＳ３０４のＮｏ）、色情報と入力画像の判定対象ピクセルとは同一の色ではないと判定される。

一方、判定対象ピクセルの明度が上側明度閾値と下側明度閾値の範囲内にある場合にはステップＳ３０５に進み（ステップＳ３０４のＹｅｓ）、色情報に応じた色と判定対象ピクセルとは同一の色であると判定される。そして、その判定対象ピクセルが色情報に応じた色と同一の色を有するピクセルとして検出される。このように、本実施の形態においては、色差距離に基づく判定に加えて明度に基づく判定を行っている。これにより、同一色のピクセルの検出処理の精度を高めることができる。なお、色情報から評価される彩度が低くなるほど明度の上側閾値と下側閾値とで構成される範囲を狭くするとよい。

このようにしてＹＵＶ色空間を選択した場合における色情報と同一の色のピクセルを検出する処理が行われる。なお、図６のフローチャートにおいてはステップＳ３０２の色差判定、ステップＳ３０４の明度判定の順序で処理が行われているが、各処理は独立して行われているものであるため順序は問わない。明度判定を先に行い、その後に色差判定を行うようにしてもよい。ただし、色差判定と明度判定は必ずしも両方を行わなければならないものではなく、色差判定のみに基づいて処理を行うようにしてもよい。

次に、上述の色空間選択処理によってＨＳＶ色空間またはＨＳＬ色空間が選択された場合における同一色のピクセル検出処理について説明する。色情報に応じた色の各パラメータである色相（Ｈ）、彩度（Ｓ）、明度（ＶまたはＬ）を（Ｈ₀、Ｓ₀、Ｖ₀）とし、入力画像における判定対象ピクセルの色相（Ｈ）、彩度（Ｓ）、明度（ＶまたはＬ）を（Ｈ₁、Ｓ₁、Ｖ₁）とする。

さらに、色相に対する閾値を色相閾値Ｈ_th、彩度に対する閾値を彩度閾値Ｓ_th、明度に対する閾値を明度閾値Ｖ_thとする。そして、以下の式２を満たす場合に判定対象ピクセルが色情報に応じた色と同一の色であると判定される。すなわち、色情報の色相と判定対象ピクセルの色相の差が色相閾値Ｈ_th以下であり、かつ、色情報の彩度と入力画像のピクセルの彩度の差が彩度閾値Ｓ_th以下であり、かつ、色情報の明度と入力画像のピクセルの明度の差が明度閾値Ｖ_th以下である場合に判定対象ピクセルは色情報と同一色であると判定される。

［式２］
（ａｂｓ（Ｈ₀−Ｈ₁）≦Ｈ_th）∧（ａｂｓ（Ｓ₀−Ｓ₁）≦Ｓ_th）∧（ａｂｓ（Ｖ₀−Ｖ₁）≦Ｖ_th）

なお、色の各パラメータに対する閾値の代表的な値は、色相閾値は５程度、彩度閾値は３２程度、明度閾値は６４程度となっている。すなわち、閾値により設定される同一色と判定される範囲は色相では±５程度、彩度では±３２程度、明度では±６４程度となっている。

図７は、色空間選択処理によってＨＳＶ色空間またはＨＳＬ色空間が選択された場合における処理の流れを示すフローチャートである。まずステップＳ３０１で、色情報の色相と入力画像の判定対象ピクセルの色相の差が色相閾値以下であるか否かが判定される。

なお、同一色のピクセルを検出する処理の精度を高めるために、色情報の彩度の値に応じて色相閾値Ｈ_thを調整するとよい。例えば、色情報の彩度が１２０〜１４０程度の場合には、色相閾値Ｈ_thを約２０〜３０％大きくする。一方、色情報の彩度が２２０〜２５５程度と高い場合には色相閾値Ｈ_thを約２０〜３０％小さくする、などである。

さらに、同一色のピクセルを検出する処理の精度を高めるために、入力画像における指定領域以外の領域（以下、背景と称する。）の色と色情報との関係に応じて色相閾値Ｈ_thを調整するとよい。この点について図８を参照して説明する。図８は画像において背景と色情報との関係を示すための図である。図８Ａでは入力画像８１０中に枠で囲われた指定領域８１１が存在する。指定領域８１１以外の領域は背景８１２となっている。図８Ｂも同様に、入力画像８２０中に枠で囲われた指定領域８２１が存在し、指定領域８２１以外の領域は背景８２２となっている。

図８Ａにおいては指定領域８１１と背景８１２の色が類似している。このような場合、色相閾値Ｈ_thを大きい値に設定すると背景を指定領域８１１と同一の色を有する同一色領域と誤認識するおそれがある。よって、この場合は、色相閾値Ｈ_thを例えば０．８倍程度小さくする。色相閾値Ｈ_thを小さくすることにより、領域特定の精度を高めることができる。

一方、図８Ｂにおいては指定領域８２１と背景８２２の色が類似していない。このような場合、色相閾値Ｈ_thを大きい値に設定したとしても背景を指定領域８２１と同一の色を有する同一色領域と誤認識するおそれはない。よって、この場合は、背景に色情報に類似する色が全く存在しない場合には色相閾値Ｈ_thを１．２倍〜２倍程度大きくしてもよい。

なお、色情報と背景の色が類似しているか否かは、画像情報取得部２において色情報を取得するとともに画像全体についての色を取得し、それらを比較することにより判断することができる。

図７のフローチャートの説明に戻る。ステップＳ３０１で色相の差が色相閾値以下ではないと判定された場合（ステップＳ３０１のＮｏ）、処理はステップＳ３０２に進み、色情報に応じた色と判定対象ピクセルの色は同一ではないと判定される。

一方、ステップＳ３０１で色相の差が色相閾値Ｈ_th以下であると判定された場合（ステップＳ３０１のＹｅｓ）、処理はステップＳ３０３に進む。次にステップＳ３０３で、色情報の彩度と判定対象ピクセルの彩度の差が彩度閾値Ｓ_th以下であるか否かが判定される。ステップＳ３０３で彩度の差が彩度閾値Ｓ_th以下ではないと判定された場合（ステップＳ３０３のＮｏ）、処理はステップＳ３０２に進み、色情報に応じた色と判定対象ピクセルの色は同一ではないと判定される。

一方、ステップＳ３０３で彩度の差が彩度閾値Ｓ_th以下であると判定された場合（ステップＳ３０３のＹｅｓ）、処理はステップＳ３０４に進む。次にステップＳ３０４で、色情報の明度と判定対象ピクセルの明度の差が明度閾値Ｖ_th以下であるか否かが判定される。

なお、同一色のピクセルを検出する処理の精度を高めるために、色情報の彩度の値に応じて彩度閾値Ｓ_thおよび明度閾値Ｖ_thを調整するとよい。例えば、色情報の彩度が１２０〜１４０程度の場合には、彩度閾値Ｓ_thおよび明度閾値Ｖ_thを約２０〜３０％小さくする。一方、色情報の彩度が約２２０〜２５５程度と高い場合には彩度閾値Ｓ_thおよび明度閾値Ｖ_thを約２０〜３０％大きくする、などである。

また、彩度および明度は照度に対応して変化する特性を有する。原則として照度が下がると明度は下がり、彩度は上がるという傾向がある。具体的には、照度の変化に応じて明度が１０低下すると彩度は２〜４程度上がる傾向がある。この変化を吸収するように彩度閾値Ｓ_thを設定することにより同一色のピクセルを検出する処理の精度を高めることができる。

この点について図９を参照して説明する。図９は縦軸を明度、横軸を彩度として、明度と彩度の関連性を示すものである。図９中において色が付された領域は、色情報の明度Ｖ₀および彩度Ｓ₀の値に基づいて設定され、色情報と同一の色であると判定される同一彩度判定領域９１１である。判定対象ピクセルが同一彩度判定領域９１１内の値をとる場合には色情報の彩度と判定対象ピクセルの彩度とは同一であると判定される。

同一彩度判定領域９１１は、−３〜−５度程度の傾きを有する領域として設定される。これは、彩度が同一と判定される範囲は明度に応じて変動することを示している。これにより、明度の値が低い場合には彩度が同一と判定される範囲は彩度の値が高い範囲に設定され、明度の値が高い場合には彩度が同一と判定される範囲は彩度の値が低い範囲に設定されることとなる。

彩度の同一判定についてより詳細に説明する。例えば、判定対象ピクセルの彩度Ｖ₁が図９に示す値をとる場合、判定対象ピクセルの彩度Ｓ₁が同一彩度判定領域９１１内における線分９１２上の値をとる場合に判定対象ピクセルの彩度は色情報の彩度と同一であると判定される。そして、判定対象ピクセルの彩度がこの線分９１２上に存在するか否かの判定式は以下の式３で表すことができる。

［式３］
Ｓ’₀−Ｓ_th≦Ｓ₁≦Ｓ’₀＋Ｓ_th

Ｓ₁が式３を満たす場合には判定対象ピクセルの彩度Ｓ₁が同一彩度判定領域９１１内にあり、色情報の彩度と判定対象ピクセルの彩度は同一だと判定される。式３においてＳ’₀は彩度が同一と判定される範囲を判定対象ピクセルの明度に合わせて変化させた後における同一彩度判定領域の中央値を表すものであり、Ｓ’₀は補正係数をＣｏｅｆｆとして以下の式４で表される。

［式４］
Ｓ’₀＝Ｓ₀＋Ｃｏｅｆｆ・（Ｖ₀−Ｖ₁）

なお、補正係数Ｃｏｅｆｆは上述した同一彩度判定領域９１１の傾きに対応するものであり、補正係数Ｃｏｅｆｆは同一彩度判定領域９１１の傾きをＬとして、以下の式５で表すことができる。

［式５］
Ｃｏｅｆｆ＝−１／Ｌ≒０．３〜０．５

このように、照度に対応して彩度が同一と判定される条件を変化させることにより同一色検出の精度を高めることができる。

図７のフローチャートの説明に戻る。ステップＳ３０４で明度の差が明度閾値以下ではないと判定された場合（ステップＳ３０４のＮｏ）、処理はステップＳ３０２に進み、色情報に応じた色と判定対象のピクセルの色は同一ではないと判定される。

一方、ステップＳ３０４で彩度の差が彩度閾値以下であると判定された場合（ステップＳ３０３のＹｅｓ）、処理はステップＳ３０５に進み、色情報に応じた色と判定対象ピクセルの色とは同一であると判定される。なお、図７のフローチャートでは色相、彩度、明度の順序で判定を行っている。しかし、判定の順序はその順序に限られず、どのような順序で行ってもよい。

以上のようにして、ＨＳＶ色空間またはＨＳＬ色空間を選択した場合における処理が行われる。本技術においては、色情報に応じた色と全く同一の色を有するピクセル以外にも、上述した条件を満たすものを同一の色を有するピクセルとして検出する。そして、この処理結果に基づいて同一色領域候補を検出する処理が行われる。同一色領域候補の検出について図１０を参照して説明する。

同一色領域候補の検出はまず、上述の処理の結果に基づいて、図１０Ａに示すように、入力画像１０００において、色情報に応じた色と同一の色を有するピクセルの分布を示す色マップを作成する。図１０Ａにおいては、入力画像１０００中の多数の升目がピクセルを示しており、斜線が付されているピクセルが色情報に応じた色と同一の色であると判定されたピクセルを示している。

次に、モルフォロジー変換処理を施す。これにより、図１０Ｂに示すように、色マップにおけるピクセルの分布が疎らである場合には複数のピクセルが連続する領域を所得することができる。そして、図１０Ｃに示すように、この色マップにおいて色情報に応じた色と同一の色であると判断されたピクセルによって構成される領域を同一色領域候補として検出する。図１０Ｃにおいては、ピクセルが連続する３つの同一色領域候補ａ１００１、同一色領域候補ｂ１００２、同一色領域候補ｃ１００３が取得されている。ここで、同一色領域候補それぞれについて付随情報の取得も行われる。

入力画像の各ピクセルの色が色情報と同一であるか否かに基づいて領域特定を行う場合には、複数の同一色領域が検出される場合がある。このような場合にはそれら複数の同一色領域候補の中から最も指定領域に近いものを選択する必要がある。そこで、次に、複数の同一色領域候補の中から、指定された指定領域に最も近いものを選択する。これにより指定領域と同一の色を有すると評価される同一色領域を特定することができる。

複数の同一色領域候補の中からの選択は、図２のステップＳ１０３において取得した指定領域の付随情報と、各同一色領域候補についての付随情報を比較することにより行われる。

例えば、指定領域の大きさと各同一色領域候補の大きさを比較する。そして、指定領域の大きさに最も近似する大きさを有する同一色領域候補を同一色領域として選択する。また、指定領域の位置と各同一色領域候補の入力画像中における位置を比較する。そして、各同一色領域候補の中から指定領域の位置に最も近いものを同一色領域として選択する。さらに、指定領域と各同一色領域候補について動きベクトルを比較し、動きベクトルが最も近似する同一色領域候補を同一色領域として選択する。

この点について図１１に基づいて説明する。図１１Ａに示す指定領域指定時の入力画像１１００中には二匹の猫が写されており、枠で示してある右側の猫が指定領域１１０１として指定されている。図１１Ｂは指定領域指定後の入力画像１２００において同一色領域候補が検出された状態を示すものである。図１１Ａに示すように画像には猫が二匹写っており、猫の色が類似しているため、図１１Ｂにおいては両猫に相当する位置が第１同一色領域候補１２０１、第２同一色領域候補１２０２として検出されている。

そして、指定領域の指定時における指定領域１１０１の大きさと第１同一色領域候補１２０１、第２同一色領域候補１２０２の大きさを比較する。その結果、第２同一色領域候補１２０２よりも第１同一色領域候補１２０１が指定領域１１０１の大きさに近似しているため、図１１Ｃに示すように第１同一色領域候補１２０１を同一色領域として特定することができる。指定領域１１０１と第１同一色領域候補１２０１、第２同一色領域候補１２０２とで位置を比較しても同様の結果を得ることができる。

ただし、上述した付随情報としての大きさ、位置、動きベクトルはいずれか１つを用いて同一色領域候補からの選択処理を行ってもよいし、組み合わせて用いてもよい。さらに、他にも複数の同一色領域候補の中から１つの同一色領域を特定することができる情報であればどのようなものを用いてもよい。

以上のようにして入力画像中から同一色領域を特定することができる。そして、特定された同一色領域の位置、大きさなど、同一色領域を把握することができる情報を示す同一色領域情報が外部の追尾制御部などに出力される。これにより、画像処理装置１が搭載された撮像装置などにおいて追尾制御などが行われる。

本技術では、大きな照度の変化が生じる場合であっても精度の高い領域特定を行うことができる。したがって、撮像時において、指定領域としての被写体が日向から日陰へ移動した場合、屋内から屋外へ移動した場合、トンネルの手前から奥へ移動した場合にもその指定領域を見失うことがなく、適切な領域特定を行うことができる。

なお、上述の説明では、入力画像を構成する全ピクセルについて領域特定処理を行うように説明を行った。しかし、指定時における指定領域を含む所定の大きさの探索領域を設定し、その探索領域内で領域特定処理を行うようにしてもよい。例えば、探索領域は指定領域を略中心として指定領域の９倍（縦３倍×横３倍）大きさに設定する、などである。このように探索領域を設定することにより、領域特定処理を画像全体について行う必要がなくなるので、領域特定に係る処理を減らすことができる。

［１−５．画像処理装置を備える撮像装置の構成］
以下、上述した画像処理装置１を備える撮像装置１０の構成の一例について説明する。図１２は撮像装置１０の全体構成を示すブロック図である。

撮像装置１０は、光学撮像系１１、撮像素子１２、タイミングジェネレータ１３、前処理回路１４、カメラ処理回路１５、画像メモリ１６、制御部１７、グラフィックＩ／Ｆ（Interface）１８、表示部１９、入力部２０、Ｒ／Ｗ（リーダ／ライタ）２１および記憶媒体２２から構成されている。これらのうち、光学撮像系１１、タイミングジェネレータ１３、前処理回路１４、カメラ処理回路１５、画像メモリ１６、グラフィックＩ／Ｆ１８、入力部２０およびＲ／Ｗ２１は制御部１７に接続されている。また、制御部１７は画像処理装置１を構成する画像情報取得部２、色空間選択部３、領域特定部４として機能する。

光学撮像系１１は、被写体からの光を撮像素子１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらは制御部１７または追尾制御部２４からの制御信号に基づいて駆動される。光学撮像系１１を介して得られた被写体の光画像は、撮像デバイスとしての撮像素子１２上に結像される。

撮像素子１２は、タイミングジェネレータ１３から出力されるタイミング信号に基づいて駆動され、被写体からの入射光を光電変換して電荷量に変換し、アナログ撮像信号として出力する。撮像素子１２から出力されるアナログ撮像信号は前処理回路１４に出力される。撮像素子１２としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。タイミングジェネレータ１３は、制御部１７の制御に従い撮像素子１２に対してタイミング信号を出力する。

前処理回路１４は、撮像素子１２から出力されたアナログ撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドなどを行う。さらに、ＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ（Analog/Digital）変換を行ってデジタル画像信号を出力する。

カメラ処理回路１５は、前処理回路１４からの画像信号に対して、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＥ（Auto Exposure）処理などの信号処理を施す。

画像メモリ１６は、揮発性メモリ、例えば、ＤＲＡＭ（Dynamic Random Access Memory）で構成されるバッファメモリであり、前処理回路１４およびカメラ処理回路１５によって所定の処理が施された画像データを一時的に蓄えておくものである。

制御部１７は、例えばＣＰＵ、ＲＡＭおよびＲＯＭなどから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置１０全体の制御を行う。また、制御部１７は所定のプログラムを実行することにより、画像情報取得部２、色空間選択部３、領域特定部４として機能する。

グラフィックＩ／Ｆ１８は、制御部１７から供給された画像信号から、表示部１９に表示させるための画像信号を生成して、この信号を表示部１９に供給することにより画像を表示させる。表示部１９は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示手段である。表示部１９には、撮像中のスルー画、記憶媒体２２に記録された画像などが表示される。

入力部２０は、例えば、電源オン／オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、表示部１９と一体に構成されたタッチスクリーンなどからなる。入力部２０に対して入力がなされると、その入力に応じた制御信号が生成されて制御部１７に出力される。そして、制御部１７はその制御信号に対応した演算処理や制御を行う。

入力部２０は、撮像時において、ユーザがスルー画に表示されている被写体のうちどの被写体を指定領域とするかを指定する領域指定部として機能するものである。例えば、入力部２０がタッチスクリーンである場合、ユーザがタッチスクリーンに表示されているスルー画中の被写体のうち、指定領域とする被写体に指を接触させることによって指定領域が指定される。指定領域が指定されると、タッチスクリーンに表示されているスルー画に畳重して指定領域としての被写体を囲うように枠を表示するようにしてもよい。この枠は領域特定が継続する限り指定領域としての被写体に追従して移動するようにしてもよい。

ただし、指定領域の指定はユーザの入力によるものに限られず、公知の人物検出、笑顔検出などにより特定した被写体が指定されるものとし、その被写体の領域を指定領域としてもよい。

Ｒ／Ｗ２１には、撮像により生成された画像データなどを記録する記録媒体２２が接続されるインターフェースである。Ｒ／Ｗ２１は、制御部１７から供給されたデータを記憶媒体２２に書き込み、また、記憶媒体２２から読み出したデータを制御部１７に出力する。記憶媒体２２は、例えば、ハードディスク、メモリースティック（ソニー株式会社の登録商標）、ＳＤメモリーカードなどの大容量記憶媒体である。画像は例えばＪＰＥＧなどの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。

画像情報取得部２、色空間選択部３および領域特定部４は画像処理装置１の説明におけるものと同様である。画像処理装置１を備える撮像装置１０においては、入力画像は画像メモリ１６から画像情報取得部２、色空間選択部３および領域特定部４に供給される。

領域特定部４による領域特定処理の結果は、例えば、追尾制御部、駆動部などを備え、被写体の自動追尾が可能な撮像装置における追尾制御に用いることができる。領域特定部４による領域特定処理の結果を示す同一色領域情報は追尾制御部に供給される。

駆動部は、例えば、回転体およびベースとからなり、駆動モータ（いずれも図示せず。）を備えるパンチチルトユニットとして構成されている。撮像装置１０は駆動部上に載置、または、軸支されることにより支持されている。撮像装置１０は、駆動部が備える駆動用モータによる駆動力によってパン方向およびチルト方向に回転することが可能となっている。駆動部は、追尾制御部からの制御信号に従って動作することにより撮像装置１０をパン・チルト動作させる。これにより、指定領域の追尾が可能となる。駆動部は撮像装置１０と一体的に構成されたものでもよいし、撮像装置１０に対して取り外し可能な別個の装置として構成してもよい。

追尾制御部は、領域特定部４から供給された同一色領域情報に基づいて、同一色領域を追尾するように所定の動作制御信号を生成し、光学撮像系１１、駆動部などに供給する。そして、光学撮像系１１により同一色領域を画角内の所定の位置に収まらせるためのオートフォーカス、ズームなどが行われ、また、駆動部によりパン・チルト動作などが行われる。このようにして、同一色領域に対する追尾が行われる。なお、駆動部は撮像装置１０の必須の構成ではなく、駆動部を備えない撮像装置に対しても本技術は適用可能である。

なお、上述の画像処理装置１および撮像装置１０の処理機能はコンピュータによって実現することができる。その場合、この画像処理装置１および撮像装置１０が有すべき機能の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上述の処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、光ディスク、半導体メモリなどのコンピュータで読み取り可能な記録媒体に記録しておくことができる。

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクや半導体メモリなどの可搬型記録媒体が提供または販売される。また、プログラムをサーバに格納しておき、ネットワークを介してそのプログラムを提供することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバから転送されたプログラムを自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

＜２．変形例＞
以上、本技術の一実施の形態について具体的に説明したが、本技術は上述の実施形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。

上述の説明では指定領域の色を基準として領域特定処理を行ったが、色とは異なる他の特徴量と色とを組み合わせて領域特定処理を行ってもよい。例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）、Ｈａａｒ−Ｌｉｋｅなどである。また、オプティカルフローにより輝度の時間的な相対値を特徴量とすることも可能である。さらに、赤外線センサーを用いてＤｅｐｔｈＭａｐ（距離分布）を用いてもよい。

すなわち、画像内の時間的／幾何学的に相対的な輝度パターンを使う、もしくは全く別のセンサーから取得した情報を使うなど、色差信号を無視した特徴量を用いた画像処理エンジンとの組み合わせであればどのようなものでも用いることが可能である。

また、ＹＵＶ色空間、ＨＳＶ色空間、ＨＳＬ色空間の３つを選択的に切り替える例に挙げて説明したが色差としての情報を持つ色空間と、色相としての情報を持つ色空間の２つを選択的に切り替えることでも良い。また、ＹＵＶ色空間として説明したがＹＣｒＣｂ色空間はＹＵＶ色空間と同等と考えることができる。

上述の実施の形態では、画像処理装置１をデジタルスチルカメラなどの撮像装置に適用する場合について説明したが、それ以外の撮像装置に対しても本技術を適用することができる。例えば、デジタルビデオカメラや、カメラ機能を備える携帯電話機、カメラ機能を備える携帯ゲーム機などにも適用可能である。

また、画像処理装置１は、ネットワークカメラと、ネットワークカメラからの画像をネットワークを介して受信するパーソナルコンピュータなどの受信端末とからなるいわゆるネットワークカメラシステムに適用することも可能である。この場合、受信端末側が画像処理装置１の機能を備え、領域特定処理の結果をネットワークカメラに送信するようにしてもよい。また、ネットワークカメラが画像処理装置１の機能を備え、指定領域としての被写体を追尾しながら取得した画像を受信端末に送信するようにしてもよい。また、本技術は、撮像装置以外の画像処理装置にも適用可能である。また、本明細書では、輝度と明度とを区別して説明したが、明度を輝度で代替することもでき、輝度を明度として解釈しても良い。

なお、本技術は以下のような構成も取ることができる。

（１）指定された色情報に基づいて、色空間を選択する色空間選択部と、
前記色空間において前記指定された色情報で示される色と一致する色を有する領域を、色領域特定に供される色領域特定画像から特定する領域特定部と
を備える画像処理装置。

（２）前記色空間選択部は、色差情報を含む色空間と色相情報を含む色空間の一方を選択する前記（１）に記載の画像処理装置。

（３）前記色空間選択部は、前記色領域特定画像の彩度が閾値以上の場合には、色相情報を含む色空間を選択し、前記閾値より低い場合には、色差情報を含む色空間を選択する前記（２）に記載の画像処理装置。

（４）前記色相情報を含む色空間がＹＵＶ色空間であり、前記色差情報を含む色空間がＨＳＶ色空間又はＨＳＬ色空間である
前記（２）または（３）に記載の画像処理装置。

（５）前記色空間選択部は、前記色領域特定画像の明度が閾値より高い場合には、ＨＳＬ色空間を選択する
前記（２）から（４）のいずれかに記載の画像処理装置。

（６）前記領域特定部は、前記領域として少なくとも１画素を特定する
前記（１）から（５）のいずれかに記載の画像処理装置。

（７）前記領域特定部は、前記色空間選択部により前記色差情報を含む色空間が選択された場合、前記指定された色情報における色差信号と前記画像の色差信号についての色差距離が色差閾値より大きい場合には、同一の色でないと判定する
前記（１）から（６）のいずれかに記載の画像処理装置。

（８）前記領域特定部は、前記色空間選択部により前記色差情報を含む色空間が選択された場合、前記指定された色情報における色差信号と前記色領域特定画像の色差信号についての色差距離が色差閾値以下であり、前記画像の明度が、前記色情報における明度に基づく所定の範囲内である場合には、同一の色であると判定する
前記（１）から（７）のいずれかに記載の画像処理装置。

（９）前記領域特定部は、前記色空間選択部により前記色相情報を含む色空間が選択された場合、前記色情報における色パラメータと前記色領域特定画像における色パラメータの差がパラメータ閾値以下である場合には、同一の色であると判定する
前記（１）から（８）のいずれかに記載の画像処理装置。

（１０）前記色パラメータは、色相、彩度および明度である
前記（９）に記載の画像処理装置。

（１１）前記色情報が、色領域指定に供される色領域指定画像に基づいて指定されている場合、前記領域特定部は、前記色領域指定画像における前記指定領域以外の領域に前記色情報で示される色と類似する色が存在するか否かに基づいて前記パラメータ閾値を変動させる
前記（９）または（１０）に記載の画像処理装置。

（１２）指定された色情報に基づいて、色空間を選択し、
前記色空間において前記指定された色情報で示される色と一致する色を有する領域を、色領域特定に供される色領域特定画像から特定する
画像処理方法。

（１３）指定された色情報に基づいて、色空間を選択し、
前記色空間において前記指定された色情報で示される色と一致する色を有する領域を、色領域特定に供される色領域特定画像から特定する
画像処理方法をコンピュータに実行させる画像処理プログラム。

１・・・画像処理装置
２・・・画像情報取得部
３・・・色空間選択部
４・・・領域特定部
１０・・撮像装置。
１２・・撮像素子
２０・・入力部

Claims (13)

1. 指定された色情報に基づいて、色空間を選択する色空間選択部と、
   前記色空間において前記指定された色情報で示される色と一致する色を有する領域を、色領域特定に供される色領域特定画像から特定する領域特定部と
   を備える画像処理装置。
2. 前記色空間選択部は、色差情報を含む色空間と色相情報を含む色空間の一方を選択する請求項１記載の画像処理装置。
3. 前記色空間選択部は、前記色領域特定画像の彩度が閾値以上の場合には、色相情報を含む色空間を選択し、前記閾値より低い場合には、色差情報を含む色空間を選択する
   請求項２記載の画像処理装置。
4. 前記色相情報を含む色空間がＹＵＶ色空間であり、前記色差情報を含む色空間がＨＳＶ色空間又はＨＳＬ色空間である
   請求項３記載の画像処理装置。
5. 前記色空間選択部は、前記色領域特定画像の明度が閾値より高い場合には、ＨＳＬ色空間を選択する
   請求項４記載の画像処理装置。
6. 前記領域特定部は、前記領域として少なくとも１画素を特定する
   請求項１記載の画像処理装置。
7. 前記領域特定部は、前記色空間選択部により前記色差情報を含む色空間が選択された場合、前記指定された色情報における色差信号と前記画像の色差信号についての色差距離が色差閾値より大きい場合には、同一の色でないと判定する
   請求項２記載の画像処理装置。
8. 前記領域特定部は、前記色空間選択部により前記色差情報を含む色空間が選択された場合、前記指定された色情報における色差信号と前記色領域特定画像の色差信号についての色差距離が色差閾値以下であり、前記画像の明度が、前記色情報における明度に基づく所定の範囲内である場合には、同一の色であると判定する
   請求項７記載の画像処理装置。
9. 前記領域特定部は、前記色空間選択部により前記色相情報を含む色空間が選択された場合、前記色情報における色パラメータと前記色領域特定画像における色パラメータの差がパラメータ閾値以下である場合には、同一の色であると判定する
   請求項３記載の画像処理装置。
10. 前記色パラメータは、色相、彩度および明度である
    請求項９記載の画像処理装置。
11. 前記色情報が、色領域指定に供される色領域指定画像に基づいて指定されている場合、前記領域特定部は、前記色領域指定画像における前記指定領域以外の領域に前記色情報で示される色と類似する色が存在するか否かに基づいて前記パラメータ閾値を変動させる
    請求項９に記載の画像処理装置。
12. 指定された色情報に基づいて、色空間を選択し、
    前記色空間において前記指定された色情報で示される色と一致する色を有する領域を、色領域特定に供される色領域特定画像から特定する
    画像処理方法。
13. 指定された色情報に基づいて、色空間を選択し、
    前記色空間において前記指定された色情報で示される色と一致する色を有する領域を、色領域特定に供される色領域特定画像から特定する
    画像処理方法をコンピュータに実行させる画像処理プログラム。