WO2006011261A1

WO2006011261A1 - 画像処理方法、画像処理装置および画像処理プログラム

Info

Publication number: WO2006011261A1
Application number: PCT/JP2005/003453
Authority: WO
Inventors: Satoshi Sato; Kunio Nobori; Kazutoyo Takata
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-07-26
Filing date: 2005-03-02
Publication date: 2006-02-02
Anticipated expiration: 2007-01-26
Also published as: US7236630B2; JP3935499B2; US20070092132A1; US7203362B2; JPWO2006011261A1; US20060018539A1

Abstract

　画像領域分割部（１０５）は各入力画像を複数の小領域に分割し、小領域合成画像生成部（１０６）は各小領域について各入力画像から、拡散反射のみの画像である基底画像を生成する。画像補間部（１０７）は、基底画像が生成不能であった小領域について、補間処理によって基底画像を生成する。線形化画像生成部（１０３）は各小領域の基底画像を用いて、与えられた光源環境における理想状態での画像である線形化画像を生成する。

Description

明細書

画像処理方法、画像処理装置および画像処理プログラム

技術分野

[0001] 本発明は、画像処理技術に関し、特に、一般環境で撮影した画像の処理の際に問題となる鏡面反射や影の影響を除去するための技術に関する。

背景技術

[0002] 従来、対象物の位置や姿勢の検出、対象物の認識、対象物の動きの検出等を行うために、カメラを用いる方法が広く用いられている。これは、カメラで撮影された画像に対し、例えばパターンマッチングやオプティカルフロー検出、特徴点抽出といった画像処理を適用することによって実現される。

[0003] 例えば、カメラ画像から対象物の位置'姿勢を検出するものとして、対象物の 3次元形状モデルをステレオカメラの画像に位置合わせして統合するものがあった (例えば、特許文献 1)。

[0004] し力しながら、上述の特許文献 1のような画像処理は、ノイズのない画像に対しては有効であるが、一般環境で撮影された画像に対しては十分な信頼性'精度が得られないといった問題がある (例えば、非特許文献 1参照)。この原因は主として、通常の画像処理が拡散反射のみの物体を仮定しているため、鏡面反射の影響により画像データの色情報がカメラ位置によって変化することや、影が生じるために画素値が大幅に変化してしまうことを考慮してヽな、ためである。

[0005] 例えば、家庭内のような実環境では、光源の正反射によって生じる鏡面反射が検出精度や認識率の低下の原因となる。図 37は携帯電話 201を家庭内で撮影したときの画像を模式的に示す図である。家庭内では通常、 1個以上の光源 202が存在する。そして、光源とカメラが携帯電話 201の表面に対して正反射の関係を満たすとき、画素値の高い鏡面反射領域 203が生じる。このため、例えば、図 38に示すパターン画像 204を用いてパターンマッチングにより携帯電話 201を検出しょうとする場合、鏡面反射領域 203はパターン画像 204において対応する領域 205とは輝度もエッジ情報も大きく異なっている。したがって、検出精度は極端に劣化してしまう。し力も、鏡面反射領域は、カメラ位置によって位置が異なり、また、光源状態によって輝度も変化する。

[0006] また、鏡面反射はステレオマッチング処理でも重要な影響を及ぼす。図 40は、図 3 9に示すように対象物 207をステレオカメラ 206L, 206Rによってそれぞれ撮影したときの画像である。図 40に示すように、光源 202の影響により、左画像および右画像のいずれにも鏡面反射領域 203L, 203Rが生じている。ところ力鏡面反射領域 20 3L, 203Rの位置と色情報はカメラ位置によって異なっているため、左画像と右画像とは全く異なる画像になっている。このことは、ステレオマッチングの精度を劣化させる原因となる。

[0007] また、このような問題は、鏡面反射だけでなぐ近傍に存在する物体が落とす影 ( cast shadow)や、対象物の法線方向 Nと光源方向 Lとの角度（図 41参照）が 90° 以上になるときに生じる影（attached shadow)によっても生じる。図 37のように、携帯電話 201の近傍に遮蔽物 208が存在している場合、遮蔽物 208が作り出す影は携帯電話 201上に落ち、携帯電話 201上に影領域 209が生じる。影領域 209はパターン画像 204とは異なる画像であるため、鏡面反射同様に精度を劣化させる原因となる。

[0008] このような問題を解決するために、画像処理を行う前処理として、鏡面反射ゃ影領域を補正することが広く行われて!/、る。鏡面反射や影領域を推定する手法としては、鏡面反射と拡散反射との偏光特性の違いを利用し、偏光フィルタを用いる第 1の従来例（例えば、特許文献 2)、対象物を回転させ、マルチスペクトルカメラを利用することによって鏡面反射領域を分離する第 2の従来例 (例えば、特許文献 3)、さらには、様々な方向から光源を当てた対象物の画像を利用し、鏡面反射が生じない理想状態での画像である「線形化画像」を合成し、この線形化画像を利用して鏡面反射や影領域を分離する第 3の従来例 (例えば、非特許文献 2)などがある。

[0009] し力しながら、第 1の従来例では、カメラに偏光フィルタを取り付ける必要があり、一般のカメラによって実現することは難しい。また、第 2の従来例では、対象物を回転テ一ブルに載せて撮像する必要があるため、家庭内等での利用には不向きである。

[0010] 一方、第 3の従来例は、対象物に照射する光源の位置のみを変化させればよぐし力も、その光源の位置は未知でも力まわないため、家庭内のような一般環境において効果的であると考えられる。

[0011] この第 3の従来例について説明する。まず、光学現象である拡散反射、鏡面反射および影について、図 42を用いて説明する。

[0012] 2色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として表現される。また、 Lambertianモデルによれば、拡散反射成分の画素値 I d は、次式で示される。

[0013] I =n- s (式 1)

d

ここで、 nは物体表面の法線方向 Nと拡散反射率 (albedo)との積であり、 sは光源方向単位ベクトルと光源照度との積を表す。

[0014] また、影は、図 42に示すように、物体の法線が光源方向を向いていないために生じる attached shadowと、他の物体により光が遮蔽されることによって生じる cast shadow の 2種類に分けられる。環境光や相互反射の影響がない場合、両者とも輝度は 0になる。し力し、（式 1)では、 attached shadowは負の値となり、 cast shadowは正の値となる

[0015] Shashuaは、平行光源および完全拡散反射面を仮定することによって、光源方向の異なる 3枚の画像の線形結合により、任意の光源方向の画像を表現できることを示した (非特許文献 3参照)。つまり、光源方向の異なる 3枚の画像をベクトル表現したものを I , 1 , 1

1 2 3とすると、任意の方向の画像 I

kは、次式のように線形結合によって表現できる。

I =c 'ΐ +c ¾ +c ³I (式 2)

k k 1 k 2 k 3

ここで、

「 1 2 3 _Ί Τ

c = Lc C C 」

k k k k

を画像 I に対する「線形化係数組」と呼ぶ。またこのように、線形和によって作成され k

た画像を「線形化画像」と呼ぶ。

[0016] しかし、実画像は影や鏡面反射を含むため、（式 2)を満たさない。そこで第 3の従来例では、（式 2)を満たす拡散反射のみの 3枚の画像を作成するために、光源方向の異なる複数枚の画像を撮影し、 RANS AC (非特許文献 4参照）を利用する。こうして作成した拡散反射のみの画像を「基底画像」と呼ぶ。基底画像を Shashuaの方法に適用することによって、撮影画像の光源環境に対応する線形化画像を作成することができる。すなわち、線形化画像は次の式で示される。

I ^L =c '^ +ο '^ +ο ³! ⁸ (式 3)

k k 1 k 2 k 3

ただし、 I ^Lは入力画像 I に対応する線形化画像、 i ^B , i ^B , i ^Bはそれぞれ上述の方 k k 1 2 3

法で作成した 3枚の基底画像を示す。このようにして生成された線形化画像は、鏡面反射が生じていない、理想状態での画像である。このため、この線形化画像を用いて画像処理を行うことによって、鏡面反射や影の影響を受けな、画像処理を実現することができる。

また、第 3の従来例では、この線形化画像を利用した、光学特性に基づく領域分割についても示されている。ここで、入力画像 I における画素 pの画素値を i 、これに k k(p) 対応する線形化画像の画素値を i ^Lとすると、拡散反射、鏡面反射、 cast shadowお k(p)

よび attached shadowは、次の関係式に従って分離できる。図 43はこれを図示したものである。

拡散反射 if I k(p、)一 k(p) I ≤T'i ,、

k(p)

鏡面反射 if (i i ^L >T-i ) and (i ^L≥0)

k(p) k(p) k(p) k(p)

cast shadow if (i — i ^L <— Τ·ί ) and (i <Ts)

k(p) k(p) k(p) k(p)

attached shadow if(i ^L < 0) and (i <Ts)

k(p) k(p)

(式 4)

特許文献 1：特許第 2961264号公報

特許文献 2：特許第 3459981号公報

特許文献 3 :特開 2003 - 85531号公報

特許文献 4 :特開 2004— 5509号公報

非特許文献 1：阪野貴彦、池内克史"移動カメラによる自空間画像を用いた車両からのスぺキユラ除去"，情報処理学会研究報告 CVIM, 2003— CVIM— 141, pp. 1 7-23, 2003

非特許文献 2 :石井育規，福井孝太郎，向川康博，尺長健"光学現象の分類に基づく画像の線形化"，情報処理学会論文誌， vol.44, no. SIG5 (CVIM6), pp.11-21, 2003 非特言午文献 3 : Shashua A., "Geometry and Photometry in 3D Visual Recognition", P.D. thesis, Dept. Brain and Cognitive science, MIT, 1992

非特言午文献 4 : M. A. Fischler and R. C. Bolles, "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography", Communications of the ACM, Volume 24, Issue 6， pp. 381-395 発明の開示

発明が解決しょうとする課題

[0018] 図 44は第 3の従来例を用いて画像処理を行った結果を示す図である。ここでは、入力画像として、平行光源の向きを変化させた 24枚の画像を利用した。同図中、（a) は入力画像の一部、（b)は（a)の画像を利用して作成した線形ィ匕画像である。また (c ) , (d) , (e)は、（a)および (b)の画像から (式 4)を利用して分離した鏡面反射、 cast shadowおよび attached shadowをそれぞれ示している。図 44から分かるように、平行光源については良好な結果が得られる。

[0019] これに対して図 45は、点光源の位置を変化させた 24枚の入力画像に対し、同様の処理を行った結果を示す図である。同図中、（a)は入力画像の一部、（b)は (a)の画像を利用して作成した線形化画像、（c)は（a)および (b)の画像から (式 4)を利用して分離した鏡面反射を示す。図 45から、平行光源でなく点光源を用いたために、線形化画像の生成に失敗し、この結果、鏡面反射成分が誤って分離されていることが分かる。

[0020] 一般に、屋外など遮蔽物の存在しな!、環境では、太陽光は平行光源に近似できることが知られているが、家庭内の光源である電球などの照明器具は平行光源では近似できず、むしろ点光源であることが知られている。このため、平行光源を仮定している第 3の従来例の手法を家庭内等にそのまま適応することはできず、家庭内等の一般環境において利用可能にするためには、第 3の従来例を、点光源を考慮した手法に拡張することが必須条件である。

[0021] また、第 3の従来例は、カメラ固定および対象物固定であれば、光源の位置は未知であっても、処理が実現できる。ただし、次の 2つの条件が必要である。

〇ランダムサンプリングにお、て、処理画像中の拡散反射領域の 3点を選択する。〇選択された拡散反射領域の 3点の法線方向が異なっている。

ここで、第 2の条件について説明する。（式 2)力も明らかなように、線形化係数組を求めるためには、 1 , 1 , 1が独立であることが条件である。しかし、 1 , 1 , 1の法線方

1 2 3 1 2 3 向が全て異なっていない場合、これらの画素値は独立にならない。もし、これらの画素値が独立でない場合、すなわち 3画素の法線方向が全て異なっていない場合、 ( 式 2)は縮退してしまい、正確な解を求めることはできない。

[0022] 前記の問題に鑑み、本発明は、平行光源を仮定できないような家庭内等の一般環境においても、線形化画像を生成可能にし、鏡面反射や影の影響を除去できるようにすることを課題とする。

課題を解決するための手段

[0023] 前記の課題を解決するために、本発明は、画像処理として、同一の対象物を撮影した複数の入力画像を、共通に複数の小領域に分割し、各小領域について各入力画像から基底画像を生成し、基底画像が生成不能であった小領域について、その近傍小領域における基底画像生成に係る演算値を用いた補間処理によって基底画像を生成するものであり、生成した各基底画像を用いて、与えられた光源環境における前記対象物の線形ィ匕画像を生成するものである。

[0024] この発明によると、複数の入力画像は、小領域に分割されるので、平行光源が仮定できないような光源環境で撮影された場合であっても、それぞれの小領域では、平行光源を仮定できるようになり、基底画像を生成可能になる。また、基底画像が生成不能であった小領域についても、その近傍小領域における基底画像生成に係る演算値を用いた補間処理によって、基底画像が生成される。そして、生成した各基底画像を用いて、与えられた光源環境における対象物の線形化画像が生成される。すなわち、家庭内等一般環境においても、線形ィ匕画像が生成可能になり、したがって、この線形化画像を用いることによって、鏡面反射や影の影響が除去された画像処理を実現することができる。

発明の効果

[0025] 本発明によると、家庭内のような一般環境において、非常に簡易な構成によって、鏡面反射が生じない理想状態での画像である線形ィ匕画像を生成することができる。したがって、画像処理において、従来、問題になっていた鏡面反射や影の影響を除去することができる。さらに、この線形ィ匕画像を用いて、画像中の鏡面反射領域や影領域の分離を行うことも可能になる。

図面の簡単な説明

[図 1]図 1は、本発明の第 1の実施形態に係る画像処理装置の構成図である。

[図 2]図 2は、家庭内作業ロボットの模式図である。

[図 3]図 3は、平行光源と点光源との相違を説明するための図である。

[図 4]図 4は、ある撮影状況と、そのときの画像とを示す図である。

[図 5]図 5は、図 4の場合における小領域分割を示す図である。

[図 6]図 6は、本発明の第 1の実施形態における線形化係数組の算出処理を示すフローチャートである。

[図 7]図 7は、本発明の第 1の実施形態における基底画像の生成処理を示すフローチャートである。

[図 8]図 8は、図 5 (a)に第 3の従来例を適用した結果を示す図である。

[図 9]図 9は、近傍領域の例を示す図である。

[図 10]図 10は、近傍領域の線形化係数組のうち最適なものを選択する方法を示すフローチャートである。

[図 11]図 11は、近傍領域の他の例を示す図である。

[図 12]図 12は、近傍領域との境界領域を示す図である。

[図 13]図 13は、図 40に対する線形化画像である。

[図 14]図 14 (a)は図 45 (a)から生成した線形化画像、図 14 (b)は図 45 (a)から分離した鏡面反射成分である。

[図 15]図 15は、領域分割の他の例であり、小領域同士が重なりを持つ例である。

[図 16]図 16は、領域分割の他の例であり、小領域の形状が矩形でない例である。

[図 17]図 17は、重みを位置の関数として設定して線形化係数組を算出する方法を説明するための図である。

[図 18]図 18は、線形化係数組の分離精度を模式的に示す図である。

[図 19]図 19は、本発明の第 1の実施形態によって生成された線形ィ匕画像の一例である。

[図 20]図 20は、行列が縮退しているときのその要素ベクトルの関係を示す図である。圆 21]図 21は、行列の三角化とその対角成分の幾何学的な意味を示す図である。

[図 22]図 22は、 3点の法線方向が等しいか否かの判断方法における閾値決定を説明するための図である。

[図 23]図 23は、図 22における、各条件式の評価値を示すグラフである。

[図 24]図 24は、図 22における、各条件式の評価値を示すグラフである。

[図 25]図 25は、図 22における、各条件式の評価値を示すグラフである。

[図 26]図 26は、本発明の第 1の実施形態の他の例における、法線方向検出を利用した線形化係数組の算出処理を示すフローチャートである。

[図 27]図 27は、基底画像が求まらない領域を画像のエッジを利用して検出する方法を説明するための図である。

[図 28]図 28は、基底画像が求まらない領域を画像のエッジを利用して検出する方法を説明するための図である。

[図 29]図 29は、基底画像が求まらない領域を画像のエッジを利用して検出する方法を説明するための図である。

圆 30]図 30は、領域分割の変更を説明するための図である。

圆 31]図 31は、領域分割の変更を説明するための図である。

[図 32]図 32は、本発明の第 2の実施形態に係る画像処理装置の構成図である。

[図 33]図 33は、本発明の第 3の実施形態に係る画像処理装置の構成図である。

[図 34]図 34は、光源が複数存在する場合の処理を説明するための図である。

[図 35]図 35は、携帯端末を利用した顔認証を示す図である。

[図 36]図 36は、図 35の状況で撮影した画像と領域分割を示す図である。

[図 37]図 37は、携帯電話 201を家庭内で撮影したときの画像を模式的に示す図である。

[図 38]図 38は、図 37の携帯電話を検出するためのパターン画像である。

[図 39]図 39は、対象物をステレオカメラによって撮影する状況を示す図である。

[図 40]図 40は、図 39において撮影された画像である。 [図 41]図 41は、光源とカメラ、対象物の法線方向の関係を示す概念図である。

[図 42]図 42は、光学現象である拡散反射、鏡面反射および影を示す概念図である。

[図 43]図 43は、光学特性に基づく領域分割の基準を示すグラフである。

[図 44]図 44は、平行光源において、第 3の従来例を用いて画像処理を行った結果を示す図である。

[図 45]図 45は、点光源において、第 3の従来例を用いて画像処理を行った結果を示す図である。

[図 46]図 46は、領域分割の切り出し位置によって、基底画像が変化することを説明するための概念図である。

[図 47]図 47は、 8近傍を利用した定性的 3値表現を表現するための概念図である。

[図 48]図 48は、領域分割の切り出し位置を変更させながら基底画像を作成する処理を説明するための概念図である。

[図 49]図 49は、突起物を有する対象物の撮影状況を示す図である。

[図 50]図 50は、図 49における画像と、その光学特性に基づく領域分割の結果を示す図である。

[図 51]図 51は、領域分割の切り出し位置を変更しながら基底画像を作成した際の入力画像を示す図である。

[図 52]図 52は、領域分割の切り出し位置を 16通り変更しながら作成した 16枚の基底画像を示す図である。

[図 53]図 53は、図 52の基底画像を組み合わせて作成した正確な基底画像を示す図である。

符号の説明

101 光源制御部

102 画像入力部

103 線形化画像生成部

104 画像保持部

105 画像領域分割部

106 小領域合成画像生成部 107 画像補間部

108 画像処理部

109 光源環境変化検出部

発明を実施するための最良の形態

[0028] 本発明の第 1態様では、画像処理方法として、同一の対象物を撮影した複数の入力画像を取得する第 1ステップと、取得した各入力画像を共通に複数の小領域に分割する第 2ステップと、分割した各小領域について、各入力画像から基底画像を生成する第 3ステップと、基底画像が生成不能であった小領域について、その近傍小領域における基底画像生成に係る演算値を用いた補間処理によって、基底画像を生成する第 4ステップとを備え、生成した各基底画像を用いて、与えられた光源環境における前記対象物の線形化画像を生成するものを提供する。

[0029] 本発明の第 2態様では、生成された線形化画像を用いて、画像処理を行うステップを備えた第 1態様の画像処理方法を提供する。

[0030] 本発明の第 3態様では、前記画像処理は、対象物の光学特性に基づ!/ヽた領域分離、対象物識別、対象物 3次元位置 '形状推定のうちの少なくとも 1つの処理を含む第 2態様の画像処理方法を提供する。

[0031] 本発明の第 4態様では、前記対象物を、光源環境を変化させつつ撮影し、前記複数の画像を取得する第 1態様の画像処理方法を提供する。

[0032] 本発明の第 5態様では、前記複数の画像において、前記対象物に生じる影の位置が異なるように光源を制御する第 4態様の画像処理方法を提供する。

[0033] 本発明の第 6態様では、前記対象物を、光源環境の変化を検出したとき撮影し、前記複数の画像を取得する第 1態様の画像処理方法を提供する。

[0034] 本発明の第 7態様では、前記対象物に生じる影の位置が変化したとき、光源環境が変化したものと検出する第 6態様の画像処理方法を提供する。

[0035] 本発明の第 8態様では、前記第 3ステップは、 K枚の入力画像から N (Nは正の整数: Nく K)枚の基底元画像を選択するステップと、残り（K N)枚の入力画像について、前記 N枚の基底元画像を用いて線形化係数組をそれぞれ決定するステップと、決定した線形化係数組を用いて前記 N枚の基底元画像を線形化し、 N枚の基底画像を生成するステップとを備えた第 1態様の画像処理方法を提供する。

[0036] 本発明の第 9態様では、 Nは 3である第 8態様の画像処理方法を提供する。

[0037] 本発明の第 10態様では、前記線形化係数組決定ステップにお、て、当該入力画像カゝら所定数の点をランダムに選択し、この所定数の点から、線形化係数組候補を求めるともに、その確からしさを示す評価指標の値を求める候補算出処理を、繰り返し実行し、前記評価指標の値が最も確からしい線形化係数組候補を、当該入力画像の線形化係数組として決定する第 8態様の画像処理方法を提供する。

[0038] 本発明の第 11態様では、前記候補算出処理は、前記所定数の点の法線方向が互いに異なっている力否かを判断するステップを含み、繰り返し毎に選択した前記所定数の点が、いずれも、その法線方向が互いに等しいと判断したとき、当該小領域は基底画像が生成不能と判断する第 10態様の画像処理方法を提供する。

[0039] 本発明の第 12態様では、前記第 4ステップは、当該小領域の線形化係数組を、その近傍小領域について求められた線形化係数組を用いて補間する第 8態様の画像処理方法を提供する。

[0040] 本発明の第 13態様では、補間の際に、各近傍小領域の線形化係数組に係る前記評価指標の値を加味する第 12態様の画像処理方法を提供する。

[0041] 本発明の第 14態様では、前記第 3ステップは、前記 N枚の基底画像を用いて、前記入力画像の少なくともいずれか 1つと光源環境が共通する線形ィ匕画像を生成するステップを含む第 8態様の画像処理方法を提供する。

[0042] 本発明の第 15態様では、前記第 2ステップは、平行光源とみなせる光の広がりの上限値、光源と対象物との距離、カメラと対象物との距離、およびカメラパラメータに基づ!/ヽて、小領域のサイズを決定する第 1態様の画像処理方法を提供する。

[0043] 本発明の第 16態様では、基底画像が生成不能の小領域について、前記第 4ステツプにおける補間処理に代えて、そのサイズを変更し、再度、前記第 3ステップを実行する第 1態様の画像処理方法を提供する。

[0044] 本発明の第 17態様では、基底画像が生成不能の小領域について、前記第 4ステツプにおける補間処理に代えて、前記小領域の切り出し位置を変更し、再度、前記第 3 ステップを実行する第 1態様の画像処理方法を提供する。 [0045] 本発明の第 18態様では、前記複数の入力画像は、光源が複数存在する環境にお

V、て、撮影されたものである第 1態様の画像処理方法を提供する。

[0046] 本発明の第 19態様では、前記複数の入力画像は、家庭内で撮影されたものである第 1態様の画像処理方法を提供する。

[0047] 本発明の第 20態様では、家庭内で作業を行うロボットにおいて、実行される第 1態様の画像処理方法を提供する。

[0048] 本発明の第 21態様では、前記対象物は人の顔である第 1態様の画像処理方法を提供する。

[0049] 本発明の第 22態様では、バイオメトリタス認証に利用される第 1態様の画像処理方法を提供する。

[0050] 本発明の第 23態様では、前記画像処理は、前記対象物が有する突起物または窪みの位置を推定する処理である第 2態様の画像処理方法を提供する。

[0051] 本発明の第 24態様では、同一の対象物を撮影した複数の入力画像を取得する画像入力部と、前記画像入力部によって取得された各入力画像を共通に複数の小領域に分割する画像領域分割部と、前記画像領域分割部によって分割された各小領域について、各入力画像から基底画像を生成する小領域合成画像生成部と、前記小領域合成画像生成部において基底画像が生成不能であった小領域について、その近傍小領域における基底画像生成に係る演算値を用いた補間処理によって、基底画像を生成する画像補間部とを備え、生成した各基底画像を用いて、与えられた光源環境における前記対象物の線形化画像を生成する画像処理装置を提供する。

[0052] 本発明の第 25態様では、コンピュータに画像処理を実行させるプログラムとして、同一の対象物を撮影した複数の入力画像を共通に複数の小領域に分割するステツプと、分割した各小領域について、各入力画像から基底画像を生成するステップと、基底画像が生成不能であった小領域にっヽて、その近傍小領域における基底画像生成に係る演算値を用いた補間処理によって、基底画像を生成するステップと、生成した各基底画像を用いて、与えられた光源環境における前記対象物の線形化画像を生成するステップとをコンピュータに実行させる画像処理プログラムを提供する。

[0053] 以下、本発明の実施の形態について、図面を参照しながら説明する。 [0054] (第 1の実施形態）

図 1は本発明の第 1の実施形態に係る画像処理方法を実行する画像処理装置の構成を示すブロック図である。この画像処理装置は、光源の位置を制御する光源制御部 101と、光源制御部 101によって光源環境が変化して、る状態で複数の画像を入力する画像入力部 102と、画像入力部 102によって入力された光源環境が異なる複数の画像を用いて、線形化画像を生成する線形化画像生成部 103とを備えている

[0055] 線形化画像生成部 103は、入力された複数の画像を保持する画像保持部 104と、画像保持部 104が保持している入力画像を小領域に分割する画像領域分割部 105 と、分割した各小領域について、複数の画像から合成画像として基底画像を生成する小領域合成画像生成部 106と、合成画像が生成不能であった小領域にっヽて、補間処理によって、基底画像を生成する画像補間部 107とを備えている。そして、線形ィ匕画像生成部 103は、生成した各小領域の基底画像を用いて、鏡面反射が生じない理想状態での合成画像である線形化画像を生成する。

[0056] さらに、生成された線形化画像を利用して、光学特性に基づく領域分割、対象物の識別、対象物の 3次元位置'形状の推定等の画像処理を行う画像処理部 108を備えていてもよい。

[0057] ここでは、図 2のような家庭内作業ロボットに、図 1の画像処理装置が設けられているものとする。図 2において、ロボット 10は、撮像を行うカメラ 11と、例えば腕などの可動部 12に設置された光源 13とを備えている。この光源 13は、点光源であってもよいし、液晶ディスプレイのような面光源であってもよ、。

[0058] 光源制御部 101はロボット 10の可動部 12の動きを制御することによって、光源 13 の位置や姿勢を変更し、これにより、光源環境を変化させる。画像入力部 102は、光源制御部 101が光源環境を変化させている間に、カメラ 11を利用して、ある対象物について複数の画像を撮影する。このとき、例えば、対象物に生じる影の位置が異なるように光源 13を制御すればよい。画像保持部 104は画像入力部 102が入力した画像を次々に保持することによって、光源環境が異なる複数枚の画像を蓄え、以下の処理に備える。なお、画像保持部 104は、入力画像の他に、線形化画像生成部 103 が生成した基底画像や線形ィ匕画像を蓄えてもカゝまわない。

[0059] <小領域分割 >

画像領域分割部 105は画像保持部 104によって保持されて、る入力画像を、基底画像を生成する単位としての小領域に分割する。この小領域分割は、光源環境を平行光源と仮定して、線形化画像を生成可能にするために行うものである。

[0060] まず、平行光源と点光源の関係について説明する。平行光源とは、撮像範囲内の対象物に入射する光の広がり Θが非常に狭い範囲に限定されている（ 0 0)光源である。一方、点光源は、光が広がって到達する光源である。このため、同一光源であっても、光源と対象物との距離や撮像範囲によって、平行光源とみなせたり、点光源とみなせたりする。

[0061] すなわち、図 3 (a)に示すように、対象物 21の長さ Lに対して光源 22と対象物 21との距離 Dが十分に長い場合、光の広がり 0 は十分に小さくなる（Θ 0)。こ

narrow narrow

のため、光源 22に照射される対象物 21上の全ての点は、光源 22からの距離がほぼ等しくなり、光源 22は平行光源とみなすことができる。一方、図 3 (b)に示すように、対象物 21の長さ Lに対して光源 22と対象物 21との距離 Dが十分長くはない場合、入射角 Θ は大きくなる（0 ≠0)。このため、光源 22を平行光源とみなすことはでき wide wide

ず、点光源であるとみなされる。

[0062] 言い換えると、光源と対象物との距離、および対象物の長さを変更することによって

、点光源であっても、平行光源と仮定して処理することが可能である。

[0063] そこで本実施形態では、入力画像の光源環境を平行光源とみなせるように、入力画像を小領域に分割し、分割した小領域毎に画像処理を行うものとする。

[0064] V、ま、図 4 (a)に示すように、台 24の上に置、た球 25を光源 22によって照射し、台

24の上方力もカメラ 23によって撮影するものとする。このとき、図 4 (b)のような画像が得られる。この状態では、光の広がり Θ は十分に広いため光源 22は点光源とみなされる。

[0065] そこで、図 5 (a)に示すように画像を小領域に分割し、小領域ごとに処理を行う。図 5

(b)に、図 5 (a)で示した小領域 nに対応した視野範囲 Anを示す。図 5 (b)から、画像を小領域に分割することによって、光の広がり Θ は Θ に比べて十分に小さくなることが分かる。つまり、平行光源を仮定できる程度に光の広がり θ _ηが十分に小さくなるように画像を小さく分割すれば、点光源であっても、平行光源を仮定した画像処理を行うことが可能である。

[0066] ここで、対象物は、突起物や窪みのな!、、形状が滑らかに変化する物体である平面と仮定する。図 5 (b)において、光源 22から対象物平面までの距離を D、視野範囲 A nにおける対象物平面の一辺の長さを Lsとすると、光の広がりは次の式を満たす。

Θ ≤2-tan^_1 (Ls/ (2-D) ) (式 5)

ここで、例えば平行光源を仮定するための条件が、

θ ≤ θ

n Th

と分力つているものとすると、長さ Lsが次の条件を満たせば、平行光源を仮定できることになる。

2 -tan"¹ (Ls/ (2-D) )≤ θ

Th

.·. Ls≤2-Dtan ( Θ /2) (式 6)

Th

つまり、 Ls = 2'Dtan ( 0 /2) となるように、小領域を設定すればよい。

Th

[0067] そして、対象物平面の一辺の長さ Lsから画像上の小領域のサイズを決定するためには、カメラパラメータ、およびカメラと対象物との距離が既知であればよい。

[0068] また、（式 6)から、小領域の設定は、光源と被写体との距離 Dに基づいて行えばよいことがわかる。つまり、距離 Dが長い領域では、小領域を比較的広く設定し、また、距離 Dが短、領域では、小領域を比較的狭く設定すればよ!、。

[0069] また、平行光源では、対象物各点に照射される光源の照度はすべて等しいことを仮定している。点光源など実際の光源では、光は減衰するため、この仮定は成り立たない。しかし、光源と被写体との距離が等しい領域では、光の減衰度合が等しくなるため、光源の照度は等しくなる。そのため、光源からの距離がほぼ等しい領域ごとに小領域を設定することが望まし、。

[0070] カメラパラメータは、焦点距離 (投影中心と撮像平面の距離)、レンズ歪み係数、画像の歪み中心、画面の縦横比、画素サイズなどのカメラ内部パラメータと、カメラの焦点位置、姿勢（向き)などのカメラ外部パラメータとを含む。画像処理を行う際には、事前にこれらのパラメータを推定する必要がある。カメラ内部パラメータは、例えば、「 Roger Y.Tsai, "An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision", Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp. 364— 374, 1986」などの方法を利用して、事前に求めておけばよい。またカメラ外部パラメータは、例えば、特開平 5— 38688号公報に開示された既存の方法を用いて求めればょ、。

[0071] また、カメラと対象物との距離も、容易に得ることができる。例えば、特願 2003— 05 7886に示されている物品管理システムでは、ロボットに画像パターンを設けて、天井等に設置したカメラの画像にパターンマッチング処理を行うことによって、ロボットの位置を認識する。また、対象物に関しては、背景差分などの手法によってその位置を認識する。これらの処理の結果から、ロボットに設置したカメラと対象物との距離を、容易に検出することができる。

[0072] このように、処理領域に対する光の広がり 0 を設定することによって、小領域のサ

Th

ィズを設定することができる。広がり 0 °

Thは例えば 5 程度に設定すればよい。ただし

、この値はこの限りではない。

[0073] <基底画像と線形化画像の作成 >

小領域合成画像生成部 106は、画像領域分割部 105によって分割された各小領域について、それぞれ、画像保持部 104に保持された複数の入力画像を基にして、合成画像を生成する。画像保持部 104に K (Kは正の整数)枚の入力画像が保持されており、各小領域の処理も、 Κ枚の入力画像を用いて行われるものとする。

[0074] ここでは、上述した第 3の従来例の手法を基にして、 RANSACを用いて、基底画像と線形化画像の作成を行う。その手順としては、（1)線形化係数組の算出、（2)基底画像の作成、および (3)入力画像の線形ィヒを実行する。分割された全ての小領域について処理を行うことによって、入力画像に対応する線形化画像を作成することができる。

[0075] ( 1 )線形化係数組の算出

まず、 Κ枚の入力画像から、 3枚の基底元画像 I , 1 , 1を選択する。この選択方法

1 2 3

については後述する。そして、この基底元画像 I , 1 , 1から、残りの入力画像 I (k =

1 2 3 k

4, 5, 6, · · ·, K)について、これを表現するための線形化係数組をそれぞれ算出する。ここでは、 RANSACを利用する。

[0076] 図 6は線形化係数組の算出処理を示すフローチャートである。図 6に示すように、まず、初期化処理としてカウンタ kに 4 (ステップ S11)、カウンタ iteに 1、 Num— muxに 0 を代入する (ステップ S12)。 kは処理を行う入力画像を表すカウンタであり、 iteは繰り返し演算を行った回数を表すカウンタである。 Num— muxについては後述する。また処理の反復回数は、 ite— thとして予め定めておく。

[0077] 次に、入力画像 kの画像内から 3点をランダムに選択する (ステップ S13)。ここで、選択された 3点を (X , y ) , (x , y ) , (x , y )とする。こうして選択された 3点を利用して、線形化係数組候補 tmp—cを算出する (ステップ S 14)。これは、次の方程式を計算することによって求められる。

[数 1] ,）

tmp c = ₂ )

，） ( ，） _

(式 7)

，）

ただし、 D =

， '）ここで、 i は入力画像 kにおける画素（u， V)の画素値を表して!/、る。

次に、こうして求めた線形化係数組候補を利用して、次式から線形化画像を作成する（ステップ S 15)。

丄 =tmp― c 1 +tmp― c²I +tmp _c Ί (式 8)

一一一

たたし、 tmp c= [tmp c tmp c tmp c ] [0079] そして入力画像 kの画像領域を、（式 8)によって作成した線形ィ匕画像 I

k ^L (式 4)を用いて光学特性に基づき分類する。そして画像上の拡散反射領域を求め、この拡散反射領域に属する画素数 Num—dを算出する (ステップ S16)。ステップ S13— S16 が候補算出処理に相当する。

[0080] ここで、入力画像は拡散反射領域が支配的であると考えると、作成した線形化係数組候補 tmp— cが適当であればあるほど、拡散反射領域の画素数 Num—dは多くなると考えられる。つまり、拡散反射領域の画素数 Num#dを評価指標として、その値が最も大きくなる線形化係数組 tmp— cを、最適な線形化係数組として検出すればょ、。そこで、これまで反復を行った中で、最も大きい画素数 Num—dを Num— maxとし、そのときの線形化係数組候補 tmp_cを cとして保持しておく。

[0081] すなわち、ステップ S16において算出した画素数 Num— dをそれまでの最大値 Nu m— maxと比較し（S17)、 Num— dの方が大きいときは（S17で Yes)、 Num— max の値を Num— dに置き換えるとともに、さらに cを tmp— cに置き換え (ステップ S 18)、次のランダムサンプリングの準備を行う（ステップ S19)。一方、 Num— dの方が小さいときは（S17で No)、 Num— d, cの置き換えは行わず、ステップ S19に進む。

[0082] ステップ S 19では、所定回数 (ite— th回）ランダムサンプリングが行われたかをチェックする。もし、まだ所定回数ランダムサンプリングが行われていないときは (ステップ S19で No)、カウンタ iteを 1つインクリメントし (ステップ S20)、再度、ランダムサンプリングを行う (ステップ S 13)。一方、すでに所定回数ランダムサンプリングが行われているときは (ステップ S19で Yes)、入力画像 kの線形化係数組 c として cを選択し (ス

k

テツプ S21)、入力画像 kの処理を終了する。

[0083] このとき、まだ処理を行っていない入力画像があるとき（ステップ S22で No)、カウンタ kを 1つインクリメントし (ステップ S23)、次の入力画像について処理を行う（ステップ

S12)。一方、もし、すべての入力画像において処理が終わっているときは（ステップ

S22で Yes)、処理を終了する。

[0084] なお、ここでの基底元画像としては、鏡面反射や影領域の少な、画像を選択するのが好ましい。このために例えば、輝度が極端に高くも低くもない画素が多い入力画像を基底元画像とすることが望ま Uヽ。 [0085] また、基底元画像としては、光源環境が大きく異なる 3枚の入力画像を選択するのが好ましい。このためには例えば、画像上の数点の画素値が互いに大きく異なる 3枚の入力画像を選択すればよい。また例えば、光源環境を推定し、光源の位置や強度ができるだけ異なる 3枚の入力画像を選択するようにしても構わな、。光源環境を推定する方法としては、鏡面球を利用する方法や、広角カメラを天井方向に向けて光源状態を撮影する方法が広く知られて、る。表面が鏡面の物質である球の表面に写つているものは、球が置かれた位置に入射している光源の情報である。そこでこのような鏡面球をカメラで撮影し、その画像を解析することによって、光源の位置と照射輝度分布を推定する (例えば、「田中法博、富永昌治 "全方位の光源分光分布の計測とその応用"，画像の認識'理解シンポジウム（MIRU2002) , vol. II, pp. 99— 100 4, 2000」）。

[0086] (2)基底画像の作成

次に、（1)で求めた線形化係数組 c

kと各入力画像 I

kを用いて、基底元画像を線形化し、基底画像を作成する。ここでも RANSACを利用し、 1画素ずつの処理を行う。

[0087] ここで、（式 3)を見直してみる。入力画像 kの画素 mに対して (式 3)を適用すると、次の式が求まる。

. L 1. B , 2. B , 3. B

1 =c 1 十 c 1 十 c l (^9)

k(m) k l(m) k 2(m) k 3(m)

[0088] ここで、 i ^B = [i ^B i ^B i ^B ] は画素 mに対する基底画像の画素値を示しており

(m) l(m) 2(m) 3(m)

、基底画素値と呼ぶ。この式において、線形化係数組 c = [c ¹ c ² c ³ ]^Tは（1)の k k k k

処理によりすでに求まっている。このため、もし入力画像 kの画素 mが i i ^Lを k(m) k(m) 満たす、すなわち拡散反射を起しているとき、（式 9)における未知数は、基底画素値 i ^B = [i ^B i ^B i のみの 3個となる。

(m) l(m) 2(m) 3(m)

[0089] したがって、入力画像 k (k=4, 5, 6, · ··, K)のうち、画素 mが拡散反射領域である 3枚を選択することができれば、（式 9)を一意に解くことができる。ところが、実際にはどの画素が拡散反射を起しているかは分力ないため、ここでは RANSACによるランダムサンプリングを利用し、また評価指標として、（1)の処理と同様に拡散反射領域の画素数を用いることによって、基底画素値を求める。

[0090] 図 7は基底画像の生成処理を示すフローチャートである。ここでは、上述の線形ィ匕係数組の算出処理と異なり、処理を画素ごとに行う。つまり、基底画素値を 1画素ずつ RANSACの枠組みで求める。

まず、処理を行う画素 mを設定する（ステップ S31)。次に、初期化のためにカウンタ iteに 1 Num— maxに 0を代入する（ステップ S32)。カウンタ iteは繰り返し演算を行つた回数を示し、また処理の反復回数は ite— thとして予め定めておく。 Num— maxについては後述する。次に、線形化係数組が既に求まっている (K-3)枚の入力画像力も 3枚をランダムに選択する (ステップ S33)。ここで、選択された 3枚の入力画像を k , k , kとする。こうして選択された 3枚の画素値を (式 9)に代入すると、次の方程

1 2 3

式が求まる。

[数 2]

(式 10) ここで、

B 「 B B B T

tmp― i = [tmp― i tmp― i tmp― i ]

m) l(m) 2(m) 3(m)

は、 i , i , i がすべて拡散反射であるとき、基底画素値となる力そうでないと kl(m) k2(m) k3(m)

きは意味のない値になる。そこで、 tmp— i ^Bを基底画素値候補と呼ぶ。（式 10)を解

(m)

くことにより、基底画素値候補 tmp_i Bを算出する (ステップ S34)。すなわち、

、m)

[数 3]

(式 11)

ただし、 E =

[0092] 次に、こうして求めた基底画素値候補 tmp—i ^Bを利用して、（K 3)枚の入力画像

(m)

に対して、次の式力線形化画素値 i を作成する (ステップ S35)。

k(m)

L I B 3 B

i = c tmp― i + c tmp― i + c tmp― i

k(m) k ― Km) k ― 2(m) k ― 3(m)

ただし、 k=4, 5, 6, · · · , K (式 12)

[0093] さらに、入力画像 kの画素値を、（式 12)で作成した線形化画素値 i ^Lと (式 4)を用

k(m)

いて光学特性に基づき分類する。そして、分類した i (k=4, 5, 6, · · · , K)

k(m) において、拡散反射領域の画素数 Num—dを算出する (ステップ S36)。

[0094] ここで、入力画像は拡散反射領域が支配的であると考えると、作成した線形化画像候補が適当であればあるほど、拡散反射領域の画素数 Num—dは多くなると考えられる。つまり、拡散反射領域の画素数 Num—dを評価指標として、その値が最も大きくなる基底画素値候補を、最適な基底画素値として検出すればよい。そこで、これまで反復を行ってきた中で、最も大きい画素値 Num—dを Num— maxとし、そのときの基底画素値候補 tmp— i ^Bを iとして保持しておく。

(m)

[0095] すなわち、ステップ S36において算出した画素数 Num— dをそれまでの最大値 Nu m— maxと比較し（S37)、 Num— dの方が大きいときは（S37で Yes)、 Num— max の値を Num_dに置き換えるとともに、さらに iを tmp_i ^Bに置き換え (ステップ S38)

m)

、次のランダムサンプリングの準備を行う（ステップ S39)。一方、 Num dの方が小さいときは（S37で No)、 Num— d, iの置き換えは行わず、ステップ S39に進む。

[0096] ステップ S39では、所定回数 (ite— th回）ランダムサンプリングが行われたかをチェックする。もし、まだ所定回数ランダムサンプリングが行われていないときは (ステップ S39で No)、カウンタ iteを 1つインクリメントし (ステップ S40)、再度、ランダムサンプリングを行う (ステップ S43)。一方、すでに所定回数ランダムサンプリングが行われているときは (ステップ S39で Yes)、画素 mの基底画素値 i ^Bとして iを選択し (ステップ

(m)

S41)、画素 mの処理を終了する。

[0097] このとき、まだ処理を行って!/、な!/、画素がある場合 (ステップ S42で No)、カウンタ m を 1つインクリメントし (ステップ S43)、次の画素について処理を行う（ステップ S32)。一方、もし、すべての画素について処理が終わっているときは (ステップ S42で Yes) 、処理を終了する。

[0098] 以上の処理を、分割された全ての画像の全ての画素について行うことによって、基底画像を生成する。

[0099] (3)入力画像の線形ィ匕

次に、（式 3)に従って、各入力画像の線形化係数組 c と基底画像 I B , I B , I Bの線 k 1 2 3 形結合によって、入力画像 kの線形化画像 I ^Lを作成する。

k

I ^L =c il B +c ^ B + c Sl ⁸ (式 3)

k k 1 k 2 k 3

上述したように、線形ィ匕画像とは、鏡面反射が生じていない理想状態のときに観測される画像である。このため、この線形ィ匕画像を利用して画像処理を行うことによって、鏡面反射や影の影響を受けない画像処理が可能になる。

[0100] なお、ここでの線形化係数組 c は、（1)の処理において求めたものをそのまま用い k

ても力まわないし、入力画像 I , 1 , 1 の代わりに基底画像 I B , i ^B , I Bを用いて、再

1 2 3 1 2 3

度、（1)の処理によって求めなおしてもかまわない。

[0101] 以上のような処理を行うことによって、画像保持部 104に保持されている画像の線形化画像を作成することができる。

[0102] なおここでは、入力画像を線形化するまでの処理を示したが、もちろん、 (2)の基底画像作成処理までで処理を終えてもかまわなヽ。このような基底画像を画像保持部 1

04に保持することによって、画像入力部 102が入力した画像に対し、（3)の処理を行うだけで、線形化画像を作成することが可能である。

[0103] <補間処理 >

以上のように、画像を小領域に分割して処理することによって、点光源であっても、平行光源として仮定して、第 3の従来例と同様の方法によって取り扱うことができる。ただし、画像を小領域に分割することに起因して、次のような問題が生じる。

[0104] 上述のように第 3の従来例では、次の条件を満たす 3点以上の画素が存在して、ることが、前提条件になっている。

[0105] 〇法線方向が異なる。

〇拡散反射領域である。

[0106] 前者の前提条件を満たさな!/、とき、（式 7)の行列 Dや (式 11)の行列 Eが縮退を起すので、（式 7)や (式 8)の解を求めることができない。また、後者の前提条件を満たさないとき、 RANSACにおいて評価関数として用いた拡散反射領域の画素数は、拡散反射領域がそもそも存在しないため、常に 0になってしまい、このため、評価関数としての役割を果たさなくなる。そして、小領域に分割することは、これらの前提条件を満たさない領域の存在可能性を高める原因となる。

[0107] 図 8は図 5 (a)のように分割した各小領域において、第 3の従来例を適用した結果である。まず平面領域 31, 32すなわち画像内に 1平面しか存在せず、ほとんどの画素で法線方向が等しい領域では、線形化画像を生成できない。また影領域 33のように、拡散反射領域を含まず、影力鏡面反射しか存在しない領域でも、やはり解を求めることができない。このように、小領域に分割して処理を行っても、全ての領域について基底画像や線形化画像を生成できるとは限らず、生成できるのは画像上の一部であり、残りの領域については生成不能となる場合があり得る。

[0108] そこで本実施形態では、画像補間部 107が、小領域合成画像生成部 106におヽて基底画像や線形化画像を生成不能であった小領域にっヽて、補間処理によって、基底画像や線形化画像を生成する。まず、次のような仮定をおく。

[0109] 〇画像を分割した各小領域では、線形化係数組は、近傍小領域の線形化係数組と相関がある。

[0110] これは、各小領域における光の入射角が連続に変化していくことを考えると、妥当な仮定である。この仮定より、次の式が導かれる,

[数 4] 一 I ，

(式 13)

ただし、

一 ^^(—(— I, i) ι ν) ^ί — i,_ +i i) _ν+ι) +i i>

+1， ' 一 J 1 l l +I +1, +l, +1, +1) ,

[0111] ここで、 I ま入力画像 kの小領域 (X, y) (図 9の注目領域 41)における線形化画

k(x,y)

像、 I , I , I はそれぞれ 3枚の基底画像における小領域 (X, y)の画像、 c

Kx,y) (x,y) (x,y)

= [c ¹ c ² c 、 ³ ]^Tは入力画像 kの小領域 (x, y)における線形化係 k(x y) k(x y) k(x y) k(x y)

数組を示している。すなわち、（式 13)は「ある小領域 (X, y)の線形化係数組は、その 8近傍領域（図 9の領域 42)の線形化係数組を利用することによって生成できる」ことを示している。

[0112] すなわち、ここでは、基底画像が生成不能であった小領域 (注目領域）について、基底画像生成に係る演算値としての線形化係数組を、その近傍小領域における線形化係数組を用いた補間処理によって求め、基底画像や線形化画像を生成する。以下、その手法について説明する。

[0113] 1. Nearest neighbor

まず、前提条件として、撮影された画像上では鏡面反射領域に比べて拡散反射領域が支配的であるとする。これは、鏡面反射が、光源方向とカメラ方向が対象物の法線方向に対して正反射の関係になったときにのみ生じるものであることから明らかである。

[0114] 図 10は注目領域の線形化係数組として、近傍領域の線形化係数組のうち最適なものを選択する方法を示すフローチャートである。まず、 Rate— maxの初期化を行うために、 0を代入する (ステップ S51)。次に、注目領域の近傍領域を 1つ選択する (ステップ S52)。選択した近傍領域 Xにつ、て線形化係数組が求まって、るか否かを調べ (ステップ S53)、もし求まっていないときは（S53で No)、他の近傍領域のチェックを行う（ステップ S59)。もし、全ての近傍領域のチェックが終了しているときは（S59で Y es)、処理を終了する。

[0115] 一方、選択した近傍領域 Xの線形化係数組が求まっているとき（S53で Yes)、その線形化係数組と（式 3)を用いて、近傍領域 Xの線形化画像を生成する (ステップ S54 )。さらに、生成した線形ィ匕画像と（式 4)を用いて、その近傍領域 Xの画像について光学特性に基づく領域分割を行う (ステップ S55)。ここで求めた拡散反射、鏡面反射、 cast shadow, attached shadowの各領域の画素数をそれぞれ Xd, Xs, Xc, Xa、近傍領域内の総画素数を Xallとする。このとき、次式で定義する拡散反射画素率 Rate— Xを計算する（ステップ S56)。

Rate_x = Xd/ (Xall- (Xc + Xa) ) (式 14)

[0116] (式 14)で定義された拡散反射画素率 Rate— xは、総画素数から影と判別された画素数を除いた画素数と、拡散反射領域と判別された画素数の比を表している。上述のように、入力画像にお、て拡散反射領域は鏡面反射領域に比べて支配的であるため、求まった線形化係数組が正、ほど拡散反射画素率 Rate— Xの値は高くなる。すなわち、拡散反射画素率 Rate— Xは線形化係数組の確からしさを示す評価指標として用いることができる。

[0117] そこで、 Rate— Xと Rate— maxとを比較し（ステップ S 57)、 Rate— xの方が大きいときは（S57で Yes)、この近傍領域 Xの線形化係数組の信頼性は十分高いと考えられる。そこで、 Rate— maxに Rate— Xを代入するとともに、この近傍領域 xの線开化係数組を線形化係数組候補として保持する (ステップ S58)。一方、 Rate_x力 ¾ate —maxよりも小さいとき（S57で No)、この近傍領域 xの線形化係数組の信頼性はすでに保持されて、る線形化係数組候補よりも低、と判断し、その線形化係数組を線形化係数組候補とはせず、他の近傍領域のチェックを行う（ステップ S59)。

[0118] このような処理を全ての近傍小領域について繰り返すことによって、近傍 8領域の中で最も確からしヽ線形化係数組を線形化係数組候補として求めることができる。上述したように、近傍の領域同士の線形化係数組には相関があるため、近傍領域にお Vヽて最も確からヽ線形化係数組は、注目領域にお!、ても確カゝらヽ線形化係数組であると考えられる。このため、このような補間処理によって求めた線形化係数組候補を用いることによって、基底画像生成において解を求めることができな力つた領域についても、線形化画像を作成し、光学的な領域分割を行うことができる。

[0119] なお、ここでは、注目領域にっヽて最も確からヽ線形化係数組を選択する範囲として、 8近傍領域を用いた力これに限られるものではない。例えば図 11 (a)に示すように、 4近傍領域 43のみを用いてもよい。このように近傍領域を狭く設定することによって、処理時間を短縮することができる。逆に、例えば図 11 (b)に示す 12近傍領域 44や図 11 (c)に示す 24近傍領域 45のように、近傍領域を広く設定してもかまわない。近傍領域を広く設定することによって、選択肢が増えるので、注目領域の線形ィ匕係数組を高精度に選択することができる。

[0120] またここでは、拡散反射画素率 Rate— Xを評価関数として用いたが、線形化係数組を選択するための評価指標は、これに限られるものではない。例えば、単に拡散反射領域の画素数 Xdを評価指標として用いても力まわない。また、影領域も加えて、 X d+Xc+Xdを評価指標として用いても力まわな、。

[0121] またここでは、評価指標値の算出はその近傍領域のみにおいて行うものとしたが、この代わりに、評価指標値を算出するための評価領域を、当該近傍領域とは別個に定めてもかまわない。例えば上述の図 10のフローのステップ S54— S56において、近傍領域 Xとは別個に定めた評価領域について、線形化画像を生成し、光学特性に基づき領域を分割し、評価指標としての拡散反射画素率 Rate— Xを計算すればょヽ

[0122] この方法は、分割した領域ごとに画像特徴が全く異なる場合に有効である。例えば図 9において、領域 (X— 1, y)はその 2Z3が影領域であるのに対し、領域 (x+ 1, y) は全く影を含まない、ということは多々ある。この場合、上述したように、各領域の線形ィ匕係数組を当該領域の拡散反射画素率 Rate— Xを用いて評価することは、必ずしも適切ではない。そこで例えば、注目領域 41と 8近傍領域 42とを合わせた 9個の小領域全体を、評価領域として設定する。すなわち、各近傍領域の線形化係数組を、共通の領域 41, 42に適用して拡散反射画素率 Rate— Xなどの評価指標値を計算し、比較する。これにより、より適切な評価を行うことが可能になる。

[0123] もちろん、この評価領域は、線形化係数組を求めるために分割した小領域を基にして設定する必要は必ずしもなぐ例えば図 9の評価領域 46, 47のように設定してもかまわない。

[0124] また、境界領域の連続性を利用して、線形化係数組を推定してもカゝまわない。隣り合った画素は相関が強いと考えられるので、注目領域の最外位置の画素値は、その画素に隣り合った近傍領域の画素値とほぼ等しいと考えられる（図 12の境界領域 48 )。そこで、この連続性を評価関数として利用する。すなわち、評価関数として、境界領域の連続性を考慮した次式の Func (X を用いる。

k(x,y)

[数 5]

+ g ム | (x S

、<

\f if 領域 (m, n) の線形化係数組が求まっているただし、 I 0 if 領域 (m, n) の線形化係数組が求しっていない

[0125] ここで、小領域の画素数はすべて (PxQ)画素、 X は入力画像 kの小領域 (X , y)において、その小領域内の画素 (p, q)の線形化画素値を示している。

[0126] 2. 2次補間

ここでは、近傍領域の線形化係数組を 2次補間することによって、注目領域の線形化係数組を求める方法にっヽて説明する。

[0127] まず、線形化係数組の値を領域の位置 (m, n)の関数 g (m, n)とし、この曲面を以下の 2次式によって、近似することを考える。

g (m, n) =A/2 -m +Β/2 ·η +Cmn+Dm+En+F (式 15)

ここで、位置（m, n)はその領域の中心位置を示す。この（式 15)を解くためには、 6 個以上の線形化係数組が求まっていればよい。そこで、注目領域の近傍領域のうち、線形化係数組が求まっている 6領域を選択し、その線形化係数組と位置 (m, n)を代入すること〖こよって、（式 15)を解くことができる。

[0128] このとき、線形化係数組 cの各要素 c c ², c ³ごとに独立に (式 15)を解いてもよ

k k k k

いし、また c c ², c ³を極座標表示し、その要素それぞれに対して (式 15)を解いて

k k k

もかまわない。 [0129] また、 6領域力解を一意に求める代わりに、 6個以上の領域を選択し、最小自乗法によって解を求めるようにしても力まわない。また、さらに広い領域を (式 15)によつて近似するようにしても力まわない。これは例えば、多くの領域の線形化係数組を用 V、、 RANSACを用いることによって解を求めればよ!、。

[0130] もちろん、例えば、スプライン補間処理などを用いても力まわないし、また、 3次以上のフィッティングを行ってもかまわな、。

[0131] 3.重み付け処理

ここでは、重み付け処理によって、注目領域の線形化係数組を求める方法を説明する。これは、上述の拡散反射画素率 Rate— Xなど、近傍領域の線形化係数組の確力しさの指標を重みとして利用する。近傍の小領域 (m, n)における拡散反射画素率を Rate— x (m, n)とすると、注目領域 (x, y)の線形化係数組は次の式で表される

[数 6] ノ

"，")

^C"^r )― Y Rate _ x{m, n)

(式 16) ここで、 Sは注目領域 (X, y)の近傍において線形化係数組が求まっている領域を示している。つまり、（式 16)は拡散反射画素率で重み付けをした近傍領域の平均線形ィ匕係数組を表している。

[0132] もちろん、重みは拡散反射画素率に限られるものではなぐ上述の拡散反射領域の画素数を用いたり、また、重み付けを行わず、単純な近傍領域の線形化係数組の平均値を用いたりしても力まわない。

[0133] また、 1.一 3.のようにして求めた線形化係数組を初期値とし、さらに勾配法を用いて最適な線形化係数組を求めるようにしてもかまわなヽ。

[0134] このように、点光源を制御しながら撮影した複数の画像に対して、処理領域を分割し、さらに補間処理を行うことによって、点光源においても、鏡面反射や影の影響を補正した線形ィ匕画像を作成することができる。そして画像処理部 108は、線形化画像生成部 103によって生成された線形化画像を用いて、画像処理を行う。線形化画像は鏡面反射や影が除去された理想的な画像であるため、線形ィ匕画像を用いることによって、鏡面反射や影の影響を受けない画像処理を実現することができる。ここでの画像処理としては、例えば、対象物の 3次元位置'形状推定、対象物の識別、光学特性に基づ!/、た領域分割などがある。

[0135] 図 13は図 40のステレオ画像に対する線形ィ匕画像である。図 13から、鏡面反射が画像力もきれいに除去できていることが分かる。したがって、ステレオマッチングの精度も向上し、 3次元位置'形状の推定の精度も向上する。また、対象物識別処理においても、線形ィ匕画像を用いることによって鏡面反射などによる精度劣化を抑えることができる。

[0136] さらに、入力画像に対し、線形化画像と (式 4)を用いて、拡散反射や鏡面反射、 cast shadowや attached shadowといった光学特性に基づいた領域分離を行うこともできる。

[0137] 図 14 (a)は図 45 (a)の入力画像から本実施形態の方法によって生成した線形化画像を示す図である。また図 14 (b)は図 45 (a)の入力画像から図 14 (a)の線形ィ匕画像および (式 4)を用いて分離した鏡面反射成分を示す図である。図 14 (a) , (b)を第 3 の従来例による図 45 (b) , (c)と比較すると、特に平面領域において線形化画像の生成精度が上がって、ることが分かる。また鏡面反射領域と拡散反射領域の分離精度は、第 3の従来例では 70%であるのに対し、本実施形態では 91%と大幅に改善されている。なお、分離精度は次式により計算される。

(分離精度）

= ( (正しく鏡面反射と推定された画素数） + (正しく拡散反射と推定された画素数)）

/ ( (拡散反射の画素数） + (鏡面反射の画素数) )

[0138] なお、以上の説明では、領域の分割は各小領域間の重なりがないように行うものとしたが、もちろん図 15に示すように、各小領域が重なり合うように領域分割を行ってもかまわない。このように領域を分割することによって、注目領域 41と近傍領域 42との間の相関が高くなるので、補間処理の精度がより向上する。

[0139] また、小領域の形状は矩形である必要はなぐ例えば図 16のように、任意の形状であってもかまわない。

[0140] また、重みを、領域ごとに設定するのでなぐ画像上での位置の関数として設定しても力まわない。図 17はこの処理の様子を示す図であり、ここでは小領域を円形に設定している。まず、評価領域を半径 rの円形領域 51として設定し、分離精度 E (r)を求める。次に、評価領域を半径 r'の円形領域 52に変更し、再度、分離精度 E(r')を求める。評価領域の半径を変えながらこの処理を繰り返すことによって、分離精度を、評価円形領域の中心位置 (X, y)と半径 rの関数 E (x, y, r)として表現することができる。この分離精度 E (x, y, r)は求まった線形係数ごとに存在するため、ある線形化係数組 C = [c c c ]における分離精度 E (X, y, r)を E (x, y, r)とする。図 18は各線

1 1 2 3 1

形化係数組 C

1一 Cの分離精度 E— Eを模式的に示した図である。

5 1 5

[0141] このとき、任意の点 (xm, ym)の線形化係数組 Cは、次のような重み付け処理によ m

つて求められる。

[数 7] E, (xn, yn, rn) , ただ'し、 (xm -

+ (ym - yn) = rn²

[0142] もちろん、任意の点（xm, ym)の線形化係数組 Cは前述の Nearest neighborを利 m

用し、次のように求めてもかまわない。

[数 8] = c_T

I - arg ma / (xn, yn, rn) )

[0143] このような処理を用いることによって、画像の領域を明に分割しなくても線形ィ匕画像を作成することができる。これは、上述のように評価領域を変化させるため、確定的な評価領域を用いる必要がな、ためである。

[0144] また、光源制御部 101は、撮影環境の光源、例えば、家庭内の照明を切り替えることによって、光源環境を変化させるものでもよい。このような光源の切り替えは、例えば電力線を用いたエコーネットなどを利用すればょ、。 [0145] 家庭内で通常用いられる白熱灯や蛍光灯は、第 3の従来例では、平行光仮定が成り立たないために光源として用いることができな力つた。ところが本発明では、点光源にお!/、ても線形化画像の作成や光学特性に基づ!、た領域分離を行うことができるので、家庭内照明を点光源の集合体と捉えることによって、処理が可能である。家庭内照明を光源として利用することができれば、照明を別途準備する必要がなくなるため、非常にシンプルな画像処理装置にお、て本発明を実現することができる。

[0146] さらに、光源制御部 101による光源環境の変更は、家庭内であれば、住居人がいなくなる夜や出勤，通勤後の時間帯に定期的に行うようにしても力まわない。

[0147] 図 19は本実施形態によって生成された線形化画像の例である。図 19に示すよう〖こ、本実施形態の画像処理方法によると、鏡面反射が生じない理想状態での画像である線形化画像が生成される。

[0148] また、画像入力部 102は、必ずしも撮像を行う必要はなヽ。例えば、メモリやハードディスクなどに蓄えられている画像をネットワークやインターフェイスを通じて取り込むようにしてもかまわない。

[0149] また、撮影された画像から合成画像を作成するようにしてもかまわな!/ヽ。これは、撮影した複数画像の視点位置や視点方向が異なる場合に有効である。上述のように、本実施形態では視点位置は固定でなくてはならな、が、任意視点合成の技術を用いることにより、視点が動いた場合においてもカメラ位置情報、動き情報などを用いてあたカゝも同じ視点カゝら撮影した画像に変換できる。画像入力部 102はこの任意視点合成技術を利用することによって、視点位置が等しヽ合成画像を作成すればょヽ。

[0150] (変形例）

また、画像補間部 107は、次の 3つの処理を切り替えるような制御手段を含んでいてもかまわない。

〇上述の手法によって補間処理を行う。

〇補間処理を行わずに、小領域合成画像生成部 105が作成した画像をそのまま画像処理部 108へ送る。

〇画像領域分割部 105によって小領域の大きさや位置を変更し、再度、小領域合成画像生成部 106によって合成画像を作成しなおす。 [0151] 本実施形態では分割した小領域ごとに処理を行うため、 RANSACのランダムサンプリングにおいて、選択した 3点の法線方向が全て等しくなることが起こり易くなる。この場合、行列 Dが縮退し、解が求まらず、線形化係数を求めることができない。

[0152] そこで、まず行列 Dの縮退を調べることによって、 RANSACでサンプリングした各 3 点の法線方向が等しいか否かを判断する。もし、行列 Dが縮退しているときは、処理を中断することによって処理の効率ィ匕を図ることができる。すなわち、行列 Dの縮退を確認することによって、処理を高速化することができる。そして、すべてのランダムサンプリング点にぉ、て行列 Dが縮退して、る場合、上述のように処理を切り替える。

[0153] 行列の縮退を調べる指標としては、まず、行列の次元数がある。通常、行列の次元数を調べるためには行列式を求めればよい。次の行列 Aの行列式 I A Iは、（式 17 )によって表される。

[数 9]

A =

た/ ίし、 a, = [a a a_l3 0=1,2,3)

\A\ = a a₁₂a₃₃ + _ηα_Ώα + _ua₃₂a_2l - a_na₂₁a_M - α_2Ι α„ - _ηα₃₂α_Ώ (^17) 行列式 I A I力^のとき、行列 Aは縮退していると考えられる。

[0154] ところが本実施形態では、たとえ選択された 3点の法線方向が等、場合でも、点光源を平行光と近似している点や、量子化誤差やノイズの影響によって、行列式 I A

Iは小さな値にはなるものの必ずしも 0にはならない。そこで、次の条件を満たすとき

、選択された 3点の法線方向が等しいと判断する。

1 A I ≤Thl (式 18)

[0155] また、行列の縮退を検出するために、例えば、行列 Aの要素である 3つのベクトル a

, a , aを利用する方法も考えられる。行列 Aが縮退しているとき、図 20 (a) (b)に示すように、ベクトル a， a， aが平面上または直線上に並ぶ。そこで、これら 3つのべクトル a , a , aのなす角度成分を、行列の縮退の指標として用いればよい。すなわち、 aと a , aと a , aと aがなす角度をそれぞれ求め、それらの角度の最小値を求める。

1 2 2 3 3 1

これは、次の条件を満たす場合に、 3画素の法線方向が等しいと判断すればよい。

[数 10]

Th2 (式 ₁₉₎

(式 19)は指標の単位が角度であるため、（式 18)に比べて閾値がわ力りやすいといつた長所があるが、図 20 (a)のように 3つのベクトルが同一平面上に存在して!/、るときには、検出に失敗するという問題がある。このため、行列式とともに用いるのが好ましい。

また同様の方法として、（式 20)のように、行列式を 3つのベクトルの長さで正規ィ匕するという方法が考えられる。

[数 11]

行列式 I A Iは、図 20 (c)〖こ示すように、 3つのベクトル a , a , aによって張られる平

1 2 3

行六面体 61の体積を表している。したがって、行列式 I A Iを各ベクトルの大きさによって正規ィ匕することによって、ベクトル間の角度成分のみが抽出される。

[0157] また、行列の縮退を調べる指標として、行列の条件数を用いても力まわな、。行列

Aの条件数とは、行列 Aが良条件 (weU-conditioned)か悪条件 (iU-conditioned)かの指標であり、次のようなもので表される。

〇行列 Aの最大固有値と最小固有値との比

〇行列 Aの最大特異値と最小特異値との比

〇行列 Aのノルムと逆行列 A—¹のノルムとの比

[0158] さらに、行列の三角化を行い、その対角成分を用いても力まわない。行列 Aは、次式のように展開できる。

[数 12] ^an a, ₃ x_n 0 0

«21 «23 = ^X2\ ^X22 0 h ^V 2 ^V3 ] (式 21)

«31 ^a32 «33 . 31 ^X32 _ このような処理を行列の三角化と呼ぶ。行列の三角化は、 Gram-Schmidtの直交化などの手法を利用することによって実現される。 Gram-Schmidtの直交化を用いた場合、 (式 21)は以下のように求められる。

[数 13] b*_+l = a,_+l - (a,₊₁ · ν , )ν, - (a,_+l · ν₂ )ν₂ (a _+l - ν, )ν,

^M I

ここで、 V , V , Vが正規直交基底であることに着目すると、次のことが分かる。

1 2 3

〇 X は a力 aへ下ろした足の長さである

22 2 1

〇 X は a力も aと aが張る平面に下ろした足の長さである

33 3 1 2

図 21はこの関係を図示したものである。このことから、次の条件式を満たすとき、 3点の法線方向が等しいと判断できる。

min (x ， X ) Th4

22 33

[0159] 次に、上述した各条件式を用いた判断手法における閾値決定の方法について説明する。ここでは、実際に撮像するであろう条件において、平面と、それ以外の対象物とをそれぞれ撮像することによって、閾値を決めるものとする。

[0160] まず図 22に示すように、カメラ 71によって平面 72と対象物としての球 73を撮像する。ここで、図 22 (a)のように平面 72を撮像したとき、画像中の各点の法線方向は全て等しくなり、また図 22 (b)のように球 73を撮像したとき、画像中の各点の法線方向は全て異なっている。カメラ 71と対象物 73は実際の環境と同様に設置する。ここでは、家庭内作業ロボットが作業を行うことを想定し、カメラ 71は平面 72から 50cm離して設置し、球 73の半径は 10cmとした。カメラ 71は実際のロボットに設置されるものと同様の水平画角 56° 、画素数 640x480のものを利用した。

[0161] そして、図 22 (a) , (b)の状況でそれぞれ撮影した画像における各条件式の評価関数の頻度を求めることによって、最適な閾値を決定することができる。図 23—図 25 は各条件式の評価値を示すグラフである。ただし、これらの評価値は、撮像された画面中央部の 160x160画素における評価値である。

[0162] 図 23は行列式を 3個のベクトルの長さで正規化した値、すなわち（式 20)において絶対値を外したものの頻度を示すグラフである。また図 24は行列の最大固有値と最小固有値の比を利用した条件数の値の頻度とその累積値を示すグラフである。さらに、図 25は (式 22)で示した、行列を三角化した際の対角成分の最小値の頻度とその累積値を示すグラフである。グラフ上に鎖線で示した閾値 Th2, Th3, Th4を定めることによって、いずれの条件式においても、 3点の法線方向が等しいか否かの判別を 90%以上の精度で実現できることが分かる。

[0163] なお、ここでは、行列 Aの行要素ベクトル a , a , aを用いる方法について説明した

1 2 3

力もちろん、下のような列要素ベクトル b ， b ， bを用いてもかまわない。

1 2 3

[数 14]

«I I «13

A ^a2\ ^a22 ^a23 [b, b₂ b₃ ]

ai \ ^ai2 "33 ただし、 b, =

(i = 1,2,3)

[0164] このような法線方向検出を利用した線形化係数組の算出方法について、図 26のフローチャートを用いて説明する。図 26は図 6と基本的な処理の流れは同様であり、共通するステップには同一の符号を付しており、ここではその詳細な説明を省略する。

[0165] 図 26に示すように、まず、初期化処理としてカウンタ kに 4 (ステップ S 11)、カウンタ iteに 1、 Num maxに 0、そして cに初期値 cを代入する（ステップ S61)。ここで初期

― 0

値 Cには、線形化係数組として存在しない値を設定することが望ましい。例えば、 C 0 0

= [000] ^Tなどとすればよい。

[0166] 次に、入力画像 kの画像内から 3点をランダムに選択する (ステップ S13)。ここで、選択された 3点を (X , y ) , (x , y ) , (x , y )とする。この 3点を利用して、上述したよ

1 1 2 2 3 3

うな 3点の法線方向が等しいか否かの判別を行う（ステップ S62)。 3点の法線方向が異なっているときは（S62で Yes)、選択された 3点を利用して線形化画像を作成し、拡散反射領域の画素数 Num—dを評価指標として用いて、線形化係数組を評価する（S14— S18)。一方、 3点の法線方向が等しいときは（S62で No)、線形ィ匕画像の作成を行わないで、ステップ S 19に進む。

[0167] このようにして所定回数 (ite—th回）ランダムサンプリングを行った後（S19で Yes) 、 cに初期値 c以外の値が入っている力否かを調べる（ステップ S63)。もし初期値 c

0 0 のままのときは（S63で Yes)、入力画像 kのこの小領域については解が求まらないと判断して処理を終了する（ステップ S64)。そして、他の入力画像の処理を行う（S22 , S23)。解が求まらないのは、この小領域内の法線方向がほとんど等しい場合、または、この小領域では影や鏡面反射が支配的である場合である。解が求まらないと判断された領域の処理については、後述する。

[0168] 一方、 cに初期値 c以外の値が入っているときは（S63で No)、入力画像 kの線形化

0

係数組 cとして cを選択し (ステップ S21)、入力画像 kの処理を終了する。そして、他 k

の入力画像の処理を行う（S22, S23)。

[0169] なお、ステップ S64において解が求まらないと判断された小領域については、画像補間部 107によって、上述したような補間処理を行えばよい。

[0170] また、解が求まらないと判断された小領域については、再度、画像領域分割部 105 において小領域のサイズを大きくし、再度、処理を行うようにしてもよい。これは、処理領域が広いほど、 3点の法線方向が等しくなる可能性が低くなるからである。ところが、処理領域をあまり広くし過ぎてしまうと、平行光源仮定が成り立たなくなってしまう。このため、処理領域の拡大は平行光源仮定が成り立つ範囲で行うようにすることが望ましい。例えば、光源と対象物の距離を基準にして、（式 6)で示された

Ls = 2 - Dtan ( Θ /2)

Th

t ヽぅサイズの処理領域の大きさをまず設定し、もしその小領域にっヽて解が求まらないとき、領域を拡大するようにすればよい。また、逆に、適当なサイズの処理領域を設定し、解が求まるときはそのサイズを縮小していき、解が求まる最小のサイズの領域を最適な処理領域として設定するようにしてもカゝまわない。この場合、光源と対象物の距離は未知であってもよ！/、。 [0171] また、（1)線形化係数組の算出処理時に解が求まらないと判断されたとき、基底元画像 I , 1 , 1を別の入力画像 I , 1 , 1に変更するようにしてもよい。この際、基底元画像の選択のときと同様に、鏡面反射や影領域の少なヽ画像を新しヽ基底元画像として選択することが望ましい。

[0172] ただし、一部の c c c小二領域のみについて基底元画像を変更してしまうと、上述の（式 13 )の関係式が成り立たなくなる。そこで、領域， n)において、変更後の基底元画像

I , 1 , 1 を基にして生基底画像 I , I , I ^ϋを、変更前の基底、 -成した

、

元画像 I , 1 , 1

、、を基にして生成した基底画像 I I I

、に変更することが望ましい。この処理について、説明する。

[0173] 基底画像は、線形化画像であることに着目すると、次の関係式が成り立つ。

[数 15]

(式 23) ここで、行列 C は未知であるが、これを求めることができれば、基底画像 I , I

^B, I ^Bから基底画像 I ^B, I ^B, I ^Bを作成することができる。

、、

[0174] 一方、領域 (m, n)の近傍領域 (m'， η' )においては、変更前の基底元画像 I , , ,

Km ，)

I , I を基にして生成した基底画像 I I I が求まっているため

、次の関係式が成り立つている _c

[数 16]

I ）

I '，）） c

(式 24) ここで、行列 c と異なり、行列 c は既知である。また、上述したように、形化係数組には相関があることに着目し、次のような仮定を導入する。

C =C (式 25) ここで、

[数 17]

(式 26) であることに着目すると、（式 23)、（式 25)、（式 26)から、行列 C は次のように求まる。

[数 18]

c 一

，一 Γ ，

(式 27)

(式 23)、（式 27)から、基底画像 I

から次の関係式によって求まる。

[数 19]

(式 28) ここで、近傍領域 (m n，）は、上述のように、 nearest neighborや 2次補間、重み付け処理等によって最適なものを選べばよい。

[0175] なお、解が求まらな、領域を検出するためには、法線方向を調べる手法だけでなく、例えば、作成された基底画像や線形化画像の領域内でのエッジを調べる方法によつても可能である。一般に、画像は近傍領域で滑らかに変化するという性質がある。そこで、このエッジ情報を利用して、解が求まらない領域を検出する。

[0176] 図 27は上述した方法によって生成した基底画像の一例である。図 27において、領域 81は解が求まり正確な基底画像が生成された領域、領域 82は正確な解が求まらず、正確な基底画像が求まらな力つた領域である。

[0177] ところで、画像上のエッジは、次の 3つの要因によって生成されると考えられる。

1)テクスチャによるエッジ

2)複数個の物体間の境界や、奥行きが急激に変化する境界に生じるエッジ

3)影や鏡面反射とそれ以外の領域との境界によるエッジ

ここで、カメラと対象物は固定したまま光源環境を変更しつつ撮影したとき、画像上のエッジのうちその位置が変化するのは、 3)のエッジのみである。一方、基底画像や線形化画像ではその性質上、 3)のエッジは存在しない。以上のことから、入力画像には 1)、 2)、 3)のエッジが存在するが、基底画像や線形化画像には 1)と 2)のエッジしか存在しないことが分かる。すなわち、もし、基底画像や線形化画像が正しく求まっている場合、次の関係式を満たす。

[数 20]

Edge{I ^H) T_j Edge(l_k ) (式 33)

k ただし、 Edge (l)は画像 I力もエッジを抽出した結果を示す。

[0178] 図 28において、（a)は図 27の領域 81を拡大した図、（b)は各入力画像における領域 81に対応する領域を示す図である。図 28から分力るように、領域 81については（式 33)を満たしている。一方、図 29において、（a)は図 27の領域 82を拡大した図、（ b)は各入力画像における領域 82に対応する領域を示す図である。図 29から分かるように、領域 83のエッジは、いずれの入力画像（図 29 (b) )にも含まれておらず、した力 Sつて領域 82は（式 33)を満たさない。これは、領域 82では解が求まらなかったからである。

[0179] このように、（式 33)を解が求まる力否かの判別式として利用することができる。すなわち、この（式 33)を満たす領域については正確な基底画像が求まっている力満たさな、領域にっ、ては、正確な基底画像が求まってヽな、と判断すればよ!、。

[0180] また上述したように、解が求まらない小領域について、そのサイズを拡大して再度、処理を行うようにしてもよいが、分割する小領域の変更は、その大きさだけに限られるものではなぐ例えば、領域分割を行う位置を変更するようにしてもよい。 [0181] 図 30は 4個の球が置かれた状態を撮影した画像である。このとき、実線のように領域分割を行うと、図 31 (a)に示すように、領域内に 1平面しか存在しないため線形ィ匕画像を生成できない平面領域 84が生じる。一方、図 30を図 31 (b)のように領域分割すると、いずれの領域も複数の法線方向を持っため、全ての領域において線形化画像を生成することができる。したがって、解が求まらない小領域が存在するとき、領域を分割する位置を変更するようにしてもょ、。

[0182] また、図 15のように、小領域の設定を、領域同士に重なりがあるように行ってもかまわない。領域の大きさが一様でなぐまた、領域間に重なりがある場合でも、上述したような補間処理によって線形化係数組を補間することができる。これは例えば、注目領域の重心位置と近傍領域との距離、およびその近傍領域の拡散反射画素率などの信頼性などを利用して、重み付け補間を行うことによって実現できる。

[0183] もちろん、解が求まらないと判断された小領域は、領域分割から処理をやり直すのではなぐ補間処理を行うようにしても力まわな、。

[0184] また、小領域の分割方法を変更しながら複数の基底画像を作成し、作成した基底画像を組み合わせることによって、最適な基底画像を作成するようにしてもかまわない。この処理について詳述する。

[0185] 図 46 (a)は平面上におかれた 2個の球状物体 461、 462を撮影した画像を示している。このような状況において、光源位置を変えて、 K枚の画像を撮影し、これらの画像を入力画像として線形化画像を作成する。

[0186] ここで、図 46 (b) , (c)に示したように、画面領域分割の切り出し位置を変更し、処理を別々に行うことを考える。この図において、直線で区切られた領域が分割された小領域を示している。

[0187] まず、領域 467について考える。図 46 (b)のように領域分割を行った場合、領域 46 7は切り出し領域 469に含まれる。この切り出し領域 469は図 46 (b)から明らかなように、球状物体 462が支配的であるため、基底画像が正しく求まっていると考えられる。一方、図 46 (c)のように領域分割を行った場合、領域 467は切り出し領域 470に含まれる。この切り出し領域 470は図 46 (c)から明らかなように、平面が支配的であるため、前述のように基底画像が正しく求まらなヽと考えられる。 [0188] 一方、領域 468について考える。図 46 (b)のように領域分割を行った場合、領域 4 67は切り出し領域 471に含まれる。この切り出し領域 471は図 46 (b)から明らかなように、平面が支配的であるため、基底画像が正しく求まらないと考えられる。一方、図 46 (c)のように領域分割を行った場合、領域 467は切り出し領域 472に含まれる。この切り出し領域 472は図 46 (c)から明らかなように、球状物体 461が支配的であるため、前述のように基底画像が正しく求まってヽると考えられる。

[0189] このように、同じ入力画像を利用しても、領域分割の切り出し位置によって、基底画像が正しく求まる領域と求まらない境域が変化する。そこで、切り出し位置を変更しながら基底画像を作成する処理を複数回行い、さらに、こうして求まった複数の基底画像から、正しく基底画像が求まっている領域のみを組み合わせることによって、正確な基底画像を作成することができる。

[0190] このとき、正しく基底画像が求まっているかどうかを判断する評価関数が必要である ο 1

力これは、例えば、定性的 3値表現 (例えば、「山ロ修、福井和広 "定性的 3値表現に基づく画像マッチング"，電子情報通信学会技術研究報告 PRMU2002 - 34, pp. 23-30, 2002」参照）を利用すればよい。定性的 3値表現とは、近傍画素との輝度値の大小関係、同値関係を表現したものであり、光源変動に強い特徴量であることが知られている。ここで、図 47のような 8近傍における定性的 3値表現は、以下のように表現される。

[数 21]

- 1 if f,._K -f_u > Th ^≥Th

0 if|ん—ん, |≤7¾ 」≤ "

1 ifん -./ ≥7¾ Th ただし、 f は (i, j)における輝度値を示している。

，

[0191] 以下、処理の流れについて説明する。

[0192] まず、上述のように、領域分割の切り出し位置 Sを変更しながら基底画像を作成する処理を複数回行い、複数の基底画像を作成する。ここで、切り出 Lf立置 Sで求めた基底画像を [I B I B I B]とする。 [0193] こうして求まった複数の基底画像を図 48のように再度、小領域に分割し、領域ごとに定性的 3値表現を求める。この図において、直線で区切られた領域が分割された小領域を示している。さらに、 K枚の入力画像 I , I の対応領域においても同様

1 2 K

に定性的 3値表現を求める。（X, y)における画像 Iの定性値 3値表現を QTR(I (x, y ) )と表現すると、領域 mの基底画像 [I ^B (m) I ^B (m) I ^B (m)]は以下のように表現さ

1 2 3

れる。

[数 22]

S二 arg maxl ∑∑∑ (ズ，， I_J(X，y) )

1 if QTR(W = QTR(I₂ )

0 if QTR(I )≠QTR(I₂ )

[0194] ここで、定性的 3値表現は 8近傍を利用したが、本手法はもちろんこれに限定されるものではない。例えば、水平方向、垂直方向のみの定性的 3値表現を用いてもかまわない。もちろん、評価関数として必ず定性的 3値表現を使う必要はなぐ例えば、前述のエッジ情報や空間輝度勾配、増分符号相関 (例えば、「村瀬一朗、金子俊一、五十嵐悟 "増分符号相関によるロバスト画像照合"，電子情報通信学会論文誌， vo 1. J83-D-II, No. 5, pp. 1323— 1331, 2000」参照）などであっても力、まわな!/ヽ。

[0195] 図 51— 53はこの処理により基底画像を生成した様子を示している。図 51の入力画像に対し、切り出し位置 Sを 16通り変えながら作成した基底画像を図 52に示す。この図において、実線は分割された領域を示している。図 53は、こうして求めた 16枚の基底画像から、定性値 3値表現を利用して合成した、基底画像を示している。このように、領域分割の切り出し位置を変更し、それぞれの切り出し位置で求まった基底画像を組み合わせることで、正確な基底画像が作成できることがわかる。

[0196] (第 2の実施形態）

図 32は本発明の第 2の実施形態に係る画像処理方法を実行する画像処理装置の構成を示す図である。図 32において、図 1と共通の構成要素には同一の符号を付しており、ここではその詳細な説明を省略する。 [0197] 図 32の構成を図 1と対比すると、光源制御部 101の代わりに、撮像環境において光源環境の変化を検出する光源環境変化検出部 109が設けられている。本実施形態では、光源環境変化検出部 109によって光源環境の変化が検出されたとき、画像入力部 102が撮像を行い、これによつて複数の画像を取得する。すなわち、本実施形態では、光源を自ら制御するのではなぐ光源環境が変化したときに撮像を行うことによって、光源環境の異なる複数の画像を取得する。取得した画像は画像保持部 104に保持され、第 1の実施形態と同様の手法によって処理が行われる。

[0198] 光源環境変化検出部 109は例えば、照度計を有し、この照度計による計測値が変化したとき、光源環境が変化したと判断する構成であればよい。照度計は撮影領域の一部に 1個だけ取り付けてもよいし、複数個取り付けても力まわない。

[0199] あるいは、画面上の輝度値や RGB値などを測定し、この測定値が変化したとき、光源環境が変化したと判断する構成であってもよい。このとき、画面上の一部または複数部に測定対象領域を設定し、その領域の変化のみを調べるようにしても力まわない。なお、このような測定対象領域は、変化が分力りやすいように、白色の領域に設定することが望ましい。また、撮影領域に、例えば完全拡散反射を起し、鏡面反射を生じな、硫酸バリウムゃスぺクトラロンのような測定用対象物を設置し、その領域の輝度値は RGB値の変化を検出するようにしてもょ、。

[0200] また、光源環境は経時的に変化すると考えられるので、光源環境変化検出部 109 は、所定時間経過ごとに光学環境が変化したと判断するような構成としても力まわない。この構成は、例えば窓力太陽光が入り込んでいる環境において、特に有効である。

[0201] また、光源状態を実際に観察し、その変化を検出するようにしてもよい。上述したように、光源状態の観察は、鏡面球を用いて光源状態を撮像したり、広角カメラを天井方向に向けて光源を撮影したりすることによって実現できる。

[0202] また、撮像領域内において最も輝度が高い画素の位置を認識し、その位置が変化したとき、光源環境が変化したと判断するようにしてもよい。これは、最も輝度が高い画素は鏡面反射を起しているはずなので、この位置が動いたときは、光源位置が変化したものと考えられる力もである。 [0203] あるいは、対象物に生じる影の位置が変化したとき、光源環境が変化したものとして検出するようにしてもよい。

[0204] 以上のように本実施形態によると、光源を能動的に変化させなくても、第 1の実施形態と同様に、線形ィ匕画像を生成することができる。

[0205] (第 3の実施形態）

図 33は本発明の第 3の実施形態に係る画像処理方法を実行する画像処理装置の構成を示す図である。図 33において、図 1と共通の構成要素には同一の符号を付しており、ここではその詳細な説明を省略する。

[0206] 図 33の構成を図 1と対比すると、光源制御部 101が省かれている。本実施形態では、上述の方法によって基底画像が既に作成され、画像保持部 104に保持されており、画像入力部 102によって入力された画像の線形ィ匕画像を生成する。このため、基底画像の生成を行う必要がな、ので、高速に処理することができる。

[0207] 画像入力部 102によって入力された画像は、画像保持部 104に保持される。一方、画像保持部 104には、既に基底画像が保持されている。このとき、入力画像と保持されている基底画像とは、視点位置が同じであるものとする。これらの画像に対し、画像領域分割部 105は上述の手法によって画像を小領域に分割する。そして、小領域合成画像生成部 106は画像領域分割部 105によって分割された各小領域において、第 1の実施形態で説明した「（3)入力画像の線形化」の手法によって、入力画像を線形化する。さらに、解が求まらない領域については、画像補間部 107により、補間処理を行い、線形化画像を生成する。この際、上述したように画像領域分割部 105 によって領域分割の方法を変更し、再度、処理を行うようにしても力まわない。

[0208] このように本実施形態では、既に作成された基底画像を画像保持部 104に保持することによって、入力画像に対する線形化画像を、より高速に生成することができる。

[0209] また本実施形態では、第 1の実施形態のように光源環境を変化させたり、第 2の実施形態のように光源環境の変化を検出したりしないため、画像保持部 104に保持された複数の入力画像について、光源環境が異なっている力否かは不明である。ただし、もし、光源環境が等しい入力画像を検出することができれば、これを廃棄し、光源環境が異なる複数の入力画像のみを準備することができる。 [0210] ここで、行列の縮退を調べることによって、 3点の法線方向が等しいか否かを判断できることをすでに説明したが、光源環境が等しい場合も、同様に行列が縮退する。すなわち、同様の手法によって、光源環境が等しい画像を検出することができる。そこで、光源環境が異なる画像のみを用いることが可能になり、したがって、光源環境を能動的に変化させたり、光源環境の変化を検出したりしなくても、線形化画像を生成することができる。

[0211] なお、上述した処理では、ランダムサンプリングにおいて 3点を選択し、 RANSAC を利用して、線形化係数組や基底画素値、さらには線形ィ匕画像を求めるものとしたが、もちろん、他の方法を用いても力まわない。例えば、 4点以上の点をランダムサンプリングし、それらの点から最小自乗法によって、最適な解を求めてもかまわない。また、 RANSACの手法の代わりに、例えば、「向川康博，宫木一，三橋貞彦，尺長健 " Photometric Image-Based Renderingによる仮想照明画像の生成"，情報処理学会論文誌,コンピュータビジョンとイメージメディア， vol.41, no. SIG10 (CVIM1), pp.19- 30, 2000」に記載されたランダムサンプリングを利用した手法を用いてもかまわな!、。

[0212] なお、これまでの説明では、光源は単一光源とした力複数光源であっても力まわない。このことについて説明する。

[0213] 図 34 (a)は 2個の光源 22A, 22Bが存在する環境において、対象物をカメラ 23によって撮影している状況を示す模式図である。 2個の光源 22A, 22Bは色ベクトルが等しい、すなわち同じ光源である。また、カメラ 23の焦点距離やゲイン、ホワイトバランスは固定であるとする。

[0214] 図 34 (a)の状況において撮像される画像 I は、図 34 (b)のように光源 22Aのみが

A+B

存在するときの画像 Iと、図 34 (c)のように光源 22Bのみが存在するときの画像 Iとの

A B

和によって表される。すなわち、

I =1 +1 (式 29)

A+B A B

このとき、光源 22A, 22Bは同じ光源であるため、（式 2)より、 I , Iは次のように同じ

A B

基底ベクトルで表現される。

I =c 'ΐ +c ²I +c ³I (式 30)

A A 1 A 2 A 3

I =c 'i +c ²I +c ³I (式 31) (式 30) (式 31)を (式 29)に代入すると、次の関係式が導かれる。

I =1 +1

A+B A B

= (c + c ²I + c ³I ) + (c + c ²I + c ³i )

A 1 A 2 A 3 B 1 B 2 B 3

= (c i + c ^J) I + (c ² + c ²) I + (c ³ + c ³) I

A B 1 A B 2 A B 3

c 'i + c ¾ + c ³I (式 32)

A+B 1 A+B 2 A+B 3

(式 32)より、光源が複数であっても色ベクトルが同じであれば、同様に処理可能であることがゎカゝる。

[0215] また、これまでの説明では、光源制御部 101が制御できる光源のみが存在する場合を説明してきたが、太陽光や屋内照明のような外光が存在しても構わない。このことについて説明する。

[0216] 外光が存在する場合、実際に撮像される画像 Iは、次の式で表される。

1 =1 +1

[0217] ここで、 Iは光源制御部 101により制御される光源 13のみが照射されたときに撮像される画像、 Iはそれ以外の外光のみによって照らされたときに撮像される画像を示している。

[0218] 通常、このような外光は、光源制御部 101が光源を変化させるような短い時間においてはほとんど変化しないと考えられる。そこで、光源制御部 101が制御する光源 13 を消灯させた状態で画像 Iの撮像を行う。さらに、次の式に従い、すべての入力画像 Iからこの画像 Iの差分をとつた差分画像を、新しい入力画像 Γとする。

I ' =I =1-1

[0219] このような画像 Γを入力画像として利用することによって、外光が存在している環境においても、上述の方法によって処理可能である。

[0220] また、光源の色ベクトルが異なる場合にっ、ても、画素の輝度値を基準に考えると

、光源による輝度値の変化は線形に変化する。このため、色ベクトルが同じ場合と同様に、上述の方法によって処理可能である。

[0221] また、上述の各実施形態では、 Shashuaの画像線形ィ匕を基にしたため、 3枚の基底画像を用いる場合について説明したが、もちろん、本発明はこれに限られるものではない。例えば、点光源が遠方に存在する場合、球面調和関数を利用することによつて、画像を 9枚の基底画像の線形和によって表されることが知られている（例えば、「Ronen Basn, Davia Jacoos, Photometric stereo with general, unknown lignting , IEEE Conference on Computer Vision and Pattern Recognition pp.11-374-381, 2001 」）。ところが、実際には、光源環境が一様でない場合や点光源仮定にならない環境光などが存在する。この場合、画像領域を小領域に分割すると光源環境を一様にすることができるため、やはり本発明は有効である。

[0222] また、基底画像の枚数は、光源状態によって切り替えるようにしても力まわない。例えば、光源は単一で位置も固定、ただし放射輝度のみが異なる場合、基底画像は 1 枚でよぐ放射輝度の変化はゲインのみの変化によって表現される。また、光源が 2 個あるが、位置は固定、放射輝度のみが変化する場合、基底画像は 2枚でよい。これは上述のように、 2個の光源に照らされた状態で撮像される画像は、各光源のみにお V、て撮像された画像の線形和に等、ことから明らかである。

[0223] このような状況は、例えば家庭内の照明器具を光源として利用する場合などに有効である。家庭内に設置された照明器具は通常、複数個あるが、その位置は固定されている。また、インバータ照明であれば放射輝度は変化する。また放射輝度は、照明のちらつきなどにより変化する。

[0224] 以上説明したような画像処理方法を実現する装置を、図 2のような家庭内作業ロボットに設けることによって、家庭内のような一般環境においても、作業を正確に行うことができる。光源環境を固定できる工場などと違い、家庭内では光源環境が大きく変化するため、鏡面反射や影による画像処理精度の劣化が著しい。これは、例えばロボットが対象物を把持する際にその位置姿勢をステレオカメラ等によって計測するときに、計測ミスを招く大きな要因となる。ロボットの例えば腕などのような可動部に光源を設置し、その光源を動力ゝしながら画像を撮像することによって、本発明に係る画像処理を行うことができる。このとき、鏡面反射などの影響が除去された線形化画像が生成されるので、この線形ィ匕画像において対象物の位置計測を行うことによって、正確な位置姿勢計測ができる。

[0225] なお、上述の説明では、対象物は固定であり、光源環境が変化することを前提にしていたが、もちろん、本発明はこれに限られるものではない。例えば、光源が固定であるが、対象物の位置姿勢が変化する場合であってもカゝまわない。この場合、対象物の位置姿勢が変化した画像において特徴点抽出を行い、さら各画像間でその対応点を求めることによって、画像間の対応関係を求めるようにすればよい。特徴点の抽出や対応点検索は例えば、「J. Shi and C. Tomasi, "Good Features to Track," IEEE Conference on Computer Vision and Pattern Recognition ,1994, pp. 593—600, 1994 」のような手法を用いればょ、。

[0226] なお、特許文献 4には、任意の照明を照らして撮影された物体の画像を合成する手法が開示されているが、この手法は第 3の従来例と同様に平行光を前提としているため、一般環境にそのまま適用することは極めて困難である。ところが、上述した本発明の手法を適用することによって、一般環境である点光源においても実施できる。もちろん、光源と対象物の両方を移動させてもカゝまわない。

[0227] また、上記の処理を利用して、突起物や窪みのように、光源からの距離が、周囲と比べて極端に異なる領域を推定することも可能である。すなわち、画像処理によって、対象物の突起物や窪みの位置を推定することができる。この処理について説明する。

[0228] 図 49のように、対象物 21に、光源力もの距離が周囲に比べ、極端に異なる突起物 26が存在する場合を考える。ここで、対象物が拡散物体であると仮定し、カメラは図 4 9の光源 22の近傍に設置されているとする。このとき撮像される画像と、その画像を利用して画像の線形化を行ない、光学特性に基づき分類した結果を示した模式図を図 50 (a)、（b)に示す。図 50 (b)において、黒色領域 27が拡散反射領域と分類された領域を、また、白色領域 28が未定義領域または鏡面反射領域と分類された領域を示している。本来、影領域が存在するが、ここでは説明を簡単にするために省略している。この図から、光源力もの距離がほぼ等しい対象物は正確に拡散反射領域と分類されて!ヽるが、拡散物体である突起物 26はその分類に失敗してヽることがゎカゝる。

[0229] これは以下の理由による。画像の線形ィ匕は前述のように RANS ACを利用して行なつているため、撮像範囲内で拡散反射領域と分類された画素数 Num—dが最大となる線形化画像が作成される。また、前述のように、画像の線形化が正確に動作するためには、光源からの距離がほぼ等しい領域のみで処理を行なう必要がある。ここで、図 6のフローチャートで示した線形化係数組の算出処理におけるステップ SI 3の 3点の選択処理を考える。ここで、突起物から 3点が選択された場合、その 3点における光源との距離 Dとほぼ等しい光源との距離をもつ領域のみが拡散反射領域と分類される。そのため、拡散反射領域と分類される画素数 Num—dは非常に小さくなる。一方、突起物ではない対象物から 3点が選択された場合、拡散反射領域と分類される領域は、その 3点における、光源との距離 Dとほぼ等しい光源との距離をもつ領域となるが、この領域は対象物において支配的である。そのため、拡散反射領域と分類される画素数 Num—dは非常に大きくなる。そのため、図 50 (b)のように、光源からの距離がほぼ等しい対象物は正確に拡散反射領域と分類されるが、拡散物体であるはずの突起物 26はその分類に失敗してしまう。

[0230] 以上のことから、突起物や窪みのように、光源力もの距離が、周囲と比べ極端に異なる被写体領域を推定することが可能である。つまり、対象物が鏡面反射を起こさないことが既知の場合、鏡面反射領域または未定義領域に分類される領域は、周囲と比べ極端に異なる領域であると判断する。

[0231] 鏡面反射や影の影響の除去は、前述のように対象物の位置 ·姿勢検出といった 3 次元計測に利用されることがある。上記の手法により、突起物や窪みの位置を推定することは、 3次元計測を直接行なっているため、非常に有効である。

[0232] もちろん、このように画像の線形ィ匕処理が正確に求まらな、領域を作らな、ために、画像領域分割部 105による小領域分割を、光源力ゝらの距離がほぼ等しい領域ごとに行うようにしてもかまわな!/、。

[0233] また、本発明に係る画像処理は、バイオメトリック認証などで特に有効である。顔認証や虹彩認証において、鏡面反射による映り込みは画像のノイズとなり、認証精度の劣化を招いてしまう。これに対して本発明では、拡散反射のみの画像である線形ィ匕画像を生成できるため、鏡面反射による認証精度の劣化を防ぐことができる。

[0234] 例えば、顔認証を行う場合、光源環境を変更した画像を複数枚撮影し、それらの画像から固定照明環境の線形化画像を作成し、その線形化画像を利用して認証処理を行えばよい。これは、車内での人物認証などに特に有効である。本発明では、対象の位置は固定であることが望ましいが、車内では人物はシート上にしか存在しないため、認証対象は固定されていると仮定することが可能である。

[0235] また、携帯端末を用いた認証に本発明を適用してもよい。図 35はある人物 91が携帯端末 92を利用して顔認証を行っている図である。携帯端末 92はカメラと複数の L ED光源を有しており（図示は省略）、第 1の実施形態に係る画像処理を実行可能に構成されている。そして、生成した線形化画像を利用して、従来の方法によって顔認証を行う。

[0236] 画像入力部 102としてのカメラが撮影を行う際、携帯端末 92内の光源制御部 101 は複数の LED光源を順に点灯させる。これにより、光源環境が異なる複数の画像を撮像することができる。この際、手ブレなどによりカメラ位置がずれてしまう可能性が高いため、ジャイロなど、手ブレ補正処理を導入することが望ましい。

[0237] ここで、光源となりうるものとして、携帯端末 92に設けられた複数の LED光源の他に、環境光源 93が存在している。図 36 (a)は図 35の状況で撮影した画像の一例である。図 36 (a)から分力るように、認証を行う人物領域 94とその背景領域 95とでは光源環境が全く異なる。これは、背景が空などの場合に特に顕著である。人物領域 94 では、携帯端末 92に十分近いため、その光源の影響を強く受ける。一方、背景領域 95では、携帯端末 92からは相当遠いため、その光源の影響はほとんど受けず、した力て環境光源 93が支配的になる。このため、光源環境が全く異なる領域が一枚の画像上に共存することになり、第 3の従来例では、線形化係数を推定することが難しぐ信頼性の低い線形ィヒ画像を作成してしまい、この結果、認証精度を劣化させる。

[0238] 一方、本発明では、図 36 (b)に示すように、画像を小領域 96に分割して処理を行うため、人物領域 94における各小領域では、背景領域 95との境界を含む小領域を除き、光源環境は等しくなる。このため、信頼性の高い線形化画像を生成することができ、この結果、認証精度を向上させることができる。

[0239] また、本発明に係る画像処理は、画像を提示する際に適用してもよヽ。これは、例えばカットされた宝石や金属のように、鏡面反射が非常に強、対象物にぉ、て特に有効である。このような対象物は鏡面反射が強すぎるため、その形状を黙視で確かめることが難しい。ところが、本発明を適用することによって、鏡面反射が生じていな V、画像を生成できるので、形状を確認するのに適した画像を提示することができる。 [0240] また、基底画像を線形結合することによって任意光源の画像を生成することができるので、光源環境が異なった画像を容易に生成することができる。これにより、ある対象物について、様々な光源環境における見え方を前もって確かめることが可能になる。これは例えば、家庭内のインテリアを検討するときに有効である。例えば、椅子を購入する際、その椅子を家のリビングに置いたときどのように見えるのかは、光源環境に大きく依存する。朝と夕方とで印象が全く異なることも多々ある。このため、その椅子の画像を、光源環境を変えて提示することによって、購入者は、様々な光源環境における実際の見え方を前もって確かめることができる。

[0241] なお、本発明に係る画像処理方法は、そのステップの全部または一部を、専用のハードウェアを用いて実現しても力まわないし、または、コンピュータのプログラムによつてソフトウェア的に実現しても力まわない。例えば、本発明の各実施形態に係る画像処理方法は、当該方法を実現するためのプログラムを、コンピュータに実行させること〖こよって、実現することができる

産業上の利用可能性

[0242] 本発明に係る画像処理は、光源環境が複雑な状況下でも、非常に簡易な構成によつて、鏡面反射が生じな!/、理想状態での画像である線形化画像を生成することができ、鏡面反射や影の影響を除去できるので、例えば、家庭内用ロボットや自動車などの画像処理装置、または、認証装置や画像提示装置等に有用である。

Claims

請求の範囲

[1] 同一の対象物を撮影した複数の入力画像を取得する第 1ステップと、

取得した各入力画像を、共通に、複数の小領域に分割する第 2ステップと、分割した各小領域にっヽて、各入力画像から基底画像を生成する第 3ステップと、基底画像が生成不能であった小領域にっ、て、その近傍小領域における基底画像生成に係る演算値を用いた補間処理によって、基底画像を生成する第 4ステップとを備え、

生成した各基底画像を用いて、与えられた光源環境における前記対象物の線形化画像を、生成する

ことを特徴とする画像処理方法。

[2] 請求項 1において、

生成された線形化画像を用いて、画像処理を行うステップを備えた

ことを特徴とする画像処理方法。

[3] 請求項 2において、

前記画像処理は、対象物の光学特性に基づいた領域分離、対象物識別、対象物 3次元位置 ·形状推定のうちの少なくとも 1つの処理を、含む

ことを特徴とする画像処理方法。

[4] 請求項 1において、

前記対象物を、光源環境を変化させつつ、撮影し、前記複数の画像を取得することを特徴とする画像処理方法。

[5] 請求項 4において、

前記複数の画像において、前記対象物に生じる影の位置が異なるように、光源を制御する

ことを特徴とする画像処理方法。

[6] 請求項 1において、

前記対象物を、光源環境の変化を検出したとき、撮影し、前記複数の画像を取得する

ことを特徴とする画像処理方法。

[7] 請求項 6において、

前記対象物に生じる影の位置が変化したとき、光源環境が変化したものと検出することを特徴とする画像処理方法。

[8] 請求項 1において、

前記第 3ステップは、

K枚の入力画像から、 N (Nは正の整数： N< K)枚の基底元画像を選択するステツプと、

残り（K N)枚の入力画像について、前記 N枚の基底元画像を用いて、線形化係数組をそれぞれ決定するステップと、

決定した線形化係数組を用いて前記 N枚の基底元画像を線形化し、 N枚の基底画像を生成するステップとを備えた

ことを特徴とする画像処理方法。

[9] 請求項 8において、

Nは 3である

ことを特徴とする画像処理方法。

[10] 請求項 8において、

前記線形化係数組決定ステップにお、て、

当該入力画像カゝら所定数の点をランダムに選択し、この所定数の点から、線形ィ匕係数組候補を求めるともに、その確からしさを示す評価指標の値を求める候補算出処理を、繰り返し実行し、

前記評価指標の値が最も確から、線形化係数組候補を、当該入力画像の線形化係数組として決定する

ことを特徴とする画像処理方法。

[11] 請求項 10において、

前記候補算出処理は、前記所定数の点の法線方向が互いに異なっている力否かを判断するステップを含み、

繰り返し毎に選択した前記所定数の点が、いずれも、その法線方向が互いに等しいと判断したとき、当該小領域は、基底画像が生成不能と判断することを特徴とする画像処理方法。

[12] 請求項 8において、

前記第 4ステップは、

当該小領域の線形化係数組を、その近傍小領域について求められた線形化係数組を用いて、補間するものである

ことを特徴とする画像処理方法。

[13] 請求項 12において、

補間の際に、各近傍小領域の線形化係数組に係る前記評価指標の値を、加味する

ことを特徴とする画像処理方法。

[14] 請求項 8において、

前記第 3ステップは、

前記 N枚の基底画像を用いて、前記入力画像の少なくともいずれか 1つと光源環境が共通する線形化画像を生成するステップを含む

ことを特徴とする画像処理方法。

[15] 請求項 1において、

前記第 2ステップは、

平行光源とみなせる光の広がりの上限値、光源と対象物との距離、カメラと対象物との距離、およびカメラパラメータに基づいて、小領域のサイズを決定する

ことを特徴とする画像処理方法。

[16] 請求項 1において、

基底画像が生成不能の小領域にっ、て、前記第 4ステップにおける補間処理に代えて、そのサイズを変更し、再度、前記第 3ステップを実行する

ことを特徴とする画像処理方法。

[17] 請求項 1において、

基底画像が生成不能の小領域にっ、て、前記第 4ステップにおける補間処理に代えて、前記小領域の切り出し位置を変更し、再度、前記第 3ステップを実行することを特徴とする画像処理方法。

[18] 請求項 1において、

前記複数の入力画像は、光源が複数存在する環境において、撮影されたものである

ことを特徴とする画像処理方法。

[19] 請求項 1において、

前記複数の入力画像は、家庭内で、撮影されたものである

ことを特徴とする画像処理方法。

[20] 請求項 1において、

家庭内で作業を行うロボットにお、て、実行される

ことを特徴とする画像処理方法。

[21] 請求項 1において、

前記対象物は、人の顔である

ことを特徴とする画像処理方法。

[22] 請求項 1において、

バイオメトリタス認証に利用される

ことを特徴とする画像処理方法。

[23] 請求項 2において、

前記画像処理は、前記対象物が有する突起物または窪みの位置を推定する処理である

ことを特徴とする画像処理方法。

[24] 同一の対象物を撮影した複数の入力画像を取得する画像入力部と、

前記画像入力部によって取得された各入力画像を、共通に、複数の小領域に分割する画像領域分割部と、

前記画像領域分割部によって分割された各小領域について、各入力画像から基底画像を生成する小領域合成画像生成部と、

前記小領域合成画像生成部にぉ、て基底画像が生成不能であった小領域にっヽて、その近傍小領域における基底画像生成に係る演算値を用いた補間処理によつて、基底画像を生成する画像補間部とを備え、生成した各基底画像を用いて、与えられた光源環境における前記対象物の線形化画像を、生成する

ことを特徴とする画像処理装置。

コンピュータに、画像処理を実行させるプログラムであって、

同一の対象物を撮影した複数の入力画像を、共通に、複数の小領域に分割するステツプと、

分割した各小領域にっヽて、各入力画像から基底画像を生成するステップと、基底画像が生成不能であった小領域にっ、て、その近傍小領域における基底画像生成に係る演算値を用いた補間処理によって、基底画像を生成するステップと、生成した各基底画像を用いて、与えられた光源環境における前記対象物の線形化画像を、生成するステップと

をコンピュータに実行させる画像処理プログラム。