JP6900609B2

JP6900609B2 - 広角画像を修正するシステム及び方法

Info

Publication number: JP6900609B2
Application number: JP2019524215A
Authority: JP
Inventors: シュー、ルイ; タン、ケタン; シェン、シャオジエ; チェン、チー
Original assignee: SZ DJI Technology Co Ltd
Current assignee: SZ DJI Technology Co Ltd
Priority date: 2016-12-06
Filing date: 2016-12-06
Publication date: 2021-07-07
Anticipated expiration: 2036-12-06
Also published as: EP3523777A1; WO2018102990A1; EP3523777A4; US11195252B2; US20190287213A1; CN109964245A; JP2019536151A

Description

著作権表示
この特許文献の開示の部分は、著作権保護の対象であるものを含む。著作権の所有者は、特許商標庁において特許ファイル又は記録以外は全てのいかなる著作権の権利も保有するように、誰でも特許文献又は特許開示の複写に全く異議がない。

開示の実施形態は一般的に、画像処理及びコンピュータ視覚に関し、より詳細には、広角画像の修正（但し、限定されない）に関する。

広い画角が有益である様々な娯楽的及び商業的用途では、魚眼レンズなどの広角レンズを使用することができる。例えば、魚眼レンズは、パノラマカメラ及び視覚システム（例えば、駐車又は安全監視用）などの製品で有用である。しかし、広角画像における形状歪曲を効率的に除去する必要があるために、殆どの広角レンズの用途は不十分である。このことが、本発明の実施形態が取り組むものである一般的な分野である。

広角レンズを用いて収集される広角画像を修正する技術的解決策を提供するシステム及び方法を、ここで説明する。システムは、広角レンズに対する投影モデルを取得することができる。投影モデルは、対象画像における複数の対象画像部分に広角画像を対応付ける。更に、システムは、投影モデルに基づいて、複数の対象画像部分における対象画素に対する広角画像における複数の基準画素を判定することができる。次に、システムは、広角画像における複数の基準画素に基づいて、前記対象画素に対する１つ又は複数の画素値を計算することができる。

魚眼レンズを用いて収集される魚眼画像を修正する技術的解決策を提供するシステム及び方法も、ここで説明する。システムは、対象画像における対象画素のセットに対して、魚眼画像における１つ又は複数の基準点を判定することができる。更に、システムは、１つ又は複数の基準点に基づいて魚眼画像の小区分を取得することができる。次に、システムは、魚眼画像の小区分における１つ又は複数の画素の画素値に基づいて、対象画素のセットにおける前記対象画素の各々に対する１つ又は複数の画素値を計算することができる。

本発明の様々な実施形態による、魚眼視覚システムの例示的な説明を示す。本発明の様々な実施形態による、魚眼画像を修正する投影モデルを用いた例示的な説明を示す。本発明の様々な実施形態による、魚眼画像を修正するプロセッサの例示的な説明を示す。本発明の様々な実施形態による、魚眼画像を修正する例示的な投影モデルの説明を示す。本発明の様々な実施形態による、対象画像における対象画素の処理を例示する。本発明の様々な実施形態による、例示的な魚眼画像の修正を例示する。本発明の様々な実施形態による、広角レンズを用いて収集される広角画像を修正するフローチャートを示す。本発明の様々な実施形態による、魚眼画像を修正するメッシュベースの手法を用いた例示的な投影モデルを例示する。本発明の様々な実施形態による、メッシュベースの手法を用いた対象画素の処理を例示する。本発明の様々な実施形態による、メッシュベースの手法を用いた魚眼画像の修正を例示する。本発明の様々な実施形態による、メッシュベースの手法を用いて魚眼画像を修正する分割方式を例示する。本発明の様々な実施形態による、魚眼レンズを用いて収集される魚眼画像を修正するフローチャートを示す。

本発明は、同じ参照符号が同じ要素を示す添付図面で、限定の目的でなく、一例として例示される。この開示における「１つの（ａｎ）」又は「１つの（ｏｎｅ）」又は「幾つかの（ｓｏｍｅ）」実施形態への言及は、必ずしも同じ実施形態への言及である必要はなく、このような言及は少なくとも１つを意味することに留意すべきである。

下記の本発明の説明では、広角レンズ用の例として魚眼レンズを使用している。他のタイプの広角レンズを限定無しで使用することができることが、当業者に明らかである。

様々な実施形態によれば、広角レンズを用いて収集される広角画像を修正する技術的解決策を提供することができる。システムは、広角レンズに対する投影モデルを取得することができる。投影モデルは、対象画像における複数の対象画像部分に広角画像を対応付ける。更に、システムは、投影モデルに基づいて、複数の対象画像部分における対象画素に対する広角画像における複数の基準画素を判定することができる。次に、システムは、広角画像における複数の基準画素に基づいて、前記対象画素に対する１つ又は複数の画素値を計算することができる。

様々な実施形態によれば、魚眼レンズを用いて収集される魚眼画像を修正する技術的解決策を提供することができる。システムは、対象画像における対象画素のセットに対して、魚眼画像における１つ又は複数の基準点を判定することができる。更に、システムは、１つ又は複数の基準点に基づいて魚眼画像の小区分を取得することができる。次に、システムは、魚眼画像の小区分における１つ又は複数の画素の画素値に基づいて、対象画素のセットにおける前記対象画素の各々に対する１つ又は複数の画素値を計算することができる。

図１は、本発明の様々な実施形態による魚眼視覚システムの例示的な説明を示す。図１に示すように、魚眼画像１０２を収集するために、魚眼レンズ１１０を有するカメラなどの画像デバイス１０１を使用することができる。

例えば、カメラは、１８０度の画角を有する魚眼レンズ１１０を有してもよく、カメラの前で半球面視野の画像を収集することができる。代わりに、魚眼レンズ１１０は、異なる画角を有してもよい。従って、画像デバイス１０１は、異なる視野を有する画像を収集することができる。図１に示す例において、魚眼画像１０２は、円形の魚眼画像であることができる。この魚眼画像は、画像フレームに内接する画像円を有する。代わりに、魚眼画像１０２は、外接する画像円の一部を有するフルフレームの魚眼画像であることができる。

様々な実施形態によれば、従来の画像に比べて、魚眼画像１０２は、より広い視野のために、重要なより多くの撮像情報を生成することができる。従って、様々な用途で魚眼レンズ１１０を有する画像デバイス１０１を使用するのに有利である。様々な実施形態によれば、様々な用途１０３（例えば、コンピュータ視覚）で、魚眼画像１０２を使用することができる。例えば、狭い画角を有する多くの従来のカメラの組み合わせの代わりに、無人機（ＵＡＶ）は、システムの重量及び複雑さを抑制しながら、様々なコンピュータ視覚ベースのナビゲーションタスクを実行する魚眼レンズカメラ又は画像センサを当てにすることができる。

一方、魚眼レンズなどの超広角レンズを含む広角レンズは、従来のピンホールカメラモデルを用いて近似されるのが難しい固有歪曲を有することがある。図１に示すように、魚眼画像１０２は、特にエッジに近い領域で、形状歪曲を有する。場合によっては、異なる魚眼レンズは、様々に画像を歪曲することがあり、マッピング機能又は投影モデルを用いて特徴づけることができる。

様々な用途、例えば、異なるコンピュータ視覚アルゴリズムに対して支援するために、システムは、収集魚眼画像における形状歪曲を補正又は除去する修正処理を使用することができる。場合によっては、魚眼画像を修正するために、様々なアルゴリズムを使用することができる。例えば、魚眼画像を修正するために、経度マッピングを有する球面座標方法を使用することができる。しかし、この方法の精度は不十分である。更に、球面座標方法は、魚眼画像のエッジ部分を捨てる必要があることがあり、コンピュータ視覚の分野で用途を限定する。一方、多項式座標変換方法は、高次多項式を適合させる複雑で集約的な計算を必要とする。更に、球面透視投影制約に基づく修正方法は、接線方向及び半径方向変形パラメータについて解く非線形最適化方法を使用する必要がある（即ち、この方法の精度は、初期値の選択に左右される）。これらの方法は両方とも、計算的に集約的であり、コンピュータ視覚の分野で用途を限定する。

図２は、本発明の様々な実施形態による、画像処理環境２００で魚眼画像を修正する投影モデルを用いた例示的な説明を示す。図２に示すように、魚眼画像２０１を修正するために、投影モデル２１０を使用することができる。魚眼レンズを有するカメラを用いて、魚眼画像を収集してもよい。一実施形態において、投影モデル２１０は、狭い画角を有する従来のカメラによって使用されることが一層多いピンホールモデルに基づくことができる。ピンホールモデルを魚眼画像２０１に適用するという欠点は、各像点に対する後面投影光線の方向を知る必要があるために、完全な較正を実現するのが難しいことである。

様々な実施形態によれば、魚眼画像２０１などの広角画像を対象画像２０２の多くの画像部分２１２に投影するために、投影モデル２１０を使用することができる。例えば、立方体表面投影モデルは、魚眼画像２０１（例えば、半球面視野などの球面視野の少なくとも一部を有する）を５つの画像部分（例えば、立方体表面の前、後、左、右、及び下（又は上）の部分）に投影することができる。代わりに、投影モデルは、魚眼画像２０１を任意の数の画像部分に投影するように構成されることができる。

様々な実施形態によれば、投影モデル２１０に基づいて、対象画像２０２における各画素に対する画素値を判定することができる。ここで、対象画像２０２における対象画素の投影は、魚眼画像２０１における画素に正確に位置していないかもしれない。従って、対象画像２０２における画素２０４の画素値を計算するために、隣接ブロック２０３における多くの魚眼画像画素の画素値を使用してもよい。

図３は、本発明の様々な実施形態による、魚眼画像を修正するプロセッサを用いた例示的な説明を示す。図３に示すように、ステップ３０１で、プロセッサは、魚眼較正に基づいて様々な較正パラメータを取得することができる。様々な実施形態によれば、較正処理では、投影モデル（又はカメラモデル）に基づいて、魚眼レンズなどの広角レンズを較正することができる。

図４は、本発明の様々な実施形態による、魚眼画像を修正する例示的な投影モデル４００の説明を示す。図４に示すような例において、下記の多項式関数を用いて、投影モデルに基づいて、魚眼画像４０１を修正することができる。
ｆ（ρ）＝ａ_０＋ａ_１ρ＋ａ_２ρ^２＋ａ_３ρ^３＋ａ_４ρ^４
但し、魚眼画像４０１における画像座標系（Ｕ−Ｖ）の各点（ｕ、ｖ）に対して、

であり、ｆ（ｕ、ｖ）＝ｆ（ρ）は、アフィン変換による基準座標系（Ｘ−Ｙ−Ｚ）における対応するマッピング値４０５である。

様々な実施形態によれば、魚眼レンズ４０３の較正によって、上述の多項式関数における係数を判定することができる。例えば、較正処理は、魚眼レンズ４０３を使用して市松模様の画像を取得するステップと、水平及び垂直セルの数、セルサイズ及び他のパラメータに基づいてコーナー点を抽出するステップとを含んでもよい。次に、較正処理は、目的関数を最適化することによって、多項式係数などの較正パラメータを取得することができる。更に、較正処理は、画像中心位置を調整して較正結果を最適化することができる。

図３に戻って、ステップ３０２で、プロセッサは、基準座標系を設定することができる。取得された較正パラメータに基づいて、基準座標系を設定することができる。

図４に示すように、魚眼画像座標系を基準座標系と相関させるために、球面４２０を使用することができる。例では、魚眼画像４０１及び球面４０２を、軸４１０に沿って整列させることができる。軸４１０は、魚眼画像４０１の中心点（Ｏ'）（例えば、基準座標系Ｘ−Ｙ−Ｚの原点）及び球面４０２の中心点（Ｏ''）（例えば、画像座標系Ｕ−Ｖの原点）を通過することができる。更に、魚眼レンズ４０３用の光学的中心（Ｏ）を、軸４１０に沿って整列させることもできる。例えば、１８０度の画角を有する魚眼レンズの場合、光線が、光学的中心（Ｏ）から放出して、魚眼画像４０１のエッジ点を通過し、更に半球面４０２のエッジ点と交差するような位置に、魚眼レンズ４０３用の光学的中心（Ｏ）を構成することができる。

図４に示すように、魚眼画像４０１における座標（ｕ、ｖ）を用いた点ｐを、基準座標系における球面４０２上の座標（ｘ、ｙ、ｚ）を用いた点ｐ'に投影することができる。ここで、魚眼画像４０１における原点Ｏ'からの、座標（ｕ、ｖ）を用いた点ｐの距離は、

である。投影モデル４００は、対応するマッピング値４０５であるｆ（ρ）によって、魚眼画像４０１と球面４０２と魚眼レンズ４０３の光学的中心との間の空間的関係を判定することができる。例えば、次式に基づいて、基準座標系における投影モデル４００を判定することができる。

従って、画像円における各点（ｕ、ｖ）を、基準座標系Ｘ−Ｙ−Ｚにおける球面４０２上の点（ｘ、ｙ、ｚ）に投影することができる。

図３に戻って、ステップ３０３で、システムは、投影モデルに基づいて対象画像の異なる画像部分を取得するために魚眼画像を投影することができる。異なる数の画像部分に魚眼画像を投影するために、異なる投影モデルを規定することができる。従って、魚眼画像に含まれる歪曲を、対象画像の個々の画像部分（別々の投影角に対応する）から除去することができる。

例えば、図４に示すように、球面４０２上の点を異なる立方体表面４２０に投影するために、投影モデル４００を使用することができる。異なる立方体表面４２０を直接目指す球面４２０の中心（Ｏ''）に位置決めされた５つの画像ピンホールカメラを用いて、立方体表面投影モデル４００を規定することができる。例えば、次式を用いて、各撮像装置ピンホールカメラに対する投影モデルを判定することができる。
Ｒ＝Ｒ_ｚ＊Ｒ_ｙ＊Ｒ_ｘ
但し、

式中、ｘ＝｛０、−９０、０、９０、０｝、ｙ＝｛９０、０、０、０、−９０｝、及びｚ＝０。

従って、魚眼画像４０１における各点を、半球面４０２上の点に投影することができ、次に、それに応じて立方体表面上の点に投影することができる。その結果、このような立方体表面投影モデルを用いて計算された対象画像は、魚眼画像４０１に直接面する正方形領域と、側面角用の４つの長方形領域とを含むことができる。半球面視野の場合、半球面４０２から投影のために、各側面立方体表面の半分だけを使用する。他の例において、面４０２から投影のために、立方体表面の異なるサイズ又は部分を使用することができる。

図５は、本発明の様々な実施形態による、画像処理環境５００での対象画像における対象画素の処理を例示する。図５に示すように、多くの画像部分５２１〜５２５を有する対象画像５０２を用いて、魚眼画像５０１を修正することができる。例えば、対象画像５０２は、正方形領域である中心部分５２５を含むことができる。正方形領域５２５を囲むのは、４つの長方形領域５２１〜５２４である。

図４に示すような例において、半球面視野に９０度の画角を適用すると、式ｗ＝ｈ＝２ｆ＋ｖを用いて、画素焦点距離ｆ及び重複画素数ｖに基づいて、対象画像の中心部分（即ち、ブロック５２５）に対するサイズを判定することができる。例えば、様々な用途又は異なる処理モジュールによって使用可能な対象画像５０２は、６４０×４８０の解像度を有してもよい。従って、２４０の画素焦点距離の場合、中心部分に対するサイズは、４８０×４８０であることができる。更に、対象画像の４つの側面部分に対するサイズはそれぞれ、４８０×２４０及び２４０×４８０であることができる。

様々な実施形態によれば、投影モデルに基づいて、対象画像５０２における各点を取得することができる。図４に示すような例において、魚眼較正パラメータに基づいて設定された基準座標系を用いて、対象画像における画素ｐ''を、球面４０２上の点ｐ'にさかのぼることができる。次に、システムは、球面４０２上の点ｐ'、即ち、（立方体表面４２０上の）対象画像における画素ｐ''に対応する魚眼画像４０１上の点ｐの座標を取得することができる。

図５に示すように、魚眼画像５０１における投影座標５１１（例えば、図４における点ｐ）に基づいて、対象画像における画素５１２（例えば、図４における点ｐ''）に対する画素値を判定することができる。例えば、魚眼画像５０１における４つの隣接画素５１０の加重平均を適用することによって、対象画素５１２に対する画素値を計算することができる。例えば、次式を用いて、魚眼画像５０１における投影座標（ｉ＋ｇ、ｊ＋ｈ）を用いた各対象画素に対して、画素値ｐを判定することができる。
ｐ（ｉ＋ｇ，ｊ＋ｈ）＝（１−ｇ）×（１−ｈ）×ｐ（ｉ，ｊ）＋（１−ｇ）×ｈ×ｐ（ｉ，ｊ＋１）＋ｇ×（１−ｈ）×ｐ（ｉ＋１，ｊ）＋ｇ×ｈ×ｐ（ｉ＋１，ｊ＋１）
ここで、ｐ（ｉ、ｊ）は、魚眼画像５０１における座標（ｉ、ｊ）での画素値を表し、ｇ及びｈは、投影座標が整数画素位置（ｉ、ｊ）に位置していないかもしれないので、対応する魚眼画像画素（ｉ、ｊ）からの浮動相対距離（即ち、０と１との間の値を有する）を示す。

様々な実施形態によれば、較正後の各魚眼レンズに対して、投影モデルを判定することができる。更に、対象画像５０２における各画素に対する投影座標を、計算して記憶することができる。従って、事前記憶マッピング関係を適用することによって、較正魚眼レンズを用いて収集される任意の画像を修正することができる。即ち、記憶投影座標に基づいて、対象画像５０２における各対象画素に対する画素値を推定することができる。

図６は、本発明の様々な実施形態による、例示的な魚眼画像の修正を例示する。図６に示すように、魚眼画像６０１を修正する修正処理６００は、対象画像６０２に対して計算することができる。対象画像６０２は、正方形中心部分と、正方形中心部分を囲む４つの長方形部分とを含むことができる。各画像部分は、それぞれの方向に対する従来のピンホール投影モデルに従うことができる。従って、更なる変換又は変更の必要無しに、様々な用途のために、対象画像６０２の個々の部分を使用することができる。例えば、魚眼レンズを活用するＵＡＶの周囲環境用の深度マップを計算するために、修正処理６００を使用することができる。

図７は、本発明の様々な実施形態による、広角レンズを用いて収集される広角画像を修正するフローチャートを示す。図７に示すように、ステップ７０１で、システムは、広角レンズに対する投影モデルを取得することができる。投影モデルは、対象画像における複数の対象画像部分に広角画像を対応付ける。例えば、投影モデルは、上述の節に記載のような球面モデル及び立方体表面モデルを含むことができる。更に、ステップ７０２で、システムは、投影モデルに基づいて、複数の対象画像部分における対象画素に対する広角画像における複数の基準画素を判定することができる。次に、ステップ７０３で、システムは、広角画像における複数の基準画素に基づいて、前記対象画素に対する１つ又は複数の画素値を計算することができる。

図８は、本発明の様々な実施形態による、魚眼画像を修正するメッシュベースの手法を用いた例示的な投影モデルを例示する。図８に示すように、魚眼画像８０１を修正するために、対象画像８０２を使用することができる。

様々な実施形態によれば、魚眼画像８０１の修正は、メッシュベースの手法に基づくことができる。対象画像８０２における各対象画素に対する魚眼画像８０１における投影座標を直接計算する代わりに、修正処理８００は、対象画像８０２における所定のメッシュを活用することができる。例えば、システムは、対象画像８０２における対象画素のメッシュ（又はメッシュ画素８１２）に対する座標を計算することができる。場合によっては、メッシュ画素８１２を、対象画像８０２で均一に分布させることができる。代わりに、メッシュ点８１２の分布は、均一でなくてもよく、下記の特定の規則（例えば、対数関数を用いて）で構成可能である。場合によっては、多くのメッシュ画素８１２は、様々な形状、例えば、長方形などの多角形形状を成すことができる。

魚眼画像における投影座標を直接計算して事前記憶する代わりに、対象画像８０２における各対象画素に対して、システムは、各メッシュ画素８１２に対する投影座標８１１を最初に計算することができる（即ち、各メッシュ画素に対するマッピング関係を判定する）。ここで、システムは、各メッシュ画素８１２に対して、魚眼画像における投影座標を単に事前記憶してもよい。次に、システムは、メッシュ画素８１２に基づく補間を用いて、対象画素（メッシュ画素８１２でない）に対する投影座標を推定することができる。

図８に示すように、対象画像９０２における長方形メッシュセルに対するコーナー点であるメッシュ画素ａ−ｄを、魚眼画像８０１における点ａ'−ｄ'にマップすることができる。投影変換のために、点ａ'−ｄ'は、魚眼画像８０１における長方形のコーナーに正確に位置していないかもしれない。従って、魚眼画像８０１における点ａ'−ｄ'の座標に基づく補間を用いて、メッシュセル内の任意の画素に対する魚眼画像８０１における投影座標を推定することができる。

例えば、位置（ｉ、ｊ）における画素ｔ８０４の場合、対象画像８０２におけるサイズＮ×Ｎ（例えば、４×４）を有するメッシュセルにおいて、次式を用いて、魚眼画像８０１における投影座標８０３を計算することができる。
ｘ_ｔ＝（Ｎ−ｉ）（（Ｎ−ｊ）ｘ_ａ＋ｊｘ_ｂ）＋ｉ（（Ｎ−ｊ）ｘ_ｃ＋ｊｘ_ｄ）
ｙ_ｔ＝（Ｎ−ｉ）（（Ｎ−ｊ）ｙ_ａ＋ｊｙ_ｂ）＋ｉ（（Ｎ−ｊ）ｙ_ｃ＋ｊｙ_ｄ）

様々な実施形態によれば、魚眼画像８０１における投影座標８０３に基づいて、対象画像８０２における対象画素８０４に対する画素値を判定することができる。図９に示すような例において、画像処理環境９００における対象画素９１２に対する投影座標９１１に基づいて、魚眼画像９０１における隣接ブロック９１０を判定することができる。次に、例えば線形補間を用いて、隣接ブロック９１０における画素に基づいて、対象画素９１２に対する画素値を計算することができる。

例えば、次式を用いて、魚眼画像での隣接ブロック９１０における画素に対する座標を判定することができる。
ｘ_ｌ＝ｆｌｏｏｒ（ｘ_ｔ），ｘ_ｕ＝ｘ_ｌ＋１
ｙ_ｌ＝ｆｌｏｏｒ（ｙ_ｔ），ｙ_ｕ＝ｙ_ｌ＋１
ｘ_ｄ＝ｘ_ｔ−ｘ_ｌ
ｙ_ｄ＝ｙ_ｔ−ｙ_ｌ

次に、次式を用いて、位置（ｉ、ｊ）における画素ｔに対する画素値を判定することができる。
Ｉ_ｔ＝（１−ｙ_ｄ）（（１−ｘ_ｄ）Ｉ（ｘ_ｌ，ｙ_ｌ）＋ｘ_ｄＩ（ｘ_ｌ＋１，ｙ_ｌ））＋ｙ_ｄ（（１−ｘ_ｄ）Ｉ（ｘ_ｌ，ｙ_ｌ＋１）＋ｘ_ｄＩ（ｘ_ｌ＋１，ｙ_ｌ＋１））

図１０は、本発明の様々な実施形態による、メッシュベースの手法を用いた魚眼画像の修正を例示する。図１０に示すように、投影モデル１０１０に基づく対象画像１００２を用いて、魚眼画像１００１を修正することができる。修正は、メッシュベースの手法に基づくことができる。

様々な実施形態によれば、投影モデル１０１０を用いて、修正処理１０００は、メッシュ画素１０２２と魚眼画像における投影座標１０２１との間のマッピング関係１０２０を判定することができる。ここで、投影座標１０２１を、対象画像１００２における画像小区分１０１２に対する基準点として判定する。例えば、修正処理１０００は、投影モデル１０１０を用いて、各メッシュ画素１０２２に対する投影座標１０２１を計算することができる。次に、修正処理１０００は、メッシュ点１０２２に対する投影座標１０２１に基づいて、魚眼画像１００１における画像領域（例えば、画像小区分１０１１）を判定することができる。例えば、この画像小区分１０１１は、メッシュ画素１０２２に対する投影座標１０２１を囲む最小境界長方形領域であることができる。

様々な実施形態によれば、メッシュベースの手法は、入出力（Ｉ／Ｏ）帯域幅及びメモリの消費を減らすことができる。場合によっては、ｍ×ｍのセルサイズを有するメッシュの場合、座標マッピングを記憶する必要がある画素の必要数を、

（但し、Ｗは画像幅であり、Ｈは画像高さである）と推定することができる。図８に示すような例において、メッシュサイズは、４×４である。従って、処理及び事前記憶される必要がある画素の数を、（全画素に対するマッピングを記憶する直接マッピング手法と比べて）大幅に減らすことができる。その結果、メッシュベースの手法を用いて、システムは、魚眼画像８０１を修正する効率を向上させることができ、消費メモリを減らすことができる。

図１１は、本発明の様々な実施形態による、メッシュベースの手法を用いて魚眼画像を修正する分割方式を例示する。図１１に示すように、分割方式１１００を用いて、修正タスクを効率的に実行する多くのブロック（例えば、ブロック１〜７）に、対象画像１１０１を分割することができる。更に、対象画像１１０２の個々のブロックに対して、修正タスクを別々に（連続的に、又は並列に）実行することができる。その後、システムは、個々のブロックに対する結果を対象画像１１０２に統合することができる。

様々な実施形態によれば、個々の画像ブロック１〜７における対象画素に対する画素値を計算するために、プロセッサ１１１１は、計算を支援するメモリ１１１０に魚眼画像１１０１の対応するブロックを読み取ることができる。プロセッサ１１１１は、それぞれの画像ブロックにおける選択メッシュ点に対する事前記憶投影座標に基づいて、個々の画像ブロック内の各対象画素に対する投影座標を計算することができる。

図８に戻って、実装及び入出力（Ｉ／Ｏ）効率の達成を簡単にするために、魚眼画像８０１の修正を実行するプロセッサは、（メッシュ点８１２に対する）魚眼画像８０１における投影座標８１１を囲む最小境界長方形領域を活用することができる。形状歪曲のために、対象画像（４つのコーナーでメッシュ点８１２を有する）における長方形を、魚眼画像における不規則な形状に投影することができる。従って、このような不規則な形状に対する最小境界長方形領域は、特に魚眼画像８０１のエッジに近いメッシュ点に対して、魚眼画像８０１の実質的な領域を含み得る。

様々な実施形態によれば、対象画像１１０１の分割は、エッジ部分における魚眼画像の歪曲を考慮することができる。場合によっては、システムは、分割方式を対象画像に適用することによって、メモリ及びＩ／Ｏ消費を減らすことができる。例えば、修正計算を実行する画像ブロックの幅を小さくするために、対象画像１１０２の上下の部分をそれぞれ、多くのブロック、例えばブロック（１、２）及び（６、７）に更に分割することができる。代わりに、分割方式によって、対象画像１１０２の左右の部分を、多くのブロック（例えば、垂直積み重ねのブロック）に更に分割することができる。従って、修正プロセッサ１１１１は、修正を実行する場合、魚眼画像における大規模な画素値を処理する必要がない。その後、対象画像１１０１の異なる部分を、出力のために一緒に組み合わせることができる。

図１２は、本発明の様々な実施形態による、魚眼レンズを用いて収集される魚眼画像を修正するフローチャートを示す。図１２に示すように、ステップ１２０１で、システムは、対象画像における対象画素のセットに対して、魚眼画像における１つ又は複数の基準点を判定することができる。更に、ステップ１２０２で、システムは、１つ又は複数の基準点に基づいて魚眼画像の小区分を取得することができる。次に、ステップ１２０３で、システムは、魚眼画像の小区分における１つ又は複数の画素の画素値に基づいて、対象画素のセットにおける前記対象画素の各々に対する１つ又は複数の画素値を計算することができる。

ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせを用いて、又はこれらの援助によって、本発明の多くの特徴を実現することができる。その結果、処理システム（例えば、１つ又は複数のプロセッサを含む）を用いて、本発明の特徴を実現してもよい。例示的なプロセッサは、１つ又は複数の汎用マイクロプロセッサ（例えば、シングル又はマルチコアプロセッサ）、特定用途向け集積回路、特定用途用命令セットプロセッサ、グラフィックス処理ユニット、物理処理ユニット、デジタル信号処理ユニット、コプロセッサ、ネットワーク処理ユニット、音声処理ユニット、暗号化処理ユニットなどを含むことができるが、これらに限定されない。

ここに示す特徴の何れかを実現する処理システムをプログラム化するのに使用可能な命令が記憶された記憶媒体（媒体）又はコンピュータ可読媒体（媒体）であるコンピュータプログラム製品を用いて、又はコンピュータプログラム製品の援助によって、本発明の特徴を実現することができる。記憶媒体は、フロッピーディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、及び光磁気ディスクを含む任意のタイプのディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリデバイス、磁気又は光カード、ナノシステム（分子メモリＩＣを含む）、又は、命令及び／又はデータを記憶するのに適した任意のタイプの媒体又はデバイスを含むことができるが、これらに限定されない。

機械可読媒体（媒体）の何れか１つに記憶される場合、処理システムのハードウェアを制御し、本発明の結果を活用する他の機構と処理システムが対話できるソフトウェア及び／又はファームウェアに、本発明の特徴を組み込むことができる。このようなソフトウェア又はファームウェアは、アプリケーションコード、デバイスドライバ、オペレーティングシステム及び実行環境／容器を含んでもよいが、これらに限定されない。

例えば、特定用途向け集積回路（ＡＳＩＣｓ）及びフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）デバイスなどのハードウェア構成要素を用いたハードウェアで、本発明の特徴を実現してもよい。ここに記載の機能を実行するようなハードウェア状態機械の実装形態は、当業者に明らかである。

更に、１つ又は複数のプロセッサ、本開示の教示に従ってプログラム化されたコンピュータ可読記憶媒体及び／又はメモリを含む、１つ又は複数の従来の汎用又は専用デジタルコンピュータ、計算デバイス、機械、又はマイクロプロセッサを用いて、本発明を都合よく実行してもよい。ソフトウェア業界の当業者に明らかであるように、本開示の教示に基づいて、熟練プログラマによって、適切なソフトウェアコーディングを容易に準備することができる。

本発明の様々な実施形態が上述されているが、実施形態は、一例として提示されており、限定されないものとする。本発明の精神と範囲から逸脱することなく、形態及び詳細の様々な変更を加えることができることが、当業者に明らかである。

本発明は、特定機能の性能及びこの特定機能の関係を例示する機能ビルディングブロックの援助によって上述されている。これらの機能ビルディングブロックの境界は、説明の便宜上、ここで任意に定義されていることが多い。特定機能及びこの特定機能の関係を適切に実行する限り、代わりの境界を定義することができる。従って、このような任意の代わりの境界は、本発明の範囲と精神の範囲内である。

本発明の上述の説明は、例示及び説明の目的で提供されている。完全に網羅されているものではなく、又は、開示の正確な形態に本発明を限定するものでもない。本発明の範囲は、上述の例示的な実施形態の何れかによって限定されるべきではない。多くの変更及び変型は、当業者に明らかである。変更及び変型は、開示の特徴の任意の関連組み合わせを含む。本発明の原理及びその実際の用途を最も良く説明するために、実施形態は、選択され記載された。これにより、考えられる特定の用途に適した様々な変更を有する、様々な実施形態に対する本発明を、他の当業者は理解することができる。下記の特許請求の範囲及びそれらの均等物によって、本発明の範囲を規定することを意図している。
［項目１］
魚眼レンズを用いて収集される魚眼画像を修正する方法であって、
対象画像における対象画素のセットに対して、上記魚眼画像における１つ又は複数の基準点を判定するステップと、
上記１つ又は複数の基準点に基づいて上記魚眼画像の小区分を取得するステップと、
上記魚眼画像の上記小区分における１つ又は複数の画素の画素値に基づいて、対象画素の上記セットにおける上記対象画素の各々に対する１つ又は複数の画素値を計算するステップと
を含む方法。
［項目２］
投影モデルに基づいて上記魚眼画像における上記１つ又は複数の基準点の各々に対する１つ又は複数の座標を判定するステップを更に含む、項目１に記載の方法。
［項目３］
上記投影モデルは、上記魚眼レンズに対する１つ又は複数の較正パラメータを用いて設定される基準座標系に基づく、項目２に記載の方法。
［項目４］
対象画素の上記セットは、上記対象画像の小区分の範囲内にあり、上記対象画像の上記小区分は、４つのコーナー点を有する長方形であり、上記魚眼画像における上記１つ又は複数の基準点は、上記対象画像の上記小区分の上記４つのコーナー点に対応する、項目１に記載の方法。
［項目５］
上記魚眼画像の上記小区分は、上記１つ又は複数の基準点を囲む最小境界長方形である、項目４に記載の方法。
［項目６］
上記１つ又は複数の基準点を囲む上記魚眼画像の上記小区分を、分割方式に基づいて上記魚眼画像の一部から取得する、項目５に記載の方法。
［項目７］
上記分割方式を、メモリ使用のために最適化する、項目６に記載の方法。
［項目８］
上記対象画像における対象画素に対応する、上記１つ又は複数の基準点に対して、上記魚眼画像の上記小区分における１つ又は複数の投影座標を判定するステップを更に含む、項目４に記載の方法。
［項目９］
上記対象画素に対して、上記魚眼画像の上記小区分における上記投影点の上記１つ又は複数の座標に基づく上記魚眼画像の上記小区分における隣接ブロックを選択するステップを更に含む、項目８に記載の方法。
［項目１０］
上記隣接ブロックは、上記魚眼画像の上記小区分における４つの隣接画素を含む、項目９に記載の方法。
［項目１１］
魚眼レンズを用いて収集される魚眼画像を修正するシステムであって、
１つ又は複数のコンピュータ実行可能命令を記憶するメモリと、
１つ又は複数のプロセッサと
を含み、
上記１つ又は複数のプロセッサは、
上記メモリにアクセスし、上記コンピュータ実行可能命令を実行して、
対象画像における対象画素のセットに対して、上記魚眼画像における１つ又は複数の基準点を判定するステップと、
上記１つ又は複数の基準点に基づいて上記魚眼画像の小区分を取得するステップと、
上記魚眼画像の上記小区分における１つ又は複数の画素の画素値に基づいて、対象画素の上記セットにおける上記対象画素の各々に対する１つ又は複数の画素値を計算するステップと
を含むステップを実行する、システム。
［項目１２］
上記魚眼画像における上記１つ又は複数の基準点の各々に対する１つ又は複数の座標を、投影モデルに基づいて判定する、項目１１に記載のシステム。
［項目１３］
上記投影モデルは、上記魚眼レンズに対する１つ又は複数の較正パラメータを用いて設定される基準座標系に基づく、項目１２に記載のシステム。
［項目１４］
対象画素の上記セットは、上記対象画像の小区分の範囲内にあり、上記対象画像の上記小区分は、４つのコーナー点を有する長方形であり、上記魚眼画像における上記１つ又は複数の基準点は、上記対象画像の上記小区分の上記４つのコーナー点に対応する、項目１１に記載のシステム。
［項目１５］
上記魚眼画像の上記小区分は、上記１つ又は複数の基準点を囲む最小境界長方形である、項目１４に記載のシステム。
［項目１６］
上記１つ又は複数の基準点を囲む上記魚眼画像の上記小区分を、分割方式に基づいて上記魚眼画像の一部から取得する、項目１５に記載のシステム。
［項目１７］
上記分割方式を、メモリ使用のために最適化する、項目１６に記載のシステム。
［項目１８］
上記対象画像における対象画素に対応する、上記１つ又は複数の基準点に対して、上記魚眼画像の上記小区分における１つ又は複数の投影座標を判定する、項目１４に記載のシステム。
［項目１９］
上記対象画素に対して、上記魚眼画像の上記小区分における上記投影点の上記１つ又は複数の座標に基づく上記魚眼画像の上記小区分における隣接ブロックを選択する、項目１８に記載のシステム。
［項目２０］
命令が記憶される持続性コンピュータ可読媒体であって、
上記命令をプロセッサが実行する場合、
対象画像における対象画素のセットに対して、魚眼画像における１つ又は複数の基準点を判定するステップと、
上記１つ又は複数の基準点に基づいて上記魚眼画像の小区分を取得するステップと、
上記魚眼画像の上記小区分における１つ又は複数の画素の画素値に基づいて、対象画素の上記セットにおける上記対象画素の各々に対する１つ又は複数の画素値を計算するステップと
を含むステップを実行する、持続性コンピュータ可読媒体。
［項目２１］
広角レンズを用いて収集される広角画像を修正する方法であって、
上記広角レンズに対する投影モデルを取得するステップであって、上記投影モデルは、対象画像における複数の対象画像部分に上記広角画像を対応付けるステップと、
上記投影モデルに基づいて、上記複数の対象画像部分における対象画素に対する上記広角画像における複数の基準画素を判定するステップと、
上記広角画像における上記複数の基準画素に基づいて、上記対象画素に対する１つ又は複数の画素値を計算するステップと
を含む方法。
［項目２２］
上記広角レンズは魚眼レンズであり、上記広角画像は魚眼画像である、項目２１に記載の方法。
［項目２３］
上記複数の対象画像部分は、異なる立方体表面に対応する、項目２２に記載の方法。
［項目２４］
上記投影モデルは、上記異なる立方体表面上に投影される上記複数の対象画像部分に上記魚眼画像を対応付ける球面に基づく、項目２３に記載の方法。
［項目２５］
上記球面を、上記魚眼レンズに対する１つ又は複数の較正パラメータに基づく基準座標系で判定する、項目２４に記載の方法。
［項目２６］
上記球面を、多項式関数に基づいて判定し、上記１つ又は複数の較正パラメータは、上記多項式関数に対する１つ又は複数の係数を含む、項目２５に記載の方法。
［項目２７］
上記対象画像は、正方形領域と、上記正方形領域を囲む４つの長方形領域とを含む、項目２１に記載の方法。
［項目２８］
上記長方形領域のうち少なくとも１つを、多くの区分に分割する、項目２８に記載の方法。
［項目２９］
上記投影モデルに基づく上記対象画素に対して、上記広角画像における１つ又は複数の投影座標を判定するステップを更に含む、項目２１に記載の方法。
［項目３０］
上記広角画像における上記投影座標に基づいて、上記広角画像における上記複数の基準画素を判定するステップを更に含む、項目２９に記載の方法。
［項目３１］
広角レンズを用いて収集される広角画像を修正するシステムであって、
１つ又は複数のコンピュータ実行可能命令を記憶するメモリと、
１つ又は複数のプロセッサと
を含み、
上記１つ又は複数のプロセッサは、
上記メモリにアクセスし、上記コンピュータ実行可能命令を実行して、
上記広角レンズに対する投影モデルを取得するステップであって、上記投影モデルは、対象画像における複数の対象画像部分に上記広角画像を対応付けるステップと、
上記投影モデルに基づいて、上記複数の対象画像部分における対象画素に対する上記広角画像における複数の基準画素を判定するステップと、
上記広角画像における上記複数の基準画素に基づいて、上記対象画素に対する１つ又は複数の画素値を計算するステップと
を含むステップを実行する、システム。
［項目３２］
上記広角レンズは魚眼レンズであり、上記広角画像は魚眼画像である、項目３１に記載のシステム。
［項目３３］
上記複数の対象画像部分は、異なる立方体表面に対応する、項目３２に記載のシステム。
［項目３４］
上記投影モデルは、上記異なる立方体表面上に投影される上記複数の対象画像部分に上記魚眼画像を対応付ける球面に基づく、項目３３に記載のシステム。
［項目３５］
上記球面を、上記魚眼レンズに対する１つ又は複数の較正パラメータに基づく基準座標系で判定する、項目３４に記載のシステム。
［項目３６］
上記球面を、多項式関数に基づいて判定し、上記１つ又は複数の較正パラメータは、上記多項式関数に対する１つ又は複数の係数を含む、項目３５に記載のシステム。
［項目３７］
上記対象画像は、正方形領域と、上記正方形領域を囲む４つの長方形領域とを含む、項目３１に記載のシステム。
［項目３８］
上記長方形領域のうち少なくとも１つを、多くの区分に分割する、項目３８に記載のシステム。
［項目３９］
上記投影モデルに基づく上記対象画素に対して、上記広角画像において、１つ又は複数の投影座標を判定し、上記広角画像における上記投影座標に基づいて、上記広角画像における上記複数の基準画素を判定する、項目３１に記載のシステム。
［項目４０］
命令が記憶される持続性コンピュータ可読媒体であって、
上記命令をプロセッサが実行する場合、
上記広角レンズに対する投影モデルを取得するステップであって、上記投影モデルは、対象画像における複数の対象画像部分に上記広角画像を対応付けるステップと、
上記投影モデルに基づいて、上記複数の対象画像部分における対象画素に対する上記広角画像における複数の基準画素を判定するステップと、
上記広角画像における上記複数の基準画素に基づいて、上記対象画素に対する１つ又は複数の画素値を計算するステップと
を含むステップを実行する、持続性コンピュータ可読媒体。

Claims

魚眼レンズを用いて収集される画像を修正する方法であって、
投影モデルに基づいて前記画像が投影された対象画像であって、魚眼画像に直接面する正方形領域と、側面角用の４つの長方形領域とに分割された前記対象画像における対象画素のセットに対して、前記画像における１つ又は複数の基準点を判定するステップと、
前記１つ又は複数の基準点に基づいて前記画像の小区分を取得するステップと、
前記画像の前記小区分における１つ又は複数の画素の画素値に基づいて、前記正方形領域及び前記４つの長方形領域それぞれについて、メモリ上で対象画素の前記セットにおける前記対象画素の各々に対する１つ又は複数の画素値を計算するステップと
を含む方法。
前記投影モデルに基づいて前記画像における前記１つ又は複数の基準点の各々に対する１つ又は複数の座標を判定するステップを更に含む、請求項１に記載の方法。
前記投影モデルは、前記魚眼レンズに対する１つ又は複数の較正パラメータを用いて設定される基準座標系に基づく、請求項２に記載の方法。
対象画素の前記セットは、前記対象画像の小区分の範囲内にあり、前記対象画像の前記小区分は、４つのコーナー点を有する長方形であり、前記画像における前記１つ又は複数の基準点は、前記対象画像の前記小区分の前記４つのコーナー点に対応する、請求項１から請求項３の何れか１項に記載の方法。
前記画像の前記小区分は、前記１つ又は複数の基準点を囲む最小境界長方形である、請求項４に記載の方法。
前記対象画像における対象画素に対応する、前記１つ又は複数の基準点に対して、前記画像の前記小区分における１つ又は複数の投影座標を判定するステップを更に含む、請求項４に記載の方法。
前記対象画素に対して、前記画像の前記小区分における投影点の前記１つ又は複数の座標に基づく前記画像の前記小区分における隣接ブロックを選択するステップを更に含む、請求項６に記載の方法。
前記隣接ブロックは、前記画像の前記小区分における４つの隣接画素を含む、請求項７に記載の方法。
前記４つの長方形領域のうち上下の長方形領域は、さらに左右２つの領域に分割される、請求項１から８の何れか１つに記載の方法。
魚眼レンズを用いて収集される画像を修正するシステムであって、
１つ又は複数のコンピュータ実行可能命令を記憶するメモリと、
１つ又は複数のプロセッサと
を含み、
前記１つ又は複数のプロセッサは、
前記メモリにアクセスし、前記コンピュータ実行可能命令を実行して、
投影モデルに基づいて前記画像が投影された対象画像であって、魚眼画像に直接面する正方形領域と、側面角用の４つの長方形領域とに分割された前記対象画像における対象画素のセットに対して、前記画像における１つ又は複数の基準点を判定するステップと、
前記１つ又は複数の基準点に基づいて前記画像の小区分を取得するステップと、
前記画像の前記小区分における１つ又は複数の画素の画素値に基づいて、前記正方形領域及び前記４つの長方形領域のそれぞれについて、前記メモリ上で対象画素の前記セットにおける前記対象画素の各々に対する１つ又は複数の画素値を計算するステップと
を含むステップを実行する、システム。