JP2001012946A - 動画像処理装置及び方法 - Google Patents
動画像処理装置及び方法Info
- Publication number
- JP2001012946A JP2001012946A JP11187020A JP18702099A JP2001012946A JP 2001012946 A JP2001012946 A JP 2001012946A JP 11187020 A JP11187020 A JP 11187020A JP 18702099 A JP18702099 A JP 18702099A JP 2001012946 A JP2001012946 A JP 2001012946A
- Authority
- JP
- Japan
- Prior art keywords
- optical flow
- moving image
- image processing
- cameras
- correspondence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】本発明は、認識対象や状況変化領域の３次元位
置を、安定かつ高信頼に検知するための、効率的な動画
像処理装置及び方法を提供することを目的とする。 【解決手段】一連の画像を処理することにより、物体の
認識や状況の変化の検出を行うため、複数台のカメラの
画像を各々処理して得られるオプティカルフローの相互
関係を解析しステレオ対応づけすることにより、対象物
または変化領域の３次元位置検出を行う３次元位置検出
部１３を有する。
置を、安定かつ高信頼に検知するための、効率的な動画
像処理装置及び方法を提供することを目的とする。 【解決手段】一連の画像を処理することにより、物体の
認識や状況の変化の検出を行うため、複数台のカメラの
画像を各々処理して得られるオプティカルフローの相互
関係を解析しステレオ対応づけすることにより、対象物
または変化領域の３次元位置検出を行う３次元位置検出
部１３を有する。
Description
【０００１】
【発明の属する技術分野】本発明は、一連の画像を解析
することにより、例えば交通流の計測や、交通事故など
の災害発生の有無、不法侵入者の出現、生理状態の変化
などを監視する際に、対象の認識や状況の変化を安定に
検知する動画像処理装置及び方法に関する。
することにより、例えば交通流の計測や、交通事故など
の災害発生の有無、不法侵入者の出現、生理状態の変化
などを監視する際に、対象の認識や状況の変化を安定に
検知する動画像処理装置及び方法に関する。
【０００２】
【従来の技術】近年、ＴＶカメラの民生化による普及と
共に、ＰＣの普及に伴う小型化、高速化が進行し、従来
は専用ハードウェアを用いて実現していた画像処理応用
機能がＰＣをベースにしたシステムで安価に実現できる
環境が整ってきた。一方で、交通事故や空き巣などの不
在時における犯罪などは増加傾向にあり、画像を用いた
監視システムの要求が高まってきている。このような監
視・モニタシステムにおいては、ＴＶカメラを監視区域
に一台または複数台設置し、人間がこの画像を見て状況
の変化をモニタリングする製品が一般的である。
共に、ＰＣの普及に伴う小型化、高速化が進行し、従来
は専用ハードウェアを用いて実現していた画像処理応用
機能がＰＣをベースにしたシステムで安価に実現できる
環境が整ってきた。一方で、交通事故や空き巣などの不
在時における犯罪などは増加傾向にあり、画像を用いた
監視システムの要求が高まってきている。このような監
視・モニタシステムにおいては、ＴＶカメラを監視区域
に一台または複数台設置し、人間がこの画像を見て状況
の変化をモニタリングする製品が一般的である。
【０００３】また、この状況変化検出を自動化するため
に、予め標準的な状態の画像を記録しておき、時々刻々
得られる画像との差分を取って認識対象の動きや状況の
変化を検出する方式、または連続する画像間の明度変化
を差分により検出することにより認識対象の動きや状況
の変化を検出する方式が提案されている。
に、予め標準的な状態の画像を記録しておき、時々刻々
得られる画像との差分を取って認識対象の動きや状況の
変化を検出する方式、または連続する画像間の明度変化
を差分により検出することにより認識対象の動きや状況
の変化を検出する方式が提案されている。
【０００４】更に、画像から局所的な動きベクトル（オ
プティカルフロー）を検出することにより、認識対象の
状況の変化を検出する方式も提案されている。一方、認
識対象や状況変化領域の位置情報を得るためには、複数
のカメラで撮影したシーン間の対応づけを行い、三角測
量の原理を用いて３次元位置を計算するステレオ法が一
般的に用いられている。
プティカルフロー）を検出することにより、認識対象の
状況の変化を検出する方式も提案されている。一方、認
識対象や状況変化領域の位置情報を得るためには、複数
のカメラで撮影したシーン間の対応づけを行い、三角測
量の原理を用いて３次元位置を計算するステレオ法が一
般的に用いられている。
【０００５】
【発明が解決しようとする課題】上記ステレオ法により
３次元位置を求める場合には、異なる位置に設置された
カメラ間で対応する位置を求めるという対応付けが必要
であり、このために多大な計算量を必要とする。
３次元位置を求める場合には、異なる位置に設置された
カメラ間で対応する位置を求めるという対応付けが必要
であり、このために多大な計算量を必要とする。
【０００６】従来の、認識対象の動きや状況の変化を検
出する方式においては、カメラ配置から規定されるエピ
ポーラ平面と画像平面の交線であるエピポーラ直線の近
傍領域を対応づけの候補として限定し、差分値、相関値
などの類似指標を用いて対応探索を行っていた。図１に
は、カメラの配置とエピポーラ平面、エピポーラ直線の
関係が示されている。これによると、片方のカメラ上に
おいて対応基準点を選択した場合、中心投影下でのエピ
ポーラ平面は、両カメラのレンズ中心とこの基準点の３
点を通る平面として一意に与えられ、もう片方のカメラ
上の対応点は、このエピポーラ平面と画像平面の交線で
あるエピポーラ直線上に存在する。従って、原理的には
このエピポーラ直線の近傍領域を探索すれば、対応点が
決定でき、各々の画像平面上の対応点とレンズ中心とを
結ぶ直線の交点として、空間中の注視点の３次元位置が
求められることになる。しかしながら、エピポーラ平面
が高精度に求まらない場合、対象と背景の明度的な差が
少ない場合などに対応誤りが発生し易く、正しい３次元
位置が求められないという問題点があった。
出する方式においては、カメラ配置から規定されるエピ
ポーラ平面と画像平面の交線であるエピポーラ直線の近
傍領域を対応づけの候補として限定し、差分値、相関値
などの類似指標を用いて対応探索を行っていた。図１に
は、カメラの配置とエピポーラ平面、エピポーラ直線の
関係が示されている。これによると、片方のカメラ上に
おいて対応基準点を選択した場合、中心投影下でのエピ
ポーラ平面は、両カメラのレンズ中心とこの基準点の３
点を通る平面として一意に与えられ、もう片方のカメラ
上の対応点は、このエピポーラ平面と画像平面の交線で
あるエピポーラ直線上に存在する。従って、原理的には
このエピポーラ直線の近傍領域を探索すれば、対応点が
決定でき、各々の画像平面上の対応点とレンズ中心とを
結ぶ直線の交点として、空間中の注視点の３次元位置が
求められることになる。しかしながら、エピポーラ平面
が高精度に求まらない場合、対象と背景の明度的な差が
少ない場合などに対応誤りが発生し易く、正しい３次元
位置が求められないという問題点があった。
【０００７】認識対象や状況変化領域の３次元位置を、
安定かつ高信頼に検知するための、効率的な動画像処理
装置及び方法を提供することを目的とする。
安定かつ高信頼に検知するための、効率的な動画像処理
装置及び方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】本発明は、監視区域に配
置される複数台のカメラ画像を各々処理して得られるオ
プティカルフローの相互関係を解析しステレオ対応づけ
することにより、対象物または変化領域の３次元位置検
出を行う動画像処理装置及び方法を提供する。
置される複数台のカメラ画像を各々処理して得られるオ
プティカルフローの相互関係を解析しステレオ対応づけ
することにより、対象物または変化領域の３次元位置検
出を行う動画像処理装置及び方法を提供する。
【０００９】本発明では、複数台のカメラ間のステレオ
対応づけを行う際に、オプティカルフローが求まった領
域のみを対応づけの候補として選択する。
対応づけを行う際に、オプティカルフローが求まった領
域のみを対応づけの候補として選択する。
【００１０】本発明では、複数台のカメラ間のステレオ
対応づけを行う際に、オプティカルフローが求まった領
域のうち、カメラ間の位置関係により推定されるオプテ
ィカルフローベクトルに類似したオプティカルフローベ
クトルを有する領域を対応づけの候補として選択する。
対応づけを行う際に、オプティカルフローが求まった領
域のうち、カメラ間の位置関係により推定されるオプテ
ィカルフローベクトルに類似したオプティカルフローベ
クトルを有する領域を対応づけの候補として選択する。
【００１１】この発明は、各カメラ毎にオプティカルフ
ローを推定する手段と、カメラ間のオプティカルフロー
の相互関係を解析することにより、対応探索領域を設定
する手段と、設定された対応探索領域においてステレオ
対応づけを行い、３次元位置を算出する手段を有する動
画像処理装置を提供する。
ローを推定する手段と、カメラ間のオプティカルフロー
の相互関係を解析することにより、対応探索領域を設定
する手段と、設定された対応探索領域においてステレオ
対応づけを行い、３次元位置を算出する手段を有する動
画像処理装置を提供する。
【００１２】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図２〜図７を用いて説明する。
て、図２〜図７を用いて説明する。
【００１３】図２に、本発明全体の構成を示す。同図に
示すように動画像処理装置は、オプティカルフロー推定
部１１と、対応候補選択部１２と、３次元位置算出部１
３により構成される。
示すように動画像処理装置は、オプティカルフロー推定
部１１と、対応候補選択部１２と、３次元位置算出部１
３により構成される。
【００１４】オプティカルフロー推定部１１は、図１に
示されるように監視区域に配置される複数のカメラの各
カメラ毎に画面上の動きベクトル（オプティカルフロ
ー）を推定し、対応候補選択部１２は、オプティカルフ
ロー推定部１１の推定結果を用いて、３次元位置を求め
るべき候補点群を選択する。３次元位置算出部１３は、
各カメラ毎の候補点群を認識対象に対応づけを行い、３
次元位置を算出する。
示されるように監視区域に配置される複数のカメラの各
カメラ毎に画面上の動きベクトル（オプティカルフロ
ー）を推定し、対応候補選択部１２は、オプティカルフ
ロー推定部１１の推定結果を用いて、３次元位置を求め
るべき候補点群を選択する。３次元位置算出部１３は、
各カメラ毎の候補点群を認識対象に対応づけを行い、３
次元位置を算出する。
【００１５】以下、各部の具体的な構成を説明する。
【００１６】図３に示す様に、カメラの光軸をＺ軸、撮
像面をｘ−ｙ平面、原点を光軸中心となるように座標系
を初期設定した場合、質点Ｐ（Ｘ，Ｙ，Ｚ）の３次元空
間内の動きベクトルｖ（ｐ（ｔ），Ｑ（ｔ），Ｒ
（ｔ））を中心投影した結果は、下式に示すような画面
上の動きベクトル（オプティカルフロー）（ｕ（ｔ），
ｖ（ｔ））となる。
像面をｘ−ｙ平面、原点を光軸中心となるように座標系
を初期設定した場合、質点Ｐ（Ｘ，Ｙ，Ｚ）の３次元空
間内の動きベクトルｖ（ｐ（ｔ），Ｑ（ｔ），Ｒ
（ｔ））を中心投影した結果は、下式に示すような画面
上の動きベクトル（オプティカルフロー）（ｕ（ｔ），
ｖ（ｔ））となる。
【００１７】（ｕ（ｔ），ｖ（ｔ））≡（Ｚ（ｔ）ｐ
（ｔ）−Ｘ（ｔ）Ｒ（ｔ）／Ｚ（ｔ）（Ｚ（ｔ）＋Ｒ
（ｔ）），Ｚ（ｔ）Ｑ（ｔ）−Ｙ（ｔ）Ｒ（ｔ）／Ｚ
（ｔ）（Ｚ（ｔ）＋Ｒ（ｔ））） このオプティカルフローの推定方式としては、連続時点
での明度が保存されるという前提の下で、局所相関値を
用いて逐次移動後の点の位置を探索する相関法、時空間
微分方程式を連立して解くことにより推定する勾配法な
どが提案されている。本実施例では、勾配法を用いてオ
プティカルフロー推定部１１を実施する例について説明
する。
（ｔ）−Ｘ（ｔ）Ｒ（ｔ）／Ｚ（ｔ）（Ｚ（ｔ）＋Ｒ
（ｔ）），Ｚ（ｔ）Ｑ（ｔ）−Ｙ（ｔ）Ｒ（ｔ）／Ｚ
（ｔ）（Ｚ（ｔ）＋Ｒ（ｔ））） このオプティカルフローの推定方式としては、連続時点
での明度が保存されるという前提の下で、局所相関値を
用いて逐次移動後の点の位置を探索する相関法、時空間
微分方程式を連立して解くことにより推定する勾配法な
どが提案されている。本実施例では、勾配法を用いてオ
プティカルフロー推定部１１を実施する例について説明
する。
【００１８】移動する認識対象に含まれる点の明度Ｉが
連続時点で変化しないとすると、以下の時空間微分方程
式が成立する。
連続時点で変化しないとすると、以下の時空間微分方程
式が成立する。
【００１９】
【数１】
【００２０】ここで、Ix、Iy、Itは各々、明度の水平方
向、垂直方向、時間方向の偏微分値、ｕ，ｖはこの点の
オプティカルフローである。未知数がｕ，ｖの２つある
のに対し、時空間微分方程式により与えられる拘束式は
１つであるので、このままでは解が一意に求められな
い。そこで、この点を含む近傍領域は同一の対象に属
し、ｕ，ｖが共通であると仮定して、この近傍領域内の
ｎ点の時空間微分方程式を以下の様に連立させて解く。
向、垂直方向、時間方向の偏微分値、ｕ，ｖはこの点の
オプティカルフローである。未知数がｕ，ｖの２つある
のに対し、時空間微分方程式により与えられる拘束式は
１つであるので、このままでは解が一意に求められな
い。そこで、この点を含む近傍領域は同一の対象に属
し、ｕ，ｖが共通であると仮定して、この近傍領域内の
ｎ点の時空間微分方程式を以下の様に連立させて解く。
【００２１】
【数２】
【００２２】（）内はこの近傍領域に含まれる特定の候
補点を示す番号である。
補点を示す番号である。
【００２３】この連立方程式の解は、Ｂ'Ｂの逆行列が
存在する場合に求められ、以下の式で与えられる。ここ
でＢ′はＢの転置行列、（Ｂ'Ｂ）-1はＢＢ′の逆行列
である。
存在する場合に求められ、以下の式で与えられる。ここ
でＢ′はＢの転置行列、（Ｂ'Ｂ）-1はＢＢ′の逆行列
である。
【００２４】 ｕ＝−（Ｂ'Ｂ）-1 Ｂ'Ｉｔ ・・・（３） オプティカルフロー推定部１１は、オプティカルフロー
推定処理を各カメラの各点毎に行い、解が求まった画像
中の点の位置及びオプティカルフローベクトル値を記憶
する。図４に、このオプティカルフロー推定部１１の具
体的構成例が示されている。
推定処理を各カメラの各点毎に行い、解が求まった画像
中の点の位置及びオプティカルフローベクトル値を記憶
する。図４に、このオプティカルフロー推定部１１の具
体的構成例が示されている。
【００２５】これによると、オプティカルフロー推定部
１１は、空間微分行列作成部１４、時間微分行列作成部
１５、フロー算出部１６および記憶部１７により構成さ
れる。空間微分行列作成部１４および時間微分行列作成
部１５はそれぞれＢ、Ｉｔを計算し、フロー算出部１６
は、（３）式に基づきフロー値ｕを算出する。記憶部１
７は、フローの求まった点の位置及びオプティカルフロ
ーベクトル値をローカルメモリに格納する。上記の処理
を画像中の各点に対し繰り返し実施する。
１１は、空間微分行列作成部１４、時間微分行列作成部
１５、フロー算出部１６および記憶部１７により構成さ
れる。空間微分行列作成部１４および時間微分行列作成
部１５はそれぞれＢ、Ｉｔを計算し、フロー算出部１６
は、（３）式に基づきフロー値ｕを算出する。記憶部１
７は、フローの求まった点の位置及びオプティカルフロ
ーベクトル値をローカルメモリに格納する。上記の処理
を画像中の各点に対し繰り返し実施する。
【００２６】次に、対応候補選択部１２の具体的構成に
ついて２つの例を説明する。
ついて２つの例を説明する。
【００２７】第１の例は、オプティカルフロー推定部１
１においてフローの求まった点群全体を対応づけの候補
として選択するものである。この方式は、カメラ間の位
置関係、つまりエピポーラ条件が正しく求まっていない
場合に特に有効である。この手法を用いることにより、
従来は図５（ａ）に示すようにエピポーラ直線の近傍領
域全体を対応づけ候補として探索していたのに対し、図
５（ｂ）に示すように探索領域をオプティカルフローが
求まった領域に限定できるため、大幅な計算時間の短
縮、対応誤りの抑制が実現できる。
１においてフローの求まった点群全体を対応づけの候補
として選択するものである。この方式は、カメラ間の位
置関係、つまりエピポーラ条件が正しく求まっていない
場合に特に有効である。この手法を用いることにより、
従来は図５（ａ）に示すようにエピポーラ直線の近傍領
域全体を対応づけ候補として探索していたのに対し、図
５（ｂ）に示すように探索領域をオプティカルフローが
求まった領域に限定できるため、大幅な計算時間の短
縮、対応誤りの抑制が実現できる。
【００２８】第２の例は、動きが小さく、カメラ間の位
置関係が求まっている場合に利用される方式である。図
６がこの第２の例の対応候補選択部１２の構成を示して
いる。
置関係が求まっている場合に利用される方式である。図
６がこの第２の例の対応候補選択部１２の構成を示して
いる。
【００２９】これによると、あるカメラの画像平面を異
なる位置のカメラの画像平面に重ねるための移動は、回
転行列Ｒと並進行列Ｔの積として記述される。オプティ
カルフローベクトル選択部１８は、基準となるカメラ上
でオプティカルフローの求まった１点を選択する。投影
ベクトル推定部１９は、選択した点にＲ、Ｔを乗ずるこ
とにより、この選択した点のオプティカルフローベクト
ルの対応探索を行うカメラの画像平面上に投影した場合
の予測ベクトル値を推定する。候補選択部２０は、この
カメラにおけるオプティカルフローの求まった点群に対
応するオプティカルフローベクトルを逐次選択し、予測
ベクトルとの差ベクトルを計算し、この差ベクトルの長
さが一定値以下の点を候補点群として選択する。
なる位置のカメラの画像平面に重ねるための移動は、回
転行列Ｒと並進行列Ｔの積として記述される。オプティ
カルフローベクトル選択部１８は、基準となるカメラ上
でオプティカルフローの求まった１点を選択する。投影
ベクトル推定部１９は、選択した点にＲ、Ｔを乗ずるこ
とにより、この選択した点のオプティカルフローベクト
ルの対応探索を行うカメラの画像平面上に投影した場合
の予測ベクトル値を推定する。候補選択部２０は、この
カメラにおけるオプティカルフローの求まった点群に対
応するオプティカルフローベクトルを逐次選択し、予測
ベクトルとの差ベクトルを計算し、この差ベクトルの長
さが一定値以下の点を候補点群として選択する。
【００３０】次に、３次元位置算出部３の具体的構成例
を説明する。
を説明する。
【００３１】図７に示すように３次元位置算出部３は、
対応候補点選択部２１と、類似指標計算部２２と、３次
元位置計算部２３とにより構成される。
対応候補点選択部２１と、類似指標計算部２２と、３次
元位置計算部２３とにより構成される。
【００３２】対応候補点選択部２１では、対応候補選択
部１２により得られた対応探索候補点の対を選択する。
類似指標計算部２２では、この候補点を含む近傍領域の
明度情報、オプティカルフロー情報などを用いて設定さ
れた類似指標関数を計算し、３次元位置計算部２３で対
応点対を選択し、３次元位置をステレオ計算する。類似
指標関数としては例えば、各候補点の近傍領域間の明度
相関値を用いることが可能である。この場合は、基準点
に対して明度相関値が１．０に近く最も大きい点を候補
点として選択する。
部１２により得られた対応探索候補点の対を選択する。
類似指標計算部２２では、この候補点を含む近傍領域の
明度情報、オプティカルフロー情報などを用いて設定さ
れた類似指標関数を計算し、３次元位置計算部２３で対
応点対を選択し、３次元位置をステレオ計算する。類似
指標関数としては例えば、各候補点の近傍領域間の明度
相関値を用いることが可能である。この場合は、基準点
に対して明度相関値が１．０に近く最も大きい点を候補
点として選択する。
【００３３】また、対応候補選択部１２で述べた様に、
各候補点の近傍領域に含まれる各オプティカルフローと
この投影ベクトルとの差ベクトル長の和を用いることが
可能である。この場合は、差ベクトル長の和が最も小さ
い点を候補点として選択する。
各候補点の近傍領域に含まれる各オプティカルフローと
この投影ベクトルとの差ベクトル長の和を用いることが
可能である。この場合は、差ベクトル長の和が最も小さ
い点を候補点として選択する。
【００３４】更に、両者を組合せた指標を用いることも
可能である。３次元位置の計算は例えば、予め３次元位
置が既知な複数の点（Ｘｉ，Ｙｉ，Ｚｉ）の各カメラｔ
上の投影点の位置（ｘｉ（ｔ），ｙｉ（ｔ））を抽出
し、投影点対ベクトルと３次元座標ベクトル間の変換行
列Ｈを推定しておき、３次元位置計算部２３にて求まっ
た対応点対に施すことにより、実施することが可能であ
る。
可能である。３次元位置の計算は例えば、予め３次元位
置が既知な複数の点（Ｘｉ，Ｙｉ，Ｚｉ）の各カメラｔ
上の投影点の位置（ｘｉ（ｔ），ｙｉ（ｔ））を抽出
し、投影点対ベクトルと３次元座標ベクトル間の変換行
列Ｈを推定しておき、３次元位置計算部２３にて求まっ
た対応点対に施すことにより、実施することが可能であ
る。
【００３５】
【発明の効果】本発明を用いることにより、火災などの
災害の発生や、不法侵入者の出現、生理状態の変化など
の様々な状況において、認識対象や状況変化領域の３次
元位置を安定かつ高信頼に算出するための、効率的な動
画像処理装置及び方法を提供することが可能となり、こ
の杜会的・実用的効果は多大である。
災害の発生や、不法侵入者の出現、生理状態の変化など
の様々な状況において、認識対象や状況変化領域の３次
元位置を安定かつ高信頼に算出するための、効率的な動
画像処理装置及び方法を提供することが可能となり、こ
の杜会的・実用的効果は多大である。
【図１】カメラの配置とエピポーラ平面、エピポーラ直
線の関係を示す図。
線の関係を示す図。
【図２】本発明の一実施形態の動画像処理装置を示すブ
ロック図。
ロック図。
【図３】質点の動きの画像上への投影を示す図。
【図４】オプティカルフロー推定部の構成を示すブロッ
ク図。
ク図。
【図５】対応探索領域を説明する図。
【図６】対応候補選択部の構成を示すブロック図。
【図７】３次元位置算出部の構成を示すブロック図。
１１…オプティカルフロー推定部 １２…対応候補選択部 １３…３次元位置算出部 １４…空間微分行列作成部 １５…時間微分行列 １６…フロー算出部 １７…記憶部 １８…オプティカルフローベクトル選択部 １９…投影ベクトル推定部 ２０…候補選択部 ２１…対応候補点選択部 ２２…類似指標計算部 ２３…類似指標計算部
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） ９Ａ００１ Ｆターム(参考） 2F065 AA04 BB05 BB15 CC11 CC16 DD06 FF05 JJ03 JJ05 QQ00 QQ13 QQ23 QQ25 QQ27 QQ29 QQ38 QQ41 UU05 2F112 AC06 BA05 BA20 CA05 CA08 FA19 FA38 FA41 FA50 5B057 DA07 DB03 5C054 AA04 CA04 CC03 FD01 FD02 HA18 HA30 5L096 AA09 CA05 FA69 FA76 HA02 9A001 HH20 HH29 KK37 LL03
Claims (7)
- 【請求項１】 一連の画像を処理することにより、物体
の認識や状況の変化の検出を行う動画像処理装置におい
て、 複数台のカメラ画像を各々処理して得られるオプティカ
ルフローの相互関係を解析しステレオ対応づけすること
により、対象物または変化領域の３次元位置検出を行う
手段を有することを特徴とする動画像処理装置。 - 【請求項２】 複数台のカメラ間のステレオ対応づけを
行う際に、オプティカルフローが求まった領域のみを対
応づけの候補として選択する手段を有することを特徴と
する請求項１に記載の動画像処理装置。 - 【請求項３】 複数台のカメラ間のステレオ対応づけを
行う際に、オプティカルフローが求まった領域のうち、
カメラ間の位置関係により推定されるオプティカルフロ
ーベクトルに類似したオプティカルフローベクトルを有
する領域を対応づけの候補として選択する手段を有する
ことを特徴とする請求項１に記載の動画像処理装置。 - 【請求項４】 各カメラ毎にオプティカルフローを推定
する手段と、カメラ間のオプティカルフローの相互関係
を解析することにより、対応探索領域を設定する手段
と、設定された対応探索領域においてステレオ対応づけ
を行い、３次元位置を算出する手段を有する動画像処理
装置。 - 【請求項５】 一連の画像を処理することにより、物体
の認識や状況の変化の検出を行う動画像処理方法におい
て、 複数台のカメラ画像を各々処理して得られるオプティカ
ルフローの相互関係を解析しステレオ対応づけすること
により、対象物または変化領域の３次元位置検出を行う
ことを特徴とする動画像処理方法。 - 【請求項６】 複数台のカメラ間のステレオ対応づけを
行う際に、オプティカルフローが求まった領域のみを対
応づけの候補として選択することを特徴とする請求項５
に記載の動画像処理方法。 - 【請求項７】 複数台のカメラ間のステレオ対応づけを
行う際に、オプティカルフローが求まった領域のうち、
カメラ間の位置関係により推定されるオプティカルフロ
ーベクトルに類似したオプティカルフローベクトルを有
する領域を対応づけの候補として選択することを特徴と
する請求項５に記載の動画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11187020A JP2001012946A (ja) | 1999-06-30 | 1999-06-30 | 動画像処理装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11187020A JP2001012946A (ja) | 1999-06-30 | 1999-06-30 | 動画像処理装置及び方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001012946A true JP2001012946A (ja) | 2001-01-19 |
Family
ID=16198799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11187020A Pending JP2001012946A (ja) | 1999-06-30 | 1999-06-30 | 動画像処理装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001012946A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004255074A (ja) * | 2003-02-27 | 2004-09-16 | Toyota Motor Corp | 視線方向検出装置および視線方向検出方法 |
| KR100544677B1 (ko) * | 2003-12-26 | 2006-01-23 | 한국전자통신연구원 | 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법 |
| JP2006349586A (ja) * | 2005-06-17 | 2006-12-28 | Omron Corp | ３次元計測方法および３次元計測装置 |
| JP2007187524A (ja) * | 2006-01-12 | 2007-07-26 | Shimadzu Corp | 磁気マッピング装置 |
| JP2007263669A (ja) * | 2006-03-28 | 2007-10-11 | Denso It Laboratory Inc | ３次元座標取得装置 |
| WO2009157714A3 (en) * | 2008-06-24 | 2010-03-25 | Samsung Electronics Co., Ltd. | Method and apparatus for processing three dimensional video data |
| JP2011112507A (ja) * | 2009-11-26 | 2011-06-09 | Fujitsu Ltd | ３次元位置計測装置および３次元位置計測方法 |
| US20180089838A1 (en) * | 2016-09-29 | 2018-03-29 | The Regents Of The University Of Michigan | Optical flow measurement |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07262375A (ja) * | 1994-03-25 | 1995-10-13 | Toshiba Corp | 移動体検出装置 |
| JPH07325924A (ja) * | 1994-06-02 | 1995-12-12 | Canon Inc | 複眼撮像装置 |
| JPH10222665A (ja) * | 1997-01-31 | 1998-08-21 | Fujitsu Ten Ltd | 画像認識装置 |
-
1999
- 1999-06-30 JP JP11187020A patent/JP2001012946A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07262375A (ja) * | 1994-03-25 | 1995-10-13 | Toshiba Corp | 移動体検出装置 |
| JPH07325924A (ja) * | 1994-06-02 | 1995-12-12 | Canon Inc | 複眼撮像装置 |
| JPH10222665A (ja) * | 1997-01-31 | 1998-08-21 | Fujitsu Ten Ltd | 画像認識装置 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004255074A (ja) * | 2003-02-27 | 2004-09-16 | Toyota Motor Corp | 視線方向検出装置および視線方向検出方法 |
| KR100544677B1 (ko) * | 2003-12-26 | 2006-01-23 | 한국전자통신연구원 | 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법 |
| JP2006349586A (ja) * | 2005-06-17 | 2006-12-28 | Omron Corp | ３次元計測方法および３次元計測装置 |
| JP2007187524A (ja) * | 2006-01-12 | 2007-07-26 | Shimadzu Corp | 磁気マッピング装置 |
| JP2007263669A (ja) * | 2006-03-28 | 2007-10-11 | Denso It Laboratory Inc | ３次元座標取得装置 |
| WO2009157714A3 (en) * | 2008-06-24 | 2010-03-25 | Samsung Electronics Co., Ltd. | Method and apparatus for processing three dimensional video data |
| JP2011112507A (ja) * | 2009-11-26 | 2011-06-09 | Fujitsu Ltd | ３次元位置計測装置および３次元位置計測方法 |
| US20180089838A1 (en) * | 2016-09-29 | 2018-03-29 | The Regents Of The University Of Michigan | Optical flow measurement |
| US10515455B2 (en) * | 2016-09-29 | 2019-12-24 | The Regents Of The University Of Michigan | Optical flow measurement |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10885667B2 (en) | Normalized metadata generation device, object occlusion detection device and method | |
| US7860162B2 (en) | Object tracking method and object tracking apparatus | |
| Siebel et al. | Fusion of multiple tracking algorithms for robust people tracking | |
| Javed et al. | Tracking and object classification for automated surveillance | |
| Cohen et al. | Detecting and tracking moving objects for video surveillance | |
| KR100544677B1 (ko) | 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법 | |
| JP3054681B2 (ja) | 画像処理方法 | |
| US8004528B2 (en) | Method, systems and computer product for deriving three-dimensional information progressively from a streaming video sequence | |
| CA2540084A1 (en) | Estimation system, estimation method, and estimation program for estimating object state | |
| WO2001084844A1 (en) | System for tracking and monitoring multiple moving objects | |
| EP1402477A2 (en) | Segmentation unit for and method of determining a second segment and image processing apparatus | |
| Li et al. | Structuring lecture videos by automatic projection screen localization and analysis | |
| KR20110035662A (ko) | 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템 | |
| JP3577875B2 (ja) | 移動物体抽出装置 | |
| JPH11257931A (ja) | 物体認識装置 | |
| KR20220114819A (ko) | 동적 카메라 영상 내의 객체를 실시간 추적하는 시스템 및 방법 | |
| JP2001012946A (ja) | 動画像処理装置及び方法 | |
| Yang et al. | An online approach and evaluation method for tracking people across cameras in extremely long video sequence | |
| CA2543978A1 (en) | Object tracking within video images | |
| JP2017182295A (ja) | 画像処理装置 | |
| JP2002027480A (ja) | 動画像処理方法および動画像処理装置 | |
| KR20230007141A (ko) | 다수의 카메라에서 촬영된 영상에서 동일인물 인식 방법 및 이를 수행하기 위한 기록 매체 및 장치 | |
| JPH11328365A (ja) | 画像監視装置及びその方法 | |
| JP2004355601A (ja) | 目標追跡装置及び目標追跡方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム | |
| Ghita et al. | Epipolar line extraction using feature matching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20031127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040302 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040506 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040615 |