JP4615715B2

JP4615715B2 - Camera with object recognition function and data output

Info

Publication number: JP4615715B2
Application number: JP2000544127A
Authority: JP
Inventors: シーゲルカーク; ディアンジェリスダグラス; シホラスマイケル
Original assignee: リンクスシステムデベロッパーズインコーポレイテッド
Priority date: 1998-04-10
Filing date: 1999-04-06
Publication date: 2011-01-19
Anticipated expiration: 2019-04-06
Also published as: AU3476299A; WO1999053686A1; US6545705B1; JP2002511718A

Description

【０００１】
（発明の分野）
本発明は、運動事象を監視し記録するためのシステムに関し、特定すると、数々の分野において応用を有する時間的逐次作像及び表示のためのカメラ及びシステムに関する。さらに詳しくは、計時されるスポーツ事象を測定し限定されたトラックに沿った様々な場所にて運動を作像するために有用な静止画像作製カメラ及びシステムを提供する。本発明はまた、本願出願人が有する米国特許第5,552,824号及び5,657,077号に記述されるように逐次走査されるライン対象物（または線状対象物）を編集することによって場面を生成するシステム及び方法に関する。
【０００２】
標準的な写真技術を採用してレースのゴールラインを監視するシステムは、従来周知である。この種のシステムにあっては、普通高解像作像のために用意された１つまたは複数のカメラで、ゴールラインを観察し、審判またはその他のインタープリータによる後での検査のため逐次の画像を高速度で捕捉する。しかしながら、このプロセスは、例えば写真用フィルム及びペーパ装置、処理薬剤、像拡大装置または投影光学系を、操作、現像及び仕上げのそれぞれの方法とともに採用されるべきことを要するという点において、厄介であり、不経済であり、時間を浪費する。したがって、殆どのレースは人間の審判員に頼り、極度に接近した事象または重要な事象だけ「フォトフィニッシュ」技術に帰る。Specialty Instrument Corporationは、Accultrackなる商標でこの形式の多数の電子、フォトフィニッシュシステムを市販している。米国特許第3,829,869号は、一つのこの種のAccutrackシステムを例示している。
【０００３】
「フォトフィニッシュ」技術には種々の問題があるので、競争事象を監視するための数々の他のシステムが開発された。しかしながら、スポーツ事象を計時するためのこれらの他の方法及びシステムは、新たな困難性をもたらす。標準的テレビジョンまたはビデオフォーマットでレースを記録し表示するビデオシステムは普及しているが、これらのシステムの特有な実施形態に拘わらず、電子像の一部は記録媒テープのようなアナログ媒体上に留まる。システムからのアナログデータは、時間に関する連続情報よりなるから、固有の時間間隔に正確に割り当てるのが比較的難しい。記録されたシーケンス内の特定の瞬間にアクセスするのはさらに一層困難である。何故ならば、関連するシステムは、普通、巻かれた型、例えばビデオカセット内に長い物理的長さを有する記録媒体をサーチしなければならない。これは、現在のレースを同時的に記録、観察し、そしてレースの前の部分（または先行のレース）を検討したいと思うユーザーに制限と困難性を与える。何故ならば、一人のユーザーしか任意の一時点に蓄積記録された情報の任意のものにアクセスできないからである。
【０００４】
アナログデータでの他の困難性は、それが表示される前にビデオ、テレビジョンまたはコンピューターに有効な信号に変換されねばならないことである。例えば、サーチの完了後、ビデオテープの選択された部分は、普通アクティブメモリに送られ、しかる後コンピューターにより、そしておそらく補助の複雑なグラフィックジェネレータにより処理される。概して、アナログフォーマット及び関連する処理は、レースを検討するに必要な時間を増し、それゆえ判断プロセスを長引かせる。
【０００５】
レースシステムにおいて直面する他の問題は、マラソンまたは自転車レースのような、長時間または参加者がゴールする迄続くことがある長時間事象の管理において起こる。ランナーまたは自転車競技者は、グループでゴールラインと交差する場合もあれば、長時間ゴールラインに人がいない場合もある。かくして、ゴールラインにおける関連情報は飛散的であり、相当の長さの「デッド時間」を包含する。アナログシステムにおいては、それにも拘わらず、「デッド時間」は画像記録と事象との時間同期を保つために、その他の理由において一般的に無用であると考えられていても、記録され蓄積され、レースを処理し観察するに必要な時間を増加させる。
【０００６】
数種のレースシステムは、記録された情報をデジタル形式に変換することによって、レース中に採取されるデータの管理及びアクセス可能性を改良しようとした。しかし、これらのシステムは、スクリーン上にレースを表示する前に、アナログ形式に戻すことが多かった。例として、米国特許第4,797,751号は、一般の陰極線管（ＣＲＴ）上に表示を行うためにデジタル及びアナログセクションを有するビデオ記録システムを開示している。米国特許第5,136,283号は、同様に、標準テレビジョンフォーマット上にレースを表示する一部デジタルのシステムを開示している。これらのアナログ／デジタルシステムは、全アナログシステムに固有の諸問題の多くをなお有している。
【０００７】
上述の本願出願人が所有する米国特許第5,552,824号及び米国特許第5,657,077号に詳述される線形センサアレイ（または、線状センサアレイ）またはラインカメラも、現在このような作像の目的に適用されている。これらのカメラは、アセンブリラインの作像ならびに体育競技ゴールライン作像に使用された。これらのカメラは、限定された領域、すなわちカメラにより作像された線形（または線状）のストリップについてきわめて正確な時間解像度を有するという利点を与え、そして固定の場所に向けられる時系列のフレームを採ることによって、場面の通例の光学的空間像またはｘ,ｙ次元像に対し容易に読み取り可能な類似性をもつ二次元の、線形／時間またはｔ,ｙ次元像が形成され得る。本願出願人の上述の米国特許に述べたように、この種のカメラから得たストリームは、高い時間的及び空間的解像度をリアルタイムで提供するように移動する対象物を検出し処理するように使用し得る。これは、ライン画像データ（または、線状画像データ）のほぼ連続的流れを処理システムへ伝送することを伴い、この処理システムが関係する視野の注釈付け、索引付け、圧縮及び記憶を扱い、それにより関係する視野の小部分が、デジタルアクセスメモリに記憶され、詳細な検査のため、原像の収集から数分または数秒以内に容易に再呼び出しされ得るようになされる。しかしながら、このようなライン作像カメラシステムの有効な使用は、システムを操作する熟練技師によるソフトウエアを介在した費用のかかるデータ処理を必要とし、画像の組み立て、時間同期及び画像フレーム記録及びアクセスを行うためのデータ伝送及び同期に大きな負担がかかる。
【０００８】
したがって、本発明の目的は、トラック上の平面と交差する物体の時間的に逐次の場面を記録し、表示するための改良されたカメラ及びシステムを提供することである。
【０００９】
（本発明の要約）
本発明のこれら及びその他の諸目的は、以下の記述から明らかとなろう。本発明は、一側面において、空間内の平面を横切る物体の時間的に逐次のシーンを形成するカメラであって、限定された領域内における対象物の出現を認識して画像出力ストリームをトリガする、またはそれにフラグ付けするカメラをその特徴とする。システムは、関与するラインと交差する画像を作像するように向けられる少なくとも一つカメラを備え、そしてこのカメラが、対象物を検出器要素配列上に作像することによって対象物を時間的に逐次的に捕捉し、サンプルされた信号をデジタルライン画像（または、デジタル線状画像）またはフレームに変換し、これがフレームバッファに送られる。各デジタル画像フレームは、時間的瞬間に移動する場面の固定のスライス（または、断片）を一意的に表す。カメラ内にはプロセッサが配置されており、バッファと通信して、時間オフセットされたフレームの対応するピクセルまたはより大きなブロックからの情報を処理して、ライン視野領域（または、線状視野領域）に入った対象物を検出し、それに応答して、画像データ出力ストリームを制御し、あるいは画像ストリームと統合されたデータを生ずる。例えば、一側面においては、カメラは、画像領域内への対象物の到達及び画像領域からの離脱を検出し、その際画像データ出力ストリームを発生またはイネーブルするように、あるいは、ストリームに注釈付けしそしてかかる検出を指示することによってその情報内容を改善させるように動作する。基本的側面においては、カメラは画像領域における、あり得る対象物の進入または離脱を検出し、画像ストリームの関係する部分に注釈付けまたはそれをイネーブルしてもよい。他の側面においては、カメラは検出された画像データに作用して、対象物に基づく判断をなしてもよい。本発明のこの側面においては、プロセッサは、現れている特徴物の形状や配向のような像の特徴、または特徴の継続時間を検査し、対象物の存在を確認する。そのとき対象物の識別しや対象物の可能性の高い交差時間のような他の判断を行って、情報または結果に注釈を施す出力データストリームを出力し、事象データの処理及び結果のリアルタイムの発表を大幅に容易化してもよい。
【００１０】
基本的具体例においては、プロセッサは、ゴールラインと交差する１つまたは複数の対象物の開始（すなわち、画像領域に対象物が入ってくること）を検出し、その領域がアクティブな期間中（すなわち、対象物が領域に存在する期間中）のみカメラからの画像データ出力ストリームをイネーブルする。静的（すなわち、動きの無い）または背景の画像フレームは、別個または非重要な処理のためにフラグ付けしてもよいし、データローカルメモリユニットとインターフェースされる別個のポートに送ってもよいし、あるいは単に圧縮し後で、前後のフレームから再構成してもよい。かくして、１つの具体例においては、情報を加えない表示場面のフレームは、一時的または恒久的に除去され、残りのフレームに対する時間基準を保持しながら、平面と交差する物体が存在しないフレームをストリームから効果的に抑制し、それにより、連続的な場面の可視的変化の全てを一括して表示する。あるいは、画像ストリームの静的部分を抑制しあるいは出力ストリームのオン／オフ制御のとして作用するのでなく、プロセッサが、ストリームのアクティブ（またはスタティック）フレームに単にフラグ付けし、それによりカメラ出力を受信する外部プロセッサが、適宜、アクセス、検査またはその他の処理または再構成のため、関係する画像フレームをより有効にコード化し、索引付けしそして適当なメモリ位置に記憶するように動作し得るようになされる。
【００１１】
他の具体例においては、フレームの変化により作像領域に競争者の存在が指示されたときフレームデータを処理して、フォトセルの判断を遂行する。この処理は、馬の頭または体、またはランナーの腕、脚及び胴のような特徴物に対応するフレームデータのブロックを分類または比較して、ゴールライン交差の存在及び位置を確認する。プロセッサは、代表的には補間または後補間によりゴールラインの交差時間を求める。ゴールライン交差時間は、例えば馬の鼻やランナーの胴と関連したものとし得る。これらの判断は普通ソフトウエアの特徴点チェックルーチンによりなされるのであるが、このルーチンにより、対象物の本体サイズを事象の予測される速度及びカメラのフレーム速度に係数倍し、正確なゴールライン時間を推定する。ゴールライン時間の判断をトリガする前に物体の特徴を正しい順序で決定することによって、あるいは他の方法で対象物の存在を確認することによって、例えば実際の交差に先行することがある照明によるランナーの影等で誤ってトリガするのを回避する。
【００１２】
さらに他の具体例においては、プロセッサはフレームデータを処理して、競争者を識別する番号のような作像対象物上のパターンまたは記号類を検出し、そしてこれらの対象物または符号が検出された出力フレームは、検出された識別子でフラグ付けまたは索引付けされる。ラインカメラは、レースのゴールラインまたはトラックに沿う中間位置のような関与する平面に設置してよい。この場合、フレーム時間は、ゴールラインまたは中間位置のいずれかの被観察平面にてフラグ付けされた識別子で処理してもよく、それにより以前の画像計時システムで必要とされたようなデジタル的に再構成された画像の審判による検査を待つことなく自動化態様で直接表示により、ランキングまたは相対位置、速度またはその他の評価を迅速に示すことができる。このようにしてこのデータで増大されたカメラ出力は、コンピューター化レース管理システムと直接インターフェースされ、それにより所望のフレームが検討のためそれらの索引付け情報により迅速にアクセスされるようになされる。コンピューターコンソールのユーザーは、本発明により提供される種々の機能を命令して、捕捉されたシーンを操作分析し得、さらに詳述すると、平面を横切って移動する物体の場面の任意の部分を表示し、一連のライン交差画像内において各フレームに対する競争者の関連する時間及び／または識別子にアクセスすることができる。
【００１３】
本発明に従って構成されたシステムは、他の側面においては、カメラ内プロセッサと通信するカメラ内メモリサブシステムを備え、そこにおいて、対象物を検出し、背景を検出し、且つ、分析のためにカメラから出力されるアクティブな作像部分に対する開始時間及び／または終了時間を制御するためにフレームデータのブロックが処理される。本発明のこの側面に従うと、プロセッサは、作像されたフレームを分析し、フレーム伝送のための遡及的開始時間と予期される終了時間を設定して、保存される画像記録の一体化を保証し得る。カメラ内のタイマーは共通の時間ラインを維持し、伝送される部分のフレームは、時間でラベル付けされる。ゴールライン及びコース中間の追跡及び識別に加えて、カメラ及びシステムは種々のフォトセルによる判断に有用である。
【００１４】
本発明のこれら及びその他の側面は、構造の詳細及び特定の好ましい具体例を例示する図面を参照して行った以下の説明からよく理解されよう。
【００１５】
（本発明の詳細な説明）
図１は空間上の平面を横切る身体のシーケンス（すなわち、一連の場面）を画像化（または、映像化）し、記録するためのシステムに取り付けられた本発明のしたがったカメラ１２を図示しており、トラックのゴールラインＦＬ（finish line）と共に説明のために図示されている。以下に実施例と共に詳しく説明されるように、レース監視システムにおいて、カメラ１２ａも中間ラインＬの画像を撮るために設置されてもよい。（本発明の）他の側面において、自動装置処理ライン（robotic process line）で（人物の）位置の画像を撮るためにシステムが設置されてもよいが、以下の説明の簡略化のため、イベント記録カメラ１２を例にして詳しく説明する。
【００１６】
図１に示されているように、カメラ１２は時間分解画像データストリーム（time-resolved image data stream）を生成するために、ゴールラインが線形の（または、線状の）感知の配列（linear sensing array）に画像化され、その出力が高速で電子的にスキャンまたはサンプリングできるように、ゴールラインの横にカメラを設置するためのスタンドＳに取り付けられ、方向付けられる。好まれるものとして、カメラはＦＬ（ゴールライン）の垂直面に配置され、その平面が感知の配列に投射されるように方向付けられる。例えば、カメラはトラックの脇の適当な高さに取り付けられ、特定のケースでは、空中に（または、頭上に）取り付けられてもよい。カメラはレース管理システム１０に接続され、そのシステムは多様なディスプレイや記録装置及びインターフェースに接続されたデジタルカメラ１２及び画像管理コンピューター１６を含む。
【００１７】
図１Ａにさらに詳細に示されているように、本発明のカメラ１２は対物レンズ（または光学部品）１５を備え、それは対物レンズ１５自身の対象物の視野領域の線状部分１８の像を検出器部分の配列２０上に造る。検出器部分の配列２０は、好まれるものとして、千から数千のピクセルの列を持ったＬＳ−ＣＣＤ（Line Scan Charge Coupled Device）である。画像化制御器２２は連続的な画像データのフレームを取得するために、連続的な時間で検出器部品２０で検出された光のレベルをサンプリングし、その出力をゲイン制御検出器増幅器２４で増幅し、その処理された信号をＡ／Ｄ変換機でデジタル化する。各々が一列のピクセルを表す１つのフレームは１秒間当り数百以上（好まれるものとして、約４００から１０００）のレートで撮られ、バッファ２５に格納される。バッファ２５は、例えば、このサンプリングレートの未処理の画像の何十秒かに相当する、１メガバイトのＶＲＡＭで実施することができるだろう。サンプリングされた各画像は個々の瞬間のデジタル情報のフレームを表し、説明のために、線の配列を形成する約千の連続したピクセルの各々に対するピクセル値を持った順序データストリング（ordered data string）の形式を持つものとする。以下に詳細に説明されるが、センサから得られバッファに格納されるフレームはカメラ出力ストリーム（camera output stream）を形成するために、カメラ内でされに処理される。ＣＣＤ２０はモノクロ（グレースケール）でも、カラー（例えば、ＲＧＢ）でもよいが、以下に述べられる鮮明度に関しては、対象物検出の好まれる実施に関連するいくつかの場合を除いて、モノクロのセンサについて説明される。一般に、カラーによる実施の場合にはスケール値ではなく、光の順序トリプレット（ordered triplet）が利用され、関連するデータ構造の独特な形式に合わせて多様なデータ圧縮方式が利用される。全体として、カラーパレチゼーション（color palletization）、カメラのデータストリーム圧縮、及びシステム１０の画像管理等の実施の詳細については前述の本出願人の特許に説明されている。
【００１８】
図１のレース管理システムでさらに詳細に示されているように、線Ｌの画像のためにトラックの他の場所（例えば、走者のスタート位置や順序を検出するためにスタートラインから数十メートルの位置や、競馬において中間の順序やタイムを検出するために１／４マイル表示の位置に）に第２のカメラ１２ａが配置されてもよい。カメラ１２ａはまた、その画像データを処理、格納し、職員によって評価されたり、タイミングシステムやディスプレイシステムに送られたりするためにシステム１０に接続されるか、または通信可能状態にされる。カメラ１２ａは長いケーブルや、ラインマッチング、及び信号同期プロトコルやその他の処理の必要性を無くすために、好まれるものとして、無線伝送で通信する。この構成で、カメラ１２ａは通常、そのデータをカメラ１２より早い期間に、またはカメラ１２と異なった期間に供給し、システム１０の入力画像を処理するデータ処理部分は、任意の時間において、どちらか一方のカメラからの画像データだけを処理すればよいので、システムは一般に、カメラ１２ａの出力を扱うための管理コンピューターに第２のチャネル、複雑なアドレッシングプロトコルまたはマルチプレクスプロトコルを備える必要性はない。
【００１９】
以下にさらに詳細に説明されるが、カメラ１２、１２ａは好まれるものとして、それらの画像出力ストリームを各々が「クロップ（crop）」する。本出願において、「クロップ」とは、カメラが画像がアクティブなとき（すなわち、カメラが必要な画面を撮影しているとき）だけ情報を送信することか、データストリームにストリームのアクティブな部分を示すフラグで注釈をつけることを意味する。後のケースの場合、画像データストリームと共に注釈が受信され、システム１０のプロセッサはオペレーターの管理や制御を必要せずに、高いレベルの自動制御で動作する。
【００２０】
本発明の基本原理にしたがうと、カメラの画像制御器２２は画像の対象物の情報を検出し、それに対して応答し、外部の画像管理システム１６への接続のための出力信号線２８の画像データ出力に注釈を付けるか、または画像データ出力を制御するために、カメラ内でバッファ２５に取得されたフレームを操作するための付加的な機能を実施する。配線２８は説明の目的のために実際の配線のように示されているが、それが、例えばローカルラジオ周波数リンク等の、通信リンクでもよく、カメラがそれのデータをＲＦ周波数によって送信してもよいことは理解されなければならない。
【００２１】
いくつかの対象物検出操作がここで説明のために示される。イベント記録ラインカメラ（または、イベント記録線状カメラ）によって作られた二次元（線×時間）画像フレームは、画像化される対象物の線ＬまたはＦＬの対象物のドウェル時間（dwell time）に比例し、線を横切る対象物の速度に反比例するｘまたは幅の寸法で、幅の方向に不鮮明になる（または、にじむ）ことは当業者にとって既知である。逆に言うと、背景のフィールドは、それがその前を通過する競技者によって妨害されない限り、常に同一であり、ラインセンサ２０の各ピクセルの位置を横切る固定した色または強度の水平な帯を形成する。これらはバッファ２５内の画像フレームとなり、以下で説明される対象物検出器がそれに対し動作する。好まれるものとして、各画像には参照時間（または、基準時間）が記録され、その時間情報はフレームのデジタル情報内に含まれる。好まれる実施例において、各フレームの参照時間はカメラ１２が画像を撮影した時間を示す。これは実時間でも、あるいは外部のイベントやトリガ信号の開始に対する時間でもよく、または、スタート検出センサ８４（図１）、外部の時間情報源、カメラの内部タイマー、または（好まれるものとして）前述の特許で説明されているシステム時間の同期プロトコルによって導き出されてもよい。
【００２２】
一般に、外部コンピューター記憶装置及び画像分析システム１６は未処理の画像データにインデックスを付けたり、索引付け、アクセス、画像データに現れる時間の素早い表示や分析のために、テキストを追加したり、画像を識別データとリンクさせたりするためのソフトウエア等を含んでもよい。このタイプのシステムは本出願人の前述の２つの米国特許に詳しく説明されている。
【００２３】
周辺の事情を説明すると、外部管理システムのメイン制御コンピューター１６は内部メモリ３６内に格納された情報のブロックを処理し、ラインフレーム（または、線状フレーム）をディスプレイモニター４２上に連続的なデジタルラインフレームの場面及び時間内容を表示するための二次元画像フレームにまとめる中央プロセッサ４０を持つ。中央プロセッサ４０はまた、好まれるものとして、自動制御動作及びシステム１０のメモリ管理を制御し、さらに、ユーザーがリアルタイムの表示や以前に記録された部分を含む、システム１０によって取得された全ての場面の表示を命令できるように、キーボード４４及びマウス４５の入力に応答する。特に、ゴール時間の即時の発表やゴール付近の画像による分析のために、特定の部分に関連した特有の時間にアクセスできるようにすることが考えられる。コンピューターの出力はさらに、結果の発表のための掲示板や、審判による即時の判定のための遠隔のモニター等の外部のディスプレイを駆動するように構成されてもよい。これらのような、多数の所望される外部のレース管理システムが現在、商業上の製品として存在し、それらの動作の説明はここでは必要ないと思われる。
【００２４】
本発明のラインカメラシステム（または線状カメラシステム）で作製、記録される時間と位置の決定の理解のための例として、図２は水平軸に沿って移動中の対象物６０を図示しており、そこにおいて、カメラ（図示せず）はその軸に実質的に垂直な面の視野の領域（または視野のフィールド（field of view））ＦＯＶと共に対象物６０に焦点が合わされている。各フレームは対象物６０、すなわち線状の対象物を撮影しているので、それらは単独の、且つ独立したデジタルライン画像フレーム（またはデジタル線状画像フレーム）として表される。図２において、システムによって撮影された連続的な対象物は説明のために、対象物６０上の連続的な長方形の線６２として示されている。各ライン画像６２に対し、カメラ１２は配列２０の多数の検出器部分に対応した線状の対象物の画像をサンプリングすることによってそれぞれのフレームを生成する。すなわち、各ライン対象物（または線状対象物）６２はカメラを通して対象物をセンサ２０上に投射することによって、検出器の配列２０によってサンプリングされ、対象物の長手方向に沿ってデジタル的に細分化された多数のピクセルを持ったデジタル画像フレームを形成する。リアルタイムの観点から言うと、対象物６０が対象物平面に沿って移動するとき、ラインフレーム６４は最も新しく撮られたフレームを表し、このラインフレーム６４の左側にある対象物の部分はこれから撮影され、ラインフレーム６４の右側にある線６２は既に撮影されていることを表している。一続きの連続的なラインフレームは次に、１つの画像を形成するために互いに組み合わされる。
【００２５】
この方法で組み合わされた対象物の場面または合成の画像は、それがコンピューター１６に表示されたとき、カメラ１２のＦＯＶ（視野の領域）を通過する対象物の実際の空間的な画像に類似しており、特に、対象物が比較的一定の速度で動き、フレーム速度が幅方向の寸法が対象物の通常の空間的な画像に対し実質的に拡大または縮小されないように、対象物の予想速度に比例するように選択されたとき、非常に類似する。このような画像において、例えば壁等の、ゴールラインに沿って存在する視野の領域の静止している背景７０は連続的な線状画像に同一のものとして画像化されるので、フレームが連続的な線から組み合わされると、背景は静止した物体の決まった色または強度を持った水平の縞になって現れる。
【００２６】
図３はゴールラインを通過する数人の走者をこの方法で形成した典型的な画像を図示している。この画像の生成のモードによるアーティファクトと共に、（走者によって隠されていないときは）いくつかの水平の縞として背景が現れており、各走者はゴールラインを通過する走者の身体の連続した片が呈する姿勢で固定している。横方向に沿って生じるわずかな寸法の伸びまたは縮みを除けば、各走者は固定したカメラ位置の展望から撮影された通常の空間的な画像にほぼ類似している。したがって、走者の衣類の色、エントリー番号、顔の特徴、及び他の識別のための特徴は画像として撮影される（または、撮影される可能性が高い）。
【００２７】
ここでカメラの動作の説明に戻ると、図１Ａのシステム１０によって撮影された各デジタルラインフレームはバッファ２５に格納され、制御マイクロプロセッサ２２はカメラの出力を制御するためにこのライン画像データを操作する。本発明はいくつかの異なった対象物認識及び出力制御を意図しているが、それらの例が以下に説明される。最初に、線ＦＬを通過する対象物の認識について説明する。
【００２８】
図４は本発明の基本的なプロトタイプの実施例のこの動作を説明しているフローチャートである。この実施例において、カメラのマイクロプロセッサ２２は、線状の視野の領域を横切る対象物の存在を検出するためにバッファ２５からの未処理の画像を処理し、正確な時間の記録を保持しながら、ゴールラインがアクティブなときだけ（すなわち、走者がいるときだけ）カメラによって画像フレームが送り出されるように、出力データストリームを制御する。ハードウエアの観点から言うと、マイクロプロセッサはゴールラインの状態を検出するために、ラインフレームを適当なサイズのＶＲＡＭ（例えば２ＭＢ−ＶＲＡＭ）の中にロードし、連続的なライン（すなわち、線状データ）を処理する。そして、アクティブでないフレームや不感時間の画像を単に圧縮したり、消去したり、システムの帯域幅を占有せずにテープにバックアップしたりしながら、動きの可能性があるパターンが検出されると、プロセッサはパターンを確認し、カメラの送信のために過去に遡ってアクティブな画像シーケンスの開始に印をつける。
【００２９】
バッファ記憶装置またはＶＲＡＭに加え、カメラ内部のマイクロプロセッサ２２は、好まれるものとして、３２ＭＢ以上のＲＡＭを持ち、カメラ自体が数分程度の時間分解されたアクティブなゴールラインの画像を格納することを可能にしてもよい。これはトラックや乗馬競技の通常のゴール期間に比べ十分長く、外部の伝送リンクのミスや装置の故障が発生した場合でも、分析に必要な場面はカメラのメモリに残すことができる。
【００３０】
図４に示されているように、対象物検出は画像フィールドに入ってくる対象物の始まりを検出することにより行われる。これはフィールドへの対象物の立ち入りを決定し、それを確認するために、入力されるライン画像フレームをソート／比較処理することによりなされる。最初に、プロセッサは、説明のために８つの画像ラインの組をロードして８×１０００ピクセルのサンプル（サンプルストリップ）を形成し、該サンプルを８×８ピクセルのブロックに分割する。したがって、各片（サンプルストリップ）は８×８ピクセルの１２５個の光−サンプリングブロックから成る。マイクロプロセッサは次に、同様な８つの画像ラインを分割し、２つの１２５個の光の値のブロックの組を持ち、連続的な画像の光の値の局在的な変化の量を測定するため、各ブロックのピクセル値を直前の対応するブロックのピクセル値と比較する。この比較は、例えば各ブロックのピクセルの値の合計の差を取ってもよい。連続的に検出された光の値の強度（または輝度）の全変化を表す差が、全てのブロックで、閾値Ｔ₁（例えば合計された全ピクセルの強度の１０％）より小さい場合、プロセッサは単に次の８つのラインを取り込み、それをブロックに分割し、再び、同様な比較を実行し、閾値レベルより大きい光の値の変化が検出されるまでこの方法を続ける。
【００３１】
一定の強度及び同じ位置で画像化される静止した背景がピクセルのセンサのノイズレベルによって変動することは理解されなければならない。さらに、場面が室内であり、人工的な光によって照明されている場合、光の強度の線周波数に周期的な変動が起きる可能性がある。したがって、変化を検出するために複数の連続的なラインや複数のピクセル平均化ブロック（multi-pixel averaging block）を使用することは、光のレベルの意味のある変化の検出におけるノイズや周期的な光の変動の影響を減らすために有効である。よって、１秒間当り１００から１２０のゼロ交差を持つ５０から６０Ｈｚの線信号が存在する場合、サンプル周期と照明の明滅のアリアジング（aliasing）が間違った結果を誘発しないことを確実にするために約８０から１００ミリ秒のブロックが必要となる。検出用の閾値Ｔ₁は８×８ブロックの予想されるノイズの変動より大きく設定されなければならない。全強度の１０パーセントの値は視野の領域への意味のある動きを検出するために適当な閾値である。
【００３２】
図４に詳しく示されているように、Ｔ₁の閾値より大きいブロックの強度の差が検出されたとき、プロセッサはその時のブロックの最初のラインの時間ｔ₀に「対象物開始」フラグを設定する。もう１つの実施例において、プロセッサは差の検出のために連続した２個またはｎ個のブロックの間待ち、画像データに注釈を付けたり、出力制御信号を設定したりする前に、対象物の存在を再確認してもよい。この場合、カメラが計数を開始し、少なくとも、（例えば、）５回連続してブロックの差が続き、閾値より大きい場合、その変化は対象物が視野の領域を横切っているために発生したと認識されてもよい。プロセッサは過去のデータに遡ってアクティブなシーケンスの開始時に「対象物開始」フラグを設定する。フラグデータは外部のライン画像データの処理及びインデックス付けを行うために独立なデータ指示として連続的な画像データストリームと共に送られてもよいし、あるいは、その時間のカメラからの画像データ出力の開始を直接指示するために使用されてもよい。そして、それにより、画像データは対象物が検出されたときだけ送信されることができる。もう１つの実施例では、カメラは最初に検出された変化したフレームより前の時点、例えば０．１秒前の時点から画像データを取得するように設定されてもよく、それにより、ゴールラインのシーケンスは競技者がゴールラインに近づいたときの画像を含むことができ、競技者が（ゴールラインを）通過する最初の部分を表示することができる。したがって、胴体がリボンを通過する前の馬の鼻や、走者の手も表示することができる。通常ゴールラインの通過として考えられているイベントの前に起こる、そのような詳細な情報は、複数の競技者がほぼ同時に通過する場合に、不正確さを取り除くために便利である。例えば、数人の競技者が同時に視野の領域を遮り、重なっている場合でも、競技者の位置を識別するために突き出した手を利用することができるだろう。したがって、アクティブな画像のシーケンスは先頭の競技者の特定の部分を含むように設定されてもよい。
【００３３】
図４にさらに示されているように、画像に一度走者が検出されると、プロセッサは付加的な情報を得るために画像フレームに現れた対象物の監視及び分析をする、異なった分析処理に切り替わる。基本的な実施例では、プロセッサは対象物が完全に通過したか、またはゴールラインの動作が終了したことを決定するために、初期の対象物トリガ分析に類似した方法で画像片のサンプリング処理を継続する。この処理に対する、その決定の適当な方法は図４Ａに示されている。対象物の終了が検出されたとき、プロセッサは「対象物終了」フラグを設定し、出力制御器が出力ストリームをオフにするか、休止モードに入るようにする。この終了時の決定のために、プロセッサは全てのブロックの組の差が閾値Ｔ₂より小さいかを検出する。できれば、プロセッサは移動する対象物の通過が終了したと決定する前に、より多いサンプル片に対しＴ₂＜Ｔ₁の異なった閾値を利用するか、均質性の持続のためのもう１つの閾値レベルを利用するか、またはその両方を利用する。この操作はカメラの前の視野の領域に留まる静止した対象物というよりも、馬の胴体等の比較的均質的な対象物によるシーケンスの終了の間違った信号を避ける。カラーカメラによる実施例の場合、検出モジュールはこれらの決定のために検出測定として強度（または、輝度）の代わりに（または強度に加えて）色の変化を利用するように設定されてもよい。動作の終了が検出されたとき、「対象物終了」フラグは静的な信号レベルに達するフレームグループの最初のラインであってもよいし、または、それの後の瞬間的な断片（の信号）の設定でもよい。そして、それは画像出力の伝送を終了させるための出力制御の信号を出すか、あるいは、（クロップ操作がカメラ出力ストリームの物理的な切り替えではなく、フレームへの注釈付けの場合、）フレームにラベルを付ける。
【００３４】
まとめると、対象物認識出力制御器は最初に対象物の移動と考えられるものを識別し、移動の存在を確認し、そして過去のデータに遡ってアクティブな画像フレームを識別する。同様に、シーケンスの終わりに、静止している場面と考えられるものを識別し、それを確認し、そして少なくとも最後のアクティブなフレームまで拡張するようにクロップの終了時間を設定する。この方法により、検出、記録、及びゴールラインを通過する動きを判定するために必要な画像の部分だけに注釈がつけられカメラから送信される。そして、これらは対象物検出に基づいてカメラ内部の制御器によって自動的に選択される。比較的小さいアクティブ画像の集合部分がカメラによって予め識別されるので、この方法による自動的な対象物認識は外部のコンソールで画像データを視聴し、選択する人間の監視者や、外部の膨大なロール式の画像バッファ及びクイックアクセスメモリ記憶装置の必要性を無くす。
【００３５】
前述されたように、ゴールラインを横切る対象物が存在しないとき、背景の場面は静止している。本出願人の前述の特許にさらに詳細に説明されているが、ライン間圧縮（line-to-line compression）アルゴリズムを使用することによって、静的なシーケンスを符合化するためのデータの量は非常に小さくすることができ、それらをカメラ内で圧縮することにより、外部のバス配線は未処理のラインデータ（または、線状データ）の膨大な流れを扱う必要が無い。本発明のシステムはさらに付加的な操作上の改善を与える。すなわち、カメラ内部のプロセッサは関係のありそうな画像データの短い継続時間だけを効果的に送信し、システム１６から判るように、システムは必要なときだけ、それ自体を効果的にオン及びオフすることができる。実際、典型的なゴールラインの通過の時間は３０秒以下であるので、カメラ内の３２ＭＢのＲＡＭだけでも、カメラは１つのレースの関連するデータの全ての部分を効果的に格納することができるだろう。各ラインフレームはそれが撮影された時間を含んでいるので、最後のフレームから静的な不感時間の場面を再構成するために必要なのは開始と終了の時間だけである。
【００３６】
カメラのラインセンサ（または、線状センサ）によって生成される画像データのアクティブな部分にフラグを付けることに加え、本発明はさらに対象物ベースのデータを作り出すために対象物を識別するための内部処理をする事も意図している。これは図５に図式的に示されている。２つの特徴的なデータのタイプが図示されている。一方は競技者が通過するときに、競技者の色、番号、バーコードや他の個人的な特徴を検出するために画像分析のサブルーチンによって処理する対象物識別である。これは後で詳細に説明される。もう１つは、ここで説明されるもので、フォトセル決定（photocell determination）と呼ぶ。本発明の後のケースの側面にしたがうと、もっともらしいゴールタイムを決定するために、カメラ内部のプロセッサは競技者をテンプレートに当てはめるために、対象物を含んだフレームのより詳細な分析を実施し、身体の特定の部分を認識し、種類／イベント特殊補完ルールまたは推定ルールを利用する。
【００３７】
これらの方法が適用された場合、例えば馬の場合、プロセッサはゴールラインを通過する馬の身体を検出するために頭上からの画像ラインを処理し、（水平方向の距離のスケールに影響を与える）フレームレート及びイベント速度を修正しながら、身体（すなわち、馬体）の中間点より、特定の（固定）時間または（固定）距離だけ前に起きたフレームによってゴールタイムを特定する。この推定はその種類（の馬）の標準的な大きさや形状に基づいた推定時間を与え、掲示板に表示される初期の発表のために使用することができる。例えば、プロセッサは馬の鼻をその馬の中心から１．６ｍ前にあると設定したり、グレーハウンドの鼻が中心から０．７ｍ前にあると設定したりする。画像出力データストリームに特定の時間を加えることにより、即座の指標がレース管理システムに与えられ、その後に、正確なゴールタイムを決めるために完全なフレーム画像が構成され、再評価される。図３は人間のトラックイベントに対する典型的なゴールの構成を示している。人物に上述の方法が適用された場合、関連する画像の分析はフィールド上の手、腕、または足の初期の出現によって引き起こされる。この場合、画像分析は、例えば、もっともらしいゴールは最初の手足の３０から５０ｃｍ後であると設定したり、胴や腹等の身体の重心を検出するようにさらに画像分析を進めたりして、これらの形状の出現によりゴールタイムを推定する等の、特定のルールによって分析される。レースの職員は画像フレームを調べ、例えば、胴が前方に傾いているかどうかを観察し、実際に合成フレームのどのラインが胴の先頭を含んでいるかを見ることにより正確なゴールタイムを決定する。他のフォトセル通過決定もイベントの速度や競技者の種類に特有のルールを利用することによって容易に実施することができるだろう。
【００３８】
ここでカメラの対象物認識及び形状認識の説明に戻ると、上述の説明はピクセル値がスカラー値である場合に関してであることに注意しなければならない。しかしながら、３色のラインカメラが利用された場合、動きの決定はより速い処理、より正確な対象物認識、または特定の形状、識別子の検出を達成するために異なった方法で処理することもできる。単純な対象物検出に対するそのような１つの変更は、より洗練された場面の変化のテストを行うために、連続的なサンプル片のブロックの３つの異なったカラー値を独立に比較し、その差を独立に合計することである。例えば、赤い色が全体を通して無い場合に、赤いピクセルの突然の出現は直ぐに新しい対象物の到着を示すことができる。このカラー比較決定は対象物認識決定のために必要なブロックのサイズを減らす。あるいは、競技者の服装の色や目立つ色の組み合わせによって各自を識別するために、競技者に特定の色のマーカーやユニフォームが割り当てられてもよい。プロセッサはこの場合、好まれるものとして、（例えば、ロイヤルブルー＝ジョースミス＝競技者番号１７等の）画像内の各競技者に関連した色を記憶し、そのデータを出力ストリームに供給するようにプログラムされる。
【００３９】
あるいは、レース管理システムは検出された識別子を事前に設定された走者の識別子の表と比較してもよい。この場合、カメラから受信された色の注釈が付けられた画像ストリームは、色を識別子表と照らし合わせ、走者の名前をディスプレイに表示する単純なサブルーチンへ送られる色及び時間の要素を持つ。このような識別子表は初期設定の処理中に、好まれるものとして、外部のレース管理システムによって実施される。例えば、プロセッサがその独特の色を分析及び記録し識別子表を設定するために、独立したハンディタイプのカメラにより各競技者が撮影され、競技者の個人情報を入力が入力されてもよい。この場合、本発明の対象物により制御されるラインカメラは、例えば、カメラの出力データストリームに存在する各ライン画像フレームのプリアンブルに英数字等の必要な識別データを供給するために付加的な処理をする。
【００４０】
本発明はさらに、制御器２２がその視野上の特定の対象物を識別するために動作するとき、プロセッサが光の変化の決定や色の決定以外の付加的な画像分析を実行することも意図している。そのような付加的な処理は、例えば、比較的狭い画像領域に複数の色が同時に現れたとき、走者の重なった画像を分割し、個々の色を決定するためのエッジ認識及び対象物分割を含んでもよい。本発明はまた、各競技者が画像上で認識できる特別の識別子のマーカーを身に付けた場合のシステムも意図している。したがって、例えば、馬のイベントで使用される場合、マーカーは馬の背中に取り付けられ、カメラが上空からゴールライン（または、トラック中の中間点）の画像を撮ることにより、全てのマーカーがカメラ方向を向き、隣接する走者に邪魔されないようにすることができる。そのようなマーカーは、例えば、特徴のある組み合わせを形成する、特定の向きのバーコードや、異なった色の線またはブロックを含む。カラーマーキングが、素早い、信頼性のある決定を確実にするために形成されてもよい。これは、例えば、カラーバンドに異なった色を配色し、それらがカメラの別々の検出ピクセルに画像化され、検出ピクセルが実質的なドウェル時間を持つことを確実にするような方法で配置または方向付けすることによって達成することができる。例えば、バンドは動きと平行な方向で身に付けられ、それらに画像上の延長されたドウェル時間を与え、それらがセンサの別々のピクセルに画像化されるように移動方向に垂直にオフセット（すなわち、幅）を設けてもよい。それらはまた、サイズが許す限り、移動方向にもオフセットを設け、画像の色の組み合わせの時間分解が行われてもよい。これは、ライン画像が画像センサに沿って狭くて高いブロックでサンプリングされるときや、短い継続時間だけで画像化される場合に、それら（カラーバンド）を容易に検出させる。
【００４１】
もう１つの実施例において、プロセッサは競技者のユニフォームのゼッケンを単に読み取るために、光学的文字認識モジュールを組み込んでもよいし、バーコード識別子を認識するためにバーコードリーダーのパターンを使用した画像ラインを処理してもよい。しかしながら、一般に、対象となるマーカーのオクルージョン（occlusion）や間違った読み取りの可能性を減らすために、文字またはバーコード技術の使用よりも、ラインカメラ検出のために構成されたマーク、及び、好まれるものとしてのカラー識別子マーカーの使用が好まれる。
【００４２】
イベント認識システムを使用する場合、レースのゴールライン等の対象物によってトリガが掛けられる本発明のラインスキャンカメラシステムは外部システム部分に課せられるリアルタイムの帯域幅の要求を大幅に減らし、必要な画像データの伝送に目立った遅延を起こさずに、１０００分の１秒またはそれ以下の位置を記録し分解するために操作されることができるだろう。出力フレームのデータの注釈は、静的時間または不感時間による物理的なクロップを利用しない場合でも、外部のレース管理システムに設置されるデータハンドリング及びＲＡＭ記憶装置を減らす結果となる。
【００４３】
本発明は代表的な実施例及び特徴で開示され、説明されているが、この分野の技術者にとってさらなる変更や等化物は明白であり、そのような変更、改良、等化物も付随する請求の範囲で規定される本発明の範囲であると見なされる。
【図面の簡単な説明】
【図１】平面と交差する物体の時間的に逐次のシーンを記録し表示するための本発明に従うカメラを採用したシステムを示す概略線図である。
【図１Ａ】図１のカメラ及びシステムの詳細図である。
【図２】離散的にサンプルされたライン対象物から本発明に従って構成された代表的像を示す図である。
【図３】本発明に従ったシステムによって生成されたレースの場面の典型的な表示を図示している。
【図４】本発明に従う像出力制御のためのカメラ内検出器の動作を示すフローチャートである。
【図４Ａ】出力制御のための内部対象物検出処理を例示するフローチャートである。
【図５】他の情報処理を例示するフローチャートである。
【符号の説明】
１０レース管理システム
１２、１２ａカメラ
１５対物レンズ
１６外部の画像管理システム
１８対象物の視野領域の線状部分
２０ラインセンサ（または、検出器の配列）
２２カメラ内部の画像化制御器
２４ゲイン制御検出器増幅器
２５カメラ内部のバッファ
２６Ａ／Ｄ変換機
２８出力信号線
３６内部メモリ
４０中央プロセッサ
４２ディスプレイモニター
４４キーボード
４５マウス
６０移動中の対象物
６２ラインフレーム
６４最も新しいラインフレーム
７０背景[0001]
(Field of Invention)
The present invention relates to a system for monitoring and recording motion events, and more particularly to a camera and system for temporal sequential imaging and display having applications in numerous fields. More particularly, still image production cameras and systems are provided that are useful for measuring timed sporting events and imaging motion at various locations along a limited track. The present invention also provides a system and method for generating a scene by editing sequentially scanned line objects (or linear objects) as described in commonly owned US Pat. Nos. 5,552,824 and 5,657,077. About.
[0002]
Systems that monitor race goal lines using standard photographic techniques are well known in the art. In this type of system, the goal line is observed with one or more cameras, usually prepared for high-resolution imaging, and sequentially used for later inspection by a referee or other interpreter. Images at high speed. However, this process is cumbersome in that it requires, for example, photographic film and paper equipment, processing agents, image magnifiers or projection optics to be employed with each method of manipulation, development and finishing. It is uneconomical and wastes time. Thus, most races rely on human referees and return to the “photofinish” technique only for extremely close or significant events. Specialty Instrument Corporation markets a number of electronic and photofinish systems of this type under the trademark Accultrack. U.S. Pat. No. 3,829,869 illustrates one such Accutrack system.
[0003]
Due to various problems with the “photofinish” technology, a number of other systems for monitoring competitive events have been developed. However, these other methods and systems for timing sporting events introduce new difficulties. While video systems that record and display races in standard television or video formats are widespread, regardless of the specific embodiments of these systems, some of the electronic images are on analog media, such as recording media tape. Stay on. Since analog data from the system consists of continuous information about time, it is relatively difficult to accurately assign to unique time intervals. It is even more difficult to access a specific moment in the recorded sequence. This is because the associated system usually has to search for a recording medium having a long physical length in a rolled mold, for example a video cassette. This places limitations and difficulties on users who want to simultaneously record and observe the current race and consider the previous part of the race (or the previous race). This is because only one user can access any of the information stored and recorded at any one time.
[0004]
Another difficulty with analog data is that it must be converted to a valid signal for video, television or computer before it can be displayed. For example, after the search is complete, the selected portion of the videotape is usually sent to active memory and then processed by the computer and possibly by an auxiliary complex graphics generator. In general, the analog format and associated processing increases the time required to consider a race and therefore lengthens the decision process.
[0005]
Another problem faced in the racing system occurs in the management of long events, such as marathons or bicycle races, which can last long or until participants finish. Runners or cyclists may cross the goal line in a group or may not have people on the goal line for a long time. Thus, the relevant information in the goal line is scattered and includes a considerable amount of “dead time”. In analog systems, nonetheless, “dead time” is recorded and stored, even though it is generally considered useless for other reasons, in order to keep time synchronization between image recording and events, Increase the time required to process and observe the race.
[0006]
Several race systems have sought to improve the management and accessibility of data collected during the race by converting the recorded information into a digital format. However, these systems often reverted to analog form before displaying the race on the screen. As an example, U.S. Pat. No. 4,797,751 discloses a video recording system having digital and analog sections for display on a common cathode ray tube (CRT). U.S. Pat. No. 5,136,283 similarly discloses a partially digital system for displaying races on standard television formats. These analog / digital systems still have many of the problems inherent in all analog systems.
[0007]
The linear sensor array (or linear sensor array) or line camera detailed in US Pat. No. 5,552,824 and US Pat. No. 5,657,077 owned by the above-mentioned applicant are also currently applied for such imaging purposes. Has been. These cameras were used to create an assembly line as well as a sports goal goal line. These cameras offer the advantage of having a very accurate time resolution for a limited area, ie, a linear (or linear) strip imaged by the camera, and time-series frames that are directed to a fixed location. By taking, a two-dimensional, linear / time or t, y-dimensional image with easily readable similarity to a typical optical aerial image or x, y-dimensional image of the scene can be formed. As mentioned in the above-mentioned US patent of the applicant, the stream obtained from this type of camera is used to detect and process moving objects to provide high temporal and spatial resolution in real time. Can do. This involves transmitting a nearly continuous stream of line image data (or line image data) to the processing system, which handles the annotation, indexing, compression and storage of the field of view that this processing system is concerned with; A smaller portion of the field of view that is more relevant is stored in the digital access memory so that it can be easily recalled within minutes or seconds of acquisition of the original image for detailed examination. However, effective use of such a line imaging camera system requires costly data processing through software by skilled technicians operating the system, and image assembly, time synchronization and image frame recording and access. A large burden is imposed on data transmission and synchronization for performing.
[0008]
Accordingly, it is an object of the present invention to provide an improved camera and system for recording and displaying temporally sequential scenes of objects that intersect a plane on a track.
[0009]
(Summary of the Invention)
These and other objects of the invention will become apparent from the following description. In one aspect, the present invention is a camera that forms a temporally sequential scene of an object that crosses a plane in space, and recognizes the appearance of an object within a limited area and triggers an image output stream. Or a camera flagging it. The system comprises at least one camera that is directed to image an image that intersects the lines involved, and the camera temporally images the object by imaging the object on the detector element array. Sequentially capture and convert the sampled signal into a digital line image (or digital linear image) or frame that is sent to the frame buffer. Each digital image frame uniquely represents a fixed slice (or fragment) of the scene that moves at a time instant. A processor is located within the camera and communicates with the buffer to process information from the corresponding pixel or larger block of the time offset frame into the line view area (or linear view area). An incoming object is detected and in response, the image data output stream is controlled, or data integrated with the image stream is produced. For example, in one aspect, the camera detects the arrival and departure of an object into the image area, and generates or enables an image data output stream, or annotates the stream. Then, by instructing such detection, the information content is improved. In a basic aspect, the camera may detect possible object entry or departure in the image area and annotate or enable the relevant part of the image stream. In another aspect, the camera may act on the detected image data to make a determination based on the object. In this aspect of the invention, the processor checks the image features, such as the shape and orientation of the emerging features, or the duration of the features to confirm the presence of the object. At that time, it makes other decisions such as identifying the object and likely crossing time of the object, outputting an output data stream that annotates the information or results, and processing the event data and real-time results Announcement may be greatly facilitated.
[0010]
In a basic implementation, the processor detects the start of one or more objects that intersect the goal line (ie, an object enters the image area) and is active while that area is active ( That is, the image data output stream from the camera is enabled only during the period in which the object is present in the area. Static (ie motionless) or background image frames may be flagged for separate or non-critical processing, or sent to a separate port interfaced with the data local memory unit. Alternatively, it may be simply compressed and then reconstructed from the previous and subsequent frames. Thus, in one embodiment, the frames of the display scene that do not add information are temporarily or permanently removed and stream frames that do not have an object that intersects the plane while maintaining a time reference for the remaining frames. Effectively suppresses all visible changes in successive scenes at once. Alternatively, rather than suppressing the static portion of the image stream or acting as an on / off control for the output stream, the processor simply flags the active (or static) frame of the stream and thereby receives the camera output An external processor is adapted to be able to operate to more effectively encode, index and store relevant image frames for access, inspection or other processing or reconstruction as appropriate. .
[0011]
In another specific example, when the presence of a competitor is instructed in the image forming area due to a change in the frame, the frame data is processed to perform photocell determination. This process classifies or compares blocks of frame data corresponding to features such as horse heads or bodies or runner arms, legs and torso to determine the presence and location of goal line intersections. The processor typically determines the goal line crossing time by interpolation or post-interpolation. The goal line crossing time may be associated with, for example, a horse's nose or a runner's torso. These decisions are usually made by a software feature check routine, which multiplies the body size of the object by the expected rate of the event and the frame rate of the camera to provide an accurate goal line time. Is estimated. Runners with lighting that may precede the actual intersection, for example, by determining the object characteristics in the correct order before triggering the goal line time determination, or otherwise confirming the presence of the object To avoid accidental triggering by the shadow of
[0012]
In yet another embodiment, the processor processes the frame data to detect patterns or symbols on the imaging object, such as numbers that identify competitors, and these objects or signs are detected. The output frame is flagged or indexed with the detected identifier. The line camera may be placed on the plane involved, such as an intermediate position along the race goal line or track. In this case, the frame time may be processed with an identifier flagged at the observed plane, either at the goal line or at an intermediate position, so that it is digitally as required by previous image timing systems. Ranking or relative position, speed or other assessment can be quickly indicated by direct display in an automated manner without waiting for review by the referee of the reconstructed image. The camera output augmented with this data in this way is interfaced directly with the computerized race management system so that the desired frames are quickly accessed with their indexing information for review. The user of the computer console can command various functions provided by the present invention to manipulate and analyze the captured scene, and more specifically, display any portion of the scene of an object moving across the plane. The competitor's associated time and / or identifier for each frame can then be accessed within the series of line crossing images.
[0013]
A system constructed in accordance with the present invention, in another aspect, comprises an in-camera memory subsystem in communication with an in-camera processor, wherein the object is detected, the background is detected, and the camera for analysis. The block of frame data is processed to control the start time and / or end time for the active imaging portion output from. In accordance with this aspect of the invention, the processor analyzes the imaged frame and sets a retrospective start time and an expected end time for frame transmission to ensure the integrity of the stored image record. Can do. The timers in the camera maintain a common time line, and the transmitted portion of the frame is labeled with time. In addition to tracking and identifying goal lines and courses, cameras and systems are useful for making decisions with various photocells.
[0014]
These and other aspects of the invention will be better understood from the following description made with reference to the drawings, which illustrate structural details and specific preferred embodiments.
[0015]
(Detailed Description of the Invention)
FIG. 1 illustrates a camera 12 according to the present invention attached to a system for imaging (or imaging) and recording a sequence of bodies (ie, a series of scenes) across a plane in space. This is shown together with a track goal line FL (finish line) for explanation. As will be described in detail below with the embodiments, in the race monitoring system, the camera 12a may also be installed to take an image of the intermediate line L. In another aspect (of the present invention), a system may be set up to take an image of a (person's) position in a robotic process line, but for simplicity of the following description, The recording camera 12 will be described in detail as an example.
[0016]
As shown in FIG. 1, the camera 12 uses a linear sensing (or linear) sensing array to generate a time-resolved image data stream. array) and attached to a stand S for placing the camera next to the goal line and oriented so that its output can be scanned or sampled electronically at high speed. Preferably, the camera is placed in the vertical plane of the FL (goal line) and oriented so that the plane is projected onto the sensing array. For example, the camera may be mounted at an appropriate height beside the track, and in certain cases may be mounted in the air (or overhead). The camera is connected to a race management system 10, which includes a digital camera 12 and an image management computer 16 connected to various displays and recording devices and interfaces.
[0017]
As shown in more detail in FIG. 1A, the camera 12 of the present invention includes an objective lens (or optical component) 15 that detects an image of a linear portion 18 of the field of view of the object of the objective lens 15 itself. Build on the array 20 of vessel parts. The detector array 20 is preferably an LS-CCD (Line Scan Charge Coupled Device) having a row of thousands to thousands of pixels. The imaging controller 22 samples the light level detected by the detector component 20 in continuous time to obtain successive frames of image data, and amplifies the output with a gain control detector amplifier 24. The processed signal is digitized by an A / D converter. One frame, each representing a row of pixels, is taken at a rate of more than a few hundred per second (preferably about 400 to 1000) and stored in buffer 25. Buffer 25 could be implemented, for example, with a 1 megabyte VRAM corresponding to tens of seconds of an unprocessed image at this sampling rate. Each sampled image represents a frame of digital information at an individual instant and, for purposes of illustration, an ordered data string with pixel values for each of approximately a thousand consecutive pixels forming an array of lines It shall have the form As described in detail below, the frames obtained from the sensors and stored in the buffer are processed in the camera to form a camera output stream. CCD 20 may be monochrome (grayscale) or color (eg, RGB), but for the sharpness described below, for monochrome sensors, except in some cases related to preferred implementations of object detection. Explained. In general, for color implementations, an ordered triplet of light is used rather than a scale value, and various data compression schemes are used to suit the unique form of the associated data structure. Overall, details of implementation such as color palletization, camera data stream compression, and image management of the system 10 are described in the aforementioned Applicant's patents.
[0018]
As shown in more detail in the race management system of FIG. 1, for the image of line L, other places on the track (eg, tens of meters from the start line to detect the runner's start position and sequence) The second camera 12a may be arranged at a position, a position of 1/4 mile display in order to detect an intermediate order or time in horse racing. The camera 12a also processes or stores its image data and is connected to the system 10 or made communicable for evaluation by personnel or transmission to a timing system or display system. Camera 12a communicates by wireless transmission, as preferred, to eliminate the need for long cables, line matching, and signal synchronization protocols and other processing. With this configuration, the camera 12a typically supplies its data in an earlier period than the camera 12 or in a different period than the camera 12, and the data processing portion of the system 10 that processes the input image is either at any time. Since only image data from one camera needs to be processed, the system generally does not need to have a second channel, complex addressing protocol or multiplex protocol in the management computer for handling the output of the camera 12a.
[0019]
As will be described in more detail below, the cameras 12, 12a are preferred and each "crop" their image output stream. In this application, “crop” refers to sending information only when the camera is active (ie, when the camera is shooting the required screen) or to an active portion of the stream in the data stream. It means annotating with a flag. In the latter case, annotations are received along with the image data stream and the processor of system 10 operates with a high level of automatic control without the need for operator management or control.
[0020]
In accordance with the basic principles of the present invention, the image controller 22 of the camera detects information on the object of the image, responds to it, and the image of the output signal line 28 for connection to the external image management system 16. In order to annotate the data output or control the image data output, additional functions are implemented to manipulate the frames acquired in the buffer 25 within the camera. Although the wiring 28 is shown as an actual wiring for illustrative purposes, it may be a communication link, such as a local radio frequency link, and the camera transmits its data on the RF frequency. The good thing must be understood.
[0021]
A number of object detection operations are now presented for illustration. A two-dimensional (line x time) image frame produced by an event recording line camera (or event recording linear camera) is taken to the dwell time of the object L or FL of the object being imaged. It is known to those skilled in the art that the x or width dimensions are proportional and inversely proportional to the velocity of the object across the line, and are smeared (or blurred) in the width direction. Conversely, the background field is always the same unless it is obstructed by a competitor passing in front of it, forming a fixed color or intensity horizontal band across the position of each pixel of the line sensor 20. To do. These become image frames in the buffer 25, on which the object detector described below operates. Preferably, each image has a reference time (or reference time) recorded therein, and the time information is included in the digital information of the frame. In the preferred embodiment, the reference time for each frame indicates the time that the camera 12 took an image. This may be real time, or the time relative to the start of an external event or trigger signal, or start detection sensor 84 (FIG. 1), external time source, camera internal timer, or (as preferred) May be derived by the system time synchronization protocol described in US Pat.
[0022]
In general, the external computer storage and image analysis system 16 indexes raw image data, adds text or adds images for quick display and analysis of indexing, access, and time appearing in the image data. Software for linking with identification data or the like may be included. This type of system is described in detail in the aforementioned two US patents.
[0023]
To explain the surrounding circumstances, the main control computer 16 of the external management system processes the block of information stored in the internal memory 36, and the line frame (or linear frame) is continuously digitalized on the display monitor 42. It has a central processor 40 that organizes the scene and time content of the line frame into a two-dimensional image frame. The central processor 40 also preferably controls automatic control operations and memory management of the system 10, and also allows the user to view all scenes captured by the system 10, including real-time displays and previously recorded portions. In response to the input of the keyboard 44 and the mouse 45. In particular, it is conceivable to make it possible to access a specific time related to a specific part for an immediate announcement of the goal time or analysis by an image near the goal. The computer output may be further configured to drive an external display such as a bulletin board for announcement of results or a remote monitor for immediate judgment by the referee. A number of desired external race management systems, such as these, currently exist as commercial products and a description of their operation does not seem necessary here.
[0024]
As an example for understanding the determination of the time and position produced and recorded by the line camera system (or linear camera system) of the present invention, FIG. 2 illustrates an object 60 moving along the horizontal axis. Wherein the camera (not shown) is focused on the object 60 with a field of view (or field of view) FOV in a plane substantially perpendicular to its axis. Since each frame captures the object 60, ie, a linear object, they are represented as a single and independent digital line image frame (or digital line image frame). In FIG. 2, a continuous object photographed by the system is shown as a continuous rectangular line 62 on the object 60 for illustrative purposes. For each line image 62, camera 12 generates a respective frame by sampling an image of a linear object corresponding to multiple detector portions of array 20. That is, each line object (or linear object) 62 is sampled by the array 20 of detectors by projecting the object onto the sensor 20 through a camera and is digitally subdivided along the length of the object. A digital image frame having a number of pixels is formed. From a real-time perspective, when the object 60 moves along the object plane, the line frame 64 represents the most recently taken frame, and the portion of the object on the left side of this line frame 64 will now be filmed. The line 62 on the right side of the line frame 64 indicates that the image has already been taken. A series of consecutive line frames are then combined together to form an image.
[0025]
The scene or composite image of the object combined in this way is similar to the actual spatial image of the object passing through the FOV (field of view) of the camera 12 when it is displayed on the computer 16. In particular, the expected speed of the object so that the object moves at a relatively constant speed and the frame speed is not substantially enlarged or reduced with respect to the normal spatial image of the object. Are very similar when selected to be proportional. In such an image, for example, the stationary background 70 of the field of view existing along the goal line, such as a wall, is imaged as the same in a continuous linear image, so that the frames are continuous. When combined from simple lines, the background appears as horizontal stripes with a fixed color or intensity of a stationary object.
[0026]
FIG. 3 illustrates a typical image of several runners passing the goal line formed in this manner. Along with the artifacts from this image generation mode, the background appears as several horizontal stripes (when not hidden by the runner), each runner presenting a continuous piece of the runner's body that passes the goal line. Fixed in posture. Except for the slight dimensional stretch or shrinkage that occurs along the lateral direction, each runner is almost similar to a normal spatial image taken from a fixed camera position perspective. Thus, the runner's clothing color, entry number, facial features, and other identifying features are taken as images (or more likely to be taken).
[0027]
Returning now to the description of camera operation, each digital line frame captured by the system 10 of FIG. 1A is stored in a buffer 25, and the control microprocessor 22 manipulates this line image data to control the output of the camera. To do. The present invention contemplates several different object recognition and output controls, examples of which are described below. First, recognition of an object passing through the line FL will be described.
[0028]
FIG. 4 is a flowchart illustrating this operation of the basic prototype embodiment of the present invention. In this embodiment, the camera microprocessor 22 processes the raw image from the buffer 25 to detect the presence of an object across the area of the linear field of view, while maintaining an accurate time record. Control the output data stream so that image frames are sent out by the camera only when the goal line is active (ie only when there is a runner). From a hardware perspective, the microprocessor loads the line frame into an appropriately sized VRAM (eg, 2MB-VRAM) to detect the goal line condition, and produces a continuous line (ie, linear). Data). And when a pattern with possible movement is detected while simply compressing or erasing inactive frames or dead time images, or backing up to tape without taking up system bandwidth, The processor verifies the pattern and marks the start of the active image sequence retroactively for camera transmission.
[0029]
In addition to the buffer storage device or VRAM, the microprocessor 22 inside the camera preferably has a RAM of 32 MB or more, and the camera itself stores an image of an active goal line that has been time-resolved for several minutes. It may be possible. This is sufficiently longer than the usual goal period of a track or riding competition, and even if an external transmission link error or equipment failure occurs, scenes necessary for analysis can be left in the camera memory.
[0030]
As shown in FIG. 4, object detection is performed by detecting the start of an object that enters the image field. This is done by sorting / comparing the incoming line image frames in order to determine the entry of the object into the field and confirm it. First, the processor Load a set of 8 image lines for illustration 8x1000 pixel sample (Sample strip) Forming And the sample 8x8 pixel Divide into blocks. Therefore each piece (Sample strip) Is 8x8 pixel Of 125 Pieces The light-sampling block. The microprocessor then splits the same eight image lines into two 125 Pieces Have a set of blocks of light values, and to measure the amount of local change in the light values of successive images, the pixel value of each block Previous corresponding Compare with the pixel value of the block. This comparison may take, for example, a difference in the sum of the pixel values of each block. The difference representing the total change in the intensity (or luminance) of continuously detected light values is the threshold T for all blocks. ₁ If it is smaller (for example 10% of the total pixel intensity), the processor simply takes the next 8 lines, divides it into blocks, performs a similar comparison again, and Continue this method until a change in value is detected.
[0031]
It should be understood that a static background imaged at a constant intensity and at the same location varies with the noise level of the pixel sensor. Furthermore, if the scene is indoors and is illuminated by artificial light, there may be periodic fluctuations in the line frequency of the light intensity. Therefore, using multiple continuous lines or multiple multi-pixel averaging blocks to detect changes can be a noise or periodic phenomenon in detecting meaningful changes in light levels. This is effective for reducing the effects of light fluctuations. Thus, to ensure that aliasing of the sample period and illumination flickering does not induce false results when there is a 50-60 Hz line signal with 100-120 zero crossings per second Approximately 80 to 100 milliseconds of blocks are required. Threshold value T for detection ₁ Must be set larger than the expected noise variation of the 8 × 8 block. A value of 10 percent of the total intensity is a suitable threshold for detecting meaningful movement into the field of view.
[0032]
As shown in detail in FIG. ₁ When a difference in block strength greater than the threshold is detected, the processor determines the time t for the first line of the current block. ₀ Set the “begin object” flag. In another embodiment, the processor waits for two or n consecutive blocks for difference detection, before annotating the image data and setting output control signals. You may reconfirm the existence. In this case, the camera starts counting and if the block difference continues at least 5 consecutive times (for example) and is greater than the threshold, the change has occurred because the object has crossed the field of view. It may be recognized. The processor sets a “start object” flag at the start of an active sequence retroactive to past data. The flag data may be sent with a continuous image data stream as an independent data indication for processing and indexing of external line image data, or the start of image data output from the camera at that time. It may be used for direct indication. Thereby, the image data can be transmitted only when an object is detected. In another embodiment, the camera may be set to acquire image data from a time point before the first detected changed frame, eg, a time point 0.1 seconds before, so that the goal line The sequence can include an image as the athlete approaches the goal line, and can display the first part that the athlete passes through (the goal line). Therefore, the horse's nose before the body passes the ribbon and the runner's hand can also be displayed. Such detailed information, which usually occurs before an event that is considered as passing the goal line, is useful for removing inaccuracies when multiple competitors pass almost simultaneously. For example, even if several athletes simultaneously block and overlap the field of view, the protruding hand could be used to identify the athlete's position. Thus, the sequence of active images may be set to include a specific part of the leading player.
[0033]
As further shown in FIG. 4, once a runner is detected in the image, the processor performs a different analysis process that monitors and analyzes the object appearing in the image frame to obtain additional information. Switch. In a basic embodiment, the processor performs image piece sampling in a manner similar to the initial object trigger analysis to determine that the object has passed completely or that the goal line operation has ended. continue. A suitable method of determination for this process is shown in FIG. 4A. When the end of the object is detected, the processor sets the “end of object” flag so that the output controller turns off the output stream or enters sleep mode. For this termination decision, the processor determines that the difference between all block sets is the threshold T ₂ Detect if smaller. If possible, the processor determines T for more sample pieces before determining that the moving object has been passed. ₂ <T ₁ Different thresholds, another threshold level for maintaining homogeneity, or both. This operation avoids false signals of sequence termination by relatively homogeneous objects such as horse torso rather than stationary objects that remain in the field of view in front of the camera. In the case of a color camera embodiment, the detection module may be configured to utilize a change in color instead of (or in addition to) intensity (or luminance) as a detection measurement for these determinations. When the end of motion is detected, the “object end” flag may be the first line of the frame group that reaches a static signal level, or a momentary fragment after that The setting of may be sufficient. It can then signal the output control to end the transmission of the image output, or label the frame (if the crop operation is annotating the frame rather than physically switching the camera output stream). wear.
[0034]
In summary, the object recognition output controller first identifies what is considered a movement of the object, confirms the existence of the movement, and identifies an active image frame retroactive to past data. Similarly, at the end of the sequence, identify what is considered a stationary scene, confirm it, and set the crop end time to extend to at least the last active frame. In this way, only the parts of the image necessary to detect, record and determine movement through the goal line are annotated and transmitted from the camera. These are automatically selected by the controller inside the camera based on the object detection. Since a relatively small set of active images is identified in advance by the camera, automatic object recognition by this method is a human supervisor who views and selects image data on an external console or a vast number of external rolls. Eliminates the need for an image buffer and quick access memory storage.
[0035]
As described above, the background scene is stationary when there is no object crossing the goal line. As explained in more detail in the above-mentioned patent of the applicant, the amount of data to encode a static sequence is very large by using a line-to-line compression algorithm. By compressing them in the camera, the external bus wiring does not need to handle a huge flow of unprocessed line data (or linear data). The system of the present invention further provides additional operational improvements. That is, the processor inside the camera effectively transmits only a short duration of relevant image data, and as can be seen from the system 16, the system effectively turns itself on and off only when needed. be able to. In fact, the typical goal line transit time is less than 30 seconds, so even with only 32 MB of RAM in the camera, the camera can effectively store all parts of the data associated with a race. right. Since each line frame contains the time it was filmed, only the start and end times are needed to reconstruct a static dead time scene from the last frame.
[0036]
In addition to flagging active portions of image data generated by camera line sensors (or linear sensors), the present invention further includes an internal for identifying objects to produce object-based data. It is also intended to be processed. This is shown schematically in FIG. Two characteristic data types are illustrated. One is object identification that is processed by an image analysis subroutine to detect the athlete's color, number, barcode, and other personal characteristics as the athlete passes. This will be described in detail later. The other is described here and is called photocell determination. In accordance with a later case aspect of the invention, in order to determine a plausible goal time, the processor inside the camera performs a more detailed analysis of the frame containing the object in order to fit the competitor to the template. Recognize specific parts of the body and use type / event special completion rules or estimation rules.
[0037]
When these methods are applied, for example in the case of a horse, the processor processes the image line from above to detect the body of the horse passing the goal line (affecting the horizontal distance scale) While correcting the frame rate and event speed, the goal time is specified by a frame that occurs a specific (fixed) time or (fixed) distance before the midpoint of the body (ie, the horse). This estimate gives an estimated time based on the standard size and shape of that type (horse) and can be used for the initial announcement displayed on the bulletin board. For example, the processor may set the horse's nose to be 1.6 meters before the center of the horse, or set the greyhound's nose to be 0.7 meters from the center. By adding a specific time to the image output data stream, an immediate indication is given to the race management system, after which a complete frame image is constructed and re-evaluated to determine the exact goal time. FIG. 3 shows a typical goal configuration for a human track event. When the method described above is applied to a person, the analysis of the associated image is triggered by the initial appearance of a hand, arm or foot on the field. In this case, for example, the plausible goal is set to be 30 to 50 cm after the first limb, or the image analysis is further advanced so as to detect the center of gravity of the body such as the torso and abdomen. Analysis is performed according to specific rules such as estimating the goal time based on the appearance of these shapes. Race personnel examine the image frame, for example, observe if the torso is tilted forward, and determine the exact goal time by actually observing which line in the composite frame contains the torso head. Other photocell passage decisions could be easily made using rules specific to the speed of the event and the type of competitor.
[0038]
Returning now to the description of camera object recognition and shape recognition, it should be noted that the above description is for the case where the pixel value is a scalar value. However, when a three-color line camera is utilized, motion determination can be processed differently to achieve faster processing, more accurate object recognition, or detection of specific shapes, identifiers. . One such change to simple object detection is to independently compare the three different color values of a block of consecutive sample strips in order to perform a more sophisticated scene change test. Are summed independently. For example, when there is no red color throughout, the sudden appearance of a red pixel can immediately indicate the arrival of a new object. This color comparison decision reduces the block size required for object recognition decision. Alternatively, a specific color marker or uniform may be assigned to the athlete to identify each person by a combination of the athlete's clothing color or conspicuous color. In this case, the processor preferably prefers to store the color associated with each competitor in the image (eg Royal Blue = Joe Smith = player number 17) and provide that data to the output stream. Programmed.
[0039]
Alternatively, the race management system may compare the detected identifier to a pre-configured table of runner identifiers. In this case, the annotated image stream received from the camera has color and time elements that are sent to a simple subroutine that checks the color against the identifier table and displays the runner's name on the display. Such an identifier table is preferably implemented by an external race management system during the initialization process. For example, each competitor may be photographed by an independent handy-type camera and input of the competitor's personal information may be input for the processor to analyze and record its unique color and set up an identifier table. In this case, the line camera controlled by the object of the present invention, for example, performs additional processing to supply the necessary identification data such as alphanumeric characters to the preamble of each line image frame present in the output data stream of the camera. do.
[0040]
The present invention further contemplates that the processor performs additional image analysis other than light change determination and color determination when the controller 22 operates to identify a particular object on its field of view. is doing. Such additional processing includes, for example, when multiple colors appear simultaneously in a relatively narrow image area, segmenting the runner's overlapping images, and performing edge recognition and object segmentation to determine individual colors. May be included. The present invention also contemplates a system where each competitor wears a special identifier marker that can be recognized on the image. Thus, for example, when used in a horse event, the markers are attached to the horse's back, and the camera takes an image of the goal line (or midpoint in the track) from above, so that all markers point in the camera direction. Orientation can be prevented from being disturbed by adjacent runners. Such markers include, for example, barcodes of a particular orientation and lines or blocks of different colors that form a characteristic combination. Color markings may be formed to ensure quick and reliable decisions. This can be done, for example, by arranging different directions in the color band and arranging or orientation in a way that ensures that they are imaged into separate detection pixels of the camera and that the detection pixels have a substantial dwell time. Can be achieved. For example, the bands are worn in a direction parallel to the movement, giving them an extended dwell time on the image, offset perpendicular to the direction of movement so that they are imaged on separate pixels of the sensor (i.e. , Width) may be provided. They may also be offset in the direction of movement and time-resolved color combinations of the image as size allows. This makes them easy to detect (color bands) when line images are sampled in narrow and high blocks along the image sensor or when they are imaged with only a short duration.
[0041]
In another embodiment, the processor may incorporate an optical character recognition module to simply read the athlete's uniform bib, or an image line using a barcode reader pattern to recognize the barcode identifier. May be processed. However, in general, marks configured for line camera detection and preferred over the use of character or barcode technology to reduce the possibility of occlusion and misreading of the marker of interest The use of color identifier markers as things are preferred.
[0042]
When using an event recognition system, the line scan camera system of the present invention, which is triggered by an object such as a race goal line, greatly reduces the real-time bandwidth requirements imposed on the external system portion and requires the necessary image data. Could be manipulated to record and resolve positions that are thousandths of a second or less without noticeable delays in transmission. Annotating data in the output frame results in a reduction in data handling and RAM storage installed in the external race management system, even when physical crops due to static or dead time are not utilized.
[0043]
While the invention has been disclosed and described in exemplary embodiments and features, further modifications and equivalents will be apparent to those skilled in the art, and such modifications, improvements, and equivalents are also claimed by the appended claims. It is considered to be within the scope of the invention as defined by the scope.
[Brief description of the drawings]
FIG. 1 is a schematic diagram illustrating a system employing a camera according to the present invention for recording and displaying temporally sequential scenes of an object that intersects a plane.
1A is a detailed view of the camera and system of FIG.
FIG. 2 shows a representative image constructed in accordance with the present invention from discretely sampled line objects.
FIG. 3 illustrates an exemplary display of a race scene generated by a system according to the present invention.
FIG. 4 is a flowchart showing the operation of the in-camera detector for image output control according to the present invention.
FIG. 4A is a flowchart illustrating an internal object detection process for output control.
FIG. 5 is a flowchart illustrating another information processing.
[Explanation of symbols]
10 Race management system
12, 12a camera
15 Objective lens
16 External image management system
18 Linear part of the visual field of the object
20 line sensor (or detector array)
22 Imaging controller inside the camera
24 Gain control detector amplifier
25 Internal camera buffer
26 A / D converter
28 Output signal line
36 Internal memory
40 central processor
42 Display monitor
44 keyboard
45 mice
60 Moving object
62 Line frame
64 Newest line frame
70 Background

Claims

A method for detecting an object in an object image field of a line camera, comprising:
From the line camera, in the step of reading the consecutive line images frame,
The step of each line image frame being represented as a line of pixel value lines that capture the individual instant line portions of the line camera object image field ;
In the step that form a plurality of samples, each sample consists of a plurality of successive lines image frame, and is divided into a plurality of blocks of multi-pixel, each block over a plurality of successive lines image frame, And having a light intensity based on the pixel values of the block ;
The intensity of the light of at least one block of one sample of the plurality of samples, and the intensity of light of the corresponding block in the previous sample of at least Y number (Y is an integer greater than 1), at least a first method comprising the steps of detecting a target object enters into the object image field can and that different only the threshold value.

The method of claim 1, wherein Y is 2.

The method of claim 1, wherein Y is an integer greater than two.

The intensity of light of each of the blocks A method according to claim 1 corresponding to the sum of Pikuse Le values constituting the block.

The method further comprises: setting an object start flag value in the first line image frame of the first sample containing the object after detecting that the object has entered the object image field of the line camera. The method described in 1.

The method of claim 5, further comprising outputting the object start flag value from a line camera.

After detecting that an object has entered the object image field of the line camera,
The light intensity of each block of another one sample of the plurality of samples is at least Z (Z is an integer greater than 1) , the light intensity of the corresponding block in the immediately preceding sample , and the second steps for detecting the object exiting from the object image field of the line camera when less than the threshold value,
The method of claim 1 further comprising :

The method according to the second threshold value is the first threshold value by remote small I請 Motomeko 7.

The method of Z are described in 2 der Ru請 Motomeko 7.

The method of Z are described in integer greater than 2 der Ru請 Motomeko 7.

After detecting that an object has entered the object image field of the line camera, setting an object start flag value in the first line image frame of the first sample containing the object;
Setting an object end flag value in the first line image frame of the first sample that no longer contains the object after detecting that the object has emerged from the object image field of the line camera;
The method of claim 7 further comprising :

The method according to claim 11, further comprising: outputting from the line camera only the corresponding line image frame until the object start flag is set and the object end flag is set next.

Corresponding from a time that is a predetermined value before the time when the object start flag is set to a time that is a predetermined value after the time when the object end flag is set 12. The method of claim 11, further comprising outputting only line image frames from the line camera.

12. The method of claim 11, further comprising annotating only corresponding line image frames as active between the time the object start flag is set and the next time the object end flag is set. .

Corresponding from a time that is a predetermined value before the time when the object start flag is set to a time that is a predetermined value after the time when the object end flag is set The method of claim 11, further comprising annotating only line image frames as active.

The step of detecting that the light intensity includes a plurality of color values and the object is in the object image field of the line camera is the block color value of the corresponding other block previously read. The method of claim 1 including detecting a difference for each color value as compared to the color value.

Analyzing a line image frame to recognize at least one particular portion of the object after detecting that the object has entered the object image field of the line camera;
Estimating the time that the object has crossed a goal line from at least one particular portion of the object;
The method of claim 1 further comprising :

The method of claim 1, further comprising detecting a pattern or symbol of the object to identify the object after detecting that the object has entered the object image field of a line camera. .

19. The method of claim 18, further comprising indexing a line image frame that includes the object with the pattern or the symbol.

The method of claim 18, further comprising detecting a color of the object to identify the object.

The method of claim 17 , wherein the estimating further comprises determining a time that the object has crossed a goal line from a time of a line image frame that includes at least one particular portion of the object.

Step A method according the step of modifying the frame rate and event rates of the line image frame including請 Motomeko 17 to the estimate.

At least one specific portion of the object is a feature of the object of the object, and the presence of the object in the object image field of a line camera is determined by determining the features of the object in the correct order. The method of claim 17 further comprising the step of confirming.

The method of claim 17 , further comprising detecting a pattern or symbol of the object to identify the object.

The method of claim 17 , further comprising: indexing a line image frame containing the object with the pattern or the symbol.