JP3882688B2

JP3882688B2 - Image and audio synchronization device

Info

Publication number: JP3882688B2
Application number: JP2002171275A
Authority: JP
Inventors: 稔平田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-06-12
Filing date: 2002-06-12
Publication date: 2007-02-21
Anticipated expiration: 2022-06-12
Also published as: JP2004023134A

Description

【０００１】
【発明の属する技術分野】
本発明は，フレームシンクロナイザなどの画像音声同期化装置に関する。
【０００２】
【従来の技術】
ＴＶ放送局等では，外部のＶＴＲ等から入力されたビデオ信号を局内の基準クロックに同期させるフレームシンクロナイザ等の画像音声同期化装置が多用されている。この画像音声同期化装置は，疑似ＳＲＡＭなどを基本としたデュアルポートのフレームメモリを使用して，ビデオ信号の書き込み（ライト動作）と読み出し（リード動作）を異なるフレーム周波数で行うことで同期化を行っている。この際，読み出すビデオ信号をフレーム単位でジャンプまたはリピートさせることにより，リード動作とライト動作の遅延量が調整されている。
【０００３】
一方，近年では，映像メディア・通信技術の発達に伴い，ＨＤＴＶ（高精細度ＴＶ）などの大容量のフレームデータを含むビデオ信号の伝送方式が普及しつつあり，かかる大容量ビデオ信号を同期化することが求められている。
【０００４】
【発明が解決しようとする課題】
しかしながら，上記従来の画像音声同期化装置では，メモリ装置自体が特殊用途であるので，コストが高かった。また，ＨＤＴＶフレームデータを格納できる程度の大容量のフレームメモリは製造上困難なため汎用製品がないので，多数のＳＤＴＶ用メモリ装置などの部品を縦続接続して使用しなければならなかった。このため，画像音声同期化装置が，高コスト化するだけでなく，消費電力やハードウエアの実装規模が大きくなるという問題があった。さらに，大容量のＨＤＴＶフレームデータをメモリ装置にリードおよびライトする際，アドレスを高速制御することが困難であるという問題もあった。
【０００５】
また，従来の画像音声同期化装置では，音声データを分離処理してないので，画像データを同期化するためにビデオ信号をフレーム単位でジャンプまたはリピートさせると，音声データが不連続になり，雑音を発生させてしまうという問題があった。さらに，音声データのみを遅延させたり，外部音声データを処理したりできないという問題もあった。
【０００６】
本発明は，従来の画像音声同期化装置が有する上記問題点に鑑みてなされたものであり，本発明の目的は，安価な汎用メモリ装置を用いて大容量のフレームデータを好適に同期化できるとともに，音声データの雑音を低減することが可能な，新規かつ改良された画像音声同期化装置を提供することである。
【０００７】
【課題を解決するための手段】
上記課題を解決するため，本発明の第１の観点によれば，入力同期信号に従って入力されたビデオ信号を，基準同期信号に同期させて出力する画像音声同期化装置であって：入力されたビデオ信号をライン単位で同期化する非同期メモリ装置と；非同期メモリから出力されたビデオ信号をフレーム単位で同期化する同期メモリ装置と；を備えることを特徴とする，画像音声同期化装置が提供される。
【０００８】
かかる構成により，非同期メモリ装置は，非同期動作を行って，ビデオ信号をピクセルクロック単位（画素単位）およびライン単位（Ｈ単位）で同期化する。また，同期メモリ装置は，同期動作を行って，上記ピクセルクロック単位およびライン単位で同期化されたビデオ信号を，フレーム単位（Ｖ単位）で同期化する。これにより，大容量のＨＤＴＶフレームデータなどを含むビデオ信号であっても，同期化動作を分担して，好適に同期化できる。
【０００９】
また，上記非同期メモリ装置は，少なくともビデオ信号の１ライン分および1フレーム当たりのクロック誤差分を記憶するデュアルポートの非同期ラインメモリと；入力されたビデオ信号を入力同期信号に基づいて非同期ラインメモリに書き込む非同期ライト動作を制御する非同期ライト制御部と；非同期ラインメモリに記憶されたビデオ信号を基準同期信号に基づいて読み出す非同期リード動作を制御し，非同期ライト動作に対する非同期リード動作の遅延量に応じて，非同期リード動作で読み出すビデオ信号をライン単位でジャンプまたはリピートさせる非同期リード制御部と；を備える，如く構成すれば，非同期メモリ装置は，非同期ライト動作と非同期リード動作を非同期で独立して行うことができる。さらに，非同期ライト動作に対する非同期リード動作の遅延量が上限に達した場合には，ライン単位のジャンプ動作を行って，未だ読み込んでいない１ライン分のデータの読み出しを省略する。一方，当該遅延量が下限に達した場合には，ライン単位のリピート動作を行って，既に読み込んだ１ライン分のデータの再読み出しを行う。以上により，非同期メモリ装置は，少量の非同期ラインメモリを用いて，ビデオ信号をピクセルクロック単位およびライン単位で同期化できる。
【００１０】
また，上記非同期ラインメモリは，ＦＩＦＯ（Ｆｉｒｓｔ−ｉｎＦｉｒｓｔ−ｏｕｔ）メモリである，如く構成すれば，非同期メモリ装置は，ピクセルクロック単位およびライン単位の同期化を好適に行うことができるとともに，非同期ライト動作および非同期リード動作のアドレス制御が容易になる。
【００１１】
さらに，上記非同期ラインメモリの容量は，1ライン分の容量に加えて少なくとも入出力ビデオ信号間の1フレーム当たりのクロック誤差を吸収できる余裕がある，如く構成すれば，非同期ラインメモリの容量に，非同期リード動作および非同期ライト動作で必要な分だけ余裕を持たせることができる。即ち，非同期ラインメモリは，クロック数の差分，即ち画素数のずれを吸収する分余分容量を有する。このため，非同期メモリ装置は，非同期リード動作および非同期ライト動作を好適に行うことができる。
【００１２】
また，上記非同期メモリ装置は，さらに，非同期ライト動作を制御するためのライトリセット信号と，非同期リード動作を制御するためのリードリセット信号のタイミングを比較して，非同期ラインメモリのライトアドレスとリードアドレスとが所定範囲内に接近しているか否かを検出するリセットタイミング比較器と；リセットタイミング比較器の検出結果に応じて，基準同期信号に基づいた基準リードリセット信号と，基準リードリセット信号を所定時間早めた調整リードリセット信号とを切り替えるセレクタと；非同期ラインメモリから読み出されたビデオ信号を所定時間だけ遅延させる遅延回路と；を備えており，リセットタイミング比較器がライトアドレスとリードアドレスとが所定範囲内に接近していると検出した場合には，非同期リード制御部は，調整リードリセット信号に基づいて非同期ラインメモリに記憶されたビデオ信号を読み出し，遅延回路によって所定時間遅延させてから出力する，如く構成すれば，非同期ラインメモリは，ライトリセット信号に基づいてライトアドレスをリセットし，リードリセット信号に基づいてリードアドレスをリセットすることができる。また，リセットタイミング比較器は，非同期ラインメモリでのライトアドレスとリードアドレスの接近具合を監視することができる。また，セレクタは，リセットタイミング比較器の検出結果に基づいて，基準リードリセット信号と調整リードリセット信号とを例えば1フレーム毎に切り替えて，いずれかをリードリセット信号として非同期リード制御部に出力する。また，非同期リード制御部は，調整リードリセット信号を非同期ラインメモリに出力することで，基準のリードリセット信号を入力する場合より非同期ラインメモリのリードアドレスのリセットタイミングを，所定時間早めることができる。また，遅延回路は，非同期ラインメモリから出力されたビデオ信号を，調整リードリセット信号によって読み出しが早まった分だけ遅延させて，当該ビデオ信号の遅延量を調整できる。このため，上記切替を1フレーム毎に行うか否かを判断して必要な場合に実行すれば，その後１フレーム期間内で起こり得る非同期ラインメモリのライトアドレスとリードアドレスのオーバーラン・アンダーランエラーを防止できる。さらに，基準リードリセット信号と調整リードリセット信号に好適な時間差を設けることで，リードリセット信号の切替を行えば，当該エラーの発生を抑制できる。
【００１３】
さらに，上記非同期メモリ装置から出力されたビデオ信号と，非同期メモリ装置から出力されたビデオ信号を少なくとも１ライン遅延させたビデオ信号とを切り替えて，同期メモリ装置に出力するライン調整装置を備える，如く構成すれば，ライン調整装置は，非同期メモリ装置のジャンプまたはリピート動作によって生じた，非同期メモリ装置から出力されたビデオ信号のライン配列の乱れを修正できる。
【００１４】
また，上記同期メモリ装置は，非同期メモリ装置から出力されたビデオ信号の少なくとも１フレーム分を記憶可能な複数の同期フレームメモリと；非同期メモリ装置から出力されたビデオ信号を，基準同期信号に基づいて複数の同期フレームメモリにライン単位で交互に書き込む同期ライト動作を制御する同期ライト制御部と；複数の同期フレームメモリに記憶されたビデオ信号を，同期ライト制御部の書き込み動作が行われていない同期フレームメモリから，基準同期信号に基づいてライン単位で交互に読み出す同期リード動作を制御し，同期ライト動作に対する同期リード動作の遅延量に応じて，同期リード動作で読み出されるビデオ信号をフレーム単位でジャンプまたはリピートさせる同期リード制御部と；を備える，如く構成すれば，同期メモリ装置は，同期ライト動作と同期リード動作の双方を基準同期信号に基づいて同時並行して行うことができる。即ち，１つの同期フレームメモリに対するライン単位のライト動作と，他の同期フレームメモリに対するライン単位のリード動作を交互に切り替えながら同時に行うことができる。さらに，同期リード動作と同期ライト動作を同一のタイミングで行えるので，アドレス制御が容易になる。さらに，同期ライト動作に対する同期リード動作の遅延量が上限に達した場合には，フレーム単位のジャンプ動作を行って，未だ読み込んでいない１フレーム分のデータの読み出しを省略する。一方，当該遅延量が下限に達した場合には，フレーム単位のリピート動作を行って，既に読み込んだ１フレーム分のデータの再読み出しを行う。以上により，非同期フレームメモリとして安価かつ大容量のフレームメモリを用いて，ビデオ信号をフレーム単位で同期化できる。
【００１５】
さらに，上記同期フレームメモリは，ＳＤＲＡＭ（ＳｙｎｃｈｒｏｎｏｕｓＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）である，如く構成すれば，安価かつ大容量の同期フレームメモリを提供できる。
【００１６】
また，上記同期メモリ装置は，同期ライト動作のライトアドレスおよび同期リード動作のリードアドレスを１フレーム毎に変化できる，如く構成すれば，非同期メモリ装置は，上記ジャンプまたはリピート動作を好適に行うことができる。また，１つの同期フレームメモリに複数フレームのデータを保存しても，アドレス制御が可能になる。
【００１７】
また，上記画像音声同期化装置は，さらに，入力されたビデオ信号から，音声信号（音声データ）を分離する音声信号分離部と；分離された音声信号を基準同期信号に基づいて標本化周波数変換する標本化周波数変換部と；同期メモリ装置から出力されたビデオ信号に，標本化周波数変換された音声信号を混合する音声信号混合部と；を有する音声分離処理装置を備える，如く構成すれば，非同期メモリ装置に入力される前の音声信号を分離して，非同期標本化周波数変換して，同期化された元のビデオ信号に混合できる。このため，音声信号を独立して標本化周波数変換して基準同期信号に同期化できるので，ジャンプ・リピート動作によって音声データが不連続とならない。従って，ビデオ信号の同期化に伴う雑音を低減できる。
【００１８】
また，上記音声分離処理装置は，さらに，周波数変換された音声信号を基準同期信号に基づいて遅延させる音声信号遅延部を備える，如く構成すれば，音声信号遅延部は，ビデオ信号用の基準クロックで動作し，音声信号の遅延量を独立して調整できる。このため，同期化されたビデオ信号と，これに混合される音声信号とを同期できる。
【００１９】
さらに，上記音声信号遅延部は，遅延調整前の音声信号と遅延調整後の音声信号をクロスフェード処理するクロスフェード処理部を有する，如く構成すれば，クロスフェード処理部は，遅延調整後の音声信号をフェードインさせながら，遅延調整前の音声信号をフェードアウトできる。このため，音声信号遅延部が音声信号を遅延時間調整する際に生ずる音声データの不連続性を低減し，雑音を抑制できる。
【００２０】
また，上記音声分離処理装置は，さらに，外部音声信号が入力される外部音声入力部と；外部音声信号と分離された音声信号のいずれかを標本化周波数変換部に入力する音声信号セレクタと；を備える，如く構成すれば，ビデオ信号から分離した音声信号の代わりに，外部音声信号を標本化周波数変換処理した上で，ビデオ信号に好適に混合することができる。
【００２１】
また，上記画像音声同期化装置は，非同期メモリ装置から出力されたビデオ信号を取り出すことができる，如く構成すれば，画像音声同期化装置はライン同期化装置として機能することもできる。また，入力同期信号を画像音声同期化装置全体に適用することにより固定遅延器を提供できる。さらに，非同期メモリ装置と同期メモリ装置を組み合わせることによりライン同期化機能を伴った遅延器を提供できる。
【００２２】
また，画像音声同期化装置は，出力するビデオ信号の不正値処理を行う出力信号処理部を有してもよい。また，不連続に切り替えられたビデオ信号が入力された場合には，音声分離処理装置は，音声信号として無音データを送出するようにしてもよい。これらにより，音声信号が一旦消失し，再び出現するなど，データ不連続がなくなり，後続機器における絵乱れや雑音の発生を防止できる。
【００２３】
【発明の実施の形態】
以下に添付図面を参照しながら，本発明の好適な実施の形態について詳細に説明する。なお，本明細書及び図面において，実質的に同一の機能構成を有する構成要素については，同一の符号を付することにより重複説明を省略する。
【００２４】
（第１の実施の形態）
まず，本発明の第１の実施形態にかかる画像音声同期化装置について説明する。
【００２５】
本実施形態にかかる画像音声同期化装置は，例えば，映画・ＴＶ番組制作プロダクション，ＴＶ放送局などに設置されるフレームシンクロナイザなどの同期化装置である。この画像音声同期化装置は，例えば外部のＶＴＲやテレビカメラ等の機器から入力された異種同期（入力同期信号）のビデオ信号をメモリ装置に書き込み，このビデオ信号データを基準同期（基準同期信号）によって読み出すことで，フレーム同期を一致させ，出力する画像の乱れを防止する機能を有する。
【００２６】
任意位相で入力されたビデオ信号に対して上記のようなフレーム同期化を実現するためには，▲１▼ピクセルクロック単位（画素単位）での同期化，▲２▼ライン単位（Ｈ単位）での水平同期化，▲３▼フレーム単位（Ｖ単位）での垂直同期化，という３種の同期化動作を全て満足している必要がある。かかるフレーム同期化を好適に実現すべく，本実施形態にかかる画像音声同期化装置は，以下のように構成されている。
【００２７】
まず，図１に基づいて，本実施形態にかかる画像音声同期化装置の全体構成について説明する。なお，図１は，本実施形態にかかる画像音声同期化装置１０の全体構成を示すブロック図である。
【００２８】
図１に示すように，画像音声同期化装置１０は，ビデオ信号が入力される入力部２０と，ビデオ信号の同期化を行うフレームシンクロナイザ部３０と，同期化されたビデオ信号に所定の処理を施して出力する出力部４０と，から構成される。以下に各部について分説する。
【００２９】
＜入力部＞
入力部２０は，ビデオ信号をシリアル・パラレル変換するデシリアライザ２２と，ＳＤＩ入力信号のエラーや信号状況を検出する検出部２４とを有する。
【００３０】
デシリアライザ２２は，外部機器から入力されたＳＤＩ（ＳｅｒｉａｌＤｉｇｉｔａｌＩｎｔｅｒｆａｃｅ）フォーマットのビデオ信号（以下では，単にビデオ信号という。）を，シリアル・パラレル変換して，検出部２４に出力する。
【００３１】
検出部２４は，信号ディテクタであり，入力されたビデオ信号が，適切に入力されているか，不連続となっていないか，不正データ，異常値などのエラーが含まれていないかを検出する。エラー信号を検出した場合には，後続の例えば同期メモリ装置７０などにエラー検出信号２５を送信する。但し検出の基準は使用する装置に応じて異なっている場合もある。
【００３２】
ここで，図２に基づいて，本実施形態で同期化処理するビデオ信号の伝送フォーマットとして，例えばＳＭＰＴＥ（ＳｏｃｉｅｔｙｏｆＭｏｔｉｏｎＰｉｃｔｕｒｅａｎｄＴｅｌｅｖｉｓｉｏｎＥｎｇｉｎｅｅｒｓ，Ｉｎｃ）規格のＨＤＴＶ用ＳＤＩフォーマットについて説明する。なお，図２は，ＳＭＰＴＥ規格のＨＤＴＶ用ＳＤＩフォーマットの例を模式的に示す説明図である。
【００３３】
図２に示すように，画像データが含まれる有効映像領域以外の水平ブランキング期間には，ＥＡＶ（ＥｎｄｏｆＡｃｔｉｖｅＶｉｄｅｏ），ＬＮ（ＬｉｎｅＮｕｍｂｅｒ），ＣＲＣＣ（ＣｙｃｌｉｃＲｅｄｕｎｄａｎｃｙＣｈｅｃｋＣｏｄｅ），補助データ領域，ＳＡＶ（ＳｔａｒｔｏｆＡｃｔｉｖｅＶｉｄｅｏ）などがある。
【００３４】
ＥＡＶとＳＡＶは，映像データには存在しない値で構成される，同期信号（３ＦＦ，０００など）と，奇／偶数フィールドや垂直ブランキングなどの状態を表す信号（ＸＹＺ）とからなり，ＴＲＳ（ＴｉｍｅＲｅｆｅｒｅｎｃｅＳｉｇｎａｌ）を構成する。また，ＬＮはライン番号であり，ＣＲＣＣは誤り検出符号である。また，補助データ領域（垂直ブランキング期間の補助データ領域も含む。）には，音声データなどの補助データが多重可能である。なお，ＴＲＳ以外の水平ブランキング期間をアンシラリ領域と称する。
【００３５】
＜フレームシンクロナイザ部＞
図１に示すフレームシンクロナイザ部３０は，ピクセルクロック単位およびライン単位での同期化（上記▲１▼および▲２▼の同期化）を行う非同期メモリ装置５０と，ビデオ信号をライン単位で調整するライン調整装置６０と，フレーム単位での同期化（上記▲３▼の同期化）を行う同期メモリ装置７０とからなる。かかるフレームシンクロナイザ部３０は，本実施形態にかかる画像音声同期化装置１０の大きな特徴部であり，詳細については後述する。
【００３６】
＜出力部＞
出力部４０は，同期化されたビデオ信号の処理を行う出力信号処理部４２と，ビデオ信号をパラレル・シリアル変換して外部機器に出力するシリアライザ４４とを有する。なお，出力信号処理部４２の動作の詳細については，後述する。
【００３７】
以上のような構成の画像音声同期化装置１０において，非同期メモリ装置５０を境に入力側の各部は，入力ビデオ信号基準クロックに基づいて動作している。一方，非同期メモリ装置５０を境に出力側の各部は，リファレンスビデオ信号基準クロックに基づいて動作している。
【００３８】
なお，入力ビデオ信号基準クロック（以下では，入力クロックという。）は，例えば入力部２０などに設けられた入力クロック発生器（図示せず。）が，入力されたビデオ信号に含まれる入力同期信号に基づいて生成したクロックである。また，リファレンスビデオ信号基準クロック（以下では，基準クロックという。）は，基準クロック発生器（図示せず。）が，基準同期信号（リファレンス信号）に基づいて生成したクロックである。以下の説明では，画像音声同期化装置１０の各部に上記のようなクロックが適宜入力されているものとし，クロック信号を伝送する信号線などの図示は省略する。
【００３９】
次に，図３に基づいて，本実施形態にかかる非同期メモリ装置の構成について説明する。なお，図３は，本実施形態にかかる非同期メモリ装置５０の構成を示すブロック図である。
【００４０】
非同期メモリ装置５０は，上記のように，入力されたビデオ信号をピクセルクロック単位およびライン単位（Ｈ単位）で同期化する機能を有するライン同期化装置である。この非同期メモリ装置５０は，図３に示すように，非同期ラインメモリ５２と，非同期ライト制御部５４と，非同期リード制御部５６と，リセットタイミング比較器５７と，遅延回路５８と，出力セレクタ５９とを有する。
【００４１】
まず，非同期ラインメモリ５２について詳細に説明する。非同期ラインメモリ５２は，例えばＦＩＦＯ（Ｆｉｒｓｔ−ＩｎＦｉｒｓｔ−Ｏｕｔ）メモリで構成される。このＦＩＦＯメモリは，ビデオ信号の書き込み動作と読み出し動作を独立して非同期に行うことができるデュアルポートのデジタルラインメモリである。
【００４２】
この非同期ラインメモリ５２は，入力部２０から入力されたビデオ信号を入力同期信号に基づいて書き込む動作（以下では，非同期ライト動作という。）と，書き込まれたビデオ信号を入力同期信号に基づいて読み出す動作（以下では，非同期リード動作という。）を行うことができる。かかる非同期ラインメモリ５２は，かかる非同期ライト動作および非同期リード動作のアドレス制御方法が，例えば，ライトリセット信号ＷＲまたはリードリセット信号ＲＲによるライン単位のリセットのみで実現しているメモリである。より詳細には，非同期ラインメモリ５２は，内蔵されたアドレスカウンタで入力クロック数または基準クロック数をカウントしており，このカウント数に応じて例えば０からライトアドレスまたはリードアドレスを順次増加させながら，データの書き込みまたは読み出しを行っていく。そして，ライトリセット信号またはリードリセット信号が入力されると，ライトアドレスまたはリードアドレスをリセットして０に戻し，再び最初から非同期ライト動作または非同期リード動作を行っていくという構成である。このためアドレス制御が簡単であるとともに，非同期リード動作及び非同期ライト動作を非同期で同時並行して行うことができる。
【００４３】
かかる非同期ラインメモリ５２の容量は，例えば，「ビデオ信号の画像データの１ライン分」＋「１フレーム当たりのクロック誤差分」である。即ち，かかる容量は，画像データ１ライン分に，例えばクロック発生器の水晶振動子が発生するクロックにおける１フレーム当たりのクロック数の誤差分（即ち，画素数のずれ）を吸収できるだけの余分な大きさを加えた容量である。
【００４４】
ここで，かかるクロック数差分を具体的に算出する。例えば，ＳＭＰＴＥ規格のＳＤＩビデオ信号を同期化する場合，ＳＭＰＴＥ規格により機器の精度が定められているため，この制約を利用して，１フレーム当たりに吸収すべき入出力信号間のクロック数差分を算出できる。即ち，最大となるクロック数差分Ｘは，機器マスタークロックの精度を１フレーム当たりに換算することで算出できる。よって，マスタークロック精度Ａ，フレームレート（フレーム周波数）をＶ，マスタークロック周波数をＦとすると，
Ｘ＝Ａ×Ｆ／Ｖ
と表すことができる。
【００４５】
実際的な数値として，例えば，１０８０／５９ｉフォーマットでは，Ａ＝１００×１０＾（‐６），Ｆ＝７４．２５×１０＾（６）／１．００１［Ｈｚ］，Ｖ＝２９．９７［Ｈｚ］としてクロック数差分Ｘを算出すると，Ｘ＝２４８程度の値となる。
【００４６】
従って，非同期ラインメモリ５２の容量は，１ライン分の容量に，例えば２４８画素分以上のデータを保存可能な容量を加えた程度とすればよい。かかる例えば２４８画素分以上のデータを保存可能な容量は例えば１ライン分の１／１０程度と小さいので，非同期ラインメモリ５２の容量は，ほぼ１ライン分の容量に等しい。従って，非同期ラインメモリ５２に用いるＦＩＦＯメモリとしては，現実に存する比較的安価な製品を適用することができる。
【００４７】
また，図３に示す非同期ライト制御部５４は，入力されたビデオ信号を上記非同期ラインメモリ５２に書き込む非同期ライト動作を制御する機能を有する。より詳細には，非同期ライト制御部５４は，例えばタイミングジェネレータおよびＴＲＳ検出器（図示せず。）などを具備しており，入力されたビデオ信号のＴＲＳに含まれる水平垂直同期信号を検出して，入力クロックに基づくライン単位のライトリセット信号ＷＲを生成する。さらに，非同期ライト制御部５４は，かかるライトリセット信号ＷＲと，書き込み動作を許可するライトイネーブル信号（図示せず。）を非同期ラインメモリ５２に出力して，非同期ライト動作のライトアドレス，書き込みの可・不可などを制御する。
【００４８】
非同期リード制御部５６は，上記非同期ラインメモリ５２に書き込まれたビデオ信号データを読み出す非同期リード動作を制御する機能を有する。非同期リード制御部５６には，タイミングジェネレータ（図示せず。）によって基準同期信号に基づいて生成されたライン単位の基準リードリセット信号と，この基準リードリセット信号のタイミングを所定時間だけ早めた調整リードリセット信号とが入力されている。
【００４９】
この非同期リード制御部５６は，例えば内蔵したセレクタ５５により基準リードリセット信号と調整リードリセット信号を切り替えて出力可能である。この非同期リード制御部５６は，かかる２つのリードリセット信号ＲＲのいずれかと，読み込み動作を許可するリードイネーブル信号（図示せず。）を非同期ラインメモリ５２に出力して，非同期ライト動作のライトアドレス，読み込みの可・不可などを制御する。
【００５０】
リセットタイミング比較器５７は，上記のライトリセット信号ＷＲと例えば基準リードリセット信号とのタイミング差を比較して，非同期ラインメモリ５２のライトアドレスとリードアドレスの接近具合を監視する機能を有する。このリセットタイミング比較器５７は，検出結果であるアドレス比較信号ＡＣを上記非同期リード制御部５６に送信する。非同期リード制御部５６は，かかるアドレス比較信号ＡＣに基づいて，基準リードリセット信号と調整リードリセット信号のいずれを送出するかを判断して，セレクタ５５を切り替える。
【００５１】
遅延回路５８は，非同期ラインメモリ５２から出力されたビデオ信号を所定量Ｍだけ追加して遅延させる機能を有する。この追加遅延量Ｍは，上記基準リードリセット信号と調整リードリセット信号との時間差に相当する遅延量となるように決定され，例えば，上記クロック数差Ｘの例えば２倍（Ｍ＝２Ｘ）に設定されている。
【００５２】
出力セレクタ５９は，非同期ラインメモリ５２から出力されたビデオ信号と，上記遅延回路５８を通過して追加遅延量Ｍだけ遅延されたビデオ信号とを切り替えて，後続のライン調整装置６０に出力する。
【００５３】
次に，上記のような構成の非同期メモリ装置５０の動作について説明する。
【００５４】
まず，入力部２０からのビデオ信号は，非同期ラインメモリ５２に入力され，指定されたライトアドレスに順次書き込まれていく。このライトアドレスは，カウントされた入力クロック数に応じて，例えば徐々に増加するように指定されている。また，入力ビデオ信号は非同期ライト制御部５４にも入力されており，非同期ライト制御部５４は，かかる入力ビデオ信号の水平同期信号に基づいてライトリセット信号を生成し，随時非同期ラインメモリ５２に送信する。これにより，ライトアドレスが所定周期（即ち，ライン単位）でリセットされるので，非同期ラインメモリ５２に書き込まれるビデオ信号は，ライン単位で更新されていく。
【００５５】
一方，このような非同期ライト動作と同時並行して，非同期リード動作が基準クロックに基づいて行われる。即ち，非同期ラインメモリ５２は，非同期リード制御部５６からのリードリセット信号に基づいてリードアドレスをリセットしながら，書き込まれているビデオ信号データをライン単位で順次読み出していく。
【００５６】
かかる動作により，ライトアドレスとリードアドレスが接近しすぎない範囲では，エラーが発生することなくビデオ信号を好適に読み出せるので，ビデオ信号をピクセルクロック単位およびライン単位で同期化することができる。
【００５７】
ところが，非同期リード動作と非同期ライト動作の速度差によって，リードアドレスとライトアドレスが次第に接近し，アドレス通過（即ち，リードアドレスがライトアドレスを追い越す，またはその逆の場合）が起こる場合がある。この場合には，オーバーラン／アンダーランエラーが発生し，出力画像上のノイズや，ＴＲＳ部分のデータを破壊したときには後続機器で大きな絵乱れを引き起こす原因となってしまう。このため，非同期リード制御部５６は，上記アドレス通過を防止するよう，非同期リード動作を好適に制御する必要がある。
【００５８】
ここで，本実施形態にかかる非同期リード動作の制御について詳細に説明する。なお，以下では，非同期リード動作が非同期ライト動作より遅い場合と，非同期リード動作が非同期ライト動作より早い場合に分けて説明する。
【００５９】
まず，図４および図５に基づいて，非同期リード動作が非同期ライト動作より遅い場合における，非同期リード動作の制御について説明する。なお，図４は，本実施形態にかかる非同期リード動作が非同期ライト動作より遅い場合における，非同期リード動作の動作フローを示すフローチャートである。また，図５は，本実施形態にかかる非同期リード動作が非同期ライト動作より遅い場合における，非同期ライト動作に対する非同期リード動作の遅延量の時間変化を示すグラフ図である。
【００６０】
なお，図５において，Ｐはビデオ信号における１ライン当たりのピクセル数であり，Ｍは追加遅延量（Ｍ＝２Ｘ）である。また，グラフの実線は非同期メモリ装置５０の出力部分での遅延量（以下では出力遅延量という。）であり，破線は非同期ラインメモリ５２の出力部分（即ち，遅延回路５８を通過する前）での遅延量（以下ではメモリ遅延量という。）である。
【００６１】
図４に示すように，まず，ステップＳ１０では，リセットタイミング比較器５７が，例えば1フレームに1度の，書き込み側ライトリセット信号と基準リードリセット信号のタイミング比較を行う点まで待つ。（ステップＳ１０）。リセットタイミング比較器５７は，ライトリセット信号と基準リードリセット信号のタイミング比較を行うことで，ライトアドレスとリードアドレスの接近具合を比較し，検出結果であるアドレス比較信号ＡＣを非同期リード制御部５６に送信することができる。かかるリセットタイミング比較器５７による両アドレスの接近具合の比較は，例えば1フレーム毎に上記リセットタイミング比較点で行うため，それまでは待機する。
【００６２】
次いで，ステップＳ２０では，リセットタイミング比較器５７が，リセットタイミング比較点でのライトアドレスとリードアドレスの接近具合を判定する（ステップＳ２０）。待機していたリセットタイミング比較器５７は，リセットタイミング比較点に至った時点で，両アドレスの接近具合を判定し，判定結果を非同期リード制御部５６に送信する。
【００６３】
本動作フローでは，非同期リード動作が非同期ライト動作より遅いので，リードアドレスがライトアドレスから徐々に離れていき，メモリ遅延量が徐々に増加していくこととなる。これが進行し，図５でメモリ遅延量がＰ−（Ｍ／２）に達したとき（Ｂ時点）には，ライトアドレスに対するリードアドレスの差がＰ−Ｘにまで増大したことになる。即ち，リードアドレスとライトアドレスがクロック数差Ｘの範囲内にまで接近した状態となる。かかる状態で，リセットタイミング比較器５７が，リードアドレスとライトアドレスがＸ内に接近していると判定した場合（即ち，Ｂ〜Ｃの期間）には，ステップＳ４０に進む。一方，双方が所定範囲Ｘ内に接近していないと判定した場合（即ち，Ａ〜Ｂの期間）には，ステップＳ３０に進む。
【００６４】
次いで，ステップＳ３０では，基準リードリセット信号と，遅延回路５８を経由しない信号経路が選択される。（ステップＳ３０）。ステップＳ２０でライトアドレスとリードアドレスが所定範囲Ｘ内に接近していないと判定された場合，非同期リード制御部５６は，非同期ラインメモリ５２に送信するリードリセット信号ＲＲとして基準リードリセット信号を選択する。また，非同期ラインメモリ５２の出力の信号経路としては，遅延回路５８を経由せず直接後続回路に出力される信号経路が選択される。
【００６５】
一方，ステップＳ４０では，調整リードリセット信号と，遅延回路５８を経由する信号経路が選択される。（ステップＳ４０）。ステップＳ２０でライトアドレスとリードアドレスが所定範囲Ｘ内に接近していると判定された場合，非同期リード制御部５６は，非同期ラインメモリ５２に送信するリードリセット信号ＲＲとして調整リードリセット信号を選択する。また，非同期ラインメモリ５２の出力の信号経路としては，遅延回路５８を経由した上で後続回路に出力される信号経路が選択される。
【００６６】
その後，ステップＳ５０では，必要に応じてライン単位のジャンプ操作が行われる（ステップＳ５０）。例えば，図５で出力遅延量がＰ＋（Ｍ／２）に達したとき（Ｃ時点）では，調整リードリセット信号を用いたとしてもリードアドレスとライトアドレスがＸ内に接近してしまう。この場合には，非同期メモリ制御部５６は，メモリ遅延量が限界に達したと判断し，後段回路の動作のためにラインジャンプの操作を行い，１ライン分の読み出しを諦めて次のラインを読み出すようにする。これにより，メモリ遅延量と出力遅延量は大幅に減少し，ともにＭ／２となり，双方のアドレスの接近具合に余裕が生まれる。
【００６７】
次いで，ステップＳ６０では，選択されたリードリセット信号ＲＲと信号経路で，例えば１フレーム期間，非同期ラインメモリ５２のビデオ信号が読み出される（ステップＳ６０）。上記ステップＳ３０で基準リードリセット信号と遅延回路５８を経由しない信号経路が選択された場合には，非同期ラインメモリ５２は，基準リードリセット信号のリセットタイミングで，例えば１フレーム期間にわたりビデオ信号データをライン単位で読み出す。このようにして読み出されたビデオ信号は，遅延回路５８を介さないものが出力される。
【００６８】
一方，上記ステップＳ４０で調整リードリセット信号と遅延回路５８を経由する信号経路が選択された場合には，非同期ラインメモリ５２は，調整リードリセット信号のリセットタイミングで，例えば１フレーム期間にわたりビデオ信号データをライン単位で読み出す。このように非同期ラインメモリ５２から読み出されたビデオ信号は，遅延回路５８に入力され，読み出しタイミングを早めた分に相当する遅延量Ｍだけ遅延させる。このため，図５の実線と破線で示すように，出力遅延量がメモリ遅延量よりＭだけ大きくなる。これにより，基準リセット信号より早いタイミングの調整リードリセット信号に基づいてビデオ信号データを読み出したことに伴う，水平同期信号とのタイミングのずれを調整できる。
【００６９】
なお，この調整リードリセット信号は，基準リードリセット信号よりリード動作のタイミングがＭ＝２Ｘだけ早められており，また，１フレーム期間では非同期ライト動作と非同期リード動作の遅延量は最大でもＸである。従って，基準リードリセット信号から調整リードリセット信号に切り替えてリセットタイミングを早めた場合，次の１フレーム期間内にはアドレス通過が発生しないことが保証される。
【００７０】
以上までのステップにより，非同期リード動作が非同期ライト動作より遅い場合における，１フレーム分の非同期リード動作が完了する。その後は，再びステップＳ１０に戻り，上記と同様にして次のフレームの非同期リード動作を行う。このような非同期リード動作を繰り返して，基準クロックに基づいてビデオ信号を読み出し，必要に応じてジャンプ動作を複数回行うことで，ピクセルクロック単位およびライン単位でのライン同期化を実現できる。
【００７１】
次に，図６および図７に基づいて，非同期リード動作が非同期ライト動作より早い場合における，非同期リード動作について説明する。なお，図６は，本実施形態にかかる非同期リード動作が非同期ライト動作より早い場合における，非同期リード動作の動作フローを示すフローチャートである。また，図７は，本実施形態にかかる非同期リード動作が非同期ライト動作より早い場合における，非同期ライト動作に対する非同期リード動作の遅延量の時間変化を示すグラフ図である。なお，図７に示すＰ，Ｍ，実線，破線などの意味は，上記図５の場合と同様である。
【００７２】
図６に示すように，まず，ステップＳ１１０では，リセットタイミング比較器５７が，例えば1フレームに1度の，書き込み側ライトリセット信号と基準リードリセット信号のタイミング比較を行う点まで待つ。（ステップＳ１１０）。本ステップは，上記ステップＳ１０と略同一であるので説明を省略する。
【００７３】
次いで，ステップＳ１２０では，リセットタイミング比較器５７がライトアドレスとリードアドレスの接近具合を判定する（ステップＳ１２０）。待機していたリセットタイミング比較器５７は，リセットタイミング比較点に至った時点で，両アドレスの接近具合を判定し，判定結果を非同期リード制御部５６に送信する。
【００７４】
本動作フローでは，非同期リード動作が非同期ライト動作より早いので，リードアドレスがライトアドレスに徐々に近づいていき，メモリ遅延量が徐々に減少していくこととなる。これが進行し，図７でメモリ遅延量がＭ／２に達したとき（Ｅ時点）には，ライトアドレスに対するリードアドレスの差がＸにまで減少したことになる。即ち，リードアドレスとライトアドレスがクロック数差Ｘの範囲内にまで接近した状態となる。かかる状態で，リセットタイミング比較器５７が，リードアドレスとライトアドレスがＸ内に接近していると判定した場合（即ち，Ｅ〜Ｆの期間）には，ステップＳ１４０に進む。一方，双方が所定範囲Ｘ内に接近していないと判定した場合（即ち，Ｄ〜Ｅの期間）には，ステップＳ１３０に進む。
【００７５】
次いで，ステップＳ１３０では，基準リードリセット信号と，遅延回路５８を経由しない信号経路が選択される。（ステップＳ１３０）。本ステップは，上記ステップＳ１３０と略同一であるので説明を省略する。
【００７６】
一方，ステップＳ１４０では，調整リードリセット信号と，遅延回路５８を経由する信号経路が選択される。（ステップＳ１４０）。本ステップは，上記ステップＳ１４０と略同一であるので説明を省略する。
【００７７】
その後，ステップＳ１５０では，必要に応じてライン単位のリピート操作が行われる（ステップＳ１５０）。例えば，図７で出力遅延量がＭ／２に達したとき（Ｅ時点）には，非同期メモリ制御部５６は，メモリ遅延量が限界に達したと判断し，後段回路の動作のためにラインリピートの操作を行い，１度読み出した同一のラインを再び読み出し始めるようにする。これにより，メモリ遅延量と出力遅延量は大幅に増大し，双方のアドレスの接近具合に余裕が生まれる。
【００７８】
次いで，ステップＳ１６０では，選択されたリードリセット信号ＲＲと信号経路で，例えば１フレーム期間，非同期ラインメモリ５２のビデオ信号が読み出される（ステップＳ１６０）。本ステップは，上記のステップＳ６０と略同一であるので，説明を省略する。
【００７９】
以上までのステップにより，非同期リード動作が非同期ライト動作より早い場合における，１フレーム分の非同期リード動作が完了する。その後は，再びステップＳ１１０に戻り，上記と同様にして次のフレームの非同期リード動作を行う。このような非同期リード動作を繰り返して，基準クロックに基づいてビデオ信号を読み出し，必要に応じてリピート動作を複数回行うことで，ピクセルクロック単位およびライン単位でのライン同期化を実現できる。
【００８０】
次に，図８に基づいて，非同期メモリ装置でライン同期化されたビデオ信号の状態について説明する。なお，図８は，本実施形態にかかる非同期メモリ装置５０が出力したビデオ信号の状態を示す説明図である。
【００８１】
ジャンプおよびリピート動作を行わなかった場合では，図８（ａ）に示すように，ビデオ信号が，ライン＃１，ライン＃２，ライン＃３‥というように非同期ラインメモリ５２に書き込まれた順序通りに，ライン単位で出力される。
【００８２】
また，非同期リード動作が非同期ライト動作より遅いため，ジャンプ動作を行った場合には，例えば，図８（ｂ）に示すように，ライン＃１，ライン＃３，ライン＃４‥というように，ライン＃２が抜けた状態で出力される。
【００８３】
さらに，非同期リード動作が非同期ライト動作より早いため，リピート動作を行った場合には，例えば，図８（ｃ）に示すように，ライン＃１，ライン＃２，ライン＃２，ライン＃３‥というように，ライン＃２が繰り返された状態で出力される。
【００８４】
このように，ジャンプまたはリピート動作を行った場合には，非同期メモリ装置５０に入力されたビデオ信号と，非同期メモリ装置５０から出力されたビデオ信号との間で，ライン数が変化する。従って，非同期メモリ装置５０の上記動作によって，例えば１ライン分のデータを傷つけることになるが，有効映像領域外で切替操作を行えば有効画像に関しては問題ない。以上のようにして，非同期メモリ装置５０は，容量の比較的小さいＦＩＦＯメモリを利用して，入力同期信号に従って入力されたビデオ信号を，Ｖ単位を除く，ピクセルクロック単位およびＨ単位での基準同期信号に同期化した上で出力することができる。
【００８５】
次に，図９に基づいて，本実施形態にかかるライン調整装置および同期メモリ装置の構成について説明する。なお，図９は，本実施形態にかかるライン調整装置６０および同期メモリ装置７０の構成を示すブロック図である。
【００８６】
図９に示すように，ライン調整装置６０は，例えば複数の同期ラインメモリ６２−１，６２−２，‥６２−Ｌ（以下では，同期ラインメモリ６２という場合もある。）と，マルチプレクサ６４とを有する。
【００８７】
同期ラインメモリ６２は，例えばＦＩＦＯメモリなどからなるラインメモリ群であり，各々がビデオ信号の少なくとも１ライン分のデータを記憶できる容量を有する。かかる複数の同期ラインメモリ６２は，例えば直列的に接続されており，各々の出力をマルチプレクサ６４に出力可能な構成となっている。なお，かかる同期ラインメモリ６２は，上記のように複数具備されなくともよく，例えば，同期ラインメモリ６２−１だけといったように，１つだけ設けられてもよい。
【００８８】
マルチプレクサ６４は，非同期メモリ装置５０の出力したビデオ信号と，複数の同期ラインメモリ６２から入力された各ビデオ信号とを切り替えて出力できるスイッチ装置である。
【００８９】
かかる構成により，ライン調整装置６０は，非同期メモリ装置５０の出力したビデオ信号をライン単位で遅延して出力するライン遅延器として機能する。さらに，このライン調整装置６０は，非同期メモリ装置５０が出力したままの状態の遅延されていないビデオ信号と，１または２以上ライン分遅延させたビデオ信号とを，マルチプレクサ６４によって切り替えて出力できるので，同期メモリ装置７０に出力するビデオ信号の配列をライン単位で調整することができる。例えば，当初は，非同期メモリ装置５０の出力したビデオ信号を直接出力し，所定のタイミングからは，同期ラインメモリ６２−１を用いて例えば１ライン遅延させたビデオ信号を出力することができる。なお，かかるライン調整装置６０は，例えば，上記の非同期メモリ装置５０または後述する同期メモリ装置７０などの一部として構成してもよい。
【００９０】
また，同期メモリ装置７０は，ライン調整装置６０から出力されたビデオ信号をＶ単位で同期化する機能を有しており，図９に示すように，複数の同期フレームメモリ７２−１，７２−２，‥７２−Ｍ（以下では，同期フレームメモリ７２という場合もある。）と，同期ライト制御部７４と，同期リード制御部７６と，マルチプレクサ７８と，緊急用画像メモリ７９と，を有する。
【００９１】
同期フレームメモリ７２は，例えばＳＤＲＡＭ（同期メモリ），ＳＲＡＭなどからなるフレームメモリ群であり，各々が少なくともビデオ信号の１フレーム分のデータを記憶できる容量を有している。この複数の同期フレームメモリ７２は，相互に例えば並列的に接続されており，ライン調整装置６０から入力されたビデオ信号を，分割して記憶することができる。また，かかる同期フレームメモリ７２は，例えば１ポートであり，リード動作とライト動作を同時並行して独立に行うことができないので，少なくとも２つ以上を組合せて２重バッファ以上とする必要がある。
【００９２】
同期ライト制御部７４は，ライン調整装置６０から入力されたビデオ信号を，基準水平同期信号に基づいて上記複数の同期フレームメモリ７２にライン単位で交互に書き込む同期ライト動作を制御する機能を有する。この同期ライト制御部７４は，基準クロックに基づいて動作し，入力されたビデオ信号を書き込む同期フレームメモリ７２およびそのライトアドレスを指定する。この際，ライン単位で異なる同期フレームメモリ７２に交互に書き込むよう制御する。例えば，まず，先頭のライン＃１を同期フレームメモリ７２−１に書き込み，次いで，次のライン＃２を別の同期フレームメモリ７２−２に書き込み，さらに，次のライン＃３を別の同期フレームメモリ７２−３に書き込むといったように，ライトアドレスを指定する。
【００９３】
同期リード制御部７６は，同期フレームメモリ７２に書き込まれたビデオ信号を，基準水平同期信号に基づいてライン単位で交互に読み出す同期リード動作を制御する機能を有する。この同期ライト制御部７４も，基準クロックに基づいて動作しており，ビデオ信号を読み出す同期フレームメモリ７２およびそのリードアドレスを指定する。この際，上記同期ライト制御部７４によって書き込み中の同期フレームメモリ７２以外の同期フレームメモリ７２から，ライン単位で交互に読み出すよう制御する。例えば，同期フレームメモリ７２−１が書き込み中の場合には，別の同期フレームメモリ７２−２から１ライン分読み出し，次いで，同期フレームメモリ７２−２に書き込み中の場合には，同期フレームメモリ７２−３から１ライン分読み出すといったように，リードアドレスを指定する。
【００９４】
また，かかる同期ライト制御部７４と同期リード制御部７６は，同期ライト動作に対する同期リード動作の遅延量に応じて，同期リード動作で読み出されるビデオ信号を，基準垂直同期信号に基づいてフレーム単位でジャンプまたはリピートするよう制御する機能も有する。
【００９５】
以上のように，１ライン分のビデオ信号を書き込むライト動作と，１ライン分のビデオ信号を読み出す同期リード動作とを，複数の同期フレームメモリ７２間で交互に行うことができるのは，同期メモリ装置７０に入力されるビデオ信号が上記非同期メモリ装置５０によってライン単位で同期化され，ライン長が揃ってているからである。なお，上記同期ライト動作，同期リード動作を好適に制御すべく，同期ライト制御部７４と同期リード制御部７６との間では，ライトおよびリードアドレス情報が交換されている。また，上記同期ライト制御部７４と同期リード制御部７６とは，必ずしも別体に構成される必要はなく，例えば１つの制御部で構成してもよい。
【００９６】
また，緊急用画像メモリ７９は，入力ビデオ信号としてエラー信号が入力された場合や上記各部での信号処理に支障があった場合などに，一時的に外部に対して出力する緊急用画像（例えば「しばらくお待ちください」というコメントを表示する画像など）が記憶されているメモリである。上記同期リード制御部７６は，検出部２４からエラー検出信号２５が入力された場合には，かかる緊急用画像を出力するよう制御する。
【００９７】
マルチプレクサ７８は，複数の同期フレームメモリ７２から読み出されたビデオ信号と，緊急用画像の信号と，非同期メモリ装置５０からの直接入力されたビデオ信号と，を切り替えて出力するスイッチ装置である。
【００９８】
次に，上記のような構成のライン調整装置６０および同期メモリ装置７０の動作について説明する。
【００９９】
まず，図１０に基づいて，本実施形態にかかるライン調整装置の動作について説明する。なお，図１０は，上記非同期メモリ装置５０でジャンプ動作またはリピート動作がなされた場合における，非同期メモリ装置５０の出力ビデオ信号（上段）と，ライン調整装置６０が遅延させたビデオ信号（２段目）と，当該ビデオ信号が２つの同期フレームメモリ７２−１，７２−２に書き込まれた状態（下２段）を示す説明図である。
【０１００】
上記の非同期メモリ装置５０から出力されビデオ信号は，ライン単位で同期化されているので，ライン単位でジャンプまたはリピートしていなければ，同期メモリ装置７０に直接入力してフレーム単位の同期化を行うことができる。しかし，実際には，非同期メモリ装置５０の出力は，上記のようにライン単位でジャンプまたはリピートする処理がなされる場合がある。例えば，図１０（ａ）に示す例では，ライン＃２がジャンプしており，図１０（ｂ）に示す例では，ライン＃２がリピートしている。このような場合には，非同期メモリ装置５０の出力はライン数が変化し配列が乱れているので，かかる出力を直接入力しても同期メモリ装置７０は好適に処理を行うことができない。
【０１０１】
例えば，同期メモリ装置７０において同期フレームメモリ７２−１（ｍｅｍ＃１）と同期フレームメモリ７２−２（ｍｅｍ＃２）を用いて，それぞれのフレームメモリにビデオ信号の奇数ライン，偶数ラインを書き込むように設定したとする。かかる設定下では，ジャンプ，リピートが発生した非同期メモリ装置５０の出力を同期メモリ装置７０に直接入力すると，奇数，偶数ラインが逆転して書き込まれてしまい，画像垂直ぶれなどの原因となる。また，同期メモリ装置７０での同期リード動作でかかるアドレスのズレを修正するのは容易ではない。
【０１０２】
そこで，ライン調整装置６０が，非同期メモリ装置５０が出力したビデオ信号と，これを例えば１ライン遅延させたビデオ信号とを好適なタイミングで切り替えて，同期メモリ装置７０に出力することにより，奇数ライン・偶数ラインと同期フレームメモリ７２−１・７２−２との関係を維持できる。
【０１０３】
具体的には，ジャンプが起こっている図１０（ａ）の例では，１および２ライン目は，非同期メモリ装置５０が出力したビデオ信号を出力し，３ライン目からは１ライン遅延させたビデオ信号を出力している。かかる動作により，同期フレームメモリ７２−１には，ライン＃１，ライン＃３，ライン＃５‥が書き込まれ，同期フレームメモリ７２−２には，ライン＃３，ライン＃４，ライン＃６‥が書き込まれる。これにより，奇偶関係を失い不規則となっているのは，同期フレームメモリ７２−２のライン＃３（ハッチングを施してあるライン）だけとなる。
【０１０４】
また，リピートが起こっている図１０（ｂ）の例では，１，２および３ライン目は，非同期メモリ装置５０が出力したビデオ信号を出力し，４ライン目からは１ライン遅延させたビデオ信号を出力している。かかる動作により，同期フレームメモリ７２−１には，ライン＃１，ライン＃２，ライン＃３，ライン＃５‥が書き込まれ，同期フレームメモリ７２−２には，ライン＃２，ライン＃２，ライン＃４，ライン＃６‥が書き込まれる。これにより，不規則となっているのは，同期フレームメモリ７２−１のライン＃２と同期フレームメモリ７２−２の１つめのライン＃２だけとなる。
【０１０５】
このようなライン調整装置６０のライン調整動作により，非同期メモリ装置５０によるジャンプ，リピート動作の弊害を低減して，画像の絵乱れ等を十分に防止できる。
【０１０６】
次に，図１１に基づいて，本実施形態にかかる同期メモリ装置の同期ライト動作及び同期リード動作について説明する。なお，図１１は，本実施形態にかかる同期メモリ装置７０が複数の同期フレームメモリ７２に同期ライト動作および同期リード動作を行うタイミングを示す説明図である。なお，図１１では，同期フレームメモリ７２の例として，（ａ）３つのＳＤＲＡＭを用いた場合，（ｂ）２つの高速動作可能なＳＤＲＡＭを用いた場合，（ｃ）２つのリフレッシュが不要なメモリを用いた場合，をそれぞれ示す。
【０１０７】
図１１に示すように，ライン調整装置６０から入力されたビデオ信号は，複数の同期フレームメモリ７２にライン毎に交互に順次書き込まれていくとともに，複数の同期フレームメモリ７２からライン毎に交互に順次読み出されている。この際，各ラインの書き込みと読み出しとを同一のタイミングで行うことができる。これは，上記非同期メモリ装置５０でビデオ信号がライン単位で同期化されているので，各ラインの時間長が揃っているからである。このため，同期メモリ装置７０におけるライトアドレスおよびリードアドレスの制御が非常に簡単になる。
【０１０８】
以下に，個々の場合についてより詳細に説明する。
【０１０９】
まず，図１１（ａ）に示すように，同期フレームメモリ７２としてＳＤＲＡＭを用いた場合には，安価かつ大容量のメモリを搭載できるというメリットがあるが，定期的にリフレッシュ動作を行わなければならない。このため，例えば少なくとも３つの同期フレームメモリ７２を設ける必要がある。これにより，各同期フレームメモリ７２では，例えば，同期ライト動作と同期リード動作の間に例えば毎回リフレッシュ動作を行いながら，同期ライト動作，同期リード動作が交互に行われる。
【０１１０】
具体的には，まず，最初の期間（即ち，水平同期期間）では，同期フレームメモリ７２−１（ｍｅｍ＃１）にライン＃１を書き込む。次いで，次の期間では，同期フレームメモリ７２−１にリフレッシュ動作を行うとともに，同期フレームメモリ７２−２（ｍｅｍ＃２）にライン＃２を書き込む。さらに，次の期間では，同期フレームメモリ７２−１からライン＃ｋを読み出し，同期フレームメモリ７２−２にリフレッシュ動作を行うとともに，同期フレームメモリ７２−３にライン＃３を書き込む。さらに，次の期間では，同期フレームメモリ７２−１にライン＃４を書き込み，同期フレームメモリ７２−２からライン＃ｋ＋１を読み出すとともに，同期フレームメモリ７２−３にリフレッシュ動作を行う。かかる動作を繰り返すことで，同期ライト動作と同期リード動作を同時並行して行うことができる。
【０１１１】
また，図１１（ｂ）に示すように，同期フレームメモリ７２として高速動作（例えば２倍速動作）可能なＳＤＲＡＭを用いた場合には，１つの期間で例えば２つの動作（例えばライト動作とリフレッシュ動作）を行うことができるので，同期フレームメモリ７２が２つで済む。
【０１１２】
具体的には，まず，最初の期間では，同期フレームメモリ７２−１にライン＃１を書き込んだ上でリフレッシュ動作を行う。次いで，次の期間では，同期フレームメモリ７２−１からライン＃Ｋを読み出すとともに，同期フレームメモリ７２−２にライン＃２を書き込んだ上でリフレッシュ動作を行う。さらに，次の期間では，同期フレームメモリ７２−１にライン＃３を書き込んだ上でリフレッシュ動作を行うとともに，同期フレームメモリ７２−２からライン＃ｋ＋１読み出す。かかる動作を繰り返すことで，同期ライト動作と同期リード動作を同時並行して行うことができる。
【０１１３】
また，図１１（ｃ）に示すように，同期フレームメモリ７２として例えば大容量のＳＲＡＭなどのリフレッシュが不要なメモリを用いた場合にも，同期フレームメモリ７２を例えば２つだけ設けることで動作可能となる。
【０１１４】
具体的には，まず，最初の期間では，同期フレームメモリ７２−１にライン＃１を書き込む。次いで，次の期間では，同期フレームメモリ７２−１からライン＃Ｋを読み出すとともに，同期フレームメモリ７２−２にライン＃２を書き込む。さらに，次の期間では，同期フレームメモリ７２−１にライン＃３を書き込むとともに，同期フレームメモリ７２−２からライン＃ｋ＋１読み出す。かかる動作を繰り返すことで，同期ライト動作と同期リード動作を同時並行して行うことができる。
【０１１５】
以上の例のようにして，同期メモリ装置７０は，同一の基準同期信号に基づいて，同一のタイミングで書き込んだり読み出したりしながら，同期ライト動作および同期リード動作を行うことができる。
【０１１６】
ところで，上記非同期メモリ装置５０のジャンプ・リピート動作により，同期メモリ装置７０に入力されるビデオ信号は，基準ビデオ信号と比べてライン数が増減している場合がある。即ち，入力されるライン数が多い場合には，同期リード動作でのリードアドレスが遅れていくため，同期フレームメモリ７２には読み出されていないラインが溜まっていってしまう。一方，入力されるライン数が少ない場合には，同期リード動作でのリードアドレスが早まっていくため，同期フレームメモリ７２には読み出すべきラインが足りなくなってしまう。
【０１１７】
このため，同期メモリ装置７０は，外部に対して出力するビデオ信号のフレーム数を調整する必要がある。そこで，同期リード動作制御部５４は，ライトアドレスとリードアドレスのずれ量に応じて，例えば基準垂直同期信号の入力時にリードアドレスを不連続にジャンプまたはリピートさせるよう制御する。これにより，出力するビデオ信号がフレーム単位でジャンプまたはリピートするので，フレーム単位（Ｖ単位）での同期化を好適に行うことができる。
【０１１８】
また，同期フレームメモリ７２が，ビデオ信号を例えば２フレーム以上記憶可能な容量を確保するよう構成してもよい。かかる構成により，例えば，大きなエラーが生じておりそのままの状態では出力することが好ましくない画像フレームデータが入力された場合であっても，その前に書き込まれている正常な画像フレームデータを再度出力することで，絵乱れを防止することができる。
【０１１９】
次に，図１に示した出力部４０の出力信号処理部４２の動作について説明する。
【０１２０】
出力信号処理部４２は，フレームシンクロナイザ部３０から入力されたビデオ信号において，例えばＴＲＳ，ＬＮおよびＣＲＣＣなどを画像データに基づいて生成する機能を有する。また，この出力信号処理部４２は出力するビデオ信号の有効映像領域または補助データ領域などにおける不正値処理を行うことができる。
【０１２１】
より詳細には，画像音声同期化装置１０に入力されるビデオ信号は，前段のラウティングスイッチなどで不連続に切り替えられることなどが原因で，ＴＲＳ等が傷つけられていることがある。傷ついたデータをそのまま出力すると，後段の機器で不具合を生ずる原因となる。そこで，出力信号処理部４２は，当該ビデオ信号内に含まれる不正値を検出した場合には，以下のような修正を行った上で出力する。
【０１２２】
まず，有効映像領域内の画像データについては，振幅リミッタ機能により，信号の振幅が通常の画像信号の有効範囲内に収まるように修正する。例えば，入力された画像信号の振幅が，上限値以上または下限値以下である場合には，入力された振幅値に代えて当該上限値または下限値を出力し，それ以外の場合にはそのままの振幅値で出力する。
【０１２３】
また，ＴＲＳ部分では，例えば全ての信号を透過的として，修正を行わない。
【０１２４】
また，アンシラリ領域では，０ｘ０００や０ｘ３ＦＦを検出した場合，単純にこれをリミットするのでなく，アンシラリパケットヘッダのときは０ｘ０００，０ｘ３ＦＦ，０ｘ３ＦＦのパタン値を透過的とし，他のパタン値の場合は置換して出力する。
【０１２５】
このような不正値処理により，上記ラウティングスイッチなどによる入力ビデオ信号の不連続な切替操作などで発生したデータの破損を補うことができる。これにより，後段機器の信号検出機構のミスを低減して，画像乱れなどのエラーを抑制することができる。
【０１２６】
以上説明したように，本実施形態にかかる画像音声同期化装置１０によれば，ＨＤＴＶ用途の大容量フレームデータを同期化する場合であっても，フレームメモリとして高価な大容量ＦＩＦＯメモリやＳＲＡＭなどを用いることなく，安価なＳＤＲＡＭなどで好適に同期化でき，装置のコストダウンが図れる。さらに，ＳＤＲＡＭを利用するなどして，メモリ関連部品を少数に削減できるので，機器の小型化，低消費電力化が図れ，環境負荷も低減できる。
【０１２７】
（第２の実施の形態）
次に，本発明の第２の実施形態にかかる画像音声同期化装置について説明する。第２の実施形態にかかる画像音声同期化装置は，上記第１の実施形態にかかる画像音声同期化装置と比して，音声分離処理装置が追加されている点で相違するのみであり，その他の機能構成は略同一であるので，その説明は省略する。
【０１２８】
まず，図１２に基づいて，本実施形態にかかる音声分離処理装置を備えた画像音声同期化装置の全体構成について説明する。なお，図１２は，本実施形態にかかる音声分離処理装置１００を備えた画像音声同期化装置１０の構成を示すブロック図である。
【０１２９】
図１２に示すように，画像音声同期化装置１０は，上記第１の実施形態と同様な入力部２０，フレームシンクロナイザ部３０および出力部４０に加え，本実施形態の特徴である音声分離処理装置１００を備える。なお，フレームシンクロナイザ部３０の出力は後述する音声信号混合部１１８を介して出力部４０に入力されている。また，入力部２０の検出部２４のエラー検出信号２５は，フレームシンクロナイザ部３０以外にも，音声信号混合部１１８およびゲイン調整部１１６などに入力されている。
【０１３０】
次に，図１２に基づいて，本実施形態にかかる音声分離処理装置の構成およびその動作について詳細に説明する。
【０１３１】
図１２に示すように，音声分離処理装置１００は，音声信号分離部１０２と，第１の周波数調整部１０４と，外部音声入力部１０６と，音声信号セレクタ１０８と，標本化周波数変換部１１０と，第２の周波数調整部１１２と，音声信号遅延部１１４と，ゲイン調整部１１６と，音声信号混合部１１８と，第３の周波数調整部１２０と，音声出力部１２２と，を有する。以下に，これら各部の機能構成及びその動作について詳細に説明する。
【０１３２】
音声信号分離部１０２は，入力部２０から入力されたビデオ信号から，音声信号（音声データ）を分離して取り出す機能を有する。これにより，非同期メモリ装置５０に入力される前の，入力同期信号に同期した音声信号が得られる。
【０１３３】
第１の周波数調整部１０４は，例えばＦＩＦＯメモリなどで構成され，音声信号分離部１０２から入力された音声信号を，ビデオ用のクロック（周波数）領域から，音声用のクロック領域に周波数変換する機能を有する。ここでいう，ビデオ用のクロックとは，入力されたビデオ信号のクロック（即ち，入力クロック）である。また，音声用のクロックとは，入力クロックに同期した音声用のクロック（以下では，入力音声クロックという。）である。なお，入力音声クロックはＰＬＬ（ＰｈａｓｅＬｏｃｋｅｄＬｏｏｐ）により入力クロックに基づいて生成されている。上記のような第１の周波数調整部１０４の動作により，後述の標本化周波数変換部１１０が音声レベルでの音声信号の処理が可能になる。
【０１３４】
外部音声入力部１０６は，例えばデコーダであり，外部から上記のビデオ信号とは独立して入力された例えばＡＥＳ／ＥＢＵ（ＡｕｄｉｏＥｎｇｉｎｅｅｒｉｎｇＳｏｃｉｅｔｙ／ＥｕｒｏｐｅａｎＢｒｏａｄｃａｓｔｉｎｇＵｎｉｏｎ）フォーマットのデジタルオーディオ信号（以下では，単に外部音声信号という。）を復号する。
【０１３５】
音声信号セレクタ１０８は，第１の周波数調整部１０４から入力された音声信号と，外部音声入力部１０６から入力された外部音声信号を切り替えて，標本化周波数変換部１１０に出力するスイッチ装置である。
【０１３６】
標本化周波数変換部１１０は，入力音声クロックに従う音声信号を，基準クロックに同期した音声用のクロック（以下では，出力音声クロックという。）に従うよう，非同期標本化周波数（サンプリングレート）変換する機能を有する。なお，出力音声クロックはＰＬＬにより基準クロックに基づいて生成されている。かかる標本化周波数変換部１１０の非同期標本化周波数変換動作により，ジャンプ・リピート動作によりデータの連続性を乱すことなく，音声信号を基準クロックに同期させることができる。
【０１３７】
第２の周波数調整部１１２は，例えばＦＩＦＯメモリなどで構成され，標本化周波数変換部１１０から入力された音声信号を，出力音声クロック領域から，ビデオ用の基準クロック領域に周波数変換する機能を有する。かかる第２の周波数調整部１０４の動作により，音声信号の周波数がビデオ用の周波数に調整されるため，後続の各部がビデオ用の基準クロックに基づいて動作することができる。
【０１３８】
音声信号遅延部１１４は，音声信号を所定時間遅延させる機能を有する。即ち，音声信号遅延部１１４は，ビデオ信号とは別に，音声信号の遅延時間を独立して調整することができる。上記のように，ビデオ信号の画像データはフレームシンクロナイザ部３０で所定量遅延するので，かかる遅延量だけ音声信号を遅延させることにより，分離処理した音声データと画像データとのズレを補正することができる。
【０１３９】
ここで，図１３に基づいて，この音声信号遅延部１１４について，より詳細に説明する。なお，図１３は，音声信号遅延部１１４の構成を示すブロック図である。
【０１４０】
図１３に示すように，音声信号遅延部１１４は，音声遅延調整回路１３０と，クロスフェード処理部１３８とを有する。
【０１４１】
音声遅延調整回路１３０は，例えばＳＤＲＡＭ等のメモリ装置などからなり，入力された音声信号を画像データの遅延量に応じて遅延させることができる。この音声遅延調整回路１３０は，例えば２つの音声遅延回路１３１，１３２を備えることで，多様な遅延時間調整が可能になる。例えば音声遅延回路１３１から出力された遅延調整後の音声信号と，例えば音声遅延回路１３２から出力された遅延調整前の音声信号は，クロスフェード処理部１４０に入力される。
【０１４２】
なお，これら両音声遅延回路１３１，１３２は，ビデオクロック周波数で動作するメモリ装置を用いて実現しているので，データの読書きは連続的ではなく十分な休止期間がある。従って，図１３のように別個の遅延メモリを用いても実現できるし，一つのメモリを時分割し，等価的に２組の遅延回路があるように構成しても良い（図示は省略する）。
【０１４３】
クロスフェード処理部１４０は，調整前の音声信号をフェードアウトさせながら，調整後の音声信号をフェードインさせるクロスフェード処理を行う。より詳細には，例えば，遅延調整前の音声信号を（１−ｋ）倍する乗算器１４４と，遅延調整後の音声信号をｋ倍する乗算器１４２と，双方の出力を加算する加算器１４６とを同時に動作させ，例えばｋの値を０から１に徐々に増加させる。これにより，遅延されていない音声信号と遅延された音声信号が徐々に入れ替わってゆき，双方が切り替わるポイントが曖昧になる。かかるクロスフェード処理部１４０の動作により，音声信号の遅延処理に伴う雑音を軽減することができる。
【０１４４】
また，図１２に示すゲイン調整部１１６は，音声信号遅延部１１４から入力された音声信号のゲイン調整やミュートを行うことができる。このため，このゲイン調整部１１６によっても，音声信号を徐々に小さくするミュート機能を利用して，遅延時間を調整する際の発生雑音を低減することができる。これはハードウエアを簡略化しクロスフェード処理を用いない場合に有効となる。
【０１４５】
また，ゲイン調整部１１６には，検出部２４からのエラー検出信号２５が入力されており，ゲイン調整部１１６は，かかるエラー検出信号２５に応じて，好適にゲイン調整やミュートを行うことができる。例えば，ラウティングスイッチによるビデオ信号の不連続な切替が起こったときには，検出部２４が入力信号の不連続を検出して，ゲイン調整部１１６にエラーの発生を通知する。この通知を受けて，ゲイン調整部１１６は，例えば適宜無音パケットを生成し，入力された音声信号の代わりに出力する。これにより，後続機器において，ＰＬＬが復帰するまでの間，入力信号が断続したことに伴う劣悪な雑音の発生を低減することができる。
【０１４６】
音声信号混合部１１８は，ゲイン調整部１１６から入力された音声信号を，フレームシンクロナイザ部３０から出力されたビデオ信号に混合する機能を有する。即ち，上記のように独立に周波数変換されるなどして分離処理された音声信号を，当該ビデオ信号内の元の音声データと置換する形で，当該ビデオ信号に混合する。
【０１４７】
第３の周波数調整部１２０は，例えばＦＩＦＯメモリなどで構成され，ゲイン調整部１１６から入力された音声信号を，ビデオ用の基準クロック領域から，音声用のクロック領域に周波数変換する機能を有する。また，音声出力部１２２は，エンコーダなどであり，第３の周波数調整部１２０から入力された音声信号を符号化して外部に出力する。このような，第３の周波数調整部１２０および音声出力部１２２を設けることにより，ビデオ信号とは別に音声信号のみを外部に対して出力できる。
【０１４８】
なお，音声信号のみを外部に出力するための，第３の周波数調整部１２０および音声出力部１２２は，機器仕様等により必ずしも具備されなくともよい。また，外部から外部音声信号を入力するための，上記外部音声入力部１０６および音声信号セレクタ１０８も，同様に必ずしも具備されなくともよい。
【０１４９】
以上のような構成の音声分離処理装置１００は，フレームシンクロナイザ部３０に入力される前の段階で，ビデオ信号から音声データを取り出し，標本化周波数変換を行い，変換した音声データを元のビデオ信号に再び混合するという，音声分離処理動作を行うことができる。従って，本実施形態にかかる画像音声同期化装置１０は，この音声分離処理装置１００により音声を分離処理する動作モードと，かかる音声分離処理を行わず，第１の実施形態のようにフレームシンクロナイザ部３０で画像データの補助データとして音声データを処理する動作モードという２種類の音声処理動作モードを実現することができる。
【０１５０】
加えて，標本化周波数変換部１１０による非同期標本化周波数変換動作では，出力する音声信号内に過不足のない数の音声データを挿入することができる。このため，画像データがフレーム単位でリピートまたはジャンプをする場合であっても，音声データは連続であり，従来のような補助データを同期化することに伴う音声データの途切れ，繰返しによる不自然な雑音が発生しない。なお，かかる分離処理方式は，例えばソフトウエアによるフレーム数変換の際にも応用できる。
【０１５１】
また，上記音声分離処理装置１００において，非同期周波数変換後の音声信号を取り扱う音声信号遅延部１１４およびゲイン調整部１１６などの各部は，上記のように，ビデオ用の基準クロックに基づいて動作できる点が特徴的である。この特徴により，音声分離処理装置１００をフレームシンクロナイザ部３０などと同一基板またはビデオ用機器などの共通ハードウエアに実装することができ，装置の開発時間や製造コストを削減できる。
【０１５２】
また，独立して入力した外部音声信号であっても，標本化周波数変換することにより，雑音を伴うことなくビデオ信号に混合できる。この場合，外部音声信号とビデオ信号との同期が不要であり，簡単な機構を追加するだけで幅広い応用が可能な混合装置を実現できる。
【０１５３】
以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明はかかる例に限定されない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１５４】
例えば，上記実施形態にかかる画像音声同期化装置１０は，フレームシンクロナイザとして機能したが，本発明はかかる例に限定されない。例えば，非同期メモリ装置５０の出力を最終出力として取り出すことにより，ライン同期化装置を容易に実現できる。また，基準クロックに代えて入力クロックを全体に適用することにより，固定遅延装置を実現することもできる。さらに，非同期メモリ装置５０と同期メモリ装置７０を組み合わせることにより，ライン同期した遅延装置を実現することもできる。
【０１５５】
【発明の効果】
以上説明したように，本発明によれば，非同期メモリ装置と同期メモリ装置を組み合わせることにより，ＨＴＤＶ用途などの大容量のフレームデータからなるビデオ信号であっても，比較的少量かつ安価なメモリ装置を用いて，好適にフレーム同期化することができる。このため，画像音声同期化装置のコストおよび実装規模を低減できるとともに，リードおよびライト動作のアドレス制御が容易になる。
【０１５６】
また，音声分離処理装置を設けて，音声データの標本化周波数変換を独立して行うことにより，同期化に伴う雑音を抑制することができる。
【図面の簡単な説明】
【図１】図１は，第１の実施形態にかかる画像音声同期化装置の全体構成を示すブロック図である。
【図２】図２は，ＳＭＰＴＥ規格のＨＤＴＶ用ＳＤＩフォーマットの例を模式的に示す説明図である。
【図３】図３は，第１の実施形態にかかる非同期メモリ装置の構成を示すブロック図である。
【図４】図４は，第１の実施形態にかかる非同期リード動作が非同期ライト動作より遅い場合における，非同期リード動作の動作フローを示すフローチャートである。
【図５】図５は，第１の実施形態にかかる非同期リード動作が非同期ライト動作より遅い場合における，非同期ライト動作に対する非同期リード動作の遅延量の時間変化を示すグラフ図である。
【図６】図６は，第１の実施形態にかかる非同期リード動作が非同期ライト動作より早い場合における，非同期リード動作の動作フローを示すフローチャートである。
【図７】図７は，第１の実施形態にかかる非同期リード動作が非同期ライト動作より早い場合における，非同期ライト動作に対する非同期リード動作の遅延量の時間変化を示すグラフ図である。
【図８】図８は，第１の実施形態にかかる非同期メモリ装置が出力したビデオ信号の状態を示す説明図である。
【図９】図９は，第１の実施形態にかかるライン調整装置および同期メモリ装置の構成を示すブロック図である。
【図１０】図１０は，非同期メモリ装置でジャンプ動作またはリピート動作がなされた場合における，非同期メモリ装置の出力ビデオ信号（上段）と，ライン調整装置が遅延させたビデオ信号（２段目）と，当該ビデオ信号が２つの同期フレームメモリに書き込まれた状態（下２段）を示す説明図である。
【図１１】図１１は，第１の実施形態にかかる同期メモリ装置が複数の同期フレームメモリに同期ライト動作および同期リード動作を行うタイミングを示す説明図である。
【図１２】図１２は，第２の実施形態にかかる音声分離処理装置を備えた画像音声同期化装置の構成を示すブロック図である。
【図１３】図１３は，第２の実施形態にかかる音声信号遅延部の構成を示すブロック図である。
【符号の説明】
１０：画像音声同期化装置
２０：入力部
２０：検出部
２５：エラー検出信号
３０：フレームシンクロナイザ部
４０：出力部
４２：出力信号処理部
５０：非同期メモリ装置
５２：非同期ラインメモリ
５４：非同期ライト制御部
５５：セレクタ
５６：非同期リード制御部
５７：リセットタイミング比較器
５８：遅延回路
６０：ライン調整装置
６２：同期ラインメモリ
７０：同期メモリ装置
７２：同期フレームメモリ
７４：同期ライト制御部
７６：同期リード制御部
１００：音声分離処理装置
１０２：音声信号分離部
１０６：外部音声入力部
１０８：音声信号セレクタ
１１０：標本化周波数変換部
１１４：音声信号遅延部
１１６：ゲイン調整部
１１８：音声信号混合部
１４０：クロスフェード処理部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an audio / video synchronization apparatus such as a frame synchronizer.
[0002]
[Prior art]
In a TV broadcasting station or the like, an image / audio synchronization device such as a frame synchronizer that synchronizes a video signal input from an external VTR or the like with a reference clock in the station is frequently used. This video / audio synchronization device uses a dual-port frame memory based on pseudo SRAM, etc., and performs synchronization by performing video signal write (write operation) and read (read operation) at different frame frequencies. Is going. At this time, the delay amount of the read operation and the write operation is adjusted by jumping or repeating the video signal to be read in units of frames.
[0003]
On the other hand, in recent years, with the development of video media and communication technology, video signal transmission methods including large-capacity frame data such as HDTV (high definition TV) are becoming widespread, and such large-capacity video signals are synchronized. It is requested to do.
[0004]
[Problems to be solved by the invention]
However, the conventional video / audio synchronization device is expensive because the memory device itself has a special purpose. In addition, since a large-capacity frame memory capable of storing HDTV frame data is difficult to manufacture, there is no general-purpose product. Therefore, a large number of components such as SDTV memory devices must be connected in cascade. For this reason, the audio / video synchronization apparatus not only increases the cost, but also increases the power consumption and the hardware implementation scale. Furthermore, when reading and writing large-capacity HDTV frame data to the memory device, it is difficult to control the address at high speed.
[0005]
In addition, since the conventional audio / video synchronization apparatus does not separate the audio data, if the video signal is jumped or repeated in units of frames in order to synchronize the image data, the audio data becomes discontinuous and noise is generated. There was a problem of generating. In addition, there is a problem that only audio data cannot be delayed or external audio data cannot be processed.
[0006]
The present invention has been made in view of the above-mentioned problems of the conventional audio / video synchronization apparatus, and an object of the present invention is to suitably synchronize large-capacity frame data using an inexpensive general-purpose memory device. At the same time, a new and improved video / audio synchronization apparatus capable of reducing noise in audio data is provided.
[0007]
[Means for Solving the Problems]
In order to solve the above problems, according to a first aspect of the present invention, there is provided an audio / video synchronization apparatus for outputting a video signal input in accordance with an input synchronization signal in synchronization with a reference synchronization signal. There is provided an audio / video synchronization apparatus comprising: an asynchronous memory device for synchronizing video signals in units of lines; and a synchronous memory device for synchronizing video signals output from the asynchronous memory in units of frames. The
[0008]
With this configuration, the asynchronous memory device performs an asynchronous operation to synchronize the video signal in pixel clock units (pixel units) and line units (H units). In addition, the synchronous memory device performs a synchronization operation to synchronize the video signals synchronized in pixel clock units and line units in frame units (V units). As a result, even a video signal including large-capacity HDTV frame data can be suitably synchronized by sharing the synchronization operation.
[0009]
The asynchronous memory device includes a dual-port asynchronous line memory for storing at least one line of a video signal and a clock error per frame; the input video signal to the asynchronous line memory based on the input synchronous signal; An asynchronous write control unit for controlling the asynchronous write operation to be written; and controlling an asynchronous read operation for reading a video signal stored in the asynchronous line memory based on a reference synchronization signal, and according to a delay amount of the asynchronous read operation with respect to the asynchronous write operation An asynchronous read control unit that jumps or repeats a video signal read in an asynchronous read operation in units of lines, so that an asynchronous memory device performs asynchronous write operation and asynchronous read operation independently and asynchronously. Can do. Further, when the delay amount of the asynchronous read operation with respect to the asynchronous write operation reaches the upper limit, a jump operation is performed for each line, and reading of data for one line not yet read is omitted. On the other hand, when the delay amount reaches the lower limit, a line-by-line repeat operation is performed to reread data for one line already read. As described above, the asynchronous memory device can synchronize the video signal in pixel clock units and line units by using a small amount of asynchronous line memory.
[0010]
Further, if the asynchronous line memory is a first-in first-out (FIFO) memory, the asynchronous memory device can suitably perform synchronization in units of pixel clocks and lines, and asynchronously. Address control of write operation and asynchronous read operation is facilitated.
[0011]
Furthermore, if the capacity of the asynchronous line memory is configured to allow at least a clock error per frame between input and output video signals in addition to the capacity of one line, the capacity of the asynchronous line memory As much as necessary for the asynchronous read operation and the asynchronous write operation can be provided. That is, the asynchronous line memory has an extra capacity for absorbing the difference in the number of clocks, that is, the deviation in the number of pixels. Therefore, the asynchronous memory device can suitably perform an asynchronous read operation and an asynchronous write operation.
[0012]
The asynchronous memory device further compares the timing of the write reset signal for controlling the asynchronous write operation with the timing of the read reset signal for controlling the asynchronous read operation, and writes the write address and read address of the asynchronous line memory. A reset timing comparator for detecting whether or not the signal is close to a predetermined range; a reference lead reset signal based on a reference synchronization signal and a reference lead reset signal are predetermined according to a detection result of the reset timing comparator; A selector that switches between an adjusted read reset signal that is advanced in time; and a delay circuit that delays a video signal read from the asynchronous line memory by a predetermined time. The reset timing comparator determines whether the write address and the read address are If it is detected that it is approaching within the specified range, The initial read control unit reads the video signal stored in the asynchronous line memory based on the adjusted read reset signal, delays it for a predetermined time by the delay circuit, and outputs the delayed video signal. The write address can be reset based on the read address, and the read address can be reset based on the read reset signal. The reset timing comparator can monitor the proximity of the write address and the read address in the asynchronous line memory. Further, the selector switches the reference lead reset signal and the adjustment lead reset signal, for example, for each frame based on the detection result of the reset timing comparator, and outputs either to the asynchronous read control unit as a read reset signal. In addition, the asynchronous read control unit outputs the adjusted read reset signal to the asynchronous line memory, so that the reset timing of the read address of the asynchronous line memory can be advanced by a predetermined time compared with the case where the reference read reset signal is input. Also, the delay circuit can adjust the delay amount of the video signal by delaying the video signal output from the asynchronous line memory by an amount that is read out earlier by the adjustment read reset signal. For this reason, if it is necessary to determine whether or not the above switching is performed for each frame, an overrun / underrun error of the write address and read address of the asynchronous line memory that can occur within one frame period thereafter. Can be prevented. Furthermore, by providing a suitable time difference between the reference lead reset signal and the adjustment lead reset signal, the occurrence of the error can be suppressed by switching the lead reset signal.
[0013]
And a line adjustment device for switching between the video signal output from the asynchronous memory device and the video signal obtained by delaying the video signal output from the asynchronous memory device by at least one line, and outputting the same to the synchronous memory device. If configured, the line adjustment device can correct the disturbance of the line arrangement of the video signal output from the asynchronous memory device, which is caused by the jump or repeat operation of the asynchronous memory device.
[0014]
The synchronous memory device includes a plurality of synchronous frame memories capable of storing at least one frame of the video signal output from the asynchronous memory device; and the video signal output from the asynchronous memory device based on the reference synchronous signal. A synchronous write control unit that controls a synchronous write operation that alternately writes to a plurality of synchronous frame memories in units of lines; a synchronization in which video signals stored in a plurality of synchronous frame memories are not written by the synchronous write control unit Controls synchronous read operations that are read alternately from the frame memory in units of lines based on the reference synchronization signal, and jumps video signals that are read out in the synchronous read operation in units of frames according to the delay amount of the synchronous read operation relative to the synchronous write operation. Or a synchronous read control unit that repeats; Synchronous memory device can be performed concurrently on the basis of both synchronous write operation and the synchronous read operations the reference synchronization signal. That is, it is possible to simultaneously perform a write operation in units of lines with respect to one synchronous frame memory and a read operation in units of lines with respect to another synchronous frame memory while alternately switching. Further, since the synchronous read operation and the synchronous write operation can be performed at the same timing, the address control becomes easy. Further, when the delay amount of the synchronous read operation with respect to the synchronous write operation reaches the upper limit, a jump operation is performed in units of frames, and reading of data for one frame not yet read is omitted. On the other hand, when the delay amount reaches the lower limit, a repeat operation is performed in units of frames, and the data for one frame already read is read again. As described above, an inexpensive and large-capacity frame memory can be used as an asynchronous frame memory, and video signals can be synchronized in units of frames.
[0015]
Further, if the synchronous frame memory is an SDRAM (Synchronous Dynamic Random Access Memory), a low-cost and large-capacity synchronous frame memory can be provided.
[0016]
Further, if the synchronous memory device is configured so that the write address of the synchronous write operation and the read address of the synchronous read operation can be changed for each frame, the asynchronous memory device can suitably perform the jump or repeat operation. it can. In addition, address control is possible even if a plurality of frames of data are stored in one synchronous frame memory.
[0017]
The video / audio synchronization apparatus further includes an audio signal separation unit that separates an audio signal (audio data) from the input video signal; and a sampling frequency conversion for the separated audio signal based on a reference synchronization signal A sampling frequency conversion unit that includes: an audio signal mixing unit that mixes a video signal output from the synchronous memory device with an audio signal that has been subjected to sampling frequency conversion; The audio signal before being input to the asynchronous memory device can be separated and subjected to asynchronous sampling frequency conversion to be mixed with the synchronized original video signal. For this reason, since the audio signal can be independently converted to the sampling frequency by sampling frequency conversion, the audio data does not become discontinuous by the jump / repeat operation. Therefore, noise associated with video signal synchronization can be reduced.
[0018]
In addition, if the audio separation processing device is further configured to include an audio signal delay unit that delays the frequency-converted audio signal based on the reference synchronization signal, the audio signal delay unit can be used as a video signal reference clock. The delay amount of the audio signal can be adjusted independently. Therefore, the synchronized video signal can be synchronized with the audio signal mixed therewith.
[0019]
Further, if the audio signal delay unit is configured to have a cross-fade processing unit that performs cross-fade processing on the audio signal before delay adjustment and the audio signal after delay adjustment, the cross-fade processing unit is configured so that the audio signal after delay adjustment is The audio signal before delay adjustment can be faded out while the signal is faded in. For this reason, the discontinuity of the sound data generated when the sound signal delay unit adjusts the delay time of the sound signal can be reduced, and noise can be suppressed.
[0020]
The speech separation processing device further includes an external speech input unit to which an external speech signal is input; a speech signal selector that inputs any of the speech signals separated from the external speech signal to the sampling frequency conversion unit; If an external audio signal is subjected to sampling frequency conversion processing instead of the audio signal separated from the video signal, it can be suitably mixed with the video signal.
[0021]
Further, if the video / audio synchronization apparatus is configured so as to extract the video signal output from the asynchronous memory apparatus, the video / audio synchronization apparatus can also function as a line synchronization apparatus. Also, a fixed delay device can be provided by applying the input synchronization signal to the entire audio / video synchronization apparatus. Furthermore, a delay device with a line synchronization function can be provided by combining an asynchronous memory device and a synchronous memory device.
[0022]
Further, the video / audio synchronization apparatus may include an output signal processing unit that performs illegal value processing of the video signal to be output. In addition, when a video signal switched discontinuously is input, the audio separation processing device may transmit silence data as an audio signal. As a result, there is no data discontinuity such that the audio signal once disappears and reappears, and it is possible to prevent picture disturbance and noise from occurring in subsequent devices.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the present specification and drawings, components having substantially the same functional configuration are denoted by the same reference numerals, and redundant description is omitted.
[0024]
(First embodiment)
First, the audio / video synchronization apparatus according to the first embodiment of the present invention will be described.
[0025]
The video / audio synchronization apparatus according to the present embodiment is a synchronization apparatus such as a frame synchronizer installed in a movie / TV program production production, a TV broadcasting station, or the like. This video / audio synchronization device writes, for example, a heterogeneous synchronization (input synchronization signal) video signal input from a device such as an external VTR or a TV camera to a memory device, and this video signal data is a reference synchronization (reference synchronization signal). By reading out the data, the frame synchronization is matched and the output image is prevented from being disturbed.
[0026]
In order to realize the frame synchronization as described above for a video signal input in an arbitrary phase, (1) synchronization in pixel clock units (pixel units), and (2) line units (H units). It is necessary to satisfy all three types of synchronization operations, ie, horizontal synchronization of (3) and vertical synchronization in (3) frame units (V units). In order to suitably realize such frame synchronization, the video / audio synchronization apparatus according to the present embodiment is configured as follows.
[0027]
First, the overall configuration of the audio / video synchronization apparatus according to the present embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing the overall configuration of the audio / video synchronization apparatus 10 according to the present embodiment.
[0028]
As shown in FIG. 1, the video / audio synchronization apparatus 10 includes an input unit 20 to which a video signal is input, a frame synchronizer unit 30 for synchronizing the video signal, and a predetermined process for the synchronized video signal. And an output unit 40 that performs and outputs. Each part is described below.
[0029]
<Input section>
The input unit 20 includes a deserializer 22 that performs serial / parallel conversion of a video signal, and a detection unit 24 that detects an error and a signal status of the SDI input signal.
[0030]
The deserializer 22 performs serial-parallel conversion on an SDI (Serial Digital Interface) format video signal (hereinafter simply referred to as a video signal) input from an external device, and outputs the result to the detection unit 24.
[0031]
The detection unit 24 is a signal detector, and detects whether the input video signal is properly input, is not discontinuous, and does not include errors such as illegal data and abnormal values. If an error signal is detected, the error detection signal 25 is transmitted to the subsequent synchronous memory device 70, for example. However, the detection criteria may differ depending on the device used.
[0032]
Here, based on FIG. 2, an HDTV SDI format of, for example, SMPTE (Society of Motion Picture and Television Engineers, Inc.) standard will be described as a transmission format of a video signal to be synchronized in the present embodiment. FIG. 2 is an explanatory diagram schematically showing an example of the SMPTE standard HDTV SDI format.
[0033]
As shown in FIG. 2, in the horizontal blanking period other than the effective video area including the image data, EAV (End of Active Video), LN (Line Number), CRCC (Cyclic Redundancy Check Code), auxiliary data area, There is SAV (Start of Active Video).
[0034]
EAV and SAV are composed of a synchronization signal (3FF, 000, etc.) composed of values that do not exist in the video data, and a signal (XYZ) representing a state such as an odd / even field or vertical blanking. Time Reference Signal). LN is a line number, and CRCC is an error detection code. Also, auxiliary data such as audio data can be multiplexed in the auxiliary data area (including the auxiliary data area in the vertical blanking period). A horizontal blanking period other than TRS is referred to as an ancillary region.
[0035]
<Frame synchronizer section>
The frame synchronizer 30 shown in FIG. 1 includes an asynchronous memory device 50 that performs synchronization in units of pixel clocks and lines (synchronization of the above (1) and (2)), and a line that adjusts video signals in units of lines. It comprises an adjustment device 60 and a synchronous memory device 70 that performs synchronization in units of frames (synchronization in (3) above). The frame synchronizer unit 30 is a major feature of the audio / video synchronization apparatus 10 according to the present embodiment, and details will be described later.
[0036]
<Output unit>
The output unit 40 includes an output signal processing unit 42 that performs processing of a synchronized video signal, and a serializer 44 that converts the video signal from parallel to serial and outputs the video signal to an external device. The details of the operation of the output signal processing unit 42 will be described later.
[0037]
In the audio / video synchronization apparatus 10 configured as described above, each part on the input side operates based on the input video signal reference clock with the asynchronous memory device 50 as a boundary. On the other hand, each part on the output side with respect to the asynchronous memory device 50 operates based on the reference video signal reference clock.
[0038]
Note that an input video signal reference clock (hereinafter referred to as an input clock) is, for example, an input synchronization signal included in an input video signal by an input clock generator (not shown) provided in the input unit 20 or the like. Is a clock generated based on. A reference video signal reference clock (hereinafter referred to as a reference clock) is a clock generated by a reference clock generator (not shown) based on a reference synchronization signal (reference signal). In the following description, it is assumed that the clock as described above is appropriately input to each part of the audio / video synchronization apparatus 10, and illustration of a signal line for transmitting the clock signal is omitted.
[0039]
Next, the configuration of the asynchronous memory device according to the present embodiment will be described with reference to FIG. FIG. 3 is a block diagram showing the configuration of the asynchronous memory device 50 according to this embodiment.
[0040]
As described above, the asynchronous memory device 50 is a line synchronization device having a function of synchronizing an input video signal in pixel clock units and line units (H units). As shown in FIG. 3, the asynchronous memory device 50 includes an asynchronous line memory 52, an asynchronous write control unit 54, an asynchronous read control unit 56, a reset timing comparator 57, a delay circuit 58, an output selector 59, Have
[0041]
First, the asynchronous line memory 52 will be described in detail. The asynchronous line memory 52 is composed of, for example, a FIFO (First-In First-Out) memory. This FIFO memory is a dual-port digital line memory capable of independently and asynchronously performing a video signal writing operation and a reading operation.
[0042]
The asynchronous line memory 52 writes the video signal input from the input unit 20 based on the input synchronization signal (hereinafter referred to as asynchronous write operation) and reads the written video signal based on the input synchronization signal. An operation (hereinafter referred to as an asynchronous read operation) can be performed. The asynchronous line memory 52 is a memory in which the address control method of the asynchronous write operation and the asynchronous read operation is realized only by reset in units of lines by the write reset signal WR or the read reset signal RR, for example. More specifically, the asynchronous line memory 52 counts the number of input clocks or the number of reference clocks with a built-in address counter, and sequentially increases the write address or read address from 0, for example, according to this count number, Data writing or reading is performed. When a write reset signal or a read reset signal is input, the write address or read address is reset to 0 and the asynchronous write operation or asynchronous read operation is performed again from the beginning. As a result, address control is simple, and asynchronous read and asynchronous write operations can be performed asynchronously and concurrently.
[0043]
The capacity of the asynchronous line memory 52 is, for example, “one line of video signal image data” + “clock error per frame”. That is, such a capacity is large enough to absorb an error in the number of clocks per frame (that is, a deviation in the number of pixels) in one line of image data, for example, in the clock generated by the crystal oscillator of the clock generator. This is the added capacity.
[0044]
Here, the clock number difference is specifically calculated. For example, when synchronizing SDI video signals of the SMPTE standard, the accuracy of the device is determined by the SMPTE standard. Therefore, using this restriction, the difference in the number of clocks between input and output signals to be absorbed per frame is calculated. It can be calculated. That is, the maximum clock number difference X can be calculated by converting the accuracy of the device master clock per frame. Therefore, if the master clock accuracy is A, the frame rate (frame frequency) is V, and the master clock frequency is F,
X = A × F / V
It can be expressed as.
[0045]
As practical numerical values, for example, in the 1080 / 59i format, A = 100 × 10 ^ (− 6), F = 74.25 × 10 ^ (6) /1.001 [Hz], V = 29.97 [ When the clock number difference X is calculated as [Hz], a value of about X = 248 is obtained.
[0046]
Accordingly, the capacity of the asynchronous line memory 52 may be set to a level obtained by adding a capacity capable of storing data of, for example, 248 pixels or more to the capacity of one line. For example, the capacity capable of storing data of 248 pixels or more is as small as about 1/10 of one line, for example, so the capacity of the asynchronous line memory 52 is substantially equal to the capacity of one line. Therefore, as the FIFO memory used for the asynchronous line memory 52, a relatively inexpensive product that actually exists can be applied.
[0047]
The asynchronous write control unit 54 shown in FIG. 3 has a function of controlling an asynchronous write operation for writing an input video signal to the asynchronous line memory 52. More specifically, the asynchronous write control unit 54 includes, for example, a timing generator and a TRS detector (not shown), and detects a horizontal / vertical synchronization signal included in the TRS of the input video signal. , A line-by-line write reset signal WR based on the input clock is generated. Further, the asynchronous write control unit 54 outputs the write reset signal WR and a write enable signal (not shown) permitting the write operation to the asynchronous line memory 52, so that the write address and write permission of the asynchronous write operation are possible.・ Control disabling etc.
[0048]
The asynchronous read control unit 56 has a function of controlling an asynchronous read operation for reading video signal data written in the asynchronous line memory 52. The asynchronous read control unit 56 includes a reference read reset signal in units of lines generated based on a reference synchronization signal by a timing generator (not shown), and an adjustment lead in which the timing of the reference read reset signal is advanced by a predetermined time. Reset signal is input.
[0049]
The asynchronous read control unit 56 can switch and output a reference read reset signal and an adjustment read reset signal by a built-in selector 55, for example. The asynchronous read control unit 56 outputs one of the two read reset signals RR and a read enable signal (not shown) permitting the read operation to the asynchronous line memory 52, and writes the write address of the asynchronous write operation, Controls whether or not reading is possible.
[0050]
The reset timing comparator 57 has a function of comparing the timing difference between the write reset signal WR and, for example, a reference read reset signal, and monitoring the proximity of the write address and the read address of the asynchronous line memory 52. The reset timing comparator 57 transmits an address comparison signal AC as a detection result to the asynchronous read control unit 56. Based on the address comparison signal AC, the asynchronous read control unit 56 determines which of the reference read reset signal and the adjustment read reset signal is to be transmitted, and switches the selector 55.
[0051]
The delay circuit 58 has a function of delaying the video signal output from the asynchronous line memory 52 by adding a predetermined amount M. The additional delay amount M is determined to be a delay amount corresponding to the time difference between the reference lead reset signal and the adjustment lead reset signal, and is set to, for example, twice the clock number difference X (M = 2X). Has been.
[0052]
The output selector 59 switches between the video signal output from the asynchronous line memory 52 and the video signal delayed by the additional delay amount M after passing through the delay circuit 58 and outputs the switched signal to the subsequent line adjustment device 60.
[0053]
Next, the operation of the asynchronous memory device 50 configured as described above will be described.
[0054]
First, the video signal from the input unit 20 is input to the asynchronous line memory 52 and sequentially written to designated write addresses. This write address is designated to gradually increase, for example, according to the counted number of input clocks. The input video signal is also input to the asynchronous light control unit 54. The asynchronous light control unit 54 generates a light reset signal based on the horizontal synchronization signal of the input video signal and transmits it to the asynchronous line memory 52 as needed. To do. As a result, the write address is reset in a predetermined cycle (that is, in line units), so that the video signal written to the asynchronous line memory 52 is updated in line units.
[0055]
On the other hand, in parallel with such an asynchronous write operation, an asynchronous read operation is performed based on the reference clock. That is, the asynchronous line memory 52 sequentially reads out the written video signal data in units of lines while resetting the read address based on the read reset signal from the asynchronous read control unit 56.
[0056]
As a result of this operation, the video signal can be suitably read without causing an error in a range where the write address and the read address are not too close, so that the video signal can be synchronized in pixel clock units and line units.
[0057]
However, depending on the speed difference between the asynchronous read operation and the asynchronous write operation, the read address and the write address gradually approach each other, and the address may pass (that is, the read address overtakes the write address or vice versa). In this case, an overrun / underrun error occurs, which causes a large picture disturbance in the succeeding device when the noise on the output image or the TRS data is destroyed. Therefore, it is necessary for the asynchronous read control unit 56 to suitably control the asynchronous read operation so as to prevent the address passage.
[0058]
Here, the control of the asynchronous read operation according to the present embodiment will be described in detail. In the following, the case where the asynchronous read operation is slower than the asynchronous write operation and the case where the asynchronous read operation is earlier than the asynchronous write operation will be described separately.
[0059]
First, based on FIGS. 4 and 5, the control of the asynchronous read operation when the asynchronous read operation is slower than the asynchronous write operation will be described. FIG. 4 is a flowchart showing an operation flow of the asynchronous read operation when the asynchronous read operation according to the present embodiment is slower than the asynchronous write operation. FIG. 5 is a graph showing the time change of the delay amount of the asynchronous read operation with respect to the asynchronous write operation when the asynchronous read operation according to the present embodiment is slower than the asynchronous write operation.
[0060]
In FIG. 5, P is the number of pixels per line in the video signal, and M is an additional delay amount (M = 2X). The solid line in the graph is the delay amount at the output portion of the asynchronous memory device 50 (hereinafter referred to as the output delay amount), and the broken line is the output portion of the asynchronous line memory 52 (that is, before passing through the delay circuit 58). Delay amount (hereinafter referred to as memory delay amount).
[0061]
As shown in FIG. 4, first, in step S10, the reset timing comparator 57 waits until the timing of the write side write reset signal and the reference read reset signal is compared, for example, once per frame. (Step S10). The reset timing comparator 57 compares the timing of the write reset signal and the reference read reset signal to compare the proximity of the write address and the read address, and sends the detected address comparison signal AC to the asynchronous read control unit 56. Can be sent. Since the comparison of the approach degree of both addresses by the reset timing comparator 57 is performed at the reset timing comparison point for each frame, for example, it waits until then.
[0062]
Next, in step S20, the reset timing comparator 57 determines the proximity of the write address and the read address at the reset timing comparison point (step S20). The standby reset timing comparator 57 determines the approach of both addresses when the reset timing comparison point is reached, and transmits the determination result to the asynchronous read control unit 56.
[0063]
In this operation flow, since the asynchronous read operation is slower than the asynchronous write operation, the read address gradually moves away from the write address, and the memory delay amount gradually increases. When this progresses and the memory delay amount reaches P− (M / 2) in FIG. 5 (time point B), the difference between the read address and the write address increases to P−X. That is, the read address and the write address are close to the range of the clock number difference X. In this state, when the reset timing comparator 57 determines that the read address and the write address are close to X (that is, the period from B to C), the process proceeds to step S40. On the other hand, if it is determined that both are not close to within the predetermined range X (that is, the period from A to B), the process proceeds to step S30.
[0064]
Next, in step S30, a reference read reset signal and a signal path that does not pass through the delay circuit 58 are selected. (Step S30). When it is determined in step S20 that the write address and the read address are not close to within the predetermined range X, the asynchronous read control unit 56 selects the reference read reset signal as the read reset signal RR to be transmitted to the asynchronous line memory 52. . As a signal path of the output of the asynchronous line memory 52, a signal path that is directly output to the subsequent circuit without passing through the delay circuit 58 is selected.
[0065]
On the other hand, in step S40, the adjustment lead reset signal and the signal path via the delay circuit 58 are selected. (Step S40). When it is determined in step S20 that the write address and the read address are close to each other within the predetermined range X, the asynchronous read control unit 56 selects the adjustment read reset signal as the read reset signal RR to be transmitted to the asynchronous line memory 52. . In addition, as a signal path of the output of the asynchronous line memory 52, a signal path that is output to the subsequent circuit via the delay circuit 58 is selected.
[0066]
Thereafter, in step S50, a line-by-line jump operation is performed as necessary (step S50). For example, when the output delay amount reaches P + (M / 2) in FIG. 5 (time point C), the read address and the write address are close to X even if the adjusted read reset signal is used. In this case, the asynchronous memory control unit 56 determines that the memory delay amount has reached the limit, performs a line jump operation for the operation of the subsequent circuit, gives up reading of one line, and sets the next line. Read it out. As a result, the amount of memory delay and the amount of output delay are greatly reduced to both M / 2, and a margin is created for the proximity of both addresses.
[0067]
Next, in step S60, the video signal of the asynchronous line memory 52 is read, for example, for one frame period by using the selected read reset signal RR and the signal path (step S60). When a signal path that does not pass through the reference read reset signal and the delay circuit 58 is selected in step S30, the asynchronous line memory 52 lines the video signal data for one frame period, for example, at the reset timing of the reference read reset signal. Read in units. The video signal read out in this way is output without passing through the delay circuit 58.
[0068]
On the other hand, when the signal path passing through the adjustment read reset signal and the delay circuit 58 is selected in step S40, the asynchronous line memory 52 uses the reset timing of the adjustment read reset signal, for example, video signal data over one frame period. Is read line by line. Thus, the video signal read from the asynchronous line memory 52 is input to the delay circuit 58, and is delayed by a delay amount M corresponding to the advance of the read timing. For this reason, the output delay amount becomes larger than the memory delay amount by M, as indicated by the solid line and the broken line in FIG. Accordingly, it is possible to adjust a timing shift with respect to the horizontal synchronization signal when the video signal data is read based on the adjustment read reset signal at an earlier timing than the reference reset signal.
[0069]
The adjusted read reset signal has a read operation timing M = 2X earlier than the reference read reset signal, and the delay amount between the asynchronous write operation and the asynchronous read operation is X at the maximum in one frame period. . Therefore, when the reset timing is advanced by switching from the reference read reset signal to the adjustment read reset signal, it is guaranteed that no address passes within the next one frame period.
[0070]
Through the above steps, the asynchronous read operation for one frame when the asynchronous read operation is slower than the asynchronous write operation is completed. Thereafter, the process returns to step S10 again, and the asynchronous read operation for the next frame is performed in the same manner as described above. By repeating such an asynchronous read operation, a video signal is read based on the reference clock, and a jump operation is performed a plurality of times as necessary, line synchronization can be realized in pixel clock units and line units.
[0071]
Next, the asynchronous read operation when the asynchronous read operation is earlier than the asynchronous write operation will be described with reference to FIGS. FIG. 6 is a flowchart showing an operation flow of the asynchronous read operation when the asynchronous read operation according to the present embodiment is earlier than the asynchronous write operation. FIG. 7 is a graph showing the time change of the delay amount of the asynchronous read operation with respect to the asynchronous write operation when the asynchronous read operation according to the present embodiment is earlier than the asynchronous write operation. The meanings of P, M, solid line, broken line, etc. shown in FIG. 7 are the same as those in FIG.
[0072]
As shown in FIG. 6, first, in step S110, the reset timing comparator 57 waits until the timing comparison between the write side write reset signal and the reference read reset signal is performed, for example, once per frame. (Step S110). Since this step is substantially the same as step S10 described above, description thereof is omitted.
[0073]
Next, in step S120, the reset timing comparator 57 determines the proximity of the write address and the read address (step S120). The standby reset timing comparator 57 determines the approach of both addresses when the reset timing comparison point is reached, and transmits the determination result to the asynchronous read control unit 56.
[0074]
In this operation flow, since the asynchronous read operation is faster than the asynchronous write operation, the read address gradually approaches the write address, and the memory delay amount gradually decreases. When this progresses and the memory delay amount reaches M / 2 in FIG. 7 (time E), the difference between the read address and the write address is reduced to X. That is, the read address and the write address are close to the range of the clock number difference X. In this state, when the reset timing comparator 57 determines that the read address and the write address are close to X (that is, the period from E to F), the process proceeds to step S140. On the other hand, when it is determined that both are not within the predetermined range X (that is, the period from D to E), the process proceeds to step S130.
[0075]
Next, in step S130, a reference read reset signal and a signal path that does not pass through the delay circuit 58 are selected. (Step S130). Since this step is substantially the same as step S130 described above, description thereof is omitted.
[0076]
On the other hand, in step S140, the adjustment lead reset signal and the signal path via the delay circuit 58 are selected. (Step S140). Since this step is substantially the same as step S140, the description thereof is omitted.
[0077]
Thereafter, in step S150, a line-unit repeat operation is performed as necessary (step S150). For example, when the output delay amount reaches M / 2 in FIG. 7 (time E), the asynchronous memory control unit 56 determines that the memory delay amount has reached the limit, and performs line operation for the operation of the subsequent circuit. Repeat operation is performed so that the same line read once is started to be read again. As a result, the amount of memory delay and the amount of output delay are greatly increased, and a margin is created in the proximity of both addresses.
[0078]
Next, in step S160, the video signal of the asynchronous line memory 52 is read out by using the selected read reset signal RR and the signal path, for example, for one frame period (step S160). Since this step is substantially the same as step S60 described above, description thereof is omitted.
[0079]
Through the above steps, the asynchronous read operation for one frame when the asynchronous read operation is earlier than the asynchronous write operation is completed. Thereafter, the process returns to step S110 again, and the asynchronous read operation for the next frame is performed in the same manner as described above. By repeating such an asynchronous read operation, a video signal is read based on the reference clock, and a repeat operation is performed a plurality of times as necessary, line synchronization in pixel clock units and line units can be realized.
[0080]
Next, the state of the video signal line-synchronized by the asynchronous memory device will be described with reference to FIG. FIG. 8 is an explanatory diagram showing the state of the video signal output from the asynchronous memory device 50 according to the present embodiment.
[0081]
When the jump and repeat operation is not performed, as shown in FIG. 8A, the video signals are written in the asynchronous line memory 52 in the order of line # 1, line # 2, line # 3,. Are output in line units.
[0082]
Further, since the asynchronous read operation is slower than the asynchronous write operation, when the jump operation is performed, for example, as shown in FIG. 8B, line # 1, line # 3, line # 4,. Output with line # 2 disconnected.
[0083]
Further, since the asynchronous read operation is faster than the asynchronous write operation, when the repeat operation is performed, for example, as shown in FIG. 8C, line # 1, line # 2, line # 2, line # 3,. In this way, the line # 2 is output in a repeated state.
[0084]
In this way, when a jump or repeat operation is performed, the number of lines changes between the video signal input to the asynchronous memory device 50 and the video signal output from the asynchronous memory device 50. Therefore, for example, the data of one line is damaged by the above-described operation of the asynchronous memory device 50, but there is no problem with respect to the effective image if the switching operation is performed outside the effective video area. As described above, the asynchronous memory device 50 uses the FIFO memory having a relatively small capacity, and the video signal input according to the input synchronization signal is synchronized with the reference clock in the pixel clock unit and the H unit excluding the V unit. The signal can be output after being synchronized with the signal.
[0085]
Next, the configuration of the line adjustment device and the synchronous memory device according to the present embodiment will be described with reference to FIG. FIG. 9 is a block diagram showing configurations of the line adjustment device 60 and the synchronous memory device 70 according to the present embodiment.
[0086]
As shown in FIG. 9, the line adjustment device 60 includes, for example, a plurality of synchronization line memories 62-1, 62-2,... 62 -L (hereinafter also referred to as synchronization line memory 62), a multiplexer 64, and the like. Have
[0087]
The synchronous line memory 62 is a line memory group including, for example, a FIFO memory, and has a capacity capable of storing data for at least one line of a video signal. The plurality of synchronous line memories 62 are connected in series, for example, and are configured such that each output can be output to the multiplexer 64. Note that a plurality of such synchronization line memories 62 may not be provided as described above, and only one synchronization line memory 62 may be provided, for example, only the synchronization line memory 62-1.
[0088]
The multiplexer 64 is a switch device that can switch and output the video signal output from the asynchronous memory device 50 and each video signal input from the plurality of synchronous line memories 62.
[0089]
With this configuration, the line adjustment device 60 functions as a line delay device that outputs the video signal output from the asynchronous memory device 50 with a delay for each line. Further, the line adjusting device 60 can switch and output the non-delayed video signal output from the asynchronous memory device 50 and the video signal delayed by one or more lines by the multiplexer 64. The arrangement of video signals to be output to the synchronous memory device 70 can be adjusted in line units. For example, initially, the video signal output from the asynchronous memory device 50 can be directly output, and the video signal delayed by, for example, one line can be output from the predetermined timing using the synchronous line memory 62-1. The line adjusting device 60 may be configured as a part of the asynchronous memory device 50 or the synchronous memory device 70 described later, for example.
[0090]
The synchronous memory device 70 has a function of synchronizing the video signal output from the line adjusting device 60 in units of V. As shown in FIG. 9, a plurality of synchronous frame memories 72-1, 72- 2,... 72-M (hereinafter also referred to as “synchronous frame memory 72”), a synchronous write control unit 74, a synchronous read control unit 76, a multiplexer 78, and an emergency image memory 79.
[0091]
The synchronous frame memory 72 is a group of frame memories including, for example, SDRAM (synchronous memory), SRAM, and the like, and each has a capacity capable of storing at least one frame of data of a video signal. The plurality of synchronization frame memories 72 are connected to each other in parallel, for example, and can divide and store the video signals input from the line adjustment device 60. In addition, the synchronous frame memory 72 is, for example, one port and cannot simultaneously perform a read operation and a write operation simultaneously in parallel. Therefore, it is necessary to combine at least two to make a double buffer or more.
[0092]
The synchronous light control unit 74 has a function of controlling a synchronous write operation in which the video signal input from the line adjustment device 60 is alternately written to the plurality of synchronous frame memories 72 in units of lines based on the reference horizontal synchronization signal. The synchronous write control unit 74 operates based on the reference clock, and designates the synchronous frame memory 72 in which the input video signal is written and its write address. At this time, control is performed so that the synchronous frame memory 72 is alternately written in line units. For example, the first line # 1 is first written to the synchronization frame memory 72-1, then the next line # 2 is written to another synchronization frame memory 72-2, and the next line # 3 is further written to another synchronization frame. A write address is designated such as writing to the memory 72-3.
[0093]
The synchronous read control unit 76 has a function of controlling a synchronous read operation in which the video signal written in the synchronous frame memory 72 is alternately read line by line based on the reference horizontal synchronization signal. The synchronous write control unit 74 also operates based on the reference clock, and designates the synchronous frame memory 72 from which the video signal is read out and its read address. At this time, the synchronous write control unit 74 performs control so as to alternately read line by line from the synchronous frame memory 72 other than the synchronous frame memory 72 being written. For example, when the synchronous frame memory 72-1 is being written, one line is read from another synchronous frame memory 72-2, and then when the synchronous frame memory 72-2 is being written, the synchronous frame memory 72-2 is read. The read address is specified such that one line is read from -3.
[0094]
Further, the synchronous write control unit 74 and the synchronous read control unit 76 convert the video signal read by the synchronous read operation in units of frames based on the reference vertical synchronization signal according to the delay amount of the synchronous read operation with respect to the synchronous write operation. It also has a function of controlling to jump or repeat.
[0095]
As described above, the write operation for writing the video signal for one line and the synchronous read operation for reading the video signal for one line can be performed alternately between the plurality of synchronous frame memories 72. This is because the video signals input to the device 70 are synchronized line by line by the asynchronous memory device 50 and the line lengths are uniform. Note that write and read address information are exchanged between the synchronous write control unit 74 and the synchronous read control unit 76 in order to suitably control the synchronous write operation and the synchronous read operation. Further, the synchronous write control unit 74 and the synchronous read control unit 76 are not necessarily configured separately, and may be configured by one control unit, for example.
[0096]
Further, the emergency image memory 79 temporarily outputs an emergency image (for example, output to the outside, for example, when an error signal is input as an input video signal or when signal processing in each of the above-described units is hindered). This is a memory in which an image displaying a comment “Please wait for a while” is stored. When the error detection signal 25 is input from the detection unit 24, the synchronous read control unit 76 controls to output such an emergency image.
[0097]
The multiplexer 78 is a switch device that switches and outputs a video signal read from the plurality of synchronous frame memories 72, an emergency image signal, and a video signal directly input from the asynchronous memory device 50.
[0098]
Next, operations of the line adjustment device 60 and the synchronous memory device 70 configured as described above will be described.
[0099]
First, the operation of the line adjustment apparatus according to the present embodiment will be described with reference to FIG. 10 shows the output video signal (upper stage) of the asynchronous memory device 50 and the video signal (second stage) delayed by the line adjustment device 60 when the asynchronous memory device 50 performs a jump operation or a repeat operation. ) And a state (lower two stages) in which the video signal is written in two synchronization frame memories 72-1 and 72-2.
[0100]
Since the video signal output from the asynchronous memory device 50 is synchronized in units of lines, if it is not jumped or repeated in units of lines, it is directly input to the synchronous memory device 70 to perform synchronization in units of frames. be able to. However, in practice, the output of the asynchronous memory device 50 may be subjected to a process of jumping or repeating in units of lines as described above. For example, in the example shown in FIG. 10A, line # 2 has jumped, and in the example shown in FIG. 10B, line # 2 has been repeated. In such a case, since the output of the asynchronous memory device 50 changes in the number of lines and the arrangement is disturbed, the synchronous memory device 70 cannot perform processing properly even if such output is directly input.
[0101]
For example, the synchronized memory device 70 uses the synchronized frame memory 72-1 (mem # 1) and the synchronized frame memory 72-2 (mem # 2) to write the odd lines and even lines of the video signal to the respective frame memories. Is set to. Under such a setting, if the output of the asynchronous memory device 50 in which jump or repeat has occurred is directly input to the synchronous memory device 70, the odd and even lines are written in reverse, causing image vertical blurring. Further, it is not easy to correct such an address shift by the synchronous read operation in the synchronous memory device 70.
[0102]
Therefore, the line adjustment device 60 switches the video signal output from the asynchronous memory device 50 and the video signal obtained by delaying this by, for example, one line at a suitable timing, and outputs the video signal to the synchronous memory device 70. The relationship between the even lines and the synchronous frame memories 72-1 and 72-2 can be maintained.
[0103]
Specifically, in the example of FIG. 10A in which a jump occurs, the first and second lines output the video signal output from the asynchronous memory device 50, and the third line delays one line. A signal is being output. By this operation, line # 1, line # 3, line # 5,... Are written in the synchronization frame memory 72-1, and line # 3, line # 4, line # 6,. Is written. As a result, only the line # 3 (hatched line) of the synchronous frame memory 72-2 is irregular because the odd / even relationship is lost.
[0104]
In the example of FIG. 10B in which repeat occurs, the video signals output from the asynchronous memory device 50 are output on the first, second and third lines, and the video signal delayed by one line from the fourth line. Is output. With this operation, line # 1, line # 2, line # 3, line # 5,... Are written in the synchronization frame memory 72-1, and line # 2, line # 2, line # 2,. Line # 4, line # 6, etc. are written. As a result, only the line # 2 of the synchronous frame memory 72-1 and the first line # 2 of the synchronous frame memory 72-2 are irregular.
[0105]
By such line adjustment operation of the line adjustment device 60, the adverse effects of the jump and repeat operations by the asynchronous memory device 50 can be reduced, and image disturbance and the like can be sufficiently prevented.
[0106]
Next, a synchronous write operation and a synchronous read operation of the synchronous memory device according to the present embodiment will be described with reference to FIG. FIG. 11 is an explanatory diagram showing timings when the synchronous memory device 70 according to the present embodiment performs the synchronous write operation and the synchronous read operation on the plurality of synchronous frame memories 72. In FIG. 11, as an example of the synchronous frame memory 72, (a) when three SDRAMs are used, (b) when two high-speed operable SDRAMs are used, and (c) two refresh unnecessary memories Are used, respectively.
[0107]
As shown in FIG. 11, the video signals input from the line adjustment device 60 are sequentially written to the plurality of synchronization frame memories 72 for each line and alternately from the plurality of synchronization frame memories 72 for each line. It is read sequentially. At this time, writing and reading of each line can be performed at the same timing. This is because the video signals are synchronized line by line in the asynchronous memory device 50, so that the time length of each line is uniform. For this reason, the control of the write address and the read address in the synchronous memory device 70 becomes very simple.
[0108]
Below, each case will be described in more detail.
[0109]
First, as shown in FIG. 11A, when an SDRAM is used as the synchronous frame memory 72, there is an advantage that an inexpensive and large-capacity memory can be mounted, but a refresh operation must be performed periodically. . For this reason, for example, it is necessary to provide at least three synchronization frame memories 72. Thus, in each synchronous frame memory 72, for example, the synchronous write operation and the synchronous read operation are alternately performed while performing the refresh operation every time between the synchronous write operation and the synchronous read operation, for example.
[0110]
Specifically, first, in the first period (that is, the horizontal synchronization period), line # 1 is written into the synchronization frame memory 72-1 (mem # 1). Next, in the next period, a refresh operation is performed in the synchronous frame memory 72-1, and line # 2 is written in the synchronous frame memory 72-2 (mem # 2). Further, in the next period, the line #k is read from the synchronous frame memory 72-1, the refresh operation is performed in the synchronous frame memory 72-2, and the line # 3 is written in the synchronous frame memory 72-3. Further, in the next period, line # 4 is written to the synchronous frame memory 72-1, line # k + 1 is read from the synchronous frame memory 72-2, and a refresh operation is performed on the synchronous frame memory 72-3. By repeating this operation, the synchronous write operation and the synchronous read operation can be performed in parallel.
[0111]
Further, as shown in FIG. 11B, when an SDRAM capable of high speed operation (for example, double speed operation) is used as the synchronous frame memory 72, for example, two operations (for example, write operation and refresh operation) are performed in one period. ), Two synchronization frame memories 72 are required.
[0112]
Specifically, first, in the first period, the line # 1 is written in the synchronous frame memory 72-1, and then the refresh operation is performed. Next, in the next period, the line #K is read from the synchronous frame memory 72-1, and the refresh operation is performed after the line # 2 is written to the synchronous frame memory 72-2. Further, in the next period, the line # 3 is written to the synchronous frame memory 72-1, the refresh operation is performed, and the line # k + 1 is read from the synchronous frame memory 72-2. By repeating this operation, the synchronous write operation and the synchronous read operation can be performed in parallel.
[0113]
Further, as shown in FIG. 11C, even when a memory that does not need to be refreshed, such as a large-capacity SRAM, is used as the synchronous frame memory 72, operation is possible by providing only two synchronous frame memories 72, for example. It becomes.
[0114]
Specifically, first, in the first period, line # 1 is written into the synchronous frame memory 72-1. Next, in the next period, the line #K is read from the synchronous frame memory 72-1, and the line # 2 is written to the synchronous frame memory 72-2. Further, in the next period, line # 3 is written to the synchronous frame memory 72-1, and line # k + 1 is read from the synchronous frame memory 72-2. By repeating this operation, the synchronous write operation and the synchronous read operation can be performed in parallel.
[0115]
As described above, the synchronous memory device 70 can perform a synchronous write operation and a synchronous read operation while writing and reading at the same timing based on the same reference synchronization signal.
[0116]
By the way, the number of lines of the video signal input to the synchronous memory device 70 may increase or decrease compared to the reference video signal due to the jump / repeat operation of the asynchronous memory device 50. That is, when the number of input lines is large, the read address in the synchronous read operation is delayed, so that lines that have not been read are accumulated in the synchronous frame memory 72. On the other hand, when the number of input lines is small, the read address in the synchronous read operation is advanced, so that there are not enough lines to be read in the synchronous frame memory 72.
[0117]
Therefore, the synchronous memory device 70 needs to adjust the number of frames of the video signal output to the outside. Therefore, the synchronous read operation control unit 54 performs control so that the read address jumps or repeats discontinuously, for example, when a reference vertical synchronization signal is input, according to the shift amount between the write address and the read address. As a result, the video signal to be output jumps or repeats in units of frames, so that synchronization in units of frames (V units) can be suitably performed.
[0118]
Further, the synchronization frame memory 72 may be configured to ensure a capacity capable of storing a video signal, for example, two frames or more. With this configuration, for example, even when image frame data that has generated a large error and is not desired to be output as it is is input, normal image frame data written before that is output again. By doing so, picture disturbance can be prevented.
[0119]
Next, the operation of the output signal processing unit 42 of the output unit 40 shown in FIG. 1 will be described.
[0120]
The output signal processing unit 42 has a function of generating, for example, TRS, LN, CRCC, and the like in the video signal input from the frame synchronizer unit 30 based on image data. In addition, the output signal processing unit 42 can perform illegal value processing in an effective video area or auxiliary data area of the video signal to be output.
[0121]
More specifically, the video signal input to the audio / video synchronization apparatus 10 may be damaged by TRS or the like because it is discontinuously switched by a routing switch in the previous stage. If damaged data is output as it is, it may cause a malfunction in the subsequent device. Accordingly, when the output signal processing unit 42 detects an illegal value included in the video signal, the output signal processing unit 42 performs the following correction and outputs the corrected value.
[0122]
First, the image data in the effective video area is corrected by the amplitude limiter function so that the amplitude of the signal is within the effective range of the normal image signal. For example, if the amplitude of the input image signal is greater than or equal to the upper limit value or less than the lower limit value, the upper limit value or lower limit value is output instead of the input amplitude value, otherwise it is left as it is. Output with amplitude value.
[0123]
In the TRS portion, for example, all signals are made transparent and no correction is performed.
[0124]
In the ancillary area, when 0x000 or 0x3FF is detected, this is not simply limited. In the case of the ancillary packet header, the pattern values of 0x000, 0x3FF, and 0x3FF are transparent, and in the case of other pattern values. Replace and output.
[0125]
Such illegal value processing can compensate for data corruption caused by discontinuous switching operation of the input video signal by the routing switch or the like. As a result, errors in the signal detection mechanism of the subsequent device can be reduced, and errors such as image disturbance can be suppressed.
[0126]
As described above, according to the audio / video synchronization apparatus 10 according to the present embodiment, an expensive large-capacity FIFO memory, SRAM, or the like is used as a frame memory even when synchronizing large-capacity frame data for HDTV applications. Therefore, it is possible to suitably synchronize with an inexpensive SDRAM or the like, and to reduce the cost of the apparatus. Furthermore, since SDRAM can be used to reduce the number of memory-related parts to a small number, the size and power consumption of the device can be reduced, and the environmental load can be reduced.
[0127]
(Second Embodiment)
Next, an audio / video synchronization apparatus according to a second embodiment of the present invention will be described. The video / audio synchronization apparatus according to the second embodiment is different from the video / audio synchronization apparatus according to the first embodiment only in that an audio separation processing apparatus is added. Since the functional configuration of is substantially the same, the description thereof is omitted.
[0128]
First, based on FIG. 12, the overall configuration of the audio / video synchronization apparatus including the audio separation processing apparatus according to the present embodiment will be described. FIG. 12 is a block diagram showing the configuration of the audio / video synchronization apparatus 10 including the audio separation processing apparatus 100 according to the present embodiment.
[0129]
As shown in FIG. 12, the audio / video synchronization apparatus 10 includes an input unit 20, a frame synchronizer unit 30, and an output unit 40 similar to those in the first embodiment, and an audio separation processing apparatus that is a feature of the present embodiment. 100. The output of the frame synchronizer unit 30 is input to the output unit 40 via an audio signal mixing unit 118 described later. Further, the error detection signal 25 of the detection unit 24 of the input unit 20 is input to the audio signal mixing unit 118 and the gain adjustment unit 116 in addition to the frame synchronizer unit 30.
[0130]
Next, based on FIG. 12, the structure and operation | movement of the audio | voice separation processing apparatus concerning this embodiment are demonstrated in detail.
[0131]
As shown in FIG. 12, the audio separation processing device 100 includes an audio signal separation unit 102, a first frequency adjustment unit 104, an external audio input unit 106, an audio signal selector 108, a sampling frequency conversion unit 110, , A second frequency adjustment unit 112, an audio signal delay unit 114, a gain adjustment unit 116, an audio signal mixing unit 118, a third frequency adjustment unit 120, and an audio output unit 122. In the following, the functional configuration and operation of these units will be described in detail.
[0132]
The audio signal separation unit 102 has a function of separating and extracting an audio signal (audio data) from the video signal input from the input unit 20. Thus, an audio signal synchronized with the input synchronization signal before being input to the asynchronous memory device 50 is obtained.
[0133]
The first frequency adjustment unit 104 is configured by, for example, a FIFO memory, and has a function of converting the frequency of the audio signal input from the audio signal separation unit 102 from the video clock (frequency) domain to the audio clock domain. Have The video clock here is a clock of an input video signal (that is, an input clock). The audio clock is an audio clock synchronized with an input clock (hereinafter referred to as an input audio clock). The input audio clock is generated based on the input clock by a PLL (Phase Locked Loop). By the operation of the first frequency adjustment unit 104 as described above, the sampling frequency conversion unit 110 described later can process the audio signal at the audio level.
[0134]
The external audio input unit 106 is, for example, a decoder, and is a digital audio signal (hereinafter simply referred to as an external AES / EBU (Audio Engineering Society / European Broadcasting Union)) format that is input from the outside independently of the video signal. Audio signal).
[0135]
The audio signal selector 108 is a switch device that switches between the audio signal input from the first frequency adjustment unit 104 and the external audio signal input from the external audio input unit 106 and outputs the signal to the sampling frequency conversion unit 110. .
[0136]
The sampling frequency converter 110 has a function of converting an audio signal according to the input audio clock into an asynchronous sampling frequency (sampling rate) so as to follow an audio clock synchronized with the reference clock (hereinafter referred to as an output audio clock). Have. The output audio clock is generated by the PLL based on the reference clock. With the asynchronous sampling frequency conversion operation of the sampling frequency conversion unit 110, the audio signal can be synchronized with the reference clock without disturbing the continuity of data by the jump / repeat operation.
[0137]
The second frequency adjustment unit 112 includes, for example, a FIFO memory, and has a function of converting the audio signal input from the sampling frequency conversion unit 110 from the output audio clock region to the video reference clock region. . Since the frequency of the audio signal is adjusted to the video frequency by the operation of the second frequency adjusting unit 104, each subsequent unit can operate based on the video reference clock.
[0138]
The audio signal delay unit 114 has a function of delaying the audio signal for a predetermined time. That is, the audio signal delay unit 114 can independently adjust the delay time of the audio signal separately from the video signal. As described above, since the image data of the video signal is delayed by a predetermined amount in the frame synchronizer unit 30, it is possible to correct the deviation between the separated audio data and the image data by delaying the audio signal by the delay amount. it can.
[0139]
Here, the audio signal delay unit 114 will be described in more detail with reference to FIG. FIG. 13 is a block diagram showing the configuration of the audio signal delay unit 114.
[0140]
As shown in FIG. 13, the audio signal delay unit 114 includes an audio delay adjustment circuit 130 and a cross fade processing unit 138.
[0141]
The audio delay adjustment circuit 130 is composed of a memory device such as SDRAM, for example, and can delay an input audio signal according to the delay amount of the image data. The audio delay adjustment circuit 130 includes, for example, two audio delay circuits 131 and 132, so that various delay time adjustments are possible. For example, the audio signal after delay adjustment output from the audio delay circuit 131 and the audio signal before delay adjustment output from the audio delay circuit 132 are input to the crossfade processing unit 140.
[0142]
Since both the audio delay circuits 131 and 132 are realized by using a memory device that operates at the video clock frequency, reading and writing of data is not continuous but has a sufficient pause period. Therefore, it can be realized by using separate delay memories as shown in FIG. 13, or one memory may be time-divisionally configured so that there are equivalently two sets of delay circuits (not shown). .
[0143]
The cross-fade processing unit 140 performs cross-fade processing for fading in the adjusted audio signal while fading out the audio signal before adjustment. More specifically, for example, a multiplier 144 that multiplies the audio signal before delay adjustment by (1-k), a multiplier 142 that multiplies the audio signal after delay adjustment by k, and an adder 146 that adds both outputs. Are simultaneously operated, for example, the value of k is gradually increased from 0 to 1. As a result, the undelayed audio signal and the delayed audio signal are gradually switched, and the point at which both are switched becomes ambiguous. The operation of the crossfade processing unit 140 can reduce noise associated with the delay processing of the audio signal.
[0144]
Also, the gain adjustment unit 116 shown in FIG. 12 can perform gain adjustment and mute of the audio signal input from the audio signal delay unit 114. Therefore, the gain adjusting unit 116 can also reduce noise generated when adjusting the delay time by using a mute function for gradually reducing the audio signal. This is effective when the hardware is simplified and the crossfade processing is not used.
[0145]
In addition, the error detection signal 25 from the detection unit 24 is input to the gain adjustment unit 116, and the gain adjustment unit 116 can suitably perform gain adjustment and mute in accordance with the error detection signal 25. . For example, when the video signal is discontinuously switched by the routing switch, the detecting unit 24 detects the discontinuity of the input signal and notifies the gain adjusting unit 116 of the occurrence of the error. Upon receiving this notification, the gain adjusting unit 116 generates a silence packet as appropriate, for example, and outputs it instead of the input voice signal. As a result, it is possible to reduce the occurrence of inferior noise caused by the intermittent input signal until the PLL is restored in the subsequent device.
[0146]
The audio signal mixing unit 118 has a function of mixing the audio signal input from the gain adjustment unit 116 with the video signal output from the frame synchronizer unit 30. That is, the audio signal subjected to the separation processing such as the frequency conversion independently as described above is mixed with the video signal in such a manner that the original audio data in the video signal is replaced.
[0147]
The third frequency adjustment unit 120 includes, for example, a FIFO memory, and has a function of converting the frequency of the audio signal input from the gain adjustment unit 116 from the video reference clock region to the audio clock region. The audio output unit 122 is an encoder or the like, and encodes the audio signal input from the third frequency adjustment unit 120 and outputs the encoded audio signal to the outside. By providing the third frequency adjusting unit 120 and the audio output unit 122 as described above, only the audio signal can be output to the outside separately from the video signal.
[0148]
Note that the third frequency adjustment unit 120 and the audio output unit 122 for outputting only the audio signal to the outside do not necessarily have to be provided depending on the device specifications and the like. Similarly, the external audio input unit 106 and the audio signal selector 108 for inputting an external audio signal from the outside are not necessarily provided.
[0149]
The audio separation processing device 100 configured as described above extracts audio data from the video signal before performing input to the frame synchronizer unit 30, performs sampling frequency conversion, and converts the converted audio data to the original video signal. The voice separation processing operation of mixing again can be performed. Therefore, the video / audio synchronization apparatus 10 according to the present embodiment does not perform the audio separation processing by the audio separation processing apparatus 100 and the frame synchronizer unit as in the first embodiment. 30 can realize two kinds of sound processing operation modes, that is, operation modes for processing sound data as auxiliary data of image data.
[0150]
In addition, in the asynchronous sampling frequency conversion operation by the sampling frequency conversion unit 110, a sufficient number of audio data can be inserted into the output audio signal. For this reason, even when the image data repeats or jumps in units of frames, the audio data is continuous, which is unnatural due to the interruption or repetition of the audio data that accompanies the synchronization of auxiliary data as in the past. No noise is generated. Such a separation processing method can also be applied, for example, when converting the number of frames by software.
[0151]
Further, in the audio separation processing apparatus 100, each unit such as the audio signal delay unit 114 and the gain adjustment unit 116 that handle the audio signal after the asynchronous frequency conversion can operate based on the video reference clock as described above. Is characteristic. With this feature, the audio separation processing device 100 can be mounted on the same substrate as the frame synchronizer unit 30 or the like or common hardware such as video equipment, and the development time and manufacturing cost of the device can be reduced.
[0152]
Even an external audio signal input independently can be mixed into a video signal without noise by performing sampling frequency conversion. In this case, it is not necessary to synchronize the external audio signal and the video signal, and it is possible to realize a mixing apparatus that can be used in a wide range of applications by simply adding a simple mechanism.
[0153]
As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, this invention is not limited to this example. It will be obvious to those skilled in the art that various changes or modifications can be conceived within the scope of the technical idea described in the claims, and these are naturally within the technical scope of the present invention. It is understood that it belongs.
[0154]
For example, the audio / video synchronization apparatus 10 according to the above embodiment functions as a frame synchronizer, but the present invention is not limited to such an example. For example, by extracting the output of the asynchronous memory device 50 as the final output, a line synchronization device can be easily realized. Further, a fixed delay device can be realized by applying the input clock to the whole instead of the reference clock. Further, by combining the asynchronous memory device 50 and the synchronous memory device 70, a line-synchronized delay device can be realized.
[0155]
【The invention's effect】
As described above, according to the present invention, by combining an asynchronous memory device and a synchronous memory device, even a video signal composed of large-capacity frame data for use in HTDV or the like is a relatively small and inexpensive memory device. Can be used for frame synchronization. For this reason, the cost and mounting scale of the audio / video synchronization apparatus can be reduced, and address control of read and write operations becomes easy.
[0156]
Further, by providing a speech separation processing device and independently performing sampling frequency conversion of speech data, noise associated with synchronization can be suppressed.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of a video / audio synchronization apparatus according to a first embodiment;
FIG. 2 is an explanatory diagram schematically showing an example of an SMPTE standard HDTV SDI format.
FIG. 3 is a block diagram illustrating a configuration of the asynchronous memory device according to the first embodiment;
FIG. 4 is a flowchart showing an operation flow of an asynchronous read operation when the asynchronous read operation according to the first embodiment is slower than the asynchronous write operation.
FIG. 5 is a graph showing a temporal change in the delay amount of the asynchronous read operation with respect to the asynchronous write operation when the asynchronous read operation according to the first embodiment is slower than the asynchronous write operation.
FIG. 6 is a flowchart showing an operation flow of an asynchronous read operation when the asynchronous read operation according to the first embodiment is earlier than the asynchronous write operation.
FIG. 7 is a graph showing a temporal change in the delay amount of the asynchronous read operation with respect to the asynchronous write operation when the asynchronous read operation according to the first embodiment is earlier than the asynchronous write operation.
FIG. 8 is an explanatory diagram illustrating a state of a video signal output from the asynchronous memory device according to the first embodiment.
FIG. 9 is a block diagram illustrating a configuration of a line adjustment device and a synchronous memory device according to the first embodiment;
FIG. 10 shows an output video signal (upper stage) of the asynchronous memory device and a video signal (second stage) delayed by the line adjustment device when a jump operation or a repeat operation is performed in the asynchronous memory device. FIG. 11 is an explanatory diagram showing a state (lower two stages) in which the video signal is written in two synchronous frame memories.
FIG. 11 is an explanatory diagram illustrating timings at which the synchronous memory device according to the first embodiment performs a synchronous write operation and a synchronous read operation on a plurality of synchronous frame memories;
FIG. 12 is a block diagram illustrating a configuration of an audio / video synchronization apparatus including an audio separation processing apparatus according to a second embodiment.
FIG. 13 is a block diagram illustrating a configuration of an audio signal delay unit according to the second embodiment;
[Explanation of symbols]
10: Image / audio synchronization device
20: Input section
20: detector
25: Error detection signal
30: Frame synchronizer
40: output section
42: output signal processing unit
50: Asynchronous memory device
52: Asynchronous line memory
54: Asynchronous write controller
55: Selector
56: Asynchronous read controller
57: Reset timing comparator
58: Delay circuit
60: Line adjustment device
62: Synchronous line memory
70: Synchronous memory device
72: Synchronous frame memory
74: Synchronous light control unit
76: Synchronous read controller
100: Voice separation processing device
102: Audio signal separation unit
106: External audio input unit
108: Audio signal selector
110: Sampling frequency converter
114: Audio signal delay unit
116: Gain adjustment section
118: Audio signal mixing unit
140: Crossfade processing section

Claims

An audio / video synchronization apparatus that outputs a video signal input according to an input synchronization signal in synchronization with a reference synchronization signal:
An asynchronous memory device for synchronizing the input video signal in units of lines;
A synchronous memory device for synchronizing video signals output from the asynchronous memory in units of frames;
An audio / video synchronization apparatus comprising:

The asynchronous memory device includes:
A dual-port asynchronous line memory for storing at least one line of the video signal and a clock error per frame;
An asynchronous write control unit for controlling an asynchronous write operation for writing the input video signal to the asynchronous line memory based on the input synchronous signal;
A video signal that controls an asynchronous read operation for reading out a video signal stored in the asynchronous line memory based on the reference synchronization signal, and that is read out in the asynchronous read operation according to a delay amount of the asynchronous read operation with respect to the asynchronous write operation Asynchronous read controller that jumps or repeats line by line;
The video / audio synchronization apparatus according to claim 1, further comprising:

The video / audio synchronization apparatus according to claim 2, wherein the asynchronous line memory is a FIFO memory.

3. The image / audio according to claim 2, wherein the capacity of the asynchronous line memory has a margin to absorb at least a clock error per frame between input and output video signals in addition to the capacity of one line. Synchronization device.

The asynchronous memory device further includes:
The timing of the write reset signal for controlling the asynchronous write operation and the timing of the read reset signal for controlling the asynchronous read operation are compared, and the write address and read address of the asynchronous line memory approach within a predetermined range. A reset timing comparator to detect whether or not
A selector that switches between a reference lead reset signal based on the reference synchronization signal and an adjustment lead reset signal that is a predetermined time earlier than the reference lead reset signal according to a detection result of the reset timing comparator;
A delay circuit for delaying the video signal read from the asynchronous line memory by the predetermined time;
With
If the reset timing comparator detects that the write address and the read address are within the predetermined range,
3. The asynchronous read control unit reads out a video signal stored in the asynchronous line memory based on the adjustment read reset signal, and outputs the video signal after being delayed by the delay circuit for the predetermined time. 2. The audio / video synchronization apparatus according to 1.

A line adjustment device that switches between a video signal output from the asynchronous memory device and a video signal obtained by delaying at least one line of the video signal output from the asynchronous memory device, and outputs the video signal to the synchronous memory device. The video / audio synchronization apparatus according to claim 1, wherein the apparatus is a video / audio synchronization apparatus.

The synchronous memory device includes:
A plurality of synchronous frame memories capable of storing at least one frame of the video signal output from the asynchronous memory device;
A synchronous write control unit that controls a synchronous write operation in which video signals output from the asynchronous memory device are alternately written to the plurality of synchronous frame memories in units of lines based on the reference synchronous signal;
Synchronous read operation for alternately reading video signals stored in the plurality of synchronous frame memories from the synchronous frame memory in which the write operation of the synchronous write control unit is not performed in line units based on the reference synchronous signal A synchronous read control unit that controls and jumps or repeats a video signal read out in the synchronous read operation in units of frames in accordance with a delay amount of the synchronous read operation with respect to the synchronous write operation;
The video / audio synchronization apparatus according to claim 1, further comprising:

The video / audio synchronization apparatus according to claim 7, wherein the synchronous frame memory is an SDRAM.

The video / audio synchronization apparatus according to claim 7, wherein the synchronous memory device can change a write address of the synchronous write operation and a read address of the synchronous read operation for each frame.

The video / audio synchronization device further includes:
An audio signal separation unit for separating an audio signal from the input video signal;
A sampling frequency converter for converting the separated audio signal to a sampling frequency based on the reference synchronization signal;
An audio signal mixing unit that mixes the audio signal subjected to the sampling frequency conversion with the video signal output from the synchronous memory device;
The audio / video synchronization apparatus according to claim 1, further comprising:

11. The audio / video synchronization apparatus according to claim 10, further comprising an audio signal delay unit that delays the frequency-converted audio signal based on the reference synchronization signal.

12. The audio / video synchronization apparatus according to claim 11, wherein the audio signal delay unit includes a cross-fade processing unit that performs cross-fade processing on the audio signal before delay adjustment and the audio signal after delay adjustment.

The speech separation processing device further includes:
An external audio input unit to which an external audio signal is input;
An audio signal selector for inputting either the external audio signal or the separated audio signal to the sampling frequency converter;
The video / audio synchronization apparatus according to claim 10, further comprising: