JP2009089056A - 映像表示装置及び音声出力装置 - Google Patents

Abstract

【課題】音声の出力タイミングを判断しない音声出力装置を用いて、遅延時間を推定し、映像等の出力と、音声出力との同期を取る。
【解決手段】音声信号の符号化が開始された時刻を報告させ（ステップＳ１１ｂ）、その符号化された音声信号が音声出力装置に伝送され、音声として出力された旨の通知があった時刻を報告させ（ステップＳ１１ｆ）、これらの２つの時刻の差として遅延時間を推定する。そして、この遅延時間を打ち消すタイミングで映像等を出力する。
【選択図】図８

Description

本発明は、映像表示装置及び音声出力装置に係り、特に、映像と音声とが異なる装置から出力される際の映像表示及び音声出力の同期処理に関する。

映像表示装置、例えば、移動通信端末装置などの小型で携帯される装置において、デジタルテレビ放送の受信によって得られたコンテンツの映像を表示することが行われている。ここで、このコンテンツは、例えば、映像と、音声と、文字とからなり、装置は、映像表示に限らず、音声の出力と文字の表示も行う。

なお、コンテンツの表示と出力にあたり、そのコンテンツは、デジタルテレビ放送の受信によって得たものに限るものではない。例えば、テレビ電話によって受信されたコンテンツでも良い。また、ストリーミング再生用に送信されたコンテンツでも良い。更に、取り外しが可能であるか否かに係らず、記憶媒体に記憶されたコンテンツでも良い。

コンテンツの表示と出力にあたり、音声を装置の周辺にいる人々に聞かれないようにすることが望まれることがある。例えば、その音声が人々の迷惑になる場合や、装置の使用者がその音声に含まれる秘密情報を人々に聞かれたくない場合である。

そこで、音声は、音声出力装置、例えば、ヘッドフォン装置から出力することが行われている。更に、映像表示装置と音声出力装置との間を近距離無線通信によって接続することが行われている。近距離無線通信は、例えば、ブルートゥース（登録商標。Bluetooth）方式の通信が用いられている。

このように、映像等を映像表示装置から出力し、音声をその装置と無線接続された音声出力装置から出力させる場合、音声が出力されるまでに遅延が生じる。そこで、映像表示装置は、その遅延時間を打ち消す処理を行い、映像等の出力と音声の出力との同期を取ることが知られている（例えば、特許文献１参照。）。
特開２００５−７９６１４号公報（第２−３頁、第１１−１３頁、図６）

しかしながら、上述した特許文献１に開示されている方法では、遅延時間を推定するため、音声出力装置は、タイムスタンプを参照して、音声再生能力に応じた音声再生が可能となる時刻を判断する等の同期を取る機能を有する必要があり、音声出力装置の高機能化、ひいては大型化、消費電力の増大が避けられない問題点があった。この消費電力増大の問題点は、音声出力装置が携帯型であって、電池に蓄えられた電力によって駆動される場合、顕著である。

本発明は、上記問題点を解決するためになされたもので、音声の出力タイミングを判断しない音声出力装置と、その音声出力装置を用いて、遅延時間を推定し、映像等の出力と、音声出力との同期を取る映像表示装置を提供することを目的とする。

上記目的を達成するために、本発明の映像表示装置は、映像データと、その映像データが表示される時刻と、音声データと、その音声データが出力される時刻とからなるコンテンツの映像データを表示し、かつ、そのコンテンツの音声データを音声出力装置に出力させる映像表示装置であって、映像データを表示する表示手段と、前記音声出力装置と近距離無線回線を介して通信する近距離無線処理手段と、前記近距離無線処理手段が音声データを前記音声出力装置へ送信する処理を開始した時刻と、その音声出力装置からその音声データを出力した旨の通知を前記近距離無線処理手段が受信した時刻との差によって音声遅延時間を推定する音声遅延時間推定手段と、映像データをその映像データが表示される時刻と映像遅延時間とを加えた時刻に前記表示手段に表示させ、かつ、音声データを前記音声出力装置へ送信する処理を、その音声データが出力される時刻から前記音声遅延時間を減じて前記映像遅延時間を加えた時刻に前記近距離無線処理手段に開始させる映像音声同期制御手段とを有することを特徴とする。

また、本発明の音声出力装置は、映像表示装置と近距離無線回線を介して通信する近距離無線処理手段と、前記近距離無線処理手段によって受信された音声データをスピーカから出力する音声出力手段と、前記音声出力手段が所定の識別情報が付加された音声データを出力した際、その音声データを出力した旨を前記近距離無線処理手段を制御して前記映像表示装置に通知させる映像音声同期制御手段とを有することを特徴とする。

本発明によれば、音声の出力タイミングを判断しない音声出力装置を用いて、遅延時間を推定し、映像等の出力と、音声出力との同期を取ることができる。

以下に、本発明による映像表示装置及び音声出力装置の実施の形態を、図面を参照して説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる映像表示装置が適用された移動通信端末装置と、本発明の第１の実施形態に係わる音声出力装置が適用されたヘッドフォン装置が接続された構成を示すブロック図である。移動通信端末装置ＭＳと、ヘッドフォン装置ＨＰとは、近距離無線通信回線ＢＴによって接続される。ここで、近距離無線通信回線ＢＴは、ブルートゥース（Ｒ）方式による通信回線である。

図２は、移動通信端末装置ＭＳの構成を示すブロック図である。この移動通信端末装置ＭＳは、装置全体の制御を行う制御部１１と、基地局（図示せず）との間で電波の送受を行うアンテナ１２ａと、通信部１２ｂと、送受信部１３と、受話用のスピーカ１４ａと、送話用のマイクロフォン１４ｂと、通話部１４ｃと、表示部１５と、入力装置１６とを備える。

この移動通信端末装置ＭＳは、更に、テレビ処理部２１と、映像バッファ２２と、時刻を示すＳＴＣ（System Time Clock）部２３と、音声バッファ２４と、映像再生部３１と、音声データ切替部４１と、音声再生部４２と、音声再生用のスピーカ４２ａと、近距離無線通信回線ＢＴによる通信を行う近距離無線処理部４３とを備える。映像バッファ２２には、テレビ処理部２１によって復号された映像データが記憶される。音声バッファ２４には、テレビ処理部２１によって復号された音声データが記憶される。なお、図２で、映像データ及び音声データの流れを太実線の矢印で示す。

図３は、テレビ処理部２１の詳細な構成を示すブロック図である。このテレビ処理部２１は、テレビ放送電波を受信するアンテナ２１ａと、チューナ部２１ｂと、ＤＥＭＵＸ部２１ｃと、映像バッファ２２と接続される映像復号化部２１ｄと、ＳＴＣ部２３と接続されるＳＴＣ校正部２１ｅと、音声バッファ２４と接続される音声復号化部２１ｆとを備える。

図４は、近距離無線処理部４３の詳細な構成を示すブロック図である。この近距離無線処理部４３は、ＳＴＣ部２３と接続され、更に音声データ切替部４１を経由して音声バッファ２４と接続される音声符号化部４３ａと、符号化音声バッファ４３ｂと、近距離無線送受信部４３ｃと、近距離無線通信部４３ｄと、近距離無線通信回線ＢＴの電波の送受を行うアンテナ４３ｅとを備える。符号化音声バッファ４３ｂには、音声符号化部４３ａによって符号化された音声データが記憶される。

図５は、ヘッドフォン装置ＨＰの構成を示すブロック図である。このヘッドフォン装置ＨＰは、装置全体の制御を行う制御部５１と、近距離無線通信回線ＢＴによる通信を行う近距離無線通信部５２と、近距離無線通信回線ＢＴの電波の送受を行うアンテナ５２ａと、近距離無線送受信部５３と、符号化音声バッファ５４と、音声復号化部５５と、音声再生部５６と、音声再生用のスピーカ５６ａと、表示部５７と、入力装置５８とを備える。符号化音声バッファ５４には、近距離無線送受信部５３によって受信された符号化された音声データが記憶される。

以上説明した移動通信端末装置ＭＳ及びヘッドフォン装置ＨＰは、コンピュータと、コンピュータによって利用されるプログラムから構成されても良い。特に、後述するように、制御部１１の動作及び制御部５１の動作（特に、制御部１１の動作。）は、必ずしも定型化されたものではないので、コンピュータと、コンピュータによって利用されるプログラムから構成されることが好ましい。

上記のように構成された、本発明の第１の実施形態に係る装置の各部の動作を図２ないし図５を参照して説明する。まず、移動通信端末装置ＭＳの各部の動作を図２を参照して説明する。通信部１２ｂは、アンテナ１２ａによって受信された高周波信号を送受信部１３へ出力し、また、送受信部１３から出力された高周波信号をアンテナ１２ａより送信する。

送受信部１３は、通信部１２ｂからの高周波信号を増幅、周波数変換及び復調し、それによってディジタル信号を得て、得られた通話音声信号を通話部１４ｃに、制御信号を制御部１１に送る。

更には、送受信部１３は、ディジタル信号、即ち、通話部１４ｃから出力された通話音声信号、制御部１１から出力された制御信号を変調、周波数変換及び増幅し、高周波信号を得て、それを通信部１２ｂに送って送信させる。

通話部１４ｃは、送受信部１３から出力されたディジタル音声信号をアナログ音声信号に変換し、それを増幅してスピーカ１４ａに送る。また、マイクロフォン１４ｂから出力されたアナログ音声信号を増幅し、それをディジタル音声信号に変換して送受信部１３に送信する。

表示部１５は、例えば、ＬＣＤであり、制御部１１に制御されることで、文字・数字や映像データの表示動作を行い、表示されているデータは、入力装置１６からの入力操作や着信信号に応答して制御部１１からの指示を受けることで切換わる。

入力装置１６は、通信相手の電話番号などを指定するための数字キーと複数の機能キーを含むキーからなる。そして、入力装置１６のキーが操作されると、そのキーの識別子が制御部１１に通知され、制御部１１によって、表示部１５に文字として表示され、または、制御が行われる。

次に、テレビ処理部２１の各部の動作を、図３を参照して説明する。テレビ処理部２１は、制御部１１の指示によって動作を開始する。そして、チューナ部２１ｂは、アンテナ２１ａによって受信された高周波信号の中から、入力装置１６の所定のキー操作によって指定されたチャンネルの高周波信号を選択する。

そして、チューナ部２１ｂは、選択された高周波信号を中間周波数の信号に変換し、変換された信号を復調することによって、符号化されたテレビ放送コンテンツを得る。ここで、テレビ放送コンテンツは、ＭＰＥＧ方式によって符号化された信号であるが、これに限るものではない。

ＤＥＭＵＸ部２１ｃは、チューナ部２１ｂによって得られた放送コンテンツを、符号化された映像信号と、符号化された音声信号と、ＰＣＲ（Program Clock Reference、番組時刻基準参照値。）とに分離する。そして、符号化された映像信号を映像復号化部２１ｄに、符号化された音声信号を音声復号化部２１ｆに、それぞれ送る。更に、ＰＣＲをＳＴＣ校正部２１ｅに送る。ここで、音声信号は、ＡＡＣ方式によって符号化された信号であるが、これに限るものではない。

映像復号化部２１ｄは、ＤＥＭＵＸ部２１ｃによって分離された符号化された映像信号を、映像フレーム毎に復号する。そして、復号された映像フレーム信号にそのフレーム信号が表示される時刻ＰＴＳ（Presentation Time Stamp）を付加して映像バッファ２２に記憶させる。なお、ＰＴＳは、符号化された映像フレーム信号に付加されていた場合、その付加されていたものを用いる。

一方、付加されていない場合、映像復号化部２１ｄは、その符号化された映像フレーム信号と、その符号化された映像フレーム信号以前に受信され、かつ、その信号以前に表示される符号化された映像フレーム信号であって、ＰＴＳが付加されていた映像フレーム信号との間隔を符号化された映像フレーム信号の個数で数える。そして、付加されていたＰＴＳに、映像フレーム信号が作成される時間間隔と上記の個数を乗じた時間を加えることによってＰＴＳを得て付加する。

図６は、映像バッファ２２に記憶される復号された映像信号の形式の一例を示す。この復号された映像信号２２ａは、ＰＴＳ２２ｂと、ＰＴＳ２２ｂが示す時刻に表示される映像フレーム信号２２ｃとが関連付けられた情報であり、それらの情報がそれぞれの情報に含まれるＰＴＳ２２ｂ順に順序付けられて連なっている。

音声復号化部２１ｆは、ＤＥＭＵＸ部２１ｃによって分離された符号化された音声信号を、音声フレーム毎に復号する。そして、復号された音声フレーム信号にそのフレーム信号が出力される時刻ＰＴＳを付加して音声バッファ２４に記憶させる。なお、ＰＴＳは、符号化された音声フレーム信号に付加されていた場合、その付加されていたものを用いる。

一方、付加されていない場合、音声復号化部２１ｆは、その符号化された音声フレーム信号と、その符号化された音声フレーム信号以前に受信され、かつ、その信号以前に出力される符号化された音声フレーム信号であって、ＰＴＳが付加されていた音声フレーム信号との間隔を符号化された音声フレーム信号の個数で数える。そして、付加されていたＰＴＳに、音声フレーム信号が作成される時間間隔と上記の個数を乗じた時間を加えることによってＰＴＳを得て付加する。

図７は、音声バッファ２４に記憶される復号された音声信号の形式の一例を示す。この復号された音声信号２４ａは、ＰＴＳ２４ｂと、ＰＴＳ２４ｂが示す時刻に出力される音声フレーム信号２４ｃとが関連付けられた情報であり、それらの情報がそれぞれの情報に含まれるＰＴＳ２４ｂ順に順序付けられて連なっている。

ＳＴＣ校正部２１ｅは、ＤＥＭＵＸ部２１ｃによって分離されたＰＣＲを受信し、そのＰＣＲが示す時刻をＳＴＣ部２３が示すように、ＳＴＣ部２３を校正する。

図２を参照した移動通信端末装置ＭＳの各部の動作の説明に戻る。映像再生部３１は、制御部１１の指示によって動作を開始する。そして、ＳＴＣ部２３が示す時刻と、映像バッファ２２に記憶されたＰＴＳ２２ｂとが等しい復号された映像信号２２ａを得る。次に、得られた復号された映像信号２２ａの映像フレーム信号２２ｃを表示部１５に表示させる。映像再生部３１は、この復号された映像信号２２ａを得て表示する動作を繰り返す。

なお、ＳＴＣ部２３が示す時刻と、映像バッファ２２に記憶されたＰＴＳ２２ｂとが等しい際、映像フレーム信号２２ｃが表示部１５に表示されなければならない。そのため、映像再生部３１は、ＳＴＣ部２３が示す時刻が映像バッファ２２に記憶されたＰＴＳ２２ｂとが等しくなるより所定時間前に、上記の復号された映像信号２２ａを得る動作を行う。ここで、所定時間とは、映像再生部３１の表示処理に必要な時間である。なお、以上の説明では、説明を簡明にするため、この映像再生部３１の表示処理に必要な時間は０であるとした。以後も、同様に０であるとして説明する。

音声データ切替部４１は、制御部１１の指示に従って、音声再生部４２と、近距離無線処理部４３のいずれか一方に、音声バッファ２４に記憶された復号された音声信号２４ａを読み出させる。

音声再生部４２は、制御部１１の指示によって動作を開始する。そして、ＳＴＣ部２３が示す時刻と、音声バッファ２４に記憶されたＰＴＳ２２ｂとが等しい復号された音声信号２４ａを得る。次に、得られた復号された音声信号２４ａの音声フレーム信号２４ｃをアナログ信号に変換して、スピーカ４２ａから出力させる。音声再生部４２は、この復号された音声信号２４ａを得て、出力させる動作を繰り返す。

なお、ＳＴＣ部２３が示す時刻と、音声バッファ２４に記憶されたＰＴＳ２２ｂとが等しい際、音声フレーム信号２４ｃによる音声がスピーカ４２ａから出力されなければならない。そのため、音声再生部４２は、ＳＴＣ部２３が示す時刻と、音声バッファ２４に記憶されたＰＴＳ２２ｂとが等しくなるより所定時間前に、上記の復号された音声信号２４ａを得る動作を行う。

ここで、所定時間とは、音声再生部４２の音声出力処理に必要な時間である。なお、以上の説明では、説明を簡明にするため、この音声再生部４２の音声出力処理に必要な時間は０であるとした。以後も、同様に０であるとして説明する。これは、映像再生部３１の動作説明で述べたことと同じである。

次に、近距離無線処理部４３の各部の動作を、図４を参照して説明する。近距離無線処理部４３は、制御部１１の指示によって動作を開始する。そして、音声符号化部４３ａは、ＳＴＣ部２３が示す時刻と、ＰＴＳ２２ｂとが等しい復号された音声信号２４ａを音声バッファ２４から得る。

音声符号化部４３ａは、得られた復号された音声信号２４ａの音声フレーム信号２４ｃを符号化し、符号化された音声信号を符号化音声バッファ４３ｂに記憶させる。符号化は、例えば、ＳＢＣ（Sub Band Codec）方式により、符号化は、所定のフレーム（以後、このフレームをＳＢＣフレームと称する。）単位で行うが、これに限るものではない。音声符号化部４３ａは、この復号された音声信号２４ａを得て、符号化し、記憶させる動作を繰り返す。

近距離無線送受信部４３ｃは、符号化音声バッファ４３ｂに記憶された符号化された音声信号を、先に符号化音声バッファ４３ｂに記憶された順にＳＢＣフレーム単位で読み出し、読み出された符号化された音声信号と、制御部１１から出力された制御信号を変調、周波数変換及び増幅し、高周波信号を得て、それを近距離無線通信部４３ｄに送って、送信させる。更に、近距離無線送受信部４３ｃは、近距離無線通信部４３ｄによって受信された制御信号を制御部１１に送る。

近距離無線通信部４３ｄは、近距離無線送受信部４３ｃから送られた高周波信号をアンテナ４３ｅより送信する。また、アンテナ４３ｅによって受信された高周波信号を近距離無線送受信部４３ｃに送る。

次に、ヘッドフォン装置ＨＰの各部の動作を、図５を参照して説明する。近距離無線通信部５２は、アンテナ５２ａによって受信された高周波信号を近距離無線送受信部５３に送る。また、近距離無線送受信部５３から出力された高周波信号をアンテナ５２ａより送信する。

近距離無線送受信部５３は、近距離無線通信部５２からの高周波信号を増幅、周波数変換及び復調し、それによってディジタル信号を得て、得られたＳＢＣフレーム単位の音声信号を符号化音声バッファ５４に記憶させ、また、制御信号を制御部５１に送る。

更に、近距離無線送受信部５３は、ディジタル信号、即ち、制御部５１から出力された制御信号を変調、周波数変換及び増幅し、高周波信号を得て、それを近距離無線通信部５２に送って送信させる。

音声復号化部５５は、符号化音声バッファ５４に記憶された音声信号を、符号化音声バッファ５４に記憶された順にＳＢＣフレーム単位で読み出し、読み出された音声信号を復号する。そして、復号された音声信号を音声再生部５６に送る。音声再生部５６は、音声復号化部５５によって復号された音声信号をアナログ信号に変換し、変換された音声信号をスピーカ５６ａから出力させる。

表示部５７は、例えば、ＬＣＤであり、制御部５１に制御されることで、文字・数字や映像データの表示動作を行い、表示されているデータは、入力装置５８からの入力操作に応答して制御部５１からの指示を受けることで切換わる。なお、表示部５７は、例えば、ＬＥＤ等のランプであっても良い。

入力装置５８は、複数の機能キーを含むキーからなる。そして、入力装置５８のキーが操作されると、そのキーの識別子が制御部５１に通知され、制御部５１によって、表示部５７に表示され、または、制御が行われる。

以下、本発明の第１の実施形態に係わる移動通信端末装置ＭＳにおける映像の出力と、ヘッドフォン装置ＨＰにおける音声の出力との同期を取る処理を説明する。

まず、ヘッドフォン装置ＨＰにおける音声出力に遅延が発生する理由を説明する。上述した動作によると、テレビ処理部２１によって受信された映像及び音声からなる放送コンテンツの再生にあたり、音声を移動通信端末装置ＭＳのスピーカ４２ａから出力させる場合、音声の出力に遅延は発生しない。

即ち、ＳＴＣ部２３が示す時刻と、映像バッファ２２に記憶されたＰＴＳ２２ｂとが等しい際、映像フレーム信号２２ｃが表示部１５に表示される。しかし、音声をヘッドフォン装置ＨＰのスピーカ５６ａから出力させる場合、音声の出力は、ＰＴＳ２４ｂが示す時刻に出力されず、以下の理由により、遅延が生じる。

第１に、音声信号が移動通信端末装置ＭＳにある際に発生する遅延であり、遅延時間は、音声符号化部４３ａによる符号化に要する時間、及び、その符号化された音声信号が符号化音声バッファ４３ｂに記憶されてから読み出されるまでの時間の和である。

第２に、音声信号が近距離無線通信回線ＢＴを介して伝送されるための遅延である。第３に、音声信号がヘッドフォン装置ＨＰにある際に発生する遅延であり、遅延時間は、符号化された音声信号が符号化音声バッファ５４に記憶されてから読み出されるまでの時間、及び、音声復号化部５５による復号に要する時間の和である。

なお、これらの遅延時間の中で、最も大きい時間は、音声信号が移動通信端末装置ＭＳにあり、符号化された音声信号が符号化音声バッファ４３ｂに記憶されてから読み出されるまでの時間であることが多い。そして、次に大きい時間は、音声信号がヘッドフォン装置ＨＰにあり、符号化された音声信号が符号化音声バッファ５４に記憶されてから読み出されるまでの時間であることが多い。

そこで、制御部１１は、以下に説明するように、上記第１〜第３の遅延によって発生する遅延時間を推定する。そして、映像再生部３１による映像フレーム信号２２ｃの表示を第１の所定時間に渡って遅延させる、及び／または、近距離無線処理部４３による音声フレーム信号２４ｃの符号化ないし送信を第２の所定時間に渡って先行して開始させる。ここで、第１の所定時間と、第２の所定時間との和を音声がスピーカ５６ａから出力させる際の遅延時間に等しくなるように制御することによって、その遅延を打ち消す。

映像再生部３１による映像フレーム信号２２ｃの表示を第１の所定時間に渡って遅延させるには、制御部１１は、映像再生部３１に指示して、ＳＴＣ部２３が示す時刻に第１の所定時間を加算した和の時刻に等しいＰＴＳ２２ｂと関連付けられた映像フレーム信号２２ｃを得て、表示させる。

近距離無線処理部４３による音声フレーム信号２４ｃの符号化ないし送信を第２の所定時間に渡って先行して開始させるには、制御部１１は、近距離無線処理部４３の音声符号化部４３ａに指示して、ＳＴＣ部２３が示す時刻から第２の所定時間を減算した差の時刻に等しいＰＴＳ２４ｂと関連付けられた音声フレーム信号２４ｃを得て、符号化させる。

なお、音声フレーム信号２４ｃの符号化を先行させる処理によれば、音声を移動通信端末装置ＭＳのスピーカ４２ａから出力させる場合と、音声をヘッドフォン装置ＨＰのスピーカ５６ａから出力させる場合とで、映像が表示部１５に表示される時刻の差が少ない。

そこで、音声を出力するスピーカを切り替えた際、表示部１５を視認している装置の使用者へ与える違和感が少ない。ただし、この先行させる処理のためには、第２の所定時間に渡って出力されるデータ量の音声フレーム信号２４ｃが音声バッファ２４に記憶されている必要がある。

一方、映像フレーム信号２２ｃの表示を遅延させる処理は、映像バッファ２２に記憶されている映像フレーム信号２２ｃの量、及び、音声バッファ２４に記憶されている音声フレーム信号２４ｃの量に無関係に行うことができ、これらの量を参照する必要はない。

次に、制御部１１が、音声をヘッドフォン装置ＨＰのスピーカ５６ａから出力させる場合に発生する遅延時間を推定する処理を説明する。図８は、制御部１１が遅延時間を推定する動作のフローチャートを示す。

制御部１１は、所定の時間間隔で遅延時間を推定する動作を開始する（ステップＳ１１ａ）。ここで、遅延時間は、必ずしも一定とは限らないので、所定の時間間隔で推定することが望ましい。なお、所定の時間間隔は、推定された、または、予想される遅延時間と同程度以下であるのは妥当でない。なぜなら、後述するように、遅延時間の推定は、ヘッドフォン装置ＨＰへＳＢＣフレームを送信し、その送信されたＳＢＣフレームに関する回答をヘッドフォン装置ＨＰから受信することによって行う。

そこで、遅延時間と同程度以下の時間間隔で行うと、制御部１１は、受信された回答がいずれのＳＢＣフレームに関する回答かの判断に混乱をきたす可能性があるからである。また、この遅延時間の推定処理の負荷が過大になる可能性があるからである。一方、遅延時間は、必ずしも一定ではないので、遅延時間の推定は、所定の間隔で繰り返すことが妥当である。この間隔は、遅延時間の推定を繰り返し行い、推定された遅延時間の分散が小さい場合、より大きくし、分散が大きい場合、より小さくしても良い。

次に、制御部１１は、近距離無線送受信部４３ｃの音声符号化部４３ａに指示して、ＳＢＣフレームに、再生応答要求を付加させると共に符号化音声バッファ４３ｂに記憶させ、そのフレームに係わる音声フレーム信号２４ｃを、音声データ切替部４１を介して音声バッファ２４から読み出した時刻を報告させる（ステップＳ１１ｂ）。

この再生応答要求は、例えば、そのフレーム内のヘッダの１ビットを変化させることによって付加される。そして、制御部１１は、音声符号化部４３ａによって報告された時刻をＴ１１とする。ここで、音声符号化部４３ａは、時刻を、制御部１１が備えるクロック（図示せず）が示す時刻によって得てもよく、ＳＴＣ部２３が示す時刻によって得ても良い。その結果、以後、制御部１１が遅延時間を推定する動作中で用いられる時刻は、これらの２つの時刻の中のいずれか一方である。

なお、ＳＴＣ部２３が示す時刻は、放送されたコンテンツの番組の変化等に伴い、実時刻の変化とは異なる大きな変化をすることがある。そこで、遅延時間を推定する動作中で、ＳＴＣ部２３が示す時刻を用いた場合、上記の動作によって、予想される範囲外の遅延時間、一例として、負の遅延時間が推定されることがある。制御部１１は、それらの予想される範囲外の遅延時間を破棄する。

以上の説明では、ＳＢＣフレームが遅延時間を推定するために用いられる再生応答要求が付加されたフレームであるか否かは、そのフレーム内のヘッダの１ビットである識別情報によって示されるとしたが、再生応答要求が付加されたフレームであるか否かは、ヘッダの１ビットである識別情報によると限るものではない。

例えば、ＳＢＣフレームには整数であるフレーム番号が付され、そのフレーム番号がある整数で割り切れる場合、そのＳＢＣフレームは、遅延時間を推定するために用いられると識別されるとしても良い。または、所定のフレーム番号が付されたＳＢＣフレームは、遅延時間を推定するために用いられると識別されるとしても良い。

これらによれば、ある整数で割り切れるフレーム番号、または、所定のフレーム番号が、そのＳＢＣフレームが遅延時間を推定するために用いられることを識別するための識別情報である。

これらの処理によれば、再生応答要求であるか否かを示すビットの伝送が不要であり、ヘッダのビット数の減少が得られる。なお、フレーム番号を除する整数、または、所定のフレーム番号は、予め定められているとしても良く、制御部１１の指示によって定められるとしても良い。また、制御部１１の指示によって、変更が可能としても良い。

制御部１１は、近距離無線送受信部４３ｃに指示して、上記再生応答要求が付加されたＳＢＣフレームが近距離無線通信部４３ｄによって近距離無線通信回線ＢＴに送信された時刻を報告させる（ステップＳ１１ｃ）。報告された時刻をＴ１２とする。続いて、近距離無線送受信部４３ｃに指示して、上記再生応答要求が付加されたＳＢＣフレームがヘッドフォン装置ＨＰによって受信されたとの回答を得た時刻を報告させる（ステップＳ１１ｄ）。報告された時刻をＴ１３とする。

制御部１１は、更に、近距離無線送受信部４３ｃに指示して、上記再生応答要求が付加されたＳＢＣフレームがヘッドフォン装置ＨＰによって出力されたとの回答を得た時刻を報告させる（ステップＳ１１ｅ）。報告された時刻をＴ１４とする。

報告された時刻Ｔ１１〜Ｔ１４によって、制御部１１は、遅延時間を推定して（ステップＳ１１ｆ）、遅延時間の推定動作を終了する（ステップＳ１１ｇ）。ここで、遅延時間は、
（Ｔ１４−Ｔ１１）−（Ｔ１３−Ｔ１２）／２
と算出して推定する。第１項の（Ｔ１４−Ｔ１１）は、ＳＢＣフレームに係わる音声フレーム信号２４ｃが音声バッファ２４から読み出されてから、そのＳＢＣフレームに含まれる音声が出力されるまでの時間を示す。

ただし、この時間には、ＳＢＣフレームに係わる音声がヘッドフォン装置ＨＰによって出力されたとの回答が近距離無線通信回線ＢＴを介して伝送されるための遅延が加わっている。そこで、第２項の（Ｔ１３−Ｔ１２）／２は、その加わった遅延を差し引いて補正するための項である。

即ち、（Ｔ１３−Ｔ１２）は、ＳＢＣフレームが近距離無線送受信部４３ｃからヘッドフォン装置ＨＰへ送信される際の近距離無線通信回線ＢＴを介して伝送されるための遅延と、ヘッドフォン装置ＨＰがそのフレームを受信したとの回答を送信する際の近距離無線通信回線ＢＴを介して伝送されるための遅延との２つの遅延による遅延時間の和である。そこで、第２項では、（Ｔ１３−Ｔ１２）を２で除している。

なお、上記のように推定された遅延時間が、予想される範囲外の値である場合、制御部１１は、その値を一時的な変動とみなして破棄しても良い。また、制御部１１は、直近の過去に推定された所定の個数の遅延時間の平均値を算出することによって遅延時間としても良い。

更に、推定された遅延時間が、時刻に対して単調増加、または、単調減少しているとみなされる場合、制御部１１は、遅延時間を時刻に対して１次関数であると仮定しても良い。その関数のパラメータは、例えば、最小二乗法によって求めることができる。

また、推定された遅延時間が、時刻に対して、増加及び減少を繰り返す場合、制御部１１は、遅延時間を一定数と、正弦関数との和の関数であると仮定しても良い。その関数のパラメータ、即ち、一定数と、正弦関数の振幅、周波数及び初期位相は、例えば、最小二乗法によって求めることができる。

次に、移動通信端末装置ＭＳにおける映像の出力と、ヘッドフォン装置ＨＰにおける音声の出力との同期を取る処理であって、ヘッドフォン装置ＨＰの各部の処理を説明する。ヘッドフォン装置ＨＰの近距離無線送受信部５３は、上記要求が付加されたＳＢＣフレームを受信すると、直ちにそのフレームが受信された旨を移動通信端末装置ＭＳに送信する。そして、その要求が付加されたまま、ＳＢＣフレーム単位の音声信号を符号化音声バッファ５４に記憶させる。

そして、音声復号化部５５は、その要求が付加されたＳＢＣフレームに係わる音声が音声再生部５６からスピーカ５６ａに出力された際、そのＳＢＣフレームに含まれる音声を再生した旨の回答を制御部５１、近距離無線送受信部５３を介して移動通信端末装置ＭＳに送信させる。

なお、ＳＢＣフレームがヘッドフォン装置ＨＰによって出力されたとの回答が近距離無線通信回線ＢＴを介して伝送されるための遅延時間の推定は、上記要求が付加されたＳＢＣフレームの送受信に併せて行われると限るものではない。

任意のデータが近距離無線送受信部４３ｃからヘッドフォン装置ＨＰに送信された後、ヘッドフォン装置ＨＰの近距離無線送受信部５３によってそのデータが受信された際に、近距離無線送受信部５３が直ちに受信された旨を移動通信端末装置ＭＳに送信することによって行われるとしても良い。

また、ヘッドフォン装置ＨＰの近距離無線送受信部５３が受信された旨を移動通信端末装置ＭＳに送信することなく、近距離無線送受信部４３ｃが近距離無線通信回線ＢＴの通信で用いられる所定のプロトコルのステップを行った時刻からの算出によって推定されるとしても良い。また、その遅延時間は、予め近距離無線通信部４３ｄの仕様に従って定められるとしても良い。

（第２の実施形態）
第２の実施形態が第１の実施形態と異なる点は、移動通信端末装置ＭＳにある。そこで、第２の実施形態に係わる移動通信端末装置ＭＳの構成及び動作を説明する。なお、第１の実施形態に係わる移動通信端末装置ＭＳと同じ部分については、同じ符号を付して説明を省略する。なお、制御部１１には同じ符号を付しているが、遅延時間の推定動作に相違があるので、その動作を説明する。

図９は、第２の実施形態に係わる移動通信端末装置ＭＳの構成を示すブロック図である。この移動通信端末装置ＭＳは、図２に構成を示す第１の実施形態に係わる移動通信端末装置ＭＳと比較して、近距離無線処理部４３に代えて近距離無線処理部４３−２を備え、また、遅延時間推定用のマイクロフォン４４を備えている。

図１０は、近距離無線処理部４３−２の詳細な構成を示すブロック図である。近距離無線処理部４３−２は、第１の実施形態に係わる近距離無線処理部４３と比較して、音声符号化部４３ａに代えて音声符号化部４３ａ２を備えている。

音声符号化部４３ａ２の動作を説明する。音声符号化部４３ａ２は、第１の実施形態に係わる音声符号化部４３ａの復号された音声信号２４ａを得て、得られた音声フレーム信号２４ｃを符号化し、符号化された音声信号を符号化音声バッファ４３ｂに記憶させる動作に加えて、以下の動作を行う。

音声符号化部４３ａ２は、制御部１１の指示に基づいて、所定の遅延時間推定用音声信号を符号化し、符号化された遅延時間推定用音声信号を符号化音声バッファ４３ｂに記憶させる。ここで、所定の遅延時間推定用音声信号は、音声バッファ２４に記憶される音声フレーム信号２４ｃには含まれない人工的な音声信号であって、１つまたは複数の所定の周波数の音声信号がそれぞれ所定の音量で加算され、使用者の聴覚器官に悪影響を及ぼさない音声信号である。

この所定の遅延時間推定用音声信号は、音声符号化部４３ａ２によって符号化可能であり、ヘッドフォン装置ＨＰによって出力可能であり、かつ、ヘッドフォン装置ＨＰによって出力された音声をマイクロフォン４４によって入力可能なものである。そして、ヘッドフォン装置ＨＰによって出力された際、装置の使用者には聴取不可能、または聴取が困難であることが望ましい。即ち、人間の聴力によっては聴取が不可能、または困難な周波数からなる音声信号であることが望ましい。

次に、第２の実施形態に係わる制御部１１が遅延時間を推定する動作を説明する。図１１は、制御部１１が遅延時間を推定する動作のフローチャートを示す。制御部１１は、遅延時間を推定する動作を開始し（ステップＳ１１ｉ）、音声符号化部４３ａ２に指示して、所定の遅延時間推定用音声信号を符号化させ、符号化音声バッファ４３ｂに記憶させる。そして、その符号化を開始した時刻を報告させる（ステップＳ１１ｊ）。報告された時刻とＴ２１とする。

次に、制御部１１は、所定の時間の待ち時間を取る（ステップＳ１１ｋ）。この時間は、予想される遅延時間より短い時間であり、所定の遅延時間推定用音声信号が出力された音声以外の音声であって、その遅延時間推定用音声信号が出力されたものと同じ音声がマイクロフォン４４によって入力されたことによる遅延時間の誤った推定を避けるためである。

続いて、制御部１１は、マイクロフォン４４によって入力された音声が所定の遅延時間推定用音声信号が出力されたものと一致するか否かを判断し（ステップＳ１１ｍ）、一致した場合、その音声がマイクロフォン４４によって入力された時刻を得る（ステップＳ１１ｎ）。得られた時刻をＴ２２とする。

そして、制御部１１は、遅延時間を推定して（ステップＳ１１ｏ）、遅延時間の推定動作を終了する（ステップＳ１１ｐ）。ここで、遅延時間は、
Ｔ２２−Ｔ２１
と算出して推定する。

ステップＳ１１ｍで、一致しない場合、制御部１１は、ステップＳ１１ｍの、一致するか否かを判断する動作を繰り返す。また、長時間に渡って一致しない場合、制御部１１は、遅延時間の推定を行わないまま、その推定動作を終了する（ステップＳ１１ｐ）。ここで、長時間とは、予想される遅延時間の最大値を超える時間である。

長時間に渡って一致しない場合、ヘッドフォン装置ＨＰから出力された音声がマイクロフォン４４によって入力不可能である、即ち、ヘッドフォン装置ＨＰが動作していないことに限らず、例えば、ヘッドフォン装置ＨＰから出力された音声の音量が小さい、または、ヘッドフォン装置ＨＰとマイクロフォン４４との間が長距離である、などの理由が考えられ、制御部１１は、遅延時間の推定が不可能と判断するためである。

所定の遅延時間推定用音声信号が装置の使用者には聴取不可能、または聴取が困難であり、かつ、ヘッドフォン装置ＨＰから出力された音声をマイクロフォン４４によって入力することが常に不可能と限らない場合、制御部１１は、遅延時間を推定する動作を所定の時間間隔で行う。ここで、所定の時間間隔については、第１の実施形態のおける遅延時間を推定する動作説明の際に述べた通りである。

通常、移動通信端末装置ＭＳと、ヘッドフォン装置ＨＰとは、数十センチメートルから１メートル程度の距離をおいて使われる。また、ヘッドフォン装置ＨＰのスピーカ５６ａは、ヘッドフォン装置ＨＰの使用者の耳の方向に音声を出力する。しかし、ヘッドフォン装置ＨＰのスピーカ５６ａから出力された音声は、ヘッドフォン装置ＨＰの周囲に漏れるように設計されることがある。

また、マイクロフォン４４は、所定の遅延時間推定用音声信号の受信のためにあり、周波数特性や、入力された音声の増幅率は、その信号の受信専用に設計される。そこで、ヘッドフォン装置ＨＰから出力された音声をマイクロフォン４４によって入力することが常に不可能であるとは限らない。そこで、制御部１１は、遅延時間を推定する動作を所定の時間間隔で行うことが、有効である。ここで、推定が常に可能ではなくとも良い。

また、音声符号化部４３ａ２は、所定の遅延時間推定用音声信号を符号化する際、音声バッファ２４に記憶された符号化すべき音声フレーム信号２４ｃが無音である時間帯を選択することが適切である。所定の遅延時間推定用音声信号を符号化によって、音声フレーム信号２４ｃの符号化へ影響を与えることを避けるためである。

また、遅延時間推定用音声信号は、人間の聴力によっては聴取が不可能、または困難な周波数からなる音声信号であると限るものではない。人間の聴力によって聴取が可能な音声であっても、マスキング効果によって装置の使用者には聴取不可能、または聴取が困難である音声信号でも良い。

このマスキング効果を用いる場合、音声符号化部４３ａ２は、遅延時間推定用音声信号の周波数に近い周波数で、かつ、大きな音量の音声信号が発生される時刻の前後にのみ、遅延時間推定用音声信号を音声フレーム信号２４ｃに加えた上で符号化する。

そのため、遅延時間推定用音声信号が常に同じ周波数ではなく、適宜複数の周波数の中の１つを用いるとしても、所定の時間間隔で遅延時間推定用音声信号を符号化することはできない。しかし、所定の時間間隔ではないにせよ、繰り返して遅延時間を推定することによる効果がある。

一方、所定の遅延時間推定用音声信号が装置の使用者に常に聴取可能、かつ、ヘッドフォン装置ＨＰから出力された音声をマイクロフォン４４によって入力することが、使用者がヘッドフォン装置ＨＰを使用している際に常に不可能とは限らない場合、音声符号化部４３ａ２は、音声バッファ２４に記憶される音声フレーム信号２４ｃには含まれる音声信号であって、特徴のある音声信号を遅延時間推定用音声信号とする。

このように用いられる遅延時間推定用音声信号は、例えば、特徴のある周波数分布の音声信号、即ち、所定の楽器の音であり、また、所定の無音の後の大きな音量の音声信号である。この遅延時間推定用音声信号を用いる場合も、所定の時間間隔ではないにせよ、繰り返して遅延時間を推定することができる効果がある。

また、ヘッドフォン装置ＨＰから出力された音声をマイクロフォン４４によって入力することが、使用者がヘッドフォン装置ＨＰを使用している際には常に不可能である場合、制御部１１は、近距離無線処理部４３−２に音声信号をヘッドフォン装置ＨＰに送らせる制御をし、上記遅延時間の推定を行った後、音声データ切替部４１を制御して、近距離無線処理部４３−２に音声バッファ２４に記憶された音声フレーム信号２４ｃを読み出させても良い。

また、上記遅延時間の推定に先んじて、制御部１１は、使用者に対して、ヘッドフォン装置ＨＰのスピーカ５６ａをマイクロフォン４４に近づけるように促す報知を行うことが好ましい。この報知は、表示部１５への表示、スピーカ４２ａからの音声出力、スピーカ５６ａからの音声出力などによる。

なお、第２の実施形態に係わる移動通信端末装置ＭＳ及びヘッドフォン装置ＨＰの各部は、第１の実施形態に係わる再生応答要求が付加されたＳＢＣフレームを作成する機能、及び、そのフレームの作成及び送受信がされた時刻を報告する機能を要しない。

以上の説明では、第２の実施形態に係わる移動通信端末装置ＭＳは、マイクロフォン１４ｂとは異なるマイクロフォン４４を備えるとしたが、これに限るものではない。マイクロフォン４４を備えず、遅延時間推定に送話用のマイクロフォン１４ｂを用いても良い。

この第２の実施形態におけるヘッドフォン装置ＨＰは、ヘッドフォン装置ＨＰの必須機能、即ち、近距離無線通信回線ＢＴを介して受信された音声をスピーカ５６ａから出力する機能以外の動作を要しない。即ち、如何なるヘッドフォン装置ＨＰにも、この第２の実施形態を適用することが可能である。

（第３の実施形態）
第３の実施形態が第１の実施形態と異なる点は、ヘッドフォン装置ＨＰにある。そこで、第２の実施形態に係わるヘッドフォン装置ＨＰの構成及び動作を説明する。なお、第１の実施形態に係わるヘッドフォン装置ＨＰと同じ部分については、同じ符号を付して説明を省略する。なお、移動通信端末装置ＭＳの制御部１１には同じ符号を付しているが、遅延時間の推定動作に相違があるので、その動作を説明する。

図１２は、第２の実施形態に係わるヘッドフォン装置ＨＰの構成を示すブロック図である。このヘッドフォン装置ＨＰは、図５に構成を示す第１の実施形態に係わるヘッドフォン装置ＨＰと比較して、制御部５１に代えて制御部５１−３を、近距離無線送受信部５３に代えて近距離無線送受信部５３−３を、そして、音声復号化部５５に代えて音声復号化部５５−３を備える。

近距離無線送受信部５３−３の動作と、第１の実施形態に係わる近距離無線送受信部５３の動作との相違は、以下の点である。即ち、近距離無線送受信部５３−３は、所定の識別情報が付加されたＳＢＣフレームを受信すると、その旨を直ちに制御部５１−３に通知する。一方、第１の実施形態に係わる近距離無線送受信部５３は、その旨を移動通信端末装置ＭＳに送信する。

音声復号化部５５−３の動作と、第１の実施形態に係わる音声復号化部５５の動作との相違は、以下の点である。即ち、音声復号化部５５−３は、所定の識別情報が付加されたＳＢＣフレーム単位の音声信号が音声再生部５６からスピーカ５６ａに出力された際、その旨を直ちに制御部５１−３に通知する。一方、第１の実施形態に係わる音声復号化部５５は、その旨を移動通信端末装置ＭＳに送信させる。

制御部５１−３は、第１の実施形態に係わる制御部５１の動作に加えて、近距離無線送受信部５３−３から送られた上記通知が受信された時刻と、音声復号化部５５−３から送られた上記通知が受信された時刻との差の時間を測定する。そして、その時間（Ｔ３１）を近距離無線送受信部５３−３を介して移動通信端末装置ＭＳに送信させる。このＴ３１は、音声信号がヘッドフォン装置ＨＰにある際に発生する遅延時間である。

なお、音声信号がヘッドフォン装置ＨＰにある際に発生する遅延時間を測定するための上記の処理は、移動通信端末装置ＭＳから所定の識別情報が付加されたＳＢＣフレームを受信することによって行われるとしたが、これに限るものではない。ヘッドフォン装置ＨＰ内で定められた所定のＳＢＣフレームに関して行われるとしても良い。また、測定された時間（Ｔ３１）の送信は、測定される度に行われるとしたが、これに限るものではない。移動通信端末装置ＭＳから要求を受信する度に、最新の測定された時間（Ｔ３１）を、または、近い過去に測定された時間の平均を算出した時間（Ｔ３１）を送信しても良い。

制御部５１−３は、上述のように、２つの通知が受信された時刻の間の差の時間を得れば良く、時刻を得る必要はない。言い換えると、クロックを備える必要はないので、複雑で高価な構成とする必要はない。

次に、第３の実施形態に係わる制御部１１が遅延時間を推定する動作を説明する。図１３は、制御部１１が遅延時間を推定する動作のフローチャートを示す。なお、第１の実施形態に係わる制御部１１が遅延時間を推定する動作に含まれる動作ステップについては、同じ符号を付して説明を省略する。

制御部１１は、まず、ステップＳ１１ａ〜ステップＳ１１ｃの、遅延時間を推定する動作を開始し、所定の識別情報が付加されたＳＢＣフレームに係わる音声フレーム信号２４ｃを音声バッファ２４から読み出した時刻Ｔ１１を音声符号化部４３ａから得て、更に、上記所定の識別情報が付加されたＳＢＣフレームが近距離無線通信回線ＢＴに送信された時刻Ｔ１２を近距離無線送受信部４３ｃから得る動作を行う。

続いて、制御部１１は、ヘッドフォン装置ＨＰから送信された、音声信号がヘッドフォン装置ＨＰにある際に発生する遅延時間Ｔ３１を近距離無線送受信部４３ｃを介して受信する（ステップＳ１１ｒ）。

そして、制御部１１は、音声信号が近距離無線通信回線ＢＴを介して伝送されるための遅延時間を推定する（ステップＳ１１ｓ）。この伝送されるための遅延時間は、第１の実施形態に係わる制御部１１の動作説明の際に述べたような、以下の１つ、または複数の方法によって推定される。

第１に、任意のデータが近距離無線送受信部４３ｃからヘッドフォン装置ＨＰに送信された後、ヘッドフォン装置ＨＰの近距離無線送受信部５３−３が直ちに受信された旨を移動通信端末装置ＭＳに送信することによって推定される。第２に、近距離無線送受信部４３ｃが近距離無線通信回線ＢＴの通信で用いられる所定のプロトコルのステップを行った時刻によって推定される。第３に、予め定められた近距離無線通信部４３ｄの仕様に従って推定される。

そして、制御部１１は、遅延時間を推定して（ステップＳ１１ｔ）、遅延時間の推定動作を終了する（ステップＳ１１ｕ）。ここで、遅延時間は、音声信号が移動通信端末装置ＭＳにある際に発生する遅延時間の推定値と、音声信号がヘッドフォン装置ＨＰにある際に発生する遅延時間の推定値と、音声信号が近距離無線通信回線ＢＴを介して伝送されるための遅延時間の推定値との合計時間として推定される。

音声信号が移動通信端末装置ＭＳにある際に発生する遅延時間は、ステップＳ１１ｂ及びステップＳ１１ｃの動作によって得られた時刻を用いて
Ｔ１２−Ｔ１１
であると推定される。そして、音声信号がヘッドフォン装置ＨＰにある際に発生する遅延時間は、ステップＳ１１ｒで受信された
Ｔ３１
であると推定される。また、音声信号が近距離無線通信回線ＢＴを介して伝送されるための遅延時間は、ステップＳ１１ｓの動作によって推定された値である。

なお、ステップＳ１１ｂ及びステップＳ１１ｃの動作、ステップＳ１１ｒの動作、ステップＳ１１ｓの動作の３つの動作は、図１３のフローチャートに示した順で行われると限るものではない。異なる順で行われても良い。また、３つの動作が行われる時間間隔は、独立に定められても良い。その場合、いずれかの動作が行われる度に、ステップＳ１１ｔの遅延時間の推定が行われる。

以上の説明は、所定の識別情報が付加されたＳＢＣフレームを用いて遅延時間を推定するとした。既に第１の実施形態の説明で述べた通り、所定の識別情報が付加されたＳＢＣフレームは、例えば、ＳＢＣフレームに付されたフレーム番号がある整数で割り切れるＳＢＣフレーム、また、ＳＢＣフレームに付されたフレーム番号がある整数であるＳＢＣフレームであっても良い。

前述したように、最も大きい遅延時間は、音声信号が移動通信端末装置ＭＳにある際に発生する遅延時間であり、次に大きい遅延時間は、音声信号がヘッドフォン装置ＨＰにある際に発生する遅延時間であることが多い。そのため、制御部１１は、ステップＳ１１ｂ及びステップＳ１１ｃの動作をより頻繁に実行して、音声信号が移動通信端末装置ＭＳにある際に発生する遅延時間を正しく推定することが望ましい。これらの動作は、ヘッドフォン装置ＨＰの動作に何ら影響を与えず、近距離無線通信回線ＢＴを介した通信が発生しないため、頻繁に実行しても、ヘッドフォン装置ＨＰによる音声出力へ影響を与える可能性が非常に小さい。

一方、音声信号がヘッドフォン装置ＨＰにある際に発生する遅延時間の推定には、ヘッドフォン装置ＨＰの動作を必要とし、近距離無線通信回線ＢＴを介した通信が発生する。そこで、音声信号がヘッドフォン装置ＨＰにある際に発生する遅延時間の推定値に含まれる誤差を、音声信号がヘッドフォン装置ＨＰにある際に発生する遅延時間の推定値に含まれる誤差よりも小さくする必要性は乏しい。

即ち、制御部１１は、ステップＳ１１ｒの動作を稀に実行しても良い。この音声信号がヘッドフォン装置ＨＰにある際に発生する遅延時間の推定動作は、ヘッドフォン装置ＨＰの動作を伴うので、この動作を稀に実行することは、ヘッドフォン装置ＨＰによる音声出力への影響を避けるために望ましい。

稀に実行する一例として、ヘッドフォン装置ＨＰによる音声出力が開始される直前に１回行うことでも良い。また、音声信号がヘッドフォン装置ＨＰにある際に発生する遅延時間が予め得られている、または、予想される場合、その得られている、または、予想される値を用いても良い。また、制御部１１は、音声信号がヘッドフォン装置ＨＰにある際に発生する遅延時間を測定する間隔を制御せず、所定の時間間隔でその遅延時間をヘッドフォン装置ＨＰに問い合わせるとしても良い。

稀に実行する別の例として、制御部１１は、テレビ処理部２１によって受信されているチャンネルが変更された際、遅延時間を推定するとしても良い。チャンネルの変更は、入力装置１６の所定のキー操作によって行われるので、制御部１１が把握できる。また、テレビ処理部２１によって受信されている放送の番組の変更の際、遅延時間を推定するとしても良い。番組の変更は、ＤＥＭＵＸ部２１ｃによって分離されたＰＣＲが実時間の変化と異なる不連続な変化をすることによって把握される。

（その他の実施形態）
上記の第１〜第３の実施形態は、必ずしも排他的ではない。適宜組み合わせた形態とすることができる。

以上の説明は、テレビ放送された映像データと、音声データとを例にとって行ったが、これに限るものではない。映像データと、音声データとが、例えば、ＲＴＰプロトコルに従って受信される場合、映像データが表示される時刻を示すタイムスタンプと、音声データが出力される時刻を示すタイムスタンプとは、異なるメディアクロックが示す時刻による。しかしながら、ＲＴＣＰパケットを参照して、これらのメディアクロックが示す時刻と、共通の参照クロックが示す時刻との対応を付ける処理は周知である。そこで、共通の参照クロックをＳＴＣ部２３とみなすことによって、本発明の適用が可能である。

以上の説明は、テレビ処理部２１によって受信される放送は、映像と音声とからなるとしたが、これに限るものではない。例えば、更に表示部１５に表示される文字を含んでいても良い。この文字の表示は、以上説明した、映像再生部３１が映像フレーム信号２２ｃの再生を遅延させる処理と同じ処理によって遅延させれば良く、説明を省略する。

以上の説明は、移動通信端末装置ＭＳの音声データ切替部４１は、音声再生部４２と、近距離無線処理部４３とのいずれか一方に音声バッファ２４からのデータの読み取りをさせるとしたが、これに限るものではない。これらの両方にデータの読み取りをさせるとしても良い。

この両方にデータの読み取りをさせる処理のために、制御部１１は、音声再生部４２を制御して、音声フレーム信号２４ｃのスピーカ４２ａからの出力に遅延をさせる。ここで、遅延時間は、映像再生部３１に指示して映像フレーム信号２２ｃの再生を遅延させた時間と同じ時間である。音声再生部４２が音声フレーム信号２４ｃの出力に遅延させる処理は、映像再生部３１が映像フレーム信号２２ｃの再生を遅延させる処理と同じであり、説明を省略する。

このような処理によれば、本発明は、移動通信端末装置ＭＳの表示部１５の表示と、移動通信端末装置ＭＳのスピーカ４２ａから発生される音声と、ヘッドフォン装置ＨＰのスピーカ５６ａから発生される音声との同期を取ることに有効である。更には、本発明は、移動通信端末装置ＭＳの表示部１５に表示を行うか否かに係らず、２つのスピーカから発生される音声の同期を取ることに有効である。

以上の説明は、本発明をヘッドフォン装置ＨＰが１台である場合を例にとって行ったが、本発明は、複数のヘッドフォン装置ＨＰを有する構成のシステムに適用することが当然に可能である。その場合、移動通信端末装置ＭＳの制御部１１は、各ヘッドフォン装置ＨＰ毎に遅延時間を推定する。

そして、制御部１１は、ヘッドフォン装置ＨＰ毎の遅延時間の相違は、各ヘッドフォン装置ＨＰ向けに先行して音声信号を符号化し送信する動作で、先行する時間をヘッドフォン装置ＨＰ毎に異なる時間とすることにより打ち消す。または、符号化音声バッファ４３ｂに記憶された音声信号を各ヘッドフォン装置ＨＰへ送信させるにあたり、近距離無線送受信部４３ｃに送信する時刻を各ヘッドフォン装置ＨＰ毎に異なる時刻とすることにより打ち消す。

以上の説明は、本発明を移動通信端末装置ＭＳ及びヘッドフォン装置ＨＰに適用した例を用いた。しかし、本発明の適用は、これらの装置に限るものではない。例えば、移動通信端末装置ＭＳに代えて、固定式または携帯式のテレビ受像機に適用しても良い。それによって、テレビ受像機から音声を出力することなく、または、小さい音量の音声を出力し、テレビ視聴者の近くに置かれたヘッドフォン装置ＨＰから適切な大きさの音量で音声を出力させることができる。これによって、テレビ視聴者以外の者は、テレビ放送された音声によって静粛を破られることがない。

また、本発明を、ヘッドフォン装置ＨＰに代えて、商用電源によって駆動され、大きな音量の音声を出力する音声出力装置に適用することが当然に可能である。

以上の説明は、音声信号はモノラル信号であるとしたが、これに限るものではない。ステレオ信号であっても全く同様に処理すれば良い。また、ステレオ信号の一方の音声が移動通信端末装置ＭＳのスピーカ４２ａから出力され、他方の音声ヘッドフォン装置ＨＰのスピーカ５６ａから出力されても良い。更に、ステレオ信号のそれぞれの音声が異なるヘッドフォン装置ＨＰから出力されても良い。本発明は以上の構成に限定されるものではなく、種々の変形が可能である。

本発明の第１の実施形態に係る移動通信端末装置と、ヘッドフォン装置が接続された構成を示すブロック図 本発明の第１の実施形態に係る移動通信端末装置の構成を示すブロック図。 本発明の第１の実施形態に係るテレビ処理部の詳細な構成を示す図。 本発明の第１の実施形態に係る近距離無線処理部の詳細な構成を示す図。 本発明の第１の実施形態に係るヘッドフォン装置の構成を示すブロック図。 本発明の第１の実施形態に係る映像バッファに記憶される復号された映像信号の形式の一例を示す図。 本発明の第１の実施形態に係る音声バッファに記憶される復号された音声信号の形式の一例を示す図。 本発明の第１の実施形態に係る制御部が遅延時間を推定する動作のフローチャート。 本発明の第２の実施形態に係る移動通信端末装置の構成を示すブロック図。 本発明の第２の実施形態に係る近距離無線処理部の詳細な構成を示す図。 本発明の第２の実施形態に係る制御部が遅延時間を推定する動作のフローチャート。 本発明の第３の実施形態に係るヘッドフォン装置の構成を示すブロック図。 本発明の第３の実施形態に係る制御部が遅延時間を推定する動作のフローチャート。

符号の説明

ＭＳ 移動通信端末装置
ＨＰ ヘッドフォン装置
ＢＴ 近距離無線通信回線
１１、５１、５１−３ 制御部
１５ 表示部
２１ テレビ処理部
２２ 映像バッファ
２２ａ 復号された映像信号
２２ｂ、２４ｂ ＰＴＳ
２２ｃ 映像フレーム信号
２３ ＳＴＣ部
２４ 音声バッファ
２４ａ 復号された音声信号
２４ｃ 音声フレーム信号
３１ 映像再生部
４１ 音声データ切替部
４２、５６ 音声再生部
４２ａ、５６ａ スピーカ
４３、４３−２ 近距離無線処理部
４３ａ、４３ａ２ 音声符号化部
４３ｂ、５４ 符号化音声バッファ
４３ｃ、５３、５３−３ 近距離無線送受信部
４３ｄ、５２ 近距離無線通信部
４４ マイクロフォン
５５、５５−３ 音声復号化部

Claims (7)

1. 映像データと、その映像データが表示される時刻と、音声データと、その音声データが出力される時刻とからなるコンテンツの映像データを表示し、かつ、そのコンテンツの音声データを音声出力装置に出力させる映像表示装置であって、
   映像データを表示する表示手段と、
   前記音声出力装置と近距離無線回線を介して通信する近距離無線処理手段と、
   前記近距離無線処理手段が音声データを前記音声出力装置へ送信する処理を開始した時刻と、その音声出力装置からその音声データを出力した旨の通知を前記近距離無線処理手段が受信した時刻との差によって音声遅延時間を推定する音声遅延時間推定手段と、
   映像データをその映像データが表示される時刻と映像遅延時間とを加えた時刻に前記表示手段に表示させ、かつ、音声データを前記音声出力装置へ送信する処理を、その音声データが出力される時刻から前記音声遅延時間を減じて前記映像遅延時間を加えた時刻に前記近距離無線処理手段に開始させる映像音声同期制御手段とを有する
   ことを特徴とする映像表示装置。
2. 前記音声遅延時間推定手段は、前記近距離無線処理手段が前記近距離無線回線を介して前記通知を前記音声出力装置から受信する時間を減じることによって前記音声遅延時間を補正する
   ことを特徴とする請求項１に記載の映像表示装置。
3. 映像表示装置と近距離無線回線を介して通信する近距離無線処理手段と、
   前記近距離無線処理手段によって受信された音声データをスピーカから出力する音声出力手段と、
   前記音声出力手段が所定の識別情報が付加された音声データを出力した際、その音声データを出力した旨を前記近距離無線処理手段を制御して前記映像表示装置に通知させる映像音声同期制御手段とを有する
   ことを特徴とする音声出力装置。
4. 映像データと、その映像データが表示される時刻と、音声データと、その音声データが出力される時刻とからなるコンテンツの映像データを表示し、かつ、そのコンテンツの音声データを音声出力装置に出力させる映像表示装置であって、
   映像データを表示する表示手段と、
   前記音声出力装置と近距離無線回線を介して通信する近距離無線処理手段と、
   マイクロフォンと、
   前記近距離無線処理手段が音声データを前記音声出力装置へ送信する処理を開始した時刻と、前記マイクロフォンがその音声データが出力された音声を入力した時刻との差によって音声遅延時間を推定する音声遅延時間推定手段と、
   映像データをその映像データが表示される時刻と映像遅延時間とを加えた時刻に前記表示手段に表示させ、かつ、音声データを前記音声出力装置へ送信する処理を、その音声データが出力される時刻から前記音声遅延時間を減じて前記映像遅延時間を加えた時刻に前記近距離無線処理手段に開始させる映像音声同期制御手段とを有する
   ことを特徴とする映像表示装置。
5. 映像データと、その映像データが表示される時刻と、音声データと、その音声データが出力される時刻とからなるコンテンツの映像データを表示し、かつ、そのコンテンツの音声データを音声出力装置に出力させる映像表示装置であって、
   映像データを表示する表示手段と、
   前記音声出力装置と近距離無線回線を介して通信する近距離無線処理手段と、
   前記近距離無線処理手段が音声データを前記音声出力装置へ送信する処理を開始してから終了するまでの時間と、前記近距離無線処理手段が前記音声出力装置から受信した前記音声出力装置が音声データを受信してから、その音声データを出力するまでの測定された時間との和によって音声遅延時間を推定する音声遅延時間推定手段と、
   映像データをその映像データが表示される時刻と映像遅延時間とを加えた時刻に前記表示手段に表示させ、かつ、音声データを前記音声出力装置へ送信する処理を、その音声データが出力される時刻から前記音声遅延時間を減じて前記映像遅延時間を加えた時刻に前記近距離無線処理手段に開始させる映像音声同期制御手段とを有する
   ことを特徴とする映像表示装置。
6. 前記音声遅延時間推定手段は、前記近距離無線処理手段が前記近距離無線回線を介して前記音声データを前記音声出力装置へ送信する時間を加えることによって前記音声遅延時間を補正する
   ことを特徴とする請求項５に記載の映像表示装置。
7. 映像表示装置と近距離無線回線を介して通信する近距離無線処理手段と、
   前記近距離無線処理手段によって受信された音声データをスピーカから出力する音声出力手段と、
   前記近距離無線処理手段が音声データを受信してから前記音声出力手段がその音声データを出力までの時間を測定し、その時間を前記近距離無線処理手段を制御して前記映像表示装置に通知させる映像音声同期制御手段とを有する
   ことを特徴とする音声出力装置。

Images