[go: up one dir, main page]

JP2005027120A - Two-way data communication system - Google Patents

Two-way data communication system Download PDF

Info

Publication number
JP2005027120A
JP2005027120A JP2003191394A JP2003191394A JP2005027120A JP 2005027120 A JP2005027120 A JP 2005027120A JP 2003191394 A JP2003191394 A JP 2003191394A JP 2003191394 A JP2003191394 A JP 2003191394A JP 2005027120 A JP2005027120 A JP 2005027120A
Authority
JP
Japan
Prior art keywords
terminal device
data
image
image data
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003191394A
Other languages
Japanese (ja)
Inventor
Masaharu Yanagidate
昌春 柳舘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2003191394A priority Critical patent/JP2005027120A/en
Publication of JP2005027120A publication Critical patent/JP2005027120A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】受像側で撮像モジュールを制御して撮像モジュールからの画像送信を可能にすると共に、消費電力の低減を図る。
【解決手段】被写体を撮像して画像データを生成する撮像端末装置１００Ａと、前記画像データを表示する受像端末装置とを有し、前記撮像端末装置１００Ａと受像端末装置の間で相互にデータの送信及び受信を行う双方向データ通信システムであって、前記撮像端末装置１００Ａは、１画面分の前記画像データを送信する期間と前記受像端末装置から送信される自らに対する制御データを受信する期間とを併せた期間が、前記受像端末装置による、１画面分の前記画像データの表示期間と略同一となるように、送信する１画面分の前記画像データを時間圧縮することを特徴とする。
【選択図】 図１An image pickup module is controlled on an image receiving side to enable image transmission from the image pickup module and to reduce power consumption.
An image capturing terminal device 100A that captures an image of a subject and generates image data and an image receiving terminal device that displays the image data, and the data of the data are mutually exchanged between the image capturing terminal device 100A and the image receiving terminal device. A bidirectional data communication system that performs transmission and reception, wherein the imaging terminal device 100A transmits a period of the image data for one screen and a period of receiving control data for itself transmitted from the image receiving terminal apparatus. The image data for one screen to be transmitted is time-compressed so that the combined period is substantially the same as the display period of the image data for one screen by the image receiving terminal device.
[Selection] Figure 1

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像を撮像し送信すると共に、撮像側と受信側の双方からの制御データの通信を可能とした双方向データ通信システムに関する。
【０００２】
【従来の技術】
従来、各種通信システムが開発されている。伝送路の大容量化及び双方向性によって、画像信号についても双方向に伝送されるようになってきた。このような画像データを伝送する双方向データ通信システムとしては、例えば、特許文献１（特開平７−２０３３９９号公報）に記載のものがある。特許文献１の装置は、デジタル化した映像信号や制御信号の双方向伝送を可能にするものである。
【０００３】
【特許文献１】
特開平７−２０３３９９号公報
【０００４】
【発明が解決しようとする課題】
ところで、通信システムを撮像装置に適用することで、撮像画像の画像伝送を可能にした装置も開発されている。撮像モジュールに双方向の無線通信機能を付加することで、このような画像伝送が可能となる。特に、近年、撮像モジュールの小型化が促進されており、双方向の無線通信機能を付加した撮像モジュールを利用して、体内で使用可能なカプセル内視鏡を製造することが可能である。
【０００５】
カプセル内視鏡においては、モジュールの活動停止の指示や活動再開の通知等を行うための双方向通信機能が必要である。また、伝送エラー発生時にエラーの発生を検出して再送信を行うための効果的な伝送エラー対応機能も求められている。
【０００６】
しかしながら、上記特許文献１等の従来の双方向データ通信システムにおいては、アナログ信号の伝送や不定期に起こるエラー処理に対応する具体的な手段は開示されていない。
【０００７】
また、撮像モジュールの低消費電力化によって、装置の電池駆動が可能である。ところが、無線通信機能を付加した撮像装置では、通信回路における消費電力が大きいことから、長時間の画像伝送ができない。上記特許文献１等の従来の双方向データ通信システムにおいては、省エネルギー化のための実現手段は提示されていない。
【０００８】
従って、特許文献１等の従来の双方向データ通信システムをカプセル内視鏡に適用したとしても、撮像装置の消費電力を少なくし、かつ撮像モジュールを制御すると共に伝送時に発生するエラーを効果的に防止することはできない。
【０００９】
本発明は、モジュールを制御するための双方向通信機能及び伝送エラーに対応するための再送信機能を有すると共に、消費電力の削減を可能にすることができる双方向データ通信システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記課題を解決するために、本発明の請求項１に記載の双方向データ通信システムは、被写体を撮像して画像データを生成する撮像端末装置と、前記画像データを表示する受像端末装置とを有し、前記撮像端末装置と受像端末装置の間で相互にデータの送信及び受信を行う双方向データ通信システムであって、前記撮像端末装置は、１画面分の前記画像データを送信する期間と前記受像端末装置から送信される自らに対する制御データを受信する期間とを併せた期間が、前記受像端末装置による、１画面分の前記画像データの表示期間と略同一となるように、送信する１画面分の前記画像データを時間圧縮することを特徴とする。
【００１１】
また、本発明の請求項２に記載の双方向データ通信システムは、請求項１において、前記撮像端末装置は、前記画像データをアナログ信号で送信することを特徴とする。
【００１２】
また、本発明の請求項３に記載の双方向データ通信システムは、請求項１において、前記撮像端末装置は、１画面分の前記画像データを送信する期間内であって、前記画像データの送信及び前記制御データの受信が行われている期間とは異なる期間に、自らの動作状態を示す応答データを送信することを特徴とする。
【００１３】
また、本発明の請求項４に記載の双方向データ通信システムは、請求項１において、前記受像端末装置は、受信した前記画像データに対し、送信に係るエラー検出を行うことを特徴とする。また、請求項５は、請求項４において、前記受像端末装置は、前記エラー検出を、受信した前記画像データ中のエラー検出対象画素とその周辺画素との比較で行うことを特徴とし、請求項６は、請求項４において、前記受像端末装置は、前記エラー検出を、受信した前記画像データ中のエラー検出対象画素と、先行して受信した前記画像データ中のエラー検出対象画素及び周辺画素との比較により行うことを特徴とする。
【００１４】
また、本発明の請求項７に記載の双方向データ通信システムは、請求項４において、前記撮像端末装置は、１画面分の画像データを複数のブロックに分割したデータブロック単位で送信を行うと共に、前記受像端末装置は、前記エラー検出をこのデータブロック単位で行い、エラーが検出された前記データブロックに対しては、対応するデータブロックの再送信を要求する命令を前記制御データの一部として送信することを特徴とする。
【００１５】
また、本発明の請求項８に記載の双方向データ通信システムは、請求項４において、前記撮像端末装置は、その受光面にカラーフィルタが貼付されていない固体エリアセンサと、複数の色成分の各々を順次発光する発光装置を有し、前記撮像端末装置は、各色成分を順次発光して得られた各色成分に対応する各画像データを送信すると共に、前記受像端末装置は、エラーが検出された色成分の画像データに対しては、エラーが検出されたエリアに係る、同色の画像データの再送信を要求する命令を前記制御データの一部として送信することを特徴とする。
【００１６】
また、本発明の請求項９に記載の双方向データ通信システムは、請求項２において、前記撮像端末装置は、その受光面にカラーフィルタが貼付された固体エリアセンサを有し、前記撮像端末装置は、この固体エリアセンサに対して、前記カラーフィルタ上の同色部分に対応する画素を選択して読み出しを行うことを特徴とする。
【００１７】
また、本発明の請求項１０に記載の双方向データ通信システムは、請求項９において、前記撮像端末装置は、前記撮像素子に対して、画素を間引いて読み出しを行うことを特徴とする。
【００１８】
また、本発明の請求項１１に記載の双方向データ通信システムは、請求項９において、前記撮像端末装置は、前記撮像素子に対して、特定のエリアの画素から読み出しを行うことを特徴とする。
【００１９】
また、本発明の請求項１２に記載の双方向データ通信システムは、請求項３において、前記撮像端末装置は、自らの主要な部分の動作を停止する、前記制御データにより起動可能なスリープモードを有し、このスリープモードを解除したとき、前記応答データにスリープモードが終了したことを示すコマンドを含めて送信することを特徴とする。
【００２０】
また、本発明の請求項１３に記載の双方向データ通信システムは、請求項２において、前記撮像端末装置は、前記受像端末装置が受信した前記画像データに含まれる送信歪を検出するための基準信号を作成する基準信号作成装置を有し、一方、前記受像端末装置は、受信した前記基準信号に基づき、前記送信歪を画像データから除去するための補正テーブルを生成する補正テーブル作成装置を有することを特徴とする。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１乃至図１７は本発明の第１の実施の形態に係り、図１は撮像端末装置を示すブロック図であり、図２は受信端末装置の構成を示すブロック図であり、図３は送信ブロックの構成を示す説明図であり、図４は通信時の信号配置を示す説明図であり、図５は画像信号の送信タイムチャートであり、図６は撮像シーケンスを示すシーケンス図であり、図７はＣＭＯＳセンサの画素構成と読み出し順を説明するための説明図であり、図８は入射光量を示すグラフであり、図９及び図１０はセンサ出力を示すグラフであり、図１１は通信の総合特性を示すグラフであり、図１２は基準波形を示す波形図であり、図１３は送信回路の送信特性を示すグラフであり、図１４は図２中の画像エラー検出／補正回路２２の具体的な構成を示すブロック図であり、図１５は画像エラーの検出フローを示すフローチャートであり、図１６は更新領域を示す説明図であり、図１７は画像信号の送信タイムチャートである。
【００２２】
本実施の形態は、本発明を体内で使用されるカプセル内視鏡の如く、発光機構からの光のみを受光する装置に適用した場合を例に説明する。
【００２３】
本実施の形態に係る双方向データ通信システム１００は、図１に示す撮像端末装置１００Ａと、図２に示す受像端末装置１００Ｂとからなる。
【００２４】
図１は、撮像端末装置１００Ａの構成を示したものである。
【００２５】
１は、ＣＭＯＳセンサ２の受光面に被写体像を結像させるためのレンズユニット、２は、受光面に結像された被写体像を各画素毎に光電変換してアナログの画像データとして出力するＣＭＯＳセンサ、３は、画像データの、受像端末装置１００Ｂへの伝送において発生する歪を補正し、データの直線性を保持するために使用する基準信号を発生する基準信号回路である。この基準信号は、適宜出力される。
【００２６】
４は、制御回路１１から送られてくる、応答データを含む送信用の各種データを一時格納するための送信バッファである。応答データの内容としては、撮像端末装置１００Ａ自体の動作モードや、受像端末装置１００Ｂからの動作指示に対する応答メッセージであり、何れも、制御回路１１が、デジタルデータとして受像端末装置１００Ｂに伝送するデータである。なお、応答データはデジタルデータであるため、エラー検出／訂正は、通常のエラー訂正コード（ＥＣＣ）の付加で行う。制御回路１１は、ＥＣＣを制御データに付加した後に送信バッファ４に格納する。なお、ＥＣＣの付加やエラー訂正の具体的方法の詳細については公知であるので、ここでの説明は省略する。
【００２７】
５は、ＣＭＯＳセンサ２からの画像データ、基準信号回路３からの信号、送信バッファ４からの信号が夫々入力され、制御回路１１による制御の下、これら３つの入力から１入力を選択して送信回路６に出力するセレクタ、６は、セレクタ５から出力された信号を搬送波により変調する送信回路、７は、送信回路６からの信号にＳＡＷ（Ｓｕｒｆａｃｅ Ａｃｏｕｓｔｉｃ Ｗａｖｅ）フィルタ処理を行うためのＳＡＷフィルタである。
【００２８】
８は、ＳＡＷフィルタ７からの信号を後述する受像端末装置１００Ｂに送信、または、受像端末装置１００Ｂからの信号を受信するためのアンテナである。ここで、受信する信号としては、受像端末装置１００Ｂから撮像端末装置１００Ａに対して行う動作指示用の制御データである。９は、受信した信号をデジタル信号のデータ列に変換するための受信回路、１０は、受信回路９からの信号を一時格納するための受信バッファ、１１は、撮像端末装置内の動作を制御するための制御回路、１２は、被写体に対して撮像光を照射する発光機構であり、制御回路１１により、その発光タイミング、光量、発光色等が制御されている。１３は、撮像端末がスリープ状態になった時にスリープ時間が設定され、スリープ時間経過後、制御回路１１を起動（ウエイクアップ）するためのスリープタイマーである。
【００２９】
図２は、受像端末装置１００Ｂの構成を示したものである。
【００３０】
受像端末装置１００Ｂは、操作者の要求に応じて、撮像端末装置１００Ａに各種動作を指示すると共に、撮像端末装置１００Ａからの画像データを受信／表示する機能を持っている。
【００３１】
ここで、１４は、撮像端末装置１００Ａから送信された画像データや応答データを受信、または、撮像端末装置１００Ａに対して制御データを送信するためのアンテナ、１５は、アンテナ１４にて受信した信号に対してＳＡＷフィルタ処理を行ったり、後述する送信回路３４からの信号に対してＳＡＷフィルタ処理を行うためのＳＡＷフィルタ、１６は、ＳＡＷフィルタ１５を経た信号を復調するための受信回路である。
【００３２】
１７は、受信した信号が画像データ、または、基準信号のときには、ＡＤ変換回路１８を、応答データのときには、２値化回路２４を、夫々選択して出力するセレクタ、１８は、セレクタ１７からの信号をアナログ−デジタル変換するＡＤ変換回路、１９は、ＡＤ変換回路１８から入力される信号が画像データのときには補正回路２１に、基準信号のときには補正テーブル作成回路２０に、夫々切り換えて出力するセレクタである。
【００３３】
２０は、セレクタ１９から入力される基準信号を基に、撮像端末装置１００Ａから受像端末装置１００Ｂへの画像データの伝送に伴う伝送歪を取り除き、受信した画像データが元の基準信号になるような、入力／出力間の変換テーブルの値を作成し、補正回路２１に格納する補正テーブル作成回路である。画像データの伝送歪は、撮像端末装置１００Ａと受像端末装置１００Ｂの位置関係や周囲状況によって変化するが、この操作を随時行うことにより、それらの影響が全てまとめて補正される。２１は、補正テーブルを基に、セレクタ１９から入力される画像データに含まれる伝送歪を取り除く補正回路である。
【００３４】
２２は、補正回路２１から入力された画像信号に対して、伝送中に生じたエラーの検出と補正を行う画像エラー検出／補正回路である。画像エラー検出／補正回路２２によるエラーの検出は、フレームメモリ２３に格納されている、前に伝送されたフレームの画像データとの比較で行い、エラー検出結果に応じて、画像データの補正や、ＣＰＵ３２による撮像端末装置１００Ａに対する画像データの再送信要求出力が行われる。２３は、画像エラー検出／補正回路２２からの画像データを格納するためのフレームメモリである。
【００３５】
２４は、セレクタ１７から入力される応答データを２値化してデジタルデータに変換する２値化回路、２５は、２値化回路２４からの出力を一時格納する受信バッファ、２６はバスである。
【００３６】
２７は、バス２６を介して入力された画像データ等を格納するワークメモリ、２８は、バス２６を介して入力される表示用の画像データを格納する表示メモリ、２９は、表示メモリ２８に格納されている画像データを元にＬＣＤ３０を駆動して画像データを表示させる表示回路である。
【００３７】
３１は、操作者が各種操作命令を入力するための操作ボタンである。３２は、操作ボタン３１により指示された命令を解釈し、それが撮像端末装置１００Ａに対するものであるときには、その命令に対応する制御データを作成し、バス２６を介して送信バッファ３３に書き込んだり、それ以外の、受像端末装置１００Ｂ内の動作の制御を行ったりするＣＰＵである。
【００３８】
３３は、撮像端末装置１００Ａに対して送信するデータを一時格納するための送信バッファ、３４は、送信バッファ３３に格納されているデータを搬送波により変調する送信回路である。３５は、ワークメモリ２７に格納されている画像データに対して各種の画像処理を実行する画像処理回路であり、表示用のＹ、Ｃｂ、Ｃｒデータへの変換、圧縮データへの変換等を行う。画像処理回路３５により変換されたデータは、表示用のＹ、Ｃｂ、Ｃｒデータであれば表示メモリ２８に、圧縮データであればメモリカード等の画像記録媒体３６に、夫々、バス２６を介して格納或いは書き込まれる。
【００３９】
次に、動作について説明する。
【００４０】
ここで、受像端末装置１００Ｂは、撮像端末装置１００Ａから、撮像可能なモードであることを示す応答データを既に受信しているものとする。
【００４１】
まず、受像端末装置１００Ｂにおいて、操作者から操作ボタン３１を介して撮像が指示されると、ＣＰＵ３２は、撮像端末装置１００Ａに対して撮像を指示する制御データを作成し、送信バッファ３３に書き込む。送信バッファ３３に書き込まれた制御データは、送信回路３４、ＳＡＷフィルタ１５、及びアンテナ１４を経て送信される。
【００４２】
受像端末装置１００Ｂから送信された撮像を指示する制御データは、撮像端末装置１００Ａにおいて、先ず、アンテナ８により受信され、ＳＡＷフィルタ７、及び受信回路９を経てデジタル信号のデータ列に変換された後、受信バッファ１０に格納される。受信バッファ１０に格納された制御データは、制御回路１１により読み出され、撮像動作が開始される。
【００４３】
撮像動作においては、まず、レンズユニット１によってＣＭＯＳセンサ２上に結像されている被写体像が各画素毎にアナログ信号に変換される。ＣＭＯＳセンサ２は、各画素から画素データを読み出し、アナログ信号のまま画像データとしてセレクタ５に出力する。画像データは、セレクタ５を介して送信回路６に出力され、送信回路６にて搬送波により変調された後に、ＳＡＷフィルタ７に出力される。そして、ＳＡＷフィルタ７にて処理された画像データは、アナログ信号のままアンテナ８により送信される。一方、基準信号回路３からは、適宜、基準信号が出力され、この基準信号は、セレクタ５、送信回路６、及びＳＡＷフィルタ７を経てアンテナ８により送信されている。
【００４４】
撮像端末装置１００Ａから送信されたアナログ信号のままの画像データは、受像端末装置１００Ｂにおいて、アンテナ１４により受信され、ＳＡＷフィルタ１５、受信回路１６、及びセレクタ１７を経てＡＤ変換回路によりデジタル信号に変換された後に、セレクタ１９を経て補正回路２１に入力される。補正回路２１は、先行して受信した基準信号を基に補正テーブル作成回路２０において作成されて格納された変換テーブルを用い、入力された画像データ中に含まれる伝送歪を取り除き、画像エラー検出／補正回路２２に出力する。
【００４５】
画像エラー検出／補正回路２２は、入力された画像データと、先に受信し、フレームメモリ２３に格納されている画像データとを比較し、エラー検出を行う。エラー検出結果に応じて、画像データの補正や、ＣＰＵ３２による撮像端末装置１００Ａに対する画像データの再送信要求出力等の処理が行われる。これらの詳しい処理については、後述する。
【００４６】
画像エラー検出／補正回路２２からの、処理後の画像データは、フレームメモリ２３に格納されると共に、バス２６を介してワークメモリ２７にも格納される。ワークメモリ２７に格納された画像データは、バス２６を介して画像処理回路３５に読み出され、表示用のＹ、Ｃｒ、Ｃｂデータに変換された後に表示メモリ２８に格納される。表示メモリ２８に格納された表示用のデータは、表示回路２９によりＬＣＤ３０に表示される。ここで、操作ボタン３１により画像記録媒体３６への画像データの記録が指示されたときには、フレームメモリ２３からバス２６を介して画像データが画像処理回路３５に読み出され、圧縮データに変換された後、画像記録媒体３６に記録される。
【００４７】
以上のようにして、被写体の撮像、送信、受信、表示または記録が行われる。
【００４８】
次に、本システムの動作について、以下、図面を用いて詳細に説明する。
【００４９】
従来、ＣＣＤ等のエリアセンサからの動画像データの読み出しにおいては、フレームレートに合せて１画面毎に連続的に読み出しを行うのが一般的であるが、図３に示すように、本実施の形態においては、ＣＭＯＳセンサ２の１画面を４つのデータブロックＡ〜Ｄに分け、各データブロック毎に画素データを連続的に読み出して出力する。例えば、ＣＭＯＳセンサ２が、有効画素が水平６４８、垂直４８８の構成であるとすると、各データブロックの大きさは、水平６４８、垂直１２２の構成となる。
【００５０】
さらに、図４に示すように、データブロック間に、撮像端末装置１００Ａと受信端末装置１００Ｂとの間で制御データ及び応答データの通信を行うための期間を設けると共に、１画面の最後のデータブロック（図４では、データブロックＤ）送信後から次の１画面のデータ送信開始までの間に、制御データにより再送信が要求されたデータブロックの送信を行うための期間を設けている。
【００５１】
このように、各データブロックの送信、制御データ及び応答データの通信、及び再送信を以って、１画面分の画像データに対する一連の処理が完了する。本実施の形態においては、この一連の処理にかかる期間が、受像端末装置１００Ｂによる１画面分の画像データの表示期間（１フレーム期間）と略同一となるように設定する。具体的には、制御データ及び応答データの通信、及び再送信の実行に見合う分、各データブロックに係る画素データを高速に読み出して出力する。換言すれば、画素データをデータブロック毎に高速に読み出すことによって生じる画像データの送信の空き時間に、制御データ及び応答データの通信、再送信を行うものである。
【００５２】
また、上述のように、各データブロックの間に、制御データ及び応答データを通信可能な期間を設けることにより、制御データに対するレスポンスを向上させている。即ち、制御データに対する応答データの送信、その応答データに基づいた制御データの再送信、等が１フレーム期間内で複数回実行可能となっているので、速やかな制御が可能である。例えば、本実施の形態では図示していないが、撮像端末装置１００Ａにズーム機構等のメカ部材が装着され、受像端末装置１００Ｂから、それらのメカ部材の駆動を制御するための命令を制御データとして送信し、一方、撮像端末装置１００Ａから、その制御データに対する駆動結果や現在の位置等を応答データとして送信するように構成する場合に好適である。
【００５３】
さらに、応答データを送信するタイミングは、図４に示したように、撮像端末装置１００Ａが制御データを受信した後に設定されている。これは、受像端末装置１００Ｂからの状態問い合わせや動作指示に対し、撮像端末装置１００Ａが応答することが多いという事情を考慮したものであり、制御に対するレスポンスの向上を図るのに適した手順となっている。
【００５４】
また、最後のデータブロック（ここでは、データブロックＤ）を送信し終えた後、制御データにより再送信が要求されたデータブロックの送信を行うための期間が設けられている。これは、受像端末装置１００Ｂの画像エラー検出／補正回路２２のエラー検出結果に応じて対象データブロックを再送信するために設けられた期間であり、ここでは、１データブロック分が設定されている。ここで再送信されるデータブロックの画像データは、ＣＭＯＳセンサ２から該当するデータブロックの画素データを再度読み出すことで取得される。これは、ＣＭＯＳセンサ２が非破壊読み出し可能なセンサである特性を利用したもので、これにより、再送信用の画像データを格納するフレームメモリ回路を別途設けることなく、データブロックの再送信を可能としている。なお、この再送信期間の終了を待って、ＣＭＯＳセンサ２内の各画素の電荷が掃き出されるリセット動作が実行される。
【００５５】
なお、再送信の要求がないときには、この再送信期間は、後述するように、撮像端末装置１００Ａが、自らの主要な部分の動作を停止し、制御データにより起動可能なスリープモードとなる期間となる。
【００５６】
次に、撮像端末装置１００Ａの撮像動作と、受像端末装置１００ＢのＬＣＤ３０での画像表示との関係を、図５のタイミングチャートを用いて説明する。
【００５７】
撮像動作は、先ず、ＣＭＯＳセンサ２内の各画素に対応する電荷を掃き出すことでリセット動作が行われた後、発光機構１２による発光動作が行われ、ＣＭＯＳセンサ２の露光が行われる。本実施の形態では、図１に示すように、撮像端末装置１００Ａは、シャッタ等の外光の遮断手段を備えていない。ＣＭＯＳセンサ２は、通常、リセット期間以外は露光動作を行うものであるが、本実施の形態では、発光機構１２からの光以外の光はＣＭＯＳセンサ２に入光しない環境下において用いられているので、シャッタ等の外光の遮断手段を備えていなくとも、露光動作は、実質的に、発光機構１２の発光終了時点で終了していることになる。
【００５８】
発光機構１２による発光動作は、図５に示すように、周期的に行われ、それに伴って露光された画像データが、撮像端末装置１００Ａから受像端末装置１００Ｂに送信される。
【００５９】
受像端末装置１００Ｂは、図５に示したように、図４で説明した画像データの再送信期間の経過後に、受信した画像データから画像処理回路３５により表示用のデータを作成し、表示メモリ２８に書き込む。このように、画像処理回路３５による表示用のデータ作成を再送信が行われるか否かに係りなく、再送信期間の経過後に行うようにすることで、動作シーケンスを簡略化している。
【００６０】
そして、表示メモリ２８に書き込まれた画像データは、表示回路２９により読み出され、ＬＣＤ３０に表示される。
【００６１】
なお、表示メモリ２８には、２画面分のメモリエリアが用意されており、書込み完了後の所定の時間に表示が切り替えられるようになっている。
【００６２】
また、図５に示したように、表示用の画像データの作成を、再送信期間経過後、次画面のデータブロックの送信開始までの短期間で終了することで、表示の遅れを最小限にして表示することを可能としている。
【００６３】
次に、制御データ及び応答データの通信を含めた、撮像端末装置１００Ａと受像端末装置１００Ｂとの間の通信について、図６のタイミングチャートを用いて説明する。ここでは、撮像端末装置１００Ａは、周期的に制御データの受信処理だけを行い、それ以外の期間では、低消費電力モードとなる待機モードにあり、一方、受像端末装置１００Ｂは、操作者による指示待ちの状態になっているものとして説明を行う。
【００６４】
まず、操作者の操作により、受像端末装置１００Ｂは、撮像端末装置１００Ａに撮像動作の指示を行う「撮像指示動作」状態となり、撮像端末装置１００Ａを待機モードから撮像モードに変更する「撮像開始指示コマンド」を制御データとして送信する。
【００６５】
撮像端末装置１００Ａは、制御データとして「撮像開始指示コマンド」を受信すると、「撮像モード」に移行し、「撮像開始応答コマンド」を応答データとして受像端末装置１００Ｂに送信する。
【００６６】
受像端末装置１００Ｂは、応答コマンドとして撮像開始応答コマンドを受信すると、撮像端末装置１００Ａが撮像モードに移行したことを確認し、ＬＣＤ３０に動画像表示を行う「画像受信動作」状態となる。このように、撮像端末装置１００Ａが「撮像モード」、受像端末装置１００Ｂが「画像受信動作」状態のときには、図３〜図５で説明したように、撮像端末装置１００Ａと受像端末装置１００Ｂとの間で、画像データ、制御データ及び応答データ、が送信される。
【００６７】
ここで、撮像端末装置１００Ａに対するスリープ動作の指示を、操作者が受像端末装置１００Ｂに対して行うと、受像端末装置１００Ｂは、「スリープ指示動作」状態となり、スリープ動作の開始の指示とスリープ期間を示すデータとを含む「スリープ実施指示コマンド」を制御データとして撮像端末装置１００Ａに送信する。
【００６８】
撮像端末装置１００Ａは、制御データとして「スリープ実施指示コマンド」を受信すると、制御データ中で指定された時間、撮像端末装置１００Ａは、スリープ実行とスリープ終了時間を示すデータとを含む「スリープ開始応答コマンド」を応答データとして受像端末装置１００Ｂに送信した後、スリープ動作に移行する。前述したように、スリープタイマ１３の起動によりスリープ動作が終了すると、撮像端末装置１００Ａは、「スリープ終了応答コマンド」を応答データとして受像端末装置１００Ｂに送信して、スリープ動作の終了を通知する。送信後、撮像端末装置１００Ａは、待機モードに移行し、受像端末装置１００Ｂからの次の動作指示を待つ。
【００６９】
一方、受像端末装置１００Ｂは、「スリープ開始応答コマンド」を応答データとして受信した後に「スリープ終了待ち動作」状態となっており、ＬＣＤ３０に対してその旨の表示を行っている。ここで、受像端末装置１００Ｂは、「スリープ終了応答コマンド」を応答データとして受信すると、応答データを受信した時間と、内部に保持しているスリープ動作の終了予定時間とを比較する。
【００７０】
まだ終了予定時間が来ていないと判断した場合、ＣＰＵ３２が残り時間を計算し、計算された時間と共に、受像端末装置１００Ｂは、再度、撮像端末装置１００Ａに対して「スリープ実施指示コマンド」を制御データとして送信する。一方、終了予定時間を過ぎていると判断した場合、受像端末装置１００Ｂは、ＬＣＤ３０に撮像端末装置１００Ａのスリープ動作が終了したことを表示し、操作者に通知すると共に、撮像端末装置１００Ａに対して、スリープ解除後の予め決められた動作を実行させるためのコマンドを、制御データとして送信する。
【００７１】
終了予定時間通りである場合には、受像端末装置１００Ｂは、ＬＣＤ３０に撮像端末装置１００Ａのスリープ動作が終了したことを表示して操作者に通知し、「指示待ち」状態に移行する。
【００７２】
次に、ＣＭＯＳセンサ２からの画素データの読み出し方法について、図７乃至図１０を用いて説明する。
【００７３】
図７は、ＣＭＯＳセンサ２の有効画素の配列と、実際の読み出し方法を示したものである。ここでは、ＣＭＯＳセンサ２の画素は、ベイヤ配列で構成されているものとする。なお、ベイヤ配列は公知であるので、詳しい説明は省略する。
【００７４】
ベイヤ配列では、水平方向の色フィルタがＲＧＲＧＲＧ−−で構成されるラインと、ＧＢＧＢＧＢ−−−で構成されるラインが交互に並んでいる。通常行われる順次読出しでは、配列順にＲＧＲＧＲＧ−−の順、若しくはＧＢＧＢＧＢ−−の順に読み出されることになる。
【００７５】
本実施の形態は、ＣＭＯＳセンサ２からの画素データの読み出しを、ライン単位にライン上の同一色の画素を選択して連続に読み出すことに特徴がある。具体的には、ＲＧＲＧＲＧ−−のラインでは、ＲＲＲＲとライン上のＲ画素を全て読み出した後、ＧＧＧＧとＧ画素を読み出す。同様にして、ＧＢＧＢＧＢ−−−ラインでは、ＧＧＧＧとライン上のＧ画素を全て読み出した後、ＢＢＢＢＢとＢ画素を読み出す。なお、ＣＭＯＳセンサ２において、このような読み出しを行うためＣＭＯＳセンサの構造や読み出し回路については公知であるので、その説明は省略する。
【００７６】
以上のような読み出しを行い、送信を行うことによる効果を、図８乃至図１０を用いて説明する。
【００７７】
図８は、ＣＭＯＳセンサ２上のあるＲＧラインの光量分布の例である。
【００７８】
このとき、従来のように、ＲＧラインに対して順次読み出しを行った場合、その出力は、図９のようになる。ここでは、Ｒ画素とＧ画素の出力が大きく異なっているため、１画素毎に出力が大きく変動する。この状態のままアナログ信号として送信しようとする場合には、必要となる帯域は非常に広いものとなる。
【００７９】
一方、ＲＧラインの読み出しを本実施の形態のように行なった場合、その出力は、図１０のようになる。この場合、Ｒ画素の画素データが連続して出力された後に、Ｇ画素の画素データが連続して出力されるため、アナログ信号として伝送する場合に必要となる帯域は、順次読み出しを行った場合に比べ、狭くてよいことが判る。すなわち限られた帯域で、効率的な送信が可能となる。
【００８０】
なお、ここでは、ＣＭＯＳセンサ２の水平方向の画素を１４画素（Ｒ：７画素、Ｇ：７画素）として説明したが、実際には６４８画素となるので本方法による効果は更に大きくなる。
【００８１】
次に、画像データが送信される際に行われる、受像端末装置１００Ｂ側での伝送歪の除去手順について、図１１乃至図１３を用いて説明する。
【００８２】
図１１は、撮像端末装置１００Ａと受像端末装置１００Ｂとの間、より詳しくは、送信回路６と受信回路１６との間の通信特性を示した図である。撮像端末装置１００Ａにおける送信特性に、アンテナ８とアンテナ１４との間の伝送空間の特性と、受像端末装置１００Ｂのアンテナ１４、ＳＡＷフィルタ１５、及び受信回路１６の特性が加わり、複雑な特性となっている。図１３に、撮像端末装置１００Ａにおける送信特性（より詳しくは、送信回路６への入力とアンテナ８からの送信出力との入出力関係）の例を示す。ここでは、送信特性は、非線形なものとなっている。
【００８３】
本実施の形態では、図１２に示したような、予め定められた基準信号を基準信号回路３により作成して撮像端末装置１００Ａから送信し、受像端末装置１００Ｂは、受信した基準信号に基づき、補正回路２１を通過した基準信号が元の基準信号と一致するように、補正テーブル作成回路２０により補正回路２１に変換テーブルの値を設定する。具体的には、まず、撮像端末装置１００Ａから送信されてきた基準信号が、セレクタ１９を介して、補正テーブル作成回路２０に書き込まれる。基準信号は、図１２に示した如く、送信回路６への入力電圧を時間に対して直線的に変化させたものであるので、補正テーブル作成回路２０は、入力信号が元の基準信号となるように、変換テーブルの補正係数を補正回路２１に設定する。
【００８４】
このように変換テーブルが設定された補正回路２１を経ることにより、画像データは、伝送歪を除去されて、次の画像エラー検出／補正回路２２に送られる。
【００８５】
これにより、予め定められた演算式を用いて補正する必要がなくなり、回路構成を簡便なものとすることが可能となる。
【００８６】
ここで、画像データ、及び応答データの送信時に用いる出力について、図１３を用いて説明する。
【００８７】
図１３に示すように、アナログ信号である画像データの送信時には、図中ｉｖ−ａからｉｖ−ｃで示した広い範囲の入力レンジを使い、２値信号である制御信号の伝送時には、図中ｉｖ−ａからｉｖ−ｂで示した狭い範囲の入力レンジを使うようにすることで、電気エネルギーの効率的使用が図られる。
【００８８】
次に、画像エラー検出／補正回路２２にて行われる処理について、図１４乃至図１５を用いて説明する。
【００８９】
図１４は、画像エラー検出／補正回路２２の内部構成を示したものである。
【００９０】
３７は、補正回路２１から入力される現画像データと、フレームメモリ２３から入力される１画面前の前画像データとを比較することで伝送エラーを検出すると共に、伝送エラーと判定された画素に対しては、前画像データの画素データや現画像データ内の周辺画素を用いて公知の補間アルゴリズムを使用して補正データを作成して補正回路３８に出力する比較検出回路、３８は、比較検出回路３７からの補正データに基づき、現画像データの補正を行う補正回路、３９は、補正回路３８にて補正された画像データを一時格納するバッファである。
【００９１】
本実施の形態のような無線通信によるデータの送信では、伝送エラーは、比較的長い時間発生し、連続的にエラーとなるバーストエラーが多く発生する。その場合、水平方向の数ライン分のデータが欠落し、極端な値を取ることが多い。その場合、エラーが発生した部分は、１画面前の画面の同じ位置や同一画面内の上下のライン（周辺画素）との相関が極端に小さくなる。比較検出回路３７では、以上の知見に基づいた方法でエラーを検出するようにしているが、相関の違いによるエラーの検出方法自体のアルゴリズムは、種々考案されており公知であるので、ここでは説明を省略する。
【００９２】
次に、動作を説明する。
【００９３】
まず、入力された現画像データは、比較検出回路３７と補正回路３８に入力される。比較検出回路３７には、フレームメモリ２３から前画像データが入力されており、比較検出回路３７は、両画像データの比較から伝送エラーを検出すると共に、補正データを作成して補正回路３８に出力する。
【００９４】
補正回路３８に入力されている現画像データは、補正回路３８にて補正された後、バス２６を介してワークメモリ２７に書き込まれると共に、画像エラー検出／補正回路２２内のバッファ３９を通り、フレームメモリ２３にも書き込まれる。
【００９５】
ここで、画像データの伝送エラーの数は、各データブロック毎に比較検出回路３７に記憶される。この記憶された伝送エラーの数は、バス２６を介してＣＰＵ３２により取り出され、それに基づき、再送信の指示が行われる。
【００９６】
図１５は、伝送エラーの数に基づき、ＣＰＵにより行われる処理のフローチャートである。
【００９７】
ＣＰＵ３２は、１画面分の画像データが全て受信されるのを待ち（４０）、その後、画像エラー検出／補正回路２２内の比較検出回路３７から各データブロック毎の伝送エラー数を、バス２６を介して取り出す。何れのデータブロックにもエラーが検出されていなかった場合、再送信の要求はせず、再送信用の期間、撮像端末装置１００Ａをスリープ状態にするための処理（４３）を行う。
【００９８】
具体的には、最後のデータブロック（本実施の形態では、データブロックＤ）受信後に、ＣＰＵ３２は、スリープ命令とスリープ期間とを含む制御データを作成し、撮像端末装置１００Ａに対して送信する。撮像端末装置１００Ａは、その制御データを受信すると、スリープの実行及びスリープ期間とを含む応答データを受像端末装置１００Ｂに対して送信する。その後、撮像端末装置１００Ａは、スリープタイマ１３にスリープ期間をセットして、次の撮像開始までスリープ状態に入る。
【００９９】
伝送エラーが検出されている場合、ＣＰＵ３２は、最も伝送エラーの多かったデータブロックの再送信を撮像端末装置１００Ａに実行させる処理（４２）を行う。具体的には、最後のデータブロックを受信後、制御データの送信期間中に、ＣＰＵ３２は、再送信要求と対象となるデータブロックを指示した制御データを作成し、受像端末装置１００Ｂから撮像端末装置１００Ａに送信させる。撮像端末装置１００Ａは、その制御データを受信すると、再送信を行うこと及び再送信するデータブロックの種類を含む応答データを受像端末装置１００Ｂに送信する。その後、撮像端末装置１００Ａは、指示されたブロックの画像データを再送信する。
【０１００】
受像端末装置１００Ｂは、再送信されてきたデータに対してもエラー検出を同様に行い、伝送エラーの数が前回より少ない場合には、再送信されてきたデータブロックを使用し、エラーの数が前回よりも多かった場合には、前回のデータブロックを使用する。
【０１０１】
次に、一部の領域に注目して、その領域の更新を高速で行う高速表示モードでの動作について、図１６乃至図１７を用いて説明する。
【０１０２】
高速表示モードは、図１６に示したように撮像画面上に注目範囲を指定し、その部分に係るＬＣＤ３０上での表示を高速で更新するものである。ここでは、注目領域の更新をそれ以外の部分に比べ２倍の速度で行う場合について説明する。
【０１０３】
図１７は、その場合のタイムチャートである。
【０１０４】
まず、発光機構１２による発光が行われ、それに伴う画面全体の画像データが送信される。これは、図３乃至図５を用いて説明した内容と同様の手順で実施される。
【０１０５】
次の発光に伴う画像データの送信の際には、ＣＭＯＳセンサ２は、注目範囲の画素データのみを読み出し、注目範囲の画像データとして撮像端末装置１００Ａから送信される。受信した、注目範囲の画像データに対して、受像端末装置１００Ｂにて、上述のような伝送エラー検出が行われ、エラー発生時には、再送信が行われる。
【０１０６】
そして、受像端子装置１００Ｂは、受信した注目範囲の画像データから更新用の表示データを作成し、その更新用のデータが、ＬＣＤ３０上に表示されている前画面の注目範囲に書き込まれ、高速表示が実施される。
【０１０７】
図１７に示すように、注目範囲の画像データの送信と、通常画面の画像データの送信とが交互に行われ、注目範囲の画像データの更新が、それ以外の部分に比べ２倍の速度で行われる。
【０１０８】
なお、ここでは、ＬＣＤ３０上に表示されている画像全体の更新と注目範囲の更新を１対１の比率で行う例を示したが、撮像対象によって注目範囲の更新の比率をあげるようにすることは、勿論、可能である。
【０１０９】
なお、通常は、ＣＭＯＳセンサ２による動画像撮像を３０フレーム／秒のフレームレートで行うようにし、撮像端末装置１００Ａの駆動源である電池が消耗している時には、撮像端末装置１００Ａは、電池消耗状態であることを応答データを用いて受像端末装置１００Ｂに送信し、フレームレートの変更を可能としてもよい。この場合、撮像端末装置１００Ａは、受像端末装置１００Ｂからの制御データにより、フレームレートの低速化等の更なる省エネルギー動作を実施する。
【０１１０】
次に、本発明に係る第２の実施の形態を、図１８乃至図２０を用いて説明する。
【０１１１】
なお、第１の実施の形態と同一の構成のものについては、同一の符号を付してその説明を省略する。
【０１１２】
本実施の形態では、第１の実施の形態に対して、ＣＭＯＳ２及び発光機構１２の代わりに、カラーフィルタを貼付していないＣＭＯＳセンサ４５と、Ｒ、Ｇ、Ｂ光を順次発光する発光機構４４とを備えて、所謂、面順次方式によりカラー画像を得るようにしている。
【０１１３】
また、本実施の形態では、動画像撮像時には、そのフレームレートを上げるために、ＣＭＯＳセンサ４５は、画素を間引いて画素データを読み出す、所謂、間引き読み出しを行い、他方、操作者の指示により、シャッタトリガ動作による静止画像撮像時には、解像度を上げるために、ＣＭＯＳセンサ４５は、全画素の画素データの読み出しを行うようにすることで、必要に応じたフレームレートと解像度の切り替えを可能としている。
【０１１４】
さらに、本実施の形態では、伝送エラーへの対応として、データブロック毎に送信時の搬送波の周波数を変更する、所謂、周波数ホッピングを用い、再送信が要求された場合、伝送エラーを起こさなかった搬送波の周波数を選択し、該当するデータブロックを送信することにより、伝送エラーの確率を低減することを可能としている。
【０１１５】
次に、本実施の形態の双方向データ通信システム２００に用いられる撮像端末装置２００Ａ及び受像端末装置２００Ｂの各構成について説明する。
【０１１６】
図１８は、撮像端末装置２００Ａの構成を示したものである。
【０１１７】
上述の機能を実現するために、図１に示した撮像端末装置１００Ａに対して、Ｒ、Ｇ、Ｂ光を順次発光する発光機構４４と、カラーフィルタを貼付していないＣＭＯＳセンサ４５と、搬送波の周波数を変更する、所謂、「周波数ホッピング」の機能を実現するための搬送波作成回路４８と、送信回路４６と、受信回路４７とが異なる。
【０１１８】
図１９は、受像端末装置２００Ｂの構成を示したものである。
【０１１９】
ここでも、上述の機能を実現するために、図２に示した受像端末装置１００Ｂとは、復調用の周波数を作成する搬送波作成回路５１と、送信回路５０と、受信回路４９とが異なる
次に、本実施の形態に係る動作を、図２０に示す画像データの送信時のタイムチャートを用いて説明する。
【０１２０】
まず、撮像開始前に、受像端末装置２００Ｂから、搬送波の周波数の切り替え（ホッピング）パターンを指示する制御データが送信される。撮像端末装置２００Ａは、受信した制御データに含まれている切り替えパターンに従って各データブロックで用いられる搬送波の周波数を決定し、搬送波作成回路４８にセットする。また、この切り替えパターンは、受像端末装置２００Ｂ側の搬送波作成回路５１にもセットされる。
【０１２１】
撮像開始時、発光機構４４により、Ｒ、Ｇ、Ｂ、Ｒ、……の順に発光が行われ、ＣＭＯＳセンサ４５は、第１の実施の形態と同様に（図３参照）、各発光タイミングにおける１画面の画素データを４つのデータブロックに分けて読み出し、出力する。
【０１２２】
４つのデータブロックは、セレクタ５を経て送信回路４６に入力される。送信回路４６は、搬送波作成回路４８より入力される各データブロックに割り当てられた搬送波を用いて各データブロックを変調し、変調されたデータブロックは、ＳＡＷフィルタ７、アンテナ８を経て送信される。
【０１２３】
撮像端末装置２００Ａから送信されたデータブロックは、受像端末装置２００Ｂにおいて、アンテナ１４により受信され、ＳＡＷフィルタ１５を経て、受信回路４９に入力される。受信回路４９は、搬送波作成回路５１より入力される、変調を行った搬送波の周波数に対応した復調用の周波数を用いて各データブロックを復調する。
【０１２４】
復調されたデータブロックは、セレクタ１７を経てＡＤ変換回路１８によりデジタル信号に変換された後に、セレクタ１９を経て補正回路２１に入力される。補正回路２１は、入力されたデータブロック中に含まれる伝送歪を取り除き、画像エラー検出／補正回路２２に出力する。
【０１２５】
画像エラー検出／補正回路２２は、第１の実施の形態と同様なエラー検出を行い、その結果をデータブロック毎に保持する。ＣＰＵ３２は、その保持されているエラー検出結果を読み出して判定を行い、エラー発生時には、エラーの一番少なかったデータブロックで使用された周波数を再送信時に用いるように、制御データを用いて撮像端末装置２００Ａに対して指示を行う。エラーがなかった場合は、ＣＰＵ３２は、第１の実施の形態と同様に、撮像端末装置２００Ａに対して、再送信期間に対応する期間中、スリープ動作となるように制御データを送信する。
【０１２６】
以上のようにして、Ｒ、Ｇ、Ｂの各画像データを全て受信後、受像端末装置２００Ｂは、図２０に示すように、表示データ作成期間中に各色の画像データを用いて表示用の画像データを作成し、ＬＣＤ３０に表示する。
【０１２７】
なお、上記説明では、各データブロックの変調に用いる搬送波の周波数及び再送信用の搬送波の周波数を、受像端末装置２００Ｂからの指示に従って設定するようにしているが、撮像端末装置２００Ａ側で、予め各データブロックに用いる搬送波の周波数の順番を決めておき、再送信が指示されたときには、再送信が指示されたデータブロックの送信に用いた搬送波の周波数の順番を最後に移動させ、最初に来た搬送波の周波数を用いて、データブロックの再送信を行うようにしても良い。
【０１２８】
次に、本発明に係る第３の実施の形態を、図２１乃至図２３を用いて説明する。
【０１２９】
なお、第１の実施の形態と同一の構成のものについては、同一の符号を付してその説明を省略する。
【０１３０】
第１及び第２の実施の形態とは異なり、本実施の形態の双方向データ通信システム３００に用いる撮像端末装置３００Ａは、外光のある通常の環境下で用いられるもので、撮像時以外の期間にＣＭＯＳセンサ２に外光が入射しないように、そのためのシャッタユニット５２を備えるものである。動画像撮像時は、シャッタユニット５２は開放状態とし、静止画像撮像時は、シャッタユニット５２は閉−開−閉のシャッタトリガ動作を行う。
【０１３１】
以下、撮像端末装置３００Ａの構成と動作について説明する。
【０１３２】
図２１は、撮像端末装置３００Ａの構成を示したものである。
【０１３３】
撮像端末装置３００Ａは、レンズユニット１とＣＭＯＳセンサ２との間に、シャッタユニット５２が配置されている。シャッタユニット５２は、制御回路１１によりその動作の制御が行われる。
【０１３４】
図２３は、動画像撮像時のタイムチャートである。
【０１３５】
動画像撮像時、シャッタユニット５２は開放状態のままであるため、露光時間の違いを起こさせないために、第１の実施の形態のように複数のデータブロックに分割して送信することは行わず、撮像された画像データは、１画面分まとめて時間圧縮して読み出され、上述のような処理が行われた後、受像端末装置３００Ｂ（図示しないが、基本構成は、図２と同様なものである）に送信される。
【０１３６】
受像端末装置３００Ｂは、受信した画像データに対して第１又は第２の実施の形態で述べたような処理を行った後、伝送エラーの検出を行う。伝送エラーを検出した場合、伝送エラーの量が一定量以下なら、受像端末装置３００Ｂは、伝送エラーを起こした部分の画像データの領域の再送信を要求する制御データを撮像端末装置３００Ａに送信する。撮像端末装置３００Ａは、再送信を要求する制御データを受信すると、ＣＭＯＳセンサ２から、該当する領域の画像データを再度読み出して送信する。送信終了後、撮像端末３００Ａは、ＣＭＯＳセンサ２のリセット動作を行う。一方、受像端末装置３００Ｂは、再送信された画像データを受信すると、先の画像データと合わせて表示用の画像データの作成を行う。
【０１３７】
伝送エラーの量が一定以上の場合には、受像端末装置３００Ｂは、再送信を要求する制御データの送信は行わない。
【０１３８】
図２３は、受像端末装置３００Ｂ内のＣＰＵ３２が行う、エラー判定と再送信に係る処理を説明するためのフローチャートである。
【０１３９】
まず、ＣＰＵ３２は、１画面分の画像データが全て受信されるのを待ち（５３）、その後、画像エラー検出／補正回路２２内の比較検出回路３７から１画面内の伝送エラー数を読み出し、エラー判定を行う（５４）。
【０１４０】
エラーがないか、或いはエラーが多すぎて再送信が行えない場合、ＣＰＵ３２は、再送信の要求はせず、再送信期間に対応する期間、撮像端末装置３００Ａをスリープ状態にするための制御データを送信する処理（５６）を行う。なお、エラーが多すぎた場合、伝送エラーの量が一定量以上の場合、送信に必要な期間が再送信期間の最大許容時間を超えるので、ＣＰＵ３２は、その１画面の画像データを破棄するためのフラグの設定を行う（図示せず）。その後、その１画面の画像データは破棄される。
【０１４１】
一方、伝送エラーの量が再送信可能な量の場合、ＣＰＵ３２は、再送信を要求する範囲を決定し、その範囲と再送信の要求を含む制御データを送信させる（５５）。
【０１４２】
なお、静止画撮像時は、撮像端末装置３００Ａでの露光期間にシャッタユニット５２が動作する以外は、第１の実施の形態における動作と同様であるので、説明は省略する。
【０１４３】
【発明の効果】
以上説明したように、本発明の請求項１に記載の双方向データ通信システムによれば、画像データの伝送を時間圧縮して行うため、双方向のデータ通信の期間を設けることができる。また、請求項２によれば、画像データをアナログ信号で送るため、消費電力を低減することが可能となる。また、請求項３によれば、撮像端末装置からも応答データを送ることが可能となる。また、請求項４から６によれば、画像データに対するエラー検出を、受信した画像データの周辺画像や、先行して受信した画像データとの比較により行うため、撮像端末装置でのエラー訂正用コードの付加が不要となり、消費電力を低減することが可能となる。
【０１４４】
また、請求項７によれば、１画面分の画像データを複数のブロックに分け、ブロック単位でエラー検出と再送信を行うため、再送信等の手続きを容易に行うことができる。また、請求項８によれば、面順次の画像データの取得が可能になると共に、固体エリアセンサを用いることで、固体エリアセンサ自体にエラー発生時の再送信用の画像データを保存することが可能となるため、専用のメモリを備える必要がなくなり、部品点数の削減と、消費電力の低減が可能となる。
【０１４５】
また、請求項９によれば、狭い帯域での伝送が可能となるため、消費電力を低減でき、且つ、高品質な通信が可能になる。また、請求項１０によれば、間引き読み出しを行うことで、不要な部分の送信を行わなくて済むため、消費電力を低減することができる。また、請求項１１によれば、特定エリアからの読み出しを行うことで、不要な部分の送信を行わなくて済むため、消費電力を低減することができる。
【０１４６】
また、請求項１２によれば、制御データによる指示がない場合、撮像端末装置はスリープモードに移行して自らの主要な部分の動作を停止し、スリープモード解除後には、スリープモードが解除されたことを受像端末装置に送信し、新たな撮像を開始することが可能であるため、撮像端末装置の消費電力を低減することができる。また、請求項１３によれば、予め判っている基準信号送り、それに基づいて送信データの線形性を保証するための補正テーブルを作成し、この補正テーブルを用いて送信されてきた画像データを補正するため、消費電力の少ない非線形の送信／受信装置を使った場合でも、線形性を保ってアナログの画像データの送信が可能となる。
【図面の簡単な説明】
【図１】本発明に係る双方向データ通信システムに採用される撮像端末装置を示すブロック図。
【図２】本発明に係る双方向データ通信システムに採用される受像端末装置を示すブロック図。
【図３】送信ブロックの構成を示す説明図。
【図４】通信時の信号配置を示す説明図。
【図５】画像信号の送信タイムチャート。
【図６】撮像シーケンスを示すシーケンス図。
【図７】ＣＭＯＳセンサの画素構成と読み出し順を説明するための説明図。
【図８】入射光量を示すグラフ。
【図９】センサ出力を示すグラフ。
【図１０】センサ出力を示すグラフ。
【図１１】通信の総合特性を示すグラフ。
【図１２】基準波形を示す波形図。
【図１３】送信回路の送信特性を示すグラフ。
【図１４】図２中の画像エラー検出／補正回路２２の具体的な構成を示すブロック図。
【図１５】画像エラーの検出フローを示すフローチャート。
【図１６】更新領域を示す説明図。
【図１７】画像信号の送信タイムチャート。
【図１８】第２の実施の形態に採用される撮像端末装置を示すブロック図。
【図１９】第２の実施の形態に採用される受像端末装置を示すブロック図。
【図２０】画像信号の送信タイムチャート。
【図２１】第３の実施の形態に採用される撮像端末装置を示すブロック図。
【図２２】画像信号の送信タイムチャート。
【図２３】画像信号のエラー検出プログラムを示すフローチャート。
【符号の説明】
２…ＣＭＯＳセンサ、３…基準信号回路、５，１７，１９…セレクタ、６，３４…送信回路、８，１４…アンテナ、９，１６…受信回路、１１…制御回路、１２…発光機構、２０…補正テーブル作成回路、２１…補正テーブル、２２…画像エラー検出／補正回路、２９…表示回路、３０…ＬＣＤ、３２…ＣＰＵ。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a bidirectional data communication system that captures and transmits a moving image and enables communication of control data from both the imaging side and the receiving side.
[0002]
[Prior art]
Conventionally, various communication systems have been developed. Due to the increased capacity and bidirectionality of the transmission path, image signals have also been transmitted bidirectionally. An example of such a bidirectional data communication system for transmitting image data is disclosed in Patent Document 1 (Japanese Patent Laid-Open No. 7-203399). The apparatus of Patent Document 1 enables bidirectional transmission of digitized video signals and control signals.
[0003]
[Patent Document 1]
Japanese Patent Laid-Open No. 7-203399
[0004]
[Problems to be solved by the invention]
By the way, an apparatus that enables image transmission of a captured image by applying a communication system to an imaging apparatus has been developed. By adding a bidirectional wireless communication function to the imaging module, such image transmission is possible. In particular, in recent years, downsizing of imaging modules has been promoted, and it is possible to manufacture a capsule endoscope that can be used in the body by using an imaging module to which a bidirectional wireless communication function is added.
[0005]
The capsule endoscope requires a bidirectional communication function for instructing to stop the activity of the module, notifying the resumption of the activity, and the like. There is also a need for an effective transmission error response function for detecting the occurrence of an error and performing retransmission when a transmission error occurs.
[0006]
However, in the conventional bidirectional data communication system such as Patent Document 1 described above, no specific means corresponding to the transmission of an analog signal or error processing that occurs irregularly is disclosed.
[0007]
In addition, the device can be driven by a battery by reducing the power consumption of the imaging module. However, an imaging apparatus with a wireless communication function cannot transmit images for a long time because of the large power consumption in the communication circuit. In the conventional bidirectional data communication system such as Patent Document 1 described above, no means for realizing energy saving is presented.
[0008]
Therefore, even if the conventional bidirectional data communication system such as Patent Document 1 is applied to the capsule endoscope, the power consumption of the imaging device is reduced, and the error occurring during transmission is effectively controlled while controlling the imaging module. It cannot be prevented.
[0009]
The present invention provides a bidirectional data communication system having a bidirectional communication function for controlling a module and a retransmission function for responding to a transmission error, and capable of reducing power consumption. Objective.
[0010]
[Means for Solving the Problems]
In order to solve the above problems, an interactive data communication system according to claim 1 of the present invention includes an imaging terminal device that captures an image of a subject and generates image data, and an image receiving terminal device that displays the image data. A bidirectional data communication system that mutually transmits and receives data between the imaging terminal device and the image receiving terminal device, wherein the imaging terminal device transmits the image data for one screen; Transmission is performed so that a period combined with a period for receiving control data for itself transmitted from the image receiving terminal apparatus is substantially the same as a display period of the image data for one screen by the image receiving terminal apparatus. The image data for the screen is time-compressed.
[0011]
The bidirectional data communication system according to claim 2 of the present invention is characterized in that, in claim 1, the imaging terminal device transmits the image data as an analog signal.
[0012]
The bidirectional data communication system according to a third aspect of the present invention is the bidirectional data communication system according to the first aspect, wherein the imaging terminal device transmits the image data within a period for transmitting the image data for one screen. And response data indicating its own operating state is transmitted in a period different from the period in which the control data is received.
[0013]
The bidirectional data communication system according to claim 4 of the present invention is characterized in that, in claim 1, the image receiving terminal apparatus performs error detection related to transmission on the received image data. Further, a fifth aspect of the present invention is characterized in that, in the fourth aspect, the image receiving terminal device performs the error detection by comparing an error detection target pixel in the received image data with its surrounding pixels. 6 is the image receiving terminal device according to claim 4, wherein the error detection target pixel in the received image data, the error detection target pixel and the peripheral pixels in the image data received in advance, It is characterized by performing the comparison.
[0014]
The bidirectional data communication system according to claim 7 of the present invention is the bidirectional data communication system according to claim 4, wherein the imaging terminal device performs transmission in units of data blocks obtained by dividing image data for one screen into a plurality of blocks. The image receiving terminal apparatus performs the error detection for each data block, and, for the data block in which the error is detected, a command for requesting retransmission of the corresponding data block as a part of the control data. It is characterized by transmitting.
[0015]
The bidirectional data communication system according to an eighth aspect of the present invention is the bidirectional data communication system according to the fourth aspect, wherein the imaging terminal device includes a solid area sensor in which a color filter is not attached to the light receiving surface, and a plurality of color components. The imaging terminal device transmits each image data corresponding to each color component obtained by sequentially emitting each color component, and the image receiving terminal device detects an error. For the color component image data, a command for requesting retransmission of the same color image data relating to the area where the error is detected is transmitted as a part of the control data.
[0016]
According to a ninth aspect of the present invention, there is provided the bidirectional data communication system according to the second aspect, wherein the imaging terminal device includes a solid area sensor having a color filter attached to a light receiving surface thereof, and the imaging terminal device. In this solid area sensor, pixels corresponding to the same color portion on the color filter are selected and read out.
[0017]
According to a tenth aspect of the present invention, there is provided the bidirectional data communication system according to the ninth aspect, wherein the imaging terminal device performs readout by thinning out pixels from the imaging device.
[0018]
The bidirectional data communication system according to an eleventh aspect of the present invention is the bidirectional data communication system according to the ninth aspect, wherein the imaging terminal device reads out the pixels from a specific area with respect to the imaging element. .
[0019]
The bidirectional data communication system according to a twelfth aspect of the present invention is the bidirectional data communication system according to the third aspect, wherein the imaging terminal device has a sleep mode that can be activated by the control data and stops the operation of its main part. And when the sleep mode is cancelled, the response data includes a command indicating that the sleep mode has ended, and is transmitted.
[0020]
The bidirectional data communication system according to claim 13 of the present invention is the bi-directional data communication system according to claim 2, wherein the imaging terminal device is a reference for detecting transmission distortion included in the image data received by the image receiving terminal device. A reference signal generating device that generates a signal, and the image receiving terminal device includes a correction table generating device that generates a correction table for removing the transmission distortion from image data based on the received reference signal. It is characterized by that.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. 1 to 17 relate to the first embodiment of the present invention, FIG. 1 is a block diagram showing an imaging terminal device, FIG. 2 is a block diagram showing a configuration of a receiving terminal device, and FIG. 3 is a transmission diagram. FIG. 4 is an explanatory diagram showing a block configuration, FIG. 4 is an explanatory diagram showing a signal arrangement during communication, FIG. 5 is an image signal transmission time chart, and FIG. 6 is a sequence diagram showing an imaging sequence. 7 is an explanatory diagram for explaining the pixel configuration and readout order of the CMOS sensor, FIG. 8 is a graph showing the amount of incident light, FIGS. 9 and 10 are graphs showing the sensor output, and FIG. 12 is a graph showing the overall characteristics, FIG. 12 is a waveform diagram showing the reference waveform, FIG. 13 is a graph showing the transmission characteristics of the transmission circuit, and FIG. 14 is a specific example of the image error detection / correction circuit 22 in FIG. Is a block diagram showing a typical configuration FIG 15 is a flowchart showing a flow for detecting the image errors, FIG. 16 is an explanatory view showing the update region, FIG. 17 is a transmission time chart of the image signal.
[0022]
In this embodiment, the case where the present invention is applied to an apparatus that receives only light from a light emitting mechanism, such as a capsule endoscope used in the body, will be described as an example.
[0023]
A bidirectional data communication system 100 according to the present embodiment includes an imaging terminal device 100A shown in FIG. 1 and an image receiving terminal device 100B shown in FIG.
[0024]
FIG. 1 shows the configuration of the imaging terminal apparatus 100A.
[0025]
Reference numeral 1 denotes a lens unit for forming a subject image on the light receiving surface of the CMOS sensor 2. Reference numeral 2 denotes a CMOS that photoelectrically converts the subject image formed on the light receiving surface for each pixel and outputs it as analog image data. A sensor 3 is a reference signal circuit that generates a reference signal that is used to correct distortion generated in transmission of image data to the image receiving terminal device 100B and maintain linearity of the data. This reference signal is output as appropriate.
[0026]
Reference numeral 4 denotes a transmission buffer for temporarily storing various data for transmission including response data sent from the control circuit 11. The contents of the response data are an operation mode of the imaging terminal device 100A itself and a response message to an operation instruction from the image receiving terminal device 100B, both of which are data that the control circuit 11 transmits to the image receiving terminal device 100B as digital data. It is. Since the response data is digital data, error detection / correction is performed by adding a normal error correction code (ECC). The control circuit 11 adds the ECC to the control data and stores it in the transmission buffer 4. Note that details of a specific method of adding an ECC and correcting an error are publicly known, and a description thereof is omitted here.
[0027]
5 is an image data from the CMOS sensor 2, a signal from the reference signal circuit 3, and a signal from the transmission buffer 4, and under the control of the control circuit 11, one input is selected from these three inputs and transmitted. A selector that outputs to the circuit 6, a transmission circuit that modulates the signal output from the selector 5 with a carrier wave, and a SAW filter that performs SAW (Surface Acoustic Wave) filter processing on the signal from the transmission circuit 6. is there.
[0028]
Reference numeral 8 denotes an antenna for transmitting a signal from the SAW filter 7 to an image receiving terminal device 100B, which will be described later, or receiving a signal from the image receiving terminal device 100B. Here, the received signal is control data for operation instruction performed from the image receiving terminal device 100B to the imaging terminal device 100A. 9 is a receiving circuit for converting a received signal into a data string of a digital signal, 10 is a receiving buffer for temporarily storing a signal from the receiving circuit 9, and 11 is for controlling an operation in the imaging terminal apparatus. The control circuit 12 is a light emission mechanism that irradiates the subject with imaging light. The control circuit 11 controls the light emission timing, the light amount, the light emission color, and the like. Reference numeral 13 denotes a sleep timer for setting a sleep time when the imaging terminal enters a sleep state and activating (wakes up) the control circuit 11 after the sleep time has elapsed.
[0029]
FIG. 2 shows a configuration of the image receiving terminal device 100B.
[0030]
The image receiving terminal device 100B has a function of instructing the image capturing terminal device 100A to perform various operations and receiving / displaying image data from the image capturing terminal device 100A in response to an operator's request.
[0031]
Here, 14 is an antenna for receiving image data and response data transmitted from the imaging terminal apparatus 100A or transmitting control data to the imaging terminal apparatus 100A, and 15 is a signal received by the antenna 14. Reference numeral 16 denotes a SAW filter for performing SAW filter processing on the signal or performing SAW filter processing on a signal from a transmission circuit 34 described later, and 16 is a receiving circuit for demodulating the signal that has passed through the SAW filter 15.
[0032]
17 is a selector that selects and outputs the AD conversion circuit 18 when the received signal is image data or a reference signal, and the binarization circuit 24 when the received signal is response data. An AD conversion circuit 19 for analog-to-digital conversion of the signal is a selector that switches and outputs to the correction circuit 21 when the signal input from the AD conversion circuit 18 is image data, and to the correction table creation circuit 20 when the signal is a reference signal. It is.
[0033]
20 removes transmission distortion associated with transmission of image data from the imaging terminal apparatus 100A to the image receiving terminal apparatus 100B based on the reference signal input from the selector 19 so that the received image data becomes the original reference signal. This is a correction table creation circuit that creates values of input / output conversion tables and stores them in the correction circuit 21. The transmission distortion of the image data varies depending on the positional relationship between the image capturing terminal device 100A and the image receiving terminal device 100B and the surrounding situation. By performing this operation as needed, all of these effects are corrected together. A correction circuit 21 removes transmission distortion included in the image data input from the selector 19 based on the correction table.
[0034]
Reference numeral 22 denotes an image error detection / correction circuit that detects and corrects an error generated during transmission on the image signal input from the correction circuit 21. The error detection by the image error detection / correction circuit 22 is performed by comparison with the image data of the previously transmitted frame stored in the frame memory 23. According to the error detection result, the correction of the image data, The CPU 32 outputs a request for retransmission of image data to the imaging terminal apparatus 100A. Reference numeral 23 denotes a frame memory for storing image data from the image error detection / correction circuit 22.
[0035]
Reference numeral 24 denotes a binarization circuit that binarizes response data input from the selector 17 and converts it into digital data. Reference numeral 25 denotes a reception buffer that temporarily stores an output from the binarization circuit 24. Reference numeral 26 denotes a bus.
[0036]
27 is a work memory for storing image data input via the bus 26, 28 is a display memory for storing image data for display input via the bus 26, and 29 is stored in the display memory 28. This is a display circuit that displays the image data by driving the LCD 30 based on the image data.
[0037]
Reference numeral 31 denotes an operation button for the operator to input various operation commands. 32 interprets a command instructed by the operation button 31, and when it is for the imaging terminal device 100A, creates control data corresponding to the command and writes it to the transmission buffer 33 via the bus 26, It is a CPU that controls other operations in the image receiving terminal device 100B.
[0038]
Reference numeral 33 denotes a transmission buffer for temporarily storing data to be transmitted to the imaging terminal device 100A, and reference numeral 34 denotes a transmission circuit that modulates data stored in the transmission buffer 33 with a carrier wave. An image processing circuit 35 executes various types of image processing on the image data stored in the work memory 27, and performs conversion into Y, Cb, Cr data for display, conversion into compressed data, and the like. . The data converted by the image processing circuit 35 is sent via the bus 26 to the display memory 28 for Y, Cb, Cr data for display, or to an image recording medium 36 such as a memory card for compressed data. Stored or written.
[0039]
Next, the operation will be described.
[0040]
Here, it is assumed that the image receiving terminal device 100B has already received response data indicating that the image capturing mode is the image capturing mode from the image capturing terminal device 100A.
[0041]
First, in the image receiving terminal device 100 </ b> B, when imaging is instructed by the operator via the operation button 31, the CPU 32 creates control data for instructing imaging to the imaging terminal device 100 </ b> A and writes it in the transmission buffer 33. The control data written in the transmission buffer 33 is transmitted through the transmission circuit 34, the SAW filter 15, and the antenna 14.
[0042]
The control data instructing imaging transmitted from the image receiving terminal device 100B is first received by the antenna 8 at the imaging terminal device 100A, converted into a digital signal data string through the SAW filter 7 and the receiving circuit 9. And stored in the reception buffer 10. The control data stored in the reception buffer 10 is read out by the control circuit 11 and the imaging operation is started.
[0043]
In the imaging operation, first, a subject image formed on the CMOS sensor 2 by the lens unit 1 is converted into an analog signal for each pixel. The CMOS sensor 2 reads out pixel data from each pixel and outputs it to the selector 5 as image data as an analog signal. The image data is output to the transmission circuit 6 via the selector 5, modulated by a carrier wave in the transmission circuit 6, and then output to the SAW filter 7. The image data processed by the SAW filter 7 is transmitted by the antenna 8 as an analog signal. On the other hand, a reference signal is appropriately output from the reference signal circuit 3, and this reference signal is transmitted by the antenna 8 through the selector 5, the transmission circuit 6, and the SAW filter 7.
[0044]
The image data as analog signal transmitted from the imaging terminal device 100A is received by the antenna 14 in the image receiving terminal device 100B, and converted into a digital signal by the AD conversion circuit via the SAW filter 15, the receiving circuit 16, and the selector 17. Then, it is input to the correction circuit 21 through the selector 19. The correction circuit 21 uses the conversion table created and stored in the correction table creation circuit 20 based on the reference signal received in advance, removes transmission distortion contained in the input image data, and detects image error / Output to the correction circuit 22.
[0045]
The image error detection / correction circuit 22 compares the input image data with the image data previously received and stored in the frame memory 23, and performs error detection. Depending on the error detection result, processing such as correction of image data and output of image data retransmission request to the imaging terminal apparatus 100A by the CPU 32 is performed. Details of these processes will be described later.
[0046]
The processed image data from the image error detection / correction circuit 22 is stored in the frame memory 23 and also in the work memory 27 via the bus 26. The image data stored in the work memory 27 is read out to the image processing circuit 35 via the bus 26, converted into Y, Cr, and Cb data for display, and then stored in the display memory 28. The display data stored in the display memory 28 is displayed on the LCD 30 by the display circuit 29. Here, when recording of image data to the image recording medium 36 is instructed by the operation button 31, the image data is read from the frame memory 23 to the image processing circuit 35 via the bus 26 and converted into compressed data. Thereafter, it is recorded on the image recording medium 36.
[0047]
As described above, imaging, transmission, reception, display, or recording of a subject is performed.
[0048]
Next, the operation of this system will be described in detail with reference to the drawings.
[0049]
Conventionally, in the reading of moving image data from an area sensor such as a CCD, it is common to read out continuously for each screen in accordance with the frame rate. However, as shown in FIG. In the embodiment, one screen of the CMOS sensor 2 is divided into four data blocks A to D, and pixel data is continuously read and output for each data block. For example, if the CMOS sensor 2 has a configuration in which the effective pixels are horizontal 648 and vertical 488, the size of each data block is horizontal 648 and vertical 122.
[0050]
Further, as shown in FIG. 4, a period for communicating control data and response data between the imaging terminal device 100A and the receiving terminal device 100B is provided between the data blocks, and the last data block of one screen (Data block D in FIG. 4) A period for transmitting the data block requested to be retransmitted by the control data is provided between the time after transmission and the start of data transmission for the next one screen.
[0051]
In this way, a series of processing for image data for one screen is completed by transmitting each data block, communicating control data and response data, and retransmitting. In the present embodiment, the period for this series of processing is set to be substantially the same as the display period (one frame period) of image data for one screen by the image receiving terminal device 100B. Specifically, pixel data related to each data block is read and output at a high speed corresponding to the communication of control data and response data and the execution of retransmission. In other words, control data and response data are communicated and retransmitted during the idle time of image data transmission caused by reading pixel data at high speed for each data block.
[0052]
Further, as described above, the response to the control data is improved by providing a period in which the control data and the response data can be communicated between the data blocks. That is, transmission of response data to control data, re-transmission of control data based on the response data, and the like can be executed a plurality of times within one frame period, so that prompt control is possible. For example, although not shown in the present embodiment, a mechanical member such as a zoom mechanism is mounted on the imaging terminal device 100A, and a command for controlling the driving of these mechanical members from the image receiving terminal device 100B as control data. On the other hand, it is suitable for the case where the imaging terminal apparatus 100A is configured to transmit the drive result for the control data, the current position, and the like as response data.
[0053]
Furthermore, the timing for transmitting the response data is set after the imaging terminal apparatus 100A receives the control data, as shown in FIG. This is in consideration of the fact that the imaging terminal apparatus 100A often responds to status inquiries and operation instructions from the image receiving terminal apparatus 100B, and is a procedure suitable for improving the response to control. ing.
[0054]
Also, after the last data block (here, data block D) has been transmitted, a period for transmitting the data block requested to be retransmitted by the control data is provided. This is a period provided for retransmitting the target data block according to the error detection result of the image error detection / correction circuit 22 of the image receiving terminal device 100B. Here, one data block is set. . Here, the image data of the data block retransmitted is acquired by reading out the pixel data of the corresponding data block from the CMOS sensor 2 again. This utilizes the characteristic that the CMOS sensor 2 is a non-destructive readable sensor, which makes it possible to retransmit data blocks without separately providing a frame memory circuit for storing retransmission-reliable image data. Yes. Note that, after the end of the re-transmission period, a reset operation is performed in which the charge of each pixel in the CMOS sensor 2 is swept out.
[0055]
When there is no re-transmission request, this re-transmission period is a period in which the imaging terminal apparatus 100A stops the operation of its main part and enters a sleep mode that can be activated by control data, as will be described later. Become.
[0056]
Next, the relationship between the imaging operation of the imaging terminal device 100A and the image display on the LCD 30 of the image receiving terminal device 100B will be described using the timing chart of FIG.
[0057]
In the imaging operation, first, a reset operation is performed by sweeping out charges corresponding to each pixel in the CMOS sensor 2, and then a light emitting operation by the light emitting mechanism 12 is performed to expose the CMOS sensor 2. In the present embodiment, as illustrated in FIG. 1, the imaging terminal device 100 </ b> A does not include external light blocking means such as a shutter. The CMOS sensor 2 normally performs an exposure operation during a period other than the reset period. However, in the present embodiment, light other than light from the light emitting mechanism 12 is used in an environment where light does not enter the CMOS sensor 2. Therefore, even if no external light blocking means such as a shutter is provided, the exposure operation is substantially ended at the end of light emission of the light emitting mechanism 12.
[0058]
As shown in FIG. 5, the light emission operation by the light emission mechanism 12 is periodically performed, and image data exposed in accordance with the light emission operation is transmitted from the imaging terminal device 100A to the image receiving terminal device 100B.
[0059]
As shown in FIG. 5, the image receiving terminal device 100B creates display data from the received image data by the image processing circuit 35 after the elapse of the image data retransmission period described in FIG. Write to. Thus, the operation sequence is simplified by performing display data creation by the image processing circuit 35 after the re-transmission period regardless of whether or not re-transmission is performed.
[0060]
The image data written in the display memory 28 is read by the display circuit 29 and displayed on the LCD 30.
[0061]
The display memory 28 has a memory area for two screens, and the display can be switched at a predetermined time after the completion of writing.
[0062]
In addition, as shown in FIG. 5, the creation of the display image data is completed in a short period after the retransmission period has elapsed until the transmission of the data block of the next screen, thereby minimizing display delay. Can be displayed.
[0063]
Next, communication between the imaging terminal device 100A and the image receiving terminal device 100B including communication of control data and response data will be described with reference to the timing chart of FIG. Here, the imaging terminal device 100A periodically performs only control data reception processing, and is in a standby mode that is a low power consumption mode in other periods, while the image receiving terminal device 100B is instructed by an operator. The description will be made assuming that the device is in a waiting state.
[0064]
First, by the operation of the operator, the image receiving terminal device 100B enters the “imaging instruction operation” state in which the imaging terminal device 100A is instructed to perform an imaging operation, and changes the imaging terminal device 100A from the standby mode to the imaging mode. Command "is transmitted as control data.
[0065]
When receiving the “imaging start instruction command” as control data, the imaging terminal device 100A shifts to “imaging mode” and transmits the “imaging start response command” as response data to the image receiving terminal device 100B.
[0066]
When receiving the imaging start response command as a response command, the image receiving terminal device 100B confirms that the imaging terminal device 100A has shifted to the imaging mode, and enters an “image reception operation” state in which a moving image is displayed on the LCD 30. As described above, when the imaging terminal device 100A is in the “imaging mode” and the image receiving terminal device 100B is in the “image receiving operation” state, the imaging terminal device 100A and the image receiving terminal device 100B are connected as described with reference to FIGS. In between, image data, control data, and response data are transmitted.
[0067]
Here, when the operator gives an instruction for the sleep operation to the imaging terminal device 100A to the image receiving terminal device 100B, the image receiving terminal device 100B enters the “sleep instruction operation” state, and the sleep operation start instruction and the sleep period are set. “Sleep execution instruction command” including the data indicating “” is transmitted as control data to the imaging terminal device 100A.
[0068]
When the imaging terminal apparatus 100A receives the “sleep execution instruction command” as control data, the imaging terminal apparatus 100A “sleep start response” includes data indicating sleep execution and sleep end time for the time specified in the control data. After “command” is transmitted as response data to the image receiving terminal device 100B, the operation proceeds to the sleep operation. As described above, when the sleep operation is ended by the activation of the sleep timer 13, the imaging terminal device 100A transmits a “sleep end response command” to the image receiving terminal device 100B as response data to notify the end of the sleep operation. After the transmission, the imaging terminal device 100A shifts to the standby mode and waits for the next operation instruction from the image receiving terminal device 100B.
[0069]
On the other hand, after receiving the “sleep start response command” as response data, the image receiving terminal device 100 </ b> B is in the “sleep end waiting operation” state, and displays that fact on the LCD 30. Here, when the “sleep end response command” is received as response data, the image receiving terminal device 100B compares the time when the response data is received with the scheduled end time of the sleep operation held inside.
[0070]
When determining that the scheduled end time has not yet arrived, the CPU 32 calculates the remaining time, and the image receiving terminal device 100B again controls the “sleep execution instruction command” for the image capturing terminal device 100A along with the calculated time. Send as data. On the other hand, if it is determined that the scheduled end time has passed, the image receiving terminal device 100B displays on the LCD 30 that the sleep operation of the imaging terminal device 100A has been completed, notifies the operator, and notifies the imaging terminal device 100A. Then, a command for executing a predetermined operation after canceling sleep is transmitted as control data.
[0071]
When the scheduled end time is reached, the image receiving terminal device 100B displays on the LCD 30 that the sleep operation of the imaging terminal device 100A has ended, notifies the operator, and shifts to the “waiting for instruction” state.
[0072]
Next, a method for reading pixel data from the CMOS sensor 2 will be described with reference to FIGS.
[0073]
FIG. 7 shows an array of effective pixels of the CMOS sensor 2 and an actual readout method. Here, it is assumed that the pixels of the CMOS sensor 2 are configured in a Bayer array. Since the Bayer arrangement is known, detailed description is omitted.
[0074]
In the Bayer array, lines in which the horizontal color filter is composed of RGRRGRG-- and lines composed of GBGBGB --- are alternately arranged. In the normal sequential reading, reading is performed in the order of RGRRGRG-- or GBGBGB-- in the order of arrangement.
[0075]
The present embodiment is characterized in that pixel data from the CMOS sensor 2 is read out continuously by selecting pixels of the same color on the line for each line. Specifically, in the RGRRGRG-- line, after reading out all RRRR and R pixels on the line, GGGG and G pixels are read out. Similarly, in the GBGBGB --- line, after reading out GGGG and all G pixels on the line, BBBBB and B pixels are read out. Since the CMOS sensor 2 is well known in terms of the structure and readout circuit of the CMOS sensor in order to perform such readout, the description thereof is omitted.
[0076]
The effect obtained by performing reading and transmission as described above will be described with reference to FIGS.
[0077]
FIG. 8 is an example of the light amount distribution of a certain RG line on the CMOS sensor 2.
[0078]
At this time, when reading is sequentially performed on the RG line as in the prior art, the output is as shown in FIG. Here, since the outputs of the R pixel and the G pixel are greatly different, the output varies greatly for each pixel. When transmitting as an analog signal in this state, the required bandwidth is very wide.
[0079]
On the other hand, when the readout of the RG line is performed as in the present embodiment, the output is as shown in FIG. In this case, since the pixel data of the G pixel is continuously output after the pixel data of the R pixel is continuously output, the band necessary for transmission as an analog signal is obtained when the readout is sequentially performed. It can be seen that it may be narrower than That is, efficient transmission is possible in a limited band.
[0080]
Here, the horizontal pixels of the CMOS sensor 2 are described as 14 pixels (R: 7 pixels, G: 7 pixels). However, since the actual number of pixels is 648, the effect of the present method is further increased.
[0081]
Next, a transmission distortion removal procedure on the image receiving terminal device 100B side performed when image data is transmitted will be described with reference to FIGS.
[0082]
FIG. 11 is a diagram illustrating communication characteristics between the imaging terminal device 100A and the image receiving terminal device 100B, more specifically, between the transmission circuit 6 and the reception circuit 16. The characteristics of the transmission space between the antenna 8 and the antenna 14 and the characteristics of the antenna 14, the SAW filter 15, and the receiving circuit 16 of the image receiving terminal apparatus 100B are added to the transmission characteristics of the imaging terminal apparatus 100A, resulting in complicated characteristics. ing. FIG. 13 shows an example of transmission characteristics (more specifically, an input / output relationship between an input to the transmission circuit 6 and a transmission output from the antenna 8) in the imaging terminal device 100A. Here, the transmission characteristics are non-linear.
[0083]
In the present embodiment, a predetermined reference signal as shown in FIG. 12 is generated by the reference signal circuit 3 and transmitted from the imaging terminal device 100A, and the image receiving terminal device 100B is based on the received reference signal, The correction table creation circuit 20 sets the value of the conversion table in the correction circuit 21 so that the reference signal that has passed through the correction circuit 21 matches the original reference signal. Specifically, first, the reference signal transmitted from the imaging terminal device 100 </ b> A is written into the correction table creation circuit 20 via the selector 19. Since the reference signal is obtained by linearly changing the input voltage to the transmission circuit 6 with respect to time as shown in FIG. 12, the correction table creating circuit 20 uses the input signal as the original reference signal. As described above, the correction coefficient of the conversion table is set in the correction circuit 21.
[0084]
By passing through the correction circuit 21 in which the conversion table is set in this manner, the image data is sent to the next image error detection / correction circuit 22 after the transmission distortion is removed.
[0085]
This eliminates the need for correction using a predetermined arithmetic expression, and allows the circuit configuration to be simplified.
[0086]
Here, output used when transmitting image data and response data will be described with reference to FIG.
[0087]
As shown in FIG. 13, when transmitting image data that is an analog signal, a wide input range indicated by iv-a to iv-c is used in the figure, and when a control signal that is a binary signal is transmitted, By using the narrow input range indicated by iv-a to iv-b, the electric energy can be used efficiently.
[0088]
Next, processing performed by the image error detection / correction circuit 22 will be described with reference to FIGS.
[0089]
FIG. 14 shows the internal configuration of the image error detection / correction circuit 22.
[0090]
37 detects a transmission error by comparing the current image data input from the correction circuit 21 with the previous image data of the previous screen input from the frame memory 23, and detects the transmission error. On the other hand, a comparison detection circuit 38 generates correction data using a known interpolation algorithm using the pixel data of the previous image data or the peripheral pixels in the current image data and outputs the correction data to the correction circuit 38. A correction circuit 39 for correcting the current image data based on the correction data from the circuit 37 is a buffer for temporarily storing the image data corrected by the correction circuit 38.
[0091]
In data transmission by wireless communication as in the present embodiment, transmission errors occur for a relatively long time, and many burst errors that cause continuous errors occur. In that case, data for several horizontal lines is missing and often takes an extreme value. In that case, the portion where the error has occurred has an extremely small correlation with the same position on the previous screen or the upper and lower lines (peripheral pixels) in the same screen. In the comparison detection circuit 37, an error is detected by a method based on the above knowledge. However, various algorithms for an error detection method itself due to a difference in correlation have been devised and are well known. Is omitted.
[0092]
Next, the operation will be described.
[0093]
First, the input current image data is input to the comparison detection circuit 37 and the correction circuit 38. The comparison detection circuit 37 receives the previous image data from the frame memory 23, and the comparison detection circuit 37 detects a transmission error from the comparison of the two image data and creates correction data to output to the correction circuit 38. To do.
[0094]
The current image data input to the correction circuit 38 is corrected by the correction circuit 38 and then written to the work memory 27 via the bus 26 and passes through the buffer 39 in the image error detection / correction circuit 22. It is also written in the frame memory 23.
[0095]
Here, the number of image data transmission errors is stored in the comparison detection circuit 37 for each data block. The stored number of transmission errors is retrieved by the CPU 32 via the bus 26, and based on this, a re-transmission instruction is issued.
[0096]
FIG. 15 is a flowchart of processing performed by the CPU based on the number of transmission errors.
[0097]
The CPU 32 waits for all the image data for one screen to be received (40), and then sends the number of transmission errors for each data block from the comparison detection circuit 37 in the image error detection / correction circuit 22 to the bus 26. Take out through. If no error is detected in any of the data blocks, a request for retransmission is not made, and a process (43) for putting the imaging terminal device 100A in the sleep state during the retransmission credit period is performed.
[0098]
Specifically, after receiving the last data block (in this embodiment, data block D), the CPU 32 creates control data including a sleep command and a sleep period, and transmits the control data to the imaging terminal device 100A. When receiving the control data, the imaging terminal device 100A transmits response data including execution of sleep and a sleep period to the image receiving terminal device 100B. Thereafter, the imaging terminal device 100A sets a sleep period in the sleep timer 13 and enters a sleep state until the next imaging start.
[0099]
When a transmission error is detected, the CPU 32 performs a process (42) for causing the imaging terminal apparatus 100A to retransmit the data block having the largest transmission error. Specifically, after receiving the last data block, during the transmission period of the control data, the CPU 32 creates control data indicating the retransmission request and the target data block, and receives the image data from the image receiving terminal device 100B. Send to 100A. When the imaging terminal device 100A receives the control data, the imaging terminal device 100A transmits the response data including the type of data block to be retransmitted and the retransmission to the image receiving terminal device 100B. Thereafter, the imaging terminal device 100A retransmits the image data of the instructed block.
[0100]
The image receiving terminal device 100B similarly performs error detection for the retransmitted data. When the number of transmission errors is smaller than the previous time, the retransmitted data block is used and the number of errors is reduced. If there are more than the previous time, the previous data block is used.
[0101]
Next, the operation in the high-speed display mode in which a part of the region is focused and the region is updated at high speed will be described with reference to FIGS.
[0102]
In the high-speed display mode, as shown in FIG. 16, a range of interest is designated on the imaging screen, and the display on the LCD 30 related to that portion is updated at high speed. Here, a case will be described in which the attention area is updated at a speed twice that of other portions.
[0103]
FIG. 17 is a time chart in that case.
[0104]
First, light emission is performed by the light emission mechanism 12, and the image data of the entire screen is transmitted accordingly. This is performed in the same procedure as described with reference to FIGS.
[0105]
When transmitting the image data associated with the next light emission, the CMOS sensor 2 reads only the pixel data in the attention range and transmits it from the imaging terminal device 100A as the image data in the attention range. The received terminal device 100B performs transmission error detection as described above on the received image data in the attention range, and re-transmission is performed when an error occurs.
[0106]
Then, the image receiving terminal device 100B creates display data for update from the received image data of the attention range, and the update data is written in the attention range of the previous screen displayed on the LCD 30 for high-speed display. Is implemented.
[0107]
As shown in FIG. 17, the transmission of the image data of the attention range and the transmission of the image data of the normal screen are alternately performed, and the update of the image data of the attention range is twice as fast as the other portions. Done.
[0108]
Here, an example is shown in which the update of the entire image displayed on the LCD 30 and the update of the attention range are performed at a ratio of 1: 1, but the update ratio of the attention range is increased depending on the imaging target. Is of course possible.
[0109]
Normally, moving image capturing by the CMOS sensor 2 is performed at a frame rate of 30 frames / second, and when the battery that is the drive source of the image capturing terminal device 100A is exhausted, the image capturing terminal device 100A is depleted of battery power. The status may be transmitted to the image receiving terminal device 100B using response data, and the frame rate may be changed. In this case, the imaging terminal device 100A performs a further energy saving operation such as a reduction in the frame rate based on the control data from the image receiving terminal device 100B.
[0110]
Next, a second embodiment according to the present invention will be described with reference to FIGS.
[0111]
In addition, about the thing of the same structure as 1st Embodiment, the same code | symbol is attached | subjected and the description is abbreviate | omitted.
[0112]
In this embodiment, instead of the CMOS 2 and the light emitting mechanism 12, a CMOS sensor 45 without a color filter and a light emitting mechanism 44 that sequentially emits R, G, and B light in place of the CMOS 2 and the light emitting mechanism 12. The color image is obtained by the so-called frame sequential method.
[0113]
Further, in the present embodiment, at the time of moving image capturing, in order to increase the frame rate, the CMOS sensor 45 performs so-called thinning-out reading, which reads out pixel data by thinning out pixels, At the time of taking a still image by the shutter trigger operation, the CMOS sensor 45 reads out pixel data of all the pixels in order to increase the resolution so that the frame rate and the resolution can be switched as necessary.
[0114]
Furthermore, in this embodiment, as a response to a transmission error, so-called frequency hopping that changes the frequency of a carrier wave at the time of transmission for each data block is used, and when retransmission is requested, no transmission error occurs. By selecting the frequency of the carrier wave and transmitting the corresponding data block, it is possible to reduce the probability of transmission error.
[0115]
Next, each configuration of the imaging terminal device 200A and the image receiving terminal device 200B used in the bidirectional data communication system 200 of the present embodiment will be described.
[0116]
FIG. 18 shows the configuration of the imaging terminal apparatus 200A.
[0117]
In order to realize the above-described function, a light emitting mechanism 44 that sequentially emits R, G, and B light, a CMOS sensor 45 that does not have a color filter attached thereto, and a carrier wave with respect to the imaging terminal device 100A illustrated in FIG. The carrier generation circuit 48 for realizing the so-called “frequency hopping” function, the transmission circuit 46 and the reception circuit 47 are different.
[0118]
FIG. 19 shows a configuration of the image receiving terminal device 200B.
[0119]
Here, in order to realize the above-described function, the receiving terminal device 100B shown in FIG. 2 is different in a carrier wave generating circuit 51 that generates a demodulation frequency, a transmitting circuit 50, and a receiving circuit 49.
Next, the operation according to the present embodiment will be described with reference to the time chart at the time of image data transmission shown in FIG.
[0120]
First, before starting imaging, control data instructing a carrier wave frequency switching (hopping) pattern is transmitted from the image receiving terminal device 200B. The imaging terminal device 200A determines the frequency of the carrier wave used in each data block according to the switching pattern included in the received control data, and sets it in the carrier wave generation circuit 48. This switching pattern is also set in the carrier wave generation circuit 51 on the receiving terminal device 200B side.
[0121]
At the start of imaging, the light emission mechanism 44 emits light in the order of R, G, B, R,..., And the CMOS sensor 45 is in each light emission timing as in the first embodiment (see FIG. 3). Read out and output pixel data of one screen divided into four data blocks.
[0122]
The four data blocks are input to the transmission circuit 46 via the selector 5. The transmission circuit 46 modulates each data block using the carrier wave assigned to each data block input from the carrier wave generation circuit 48, and the modulated data block is transmitted via the SAW filter 7 and the antenna 8.
[0123]
The data block transmitted from the imaging terminal device 200 </ b> A is received by the antenna 14 in the image receiving terminal device 200 </ b> B, and is input to the receiving circuit 49 through the SAW filter 15. The receiving circuit 49 demodulates each data block using the demodulation frequency corresponding to the frequency of the modulated carrier wave input from the carrier wave generating circuit 51.
[0124]
The demodulated data block is converted into a digital signal by the AD conversion circuit 18 via the selector 17 and then input to the correction circuit 21 via the selector 19. The correction circuit 21 removes the transmission distortion included in the input data block and outputs it to the image error detection / correction circuit 22.
[0125]
The image error detection / correction circuit 22 performs error detection similar to that of the first embodiment, and holds the result for each data block. The CPU 32 reads out the stored error detection result and makes a determination. When an error occurs, the imaging terminal uses the control data so that the frequency used in the data block with the least error is used during retransmission. An instruction is given to the apparatus 200A. When there is no error, the CPU 32 transmits control data to the imaging terminal apparatus 200A so that the sleep operation is performed during the period corresponding to the retransmission period, as in the first embodiment.
[0126]
After receiving all the R, G, and B image data as described above, the receiving terminal device 200B uses the image data of each color during the display data creation period as shown in FIG. Data is created and displayed on the LCD 30.
[0127]
In the above description, the frequency of the carrier wave used for modulation of each data block and the frequency of the carrier wave for retransmission are set according to the instruction from the image receiving terminal device 200B. The order of the frequency of the carrier wave used for the data block is determined, and when retransmission is instructed, the order of the frequency of the carrier wave used for transmission of the data block instructed to retransmit is moved last, and it comes first The data block may be retransmitted using the frequency of the carrier wave.
[0128]
Next, a third embodiment according to the present invention will be described with reference to FIGS.
[0129]
In addition, about the thing of the same structure as 1st Embodiment, the same code | symbol is attached | subjected and the description is abbreviate | omitted.
[0130]
Unlike the first and second embodiments, the imaging terminal device 300A used in the bidirectional data communication system 300 according to the present embodiment is used in a normal environment with external light, and other than during imaging. A shutter unit 52 is provided for preventing external light from entering the CMOS sensor 2 during the period. When capturing a moving image, the shutter unit 52 is opened, and when capturing a still image, the shutter unit 52 performs a shutter trigger operation of close-open-close.
[0131]
Hereinafter, the configuration and operation of the imaging terminal apparatus 300A will be described.
[0132]
FIG. 21 shows the configuration of the imaging terminal apparatus 300A.
[0133]
In the imaging terminal device 300 </ b> A, a shutter unit 52 is disposed between the lens unit 1 and the CMOS sensor 2. The operation of the shutter unit 52 is controlled by the control circuit 11.
[0134]
FIG. 23 is a time chart when capturing a moving image.
[0135]
Since the shutter unit 52 remains open at the time of moving image capture, it is not divided into a plurality of data blocks and transmitted as in the first embodiment so as not to cause a difference in exposure time. The captured image data is time-compressed for one screen and read out, and after the processing as described above is performed, the image receiving terminal device 300B (not shown, but the basic configuration is the same as in FIG. 2). To be sent).
[0136]
The image receiving terminal device 300B performs a process as described in the first or second embodiment on the received image data, and then detects a transmission error. When a transmission error is detected, if the amount of transmission error is equal to or less than a certain amount, the image receiving terminal device 300B transmits control data requesting retransmission of the area of the image data in the portion where the transmission error has occurred to the imaging terminal device 300A. . When receiving the control data requesting re-transmission, the imaging terminal device 300A reads again the image data of the corresponding area from the CMOS sensor 2 and transmits it. After the transmission is completed, the imaging terminal 300A performs a reset operation of the CMOS sensor 2. On the other hand, when receiving the retransmitted image data, the image receiving terminal device 300B creates image data for display together with the previous image data.
[0137]
If the amount of transmission error is greater than or equal to a certain value, the receiving terminal device 300B does not transmit control data requesting retransmission.
[0138]
FIG. 23 is a flowchart for explaining processing relating to error determination and retransmission performed by the CPU 32 in the image receiving terminal device 300B.
[0139]
First, the CPU 32 waits for all the image data for one screen to be received (53), and then reads the number of transmission errors in one screen from the comparison detection circuit 37 in the image error detection / correction circuit 22 to detect an error. A determination is made (54).
[0140]
If there is no error or there are too many errors and retransmission cannot be performed, the CPU 32 does not request retransmission, and control data for putting the imaging terminal device 300A in the sleep state for a period corresponding to the retransmission period. The process (56) which transmits is performed. Note that if there are too many errors, if the amount of transmission errors is a certain amount or more, the period required for transmission exceeds the maximum allowable time for the retransmission period, so the CPU 32 discards the image data for that one screen. The flag is set (not shown). Thereafter, the image data of the one screen is discarded.
[0141]
On the other hand, if the amount of transmission error is a retransmittable amount, the CPU 32 determines a range for requesting retransmission and transmits control data including the range and a request for retransmission (55).
[0142]
Note that, during still image capturing, the operation is the same as that in the first embodiment except that the shutter unit 52 operates during the exposure period of the image capturing terminal device 300A, and thus description thereof is omitted.
[0143]
【The invention's effect】
As described above, according to the bidirectional data communication system of the first aspect of the present invention, since the transmission of the image data is performed with time compression, a period of bidirectional data communication can be provided. According to the second aspect, the image data is sent as an analog signal, so that the power consumption can be reduced. According to claim 3, it is possible to send response data also from the imaging terminal device. According to the fourth to sixth aspects of the present invention, since error detection for image data is performed by comparing the peripheral image of the received image data with the image data received in advance, the error correction code in the imaging terminal device Is not required, and power consumption can be reduced.
[0144]
According to the seventh aspect, image data for one screen is divided into a plurality of blocks, and error detection and retransmission are performed in units of blocks, so that procedures such as retransmission can be easily performed. Further, according to claim 8, it is possible to obtain frame sequential image data, and by using the solid area sensor, it is possible to store image data that is relied upon when an error occurs in the solid area sensor itself. Therefore, it is not necessary to provide a dedicated memory, and the number of components and power consumption can be reduced.
[0145]
According to the ninth aspect, since transmission in a narrow band is possible, power consumption can be reduced and high-quality communication can be performed. Further, according to the tenth aspect, by performing the thinning-out reading, it is not necessary to transmit an unnecessary part, so that power consumption can be reduced. In addition, according to the eleventh aspect, by reading from the specific area, it is not necessary to transmit an unnecessary portion, so that power consumption can be reduced.
[0146]
According to the twelfth aspect, when there is no instruction by the control data, the imaging terminal device shifts to the sleep mode and stops the operation of its main part, and the sleep mode is canceled after the sleep mode is canceled. Can be transmitted to the image receiving terminal device, and new imaging can be started, so that the power consumption of the imaging terminal device can be reduced. According to the thirteenth aspect of the present invention, a reference signal transmission which is known in advance and a correction table for guaranteeing the linearity of transmission data based on the reference signal transmission are created, and the transmitted image data is corrected using this correction table. Therefore, even when a non-linear transmission / reception device with low power consumption is used, it is possible to transmit analog image data while maintaining linearity.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an imaging terminal device employed in a bidirectional data communication system according to the present invention.
FIG. 2 is a block diagram showing an image receiving terminal device employed in the bidirectional data communication system according to the present invention.
FIG. 3 is an explanatory diagram showing a configuration of a transmission block.
FIG. 4 is an explanatory diagram showing signal arrangement during communication.
FIG. 5 is a transmission time chart of an image signal.
FIG. 6 is a sequence diagram showing an imaging sequence.
FIG. 7 is an explanatory diagram for explaining a pixel configuration of a CMOS sensor and a reading order;
FIG. 8 is a graph showing the amount of incident light.
FIG. 9 is a graph showing sensor output.
FIG. 10 is a graph showing sensor output.
FIG. 11 is a graph showing overall characteristics of communication.
FIG. 12 is a waveform diagram showing a reference waveform.
FIG. 13 is a graph showing transmission characteristics of a transmission circuit.
14 is a block diagram showing a specific configuration of the image error detection / correction circuit 22 in FIG. 2;
FIG. 15 is a flowchart showing an image error detection flow;
FIG. 16 is an explanatory diagram showing an update area.
FIG. 17 is a transmission time chart of an image signal.
FIG. 18 is a block diagram showing an imaging terminal device employed in the second embodiment.
FIG. 19 is a block diagram showing an image receiving terminal device employed in the second embodiment.
FIG. 20 is a transmission time chart of an image signal.
FIG. 21 is a block diagram showing an imaging terminal device employed in the third embodiment.
FIG. 22 is a transmission time chart of an image signal.
FIG. 23 is a flowchart showing an image signal error detection program;
[Explanation of symbols]
2 ... CMOS sensor, 3 ... reference signal circuit, 5, 17, 19 ... selector, 6,34 ... transmission circuit, 8,14 ... antenna, 9,16 ... receiving circuit, 11 ... control circuit, 12 ... light emitting mechanism, 20 ... Correction table creation circuit, 21 ... Correction table, 22 ... Image error detection / correction circuit, 29 ... Display circuit, 30 ... LCD, 32 ... CPU.

Claims (13)

被写体を撮像して画像データを生成する撮像端末装置と、前記画像データを表示する受像端末装置とを有し、前記撮像端末装置と受像端末装置の間で相互にデータの送信及び受信を行う双方向データ通信システムであって、
前記撮像端末装置は、１画面分の前記画像データを送信する期間と前記受像端末装置から送信される自らに対する制御データを受信する期間とを併せた期間が、前記受像端末装置による、１画面分の前記画像データの表示期間と略同一となるように、送信する１画面分の前記画像データを時間圧縮することを特徴とする双方向データ通信システム。An imaging terminal device that captures an image of a subject and generates image data, and an image receiving terminal device that displays the image data, and performs both transmission and reception of data between the imaging terminal device and the image receiving terminal device A data communication system,
In the imaging terminal device, a period that includes a period for transmitting the image data for one screen and a period for receiving control data for itself transmitted from the image receiving terminal apparatus corresponds to one screen by the image receiving terminal apparatus. A bidirectional data communication system, wherein the image data for one screen to be transmitted is time-compressed so as to be substantially the same as a display period of the image data. 前記撮像端末装置は、前記画像データをアナログ信号で送信することを特徴とする請求項１に記載の双方向データ通信システム。The bidirectional data communication system according to claim 1, wherein the imaging terminal device transmits the image data as an analog signal. 前記撮像端末装置は、１画面分の前記画像データを送信する期間内であって、前記画像データの送信及び前記制御データの受信が行われている期間とは異なる期間に、自らの動作状態を示す応答データを送信することを特徴とする請求項１に記載の双方向データ通信システム。The imaging terminal device has its operating state within a period in which the image data for one screen is transmitted, which is different from a period in which the image data is transmitted and the control data is received. The bidirectional data communication system according to claim 1, wherein the response data is transmitted. 前記受像端末装置は、受信した前記画像データに対し、送信に係るエラー検出を行うことを特徴とする請求項１に記載の双方向データ通信システム。The bidirectional data communication system according to claim 1, wherein the image receiving terminal device performs error detection related to transmission on the received image data. 前記受像端末装置は、前記エラー検出を、受信した前記画像データ中のエラー検出対象画素とその周辺画素との比較で行うことを特徴とする請求項４に記載の双方向データ通信システム。The bidirectional data communication system according to claim 4, wherein the image receiving terminal device performs the error detection by comparing an error detection target pixel in the received image data with its surrounding pixels. 前記受像端末装置は、前記エラー検出を、受信した前記画像データ中のエラー検出対象画素と、先行して受信した前記画像データ中のエラー検出対象画素及び周辺画素との比較により行うことを特徴とする請求項４に記載の双方向データ通信システム。The image receiving terminal device performs the error detection by comparing an error detection target pixel in the received image data with an error detection target pixel and peripheral pixels in the image data received in advance. The bidirectional data communication system according to claim 4. 前記撮像端末装置は、１画面分の画像データを複数のブロックに分割したデータブロック単位で送信を行うと共に、前記受像端末装置は、前記エラー検出をこのデータブロック単位で行い、エラーが検出された前記データブロックに対しては、対応するデータブロックの再送信を要求する命令を前記制御データの一部として送信することを特徴とする請求項４に記載の双方向データ通信システム。The imaging terminal apparatus transmits image data for one screen in units of data blocks divided into a plurality of blocks, and the image receiving terminal apparatus performs the error detection in units of data blocks, and an error is detected. 5. The bidirectional data communication system according to claim 4, wherein an instruction for requesting retransmission of the corresponding data block is transmitted to the data block as part of the control data. 前記撮像端末装置は、その受光面にカラーフィルタが貼付されていない固体エリアセンサと、複数の色成分の各々を順次発光する発光装置を有し、前記撮像端末装置は、各色成分を順次発光して得られた各色成分に対応する各画像データを送信すると共に、前記受像端末装置は、エラーが検出された色成分の画像データに対しては、エラーが検出されたエリアに係る、同色の画像データの再送信を要求する命令を前記制御データの一部として送信することを特徴とする請求項４に記載の双方向データ通信システム。The imaging terminal device includes a solid area sensor in which a color filter is not attached to the light receiving surface, and a light emitting device that sequentially emits each of a plurality of color components. The imaging terminal device sequentially emits each color component. The image receiving terminal device transmits image data corresponding to each color component obtained in the above, and for the image data of the color component in which the error is detected, the image data of the same color related to the area in which the error is detected 5. The bidirectional data communication system according to claim 4, wherein a command for requesting data retransmission is transmitted as part of the control data. 前記撮像端末装置は、その受光面にカラーフィルタが貼付された固体エリアセンサを有し、前記撮像端末装置は、この固体エリアセンサに対して、前記カラーフィルタ上の同色部分に対応する画素を選択して読み出しを行うことを特徴とする請求項２に記載の双方向データ通信システム。The imaging terminal device includes a solid area sensor having a color filter attached to a light receiving surface thereof, and the imaging terminal device selects pixels corresponding to the same color portion on the color filter with respect to the solid area sensor. The bidirectional data communication system according to claim 2, wherein reading is performed in the same manner. 前記撮像端末装置は、前記撮像素子に対して、画素を間引いて読み出しを行うことを特徴とする請求項２に記載の双方向データ通信システム。The bidirectional data communication system according to claim 2, wherein the imaging terminal device performs readout by thinning pixels from the imaging device. 前記撮像端末装置は、前記撮像素子に対して、特定のエリアの画素から読み出しを行うことを特徴とする請求項２に記載の双方向データ通信システム。The bidirectional data communication system according to claim 2, wherein the imaging terminal device reads out the pixels from a specific area with respect to the imaging element. 前記撮像端末装置は、自らの主要な部分の動作を停止する、前記制御データにより起動可能なスリープモードを有し、このスリープモードを解除したとき、前記応答データにスリープモードが終了したことを示すコマンドを含めて送信することを特徴とする請求項３に記載の双方向データ通信システム。The imaging terminal device has a sleep mode that can be activated by the control data to stop the operation of its main part, and when the sleep mode is canceled, the response data indicates that the sleep mode has ended. 4. The bidirectional data communication system according to claim 3, wherein the command is transmitted including the command. 前記撮像端末装置は、前記受像端末装置が受信した前記画像データに含まれる送信歪を検出するための基準信号を作成する基準信号作成装置を有し、一方、前記受像端末装置は、受信した前記基準信号に基づき、前記送信歪を画像データから除去するための補正テーブルを生成する補正テーブル作成装置を有することを特徴とする請求項２に記載の双方向データ通信システム。The imaging terminal device includes a reference signal generating device that generates a reference signal for detecting transmission distortion included in the image data received by the image receiving terminal device, while the image receiving terminal device receives the received signal The bidirectional data communication system according to claim 2, further comprising a correction table creation device that generates a correction table for removing the transmission distortion from image data based on a reference signal.
JP2003191394A 2003-07-03 2003-07-03 Two-way data communication system Pending JP2005027120A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003191394A JP2005027120A (en) 2003-07-03 2003-07-03 Two-way data communication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003191394A JP2005027120A (en) 2003-07-03 2003-07-03 Two-way data communication system

Publications (1)

Publication Number Publication Date
JP2005027120A true JP2005027120A (en) 2005-01-27

Family

ID=34189020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003191394A Pending JP2005027120A (en) 2003-07-03 2003-07-03 Two-way data communication system

Country Status (1)

Country Link
JP (1) JP2005027120A (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006238205A (en) * 2005-02-25 2006-09-07 Canon Inc Imaging apparatus and imaging method
JP2007228367A (en) * 2006-02-24 2007-09-06 Kyocera Corp Sensitivity correction method and imaging apparatus
JP2009159440A (en) * 2007-12-27 2009-07-16 Kyocera Corp COMMUNICATION DEVICE, COMMUNICATION SYSTEM, AND COMMUNICATION METHOD
JP2010102702A (en) * 2008-09-29 2010-05-06 Intel Corp Protocol extensions in displayport compatible interface
US8643658B2 (en) 2009-12-30 2014-02-04 Intel Corporation Techniques for aligning frame data
US8743105B2 (en) 2008-11-18 2014-06-03 Intel Corporation Techniques to control self refresh display functionality
US8823721B2 (en) 2009-12-30 2014-09-02 Intel Corporation Techniques for aligning frame data
US8941592B2 (en) 2010-09-24 2015-01-27 Intel Corporation Techniques to control display activity
JP2015509634A (en) * 2012-03-01 2015-03-30 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ Gesture detection based on information from multiple types of sensors
US9052902B2 (en) 2010-09-24 2015-06-09 Intel Corporation Techniques to transmit commands to a target device to reduce power consumption
US9571797B2 (en) 2007-01-29 2017-02-14 Sony Corporation Network equipment, network system and surveillance camera system
US9865233B2 (en) 2008-12-30 2018-01-09 Intel Corporation Hybrid graphics display power management
US20180098391A1 (en) * 2015-04-06 2018-04-05 Panasonic Corporation Food cooking system
JP2022002701A (en) * 2020-06-23 2022-01-11 オリンパス ビンテル ウント イーベーエー ゲーエムベーハーOlympus Winter & Ibe Gesellschaft Mit Beschrankter Haftung Endoscope observation method, endoscope observation system, and software program product

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006238205A (en) * 2005-02-25 2006-09-07 Canon Inc Imaging apparatus and imaging method
JP2007228367A (en) * 2006-02-24 2007-09-06 Kyocera Corp Sensitivity correction method and imaging apparatus
US9571797B2 (en) 2007-01-29 2017-02-14 Sony Corporation Network equipment, network system and surveillance camera system
JP2009159440A (en) * 2007-12-27 2009-07-16 Kyocera Corp COMMUNICATION DEVICE, COMMUNICATION SYSTEM, AND COMMUNICATION METHOD
US8411586B2 (en) 2008-09-29 2013-04-02 Intel Corporation Display port compatible interface communications
US8121060B2 (en) 2008-09-29 2012-02-21 Intel Corporation Protocol extensions in a display port compatible interface
JP2010102702A (en) * 2008-09-29 2010-05-06 Intel Corp Protocol extensions in displayport compatible interface
US9141170B2 (en) 2008-11-18 2015-09-22 Intel Corporation Techniques to control self refresh display functionality
US8743105B2 (en) 2008-11-18 2014-06-03 Intel Corporation Techniques to control self refresh display functionality
US9110665B2 (en) 2008-11-18 2015-08-18 Intel Corporation Techniques to control self refresh display functionality
US9116697B2 (en) 2008-11-18 2015-08-25 Intel Corporation Techniques to control self refresh display functionality
US9865233B2 (en) 2008-12-30 2018-01-09 Intel Corporation Hybrid graphics display power management
US8643658B2 (en) 2009-12-30 2014-02-04 Intel Corporation Techniques for aligning frame data
US8823721B2 (en) 2009-12-30 2014-09-02 Intel Corporation Techniques for aligning frame data
US8941592B2 (en) 2010-09-24 2015-01-27 Intel Corporation Techniques to control display activity
US9052902B2 (en) 2010-09-24 2015-06-09 Intel Corporation Techniques to transmit commands to a target device to reduce power consumption
JP2015509634A (en) * 2012-03-01 2015-03-30 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ Gesture detection based on information from multiple types of sensors
US20180098391A1 (en) * 2015-04-06 2018-04-05 Panasonic Corporation Food cooking system
JP2022002701A (en) * 2020-06-23 2022-01-11 オリンパス ビンテル ウント イーベーエー ゲーエムベーハーOlympus Winter & Ibe Gesellschaft Mit Beschrankter Haftung Endoscope observation method, endoscope observation system, and software program product
JP7261835B2 (en) 2020-06-23 2023-04-20 オリンパス ビンテル ウント イーベーエー ゲーエムベーハー Endoscopy system operating method, endoscopy system, and software program product
US11857165B2 (en) 2020-06-23 2024-01-02 Olympus Winter & Ibe Gmbh Method for endoscopic imaging, endoscopic imaging system and software program product

Similar Documents

Publication Publication Date Title
JP2005027120A (en) Two-way data communication system
US8917313B2 (en) Image capturing apparatus and image capturing method
WO2009098877A1 (en) Image processing device and image processing method
CN1972413B (en) Camera and camera method
JP2007221273A (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP4862741B2 (en) Imaging apparatus, imaging signal processing method, and program
JP2007282097A (en) Digital camera and control method thereof
US20100254682A1 (en) Image coder, video camera, integrated circuit, and image coding method
JP2014171532A (en) Display control apparatus, display control method, and program
JP2001309227A (en) Photographing apparatus capable of adjusting image size and control method thereof
JP4268891B2 (en) Imaging apparatus and image generation method thereof
JP2005177958A (en) Remote control system
JP2006080860A (en) Camera and camera image transfer system
JP2007228073A (en) Lens unit and digital camera
JP2005244289A (en) Image data communication system
JP3743238B2 (en) Digital camera
JP3947912B2 (en) Image signal processing device
JP2000299813A (en) Electronic image pickup device
JP6419265B2 (en) Image processing apparatus, control method, and program
JP2001157106A (en) Solid-state imaging device
JP5484166B2 (en) Imaging device
WO2019176309A1 (en) Image processing device, image processing method, and image processing system
JP4449692B2 (en) Electronic camera
JP2020048135A (en) Imaging apparatus and control method of the same
JP4336827B2 (en) Imaging apparatus and image generation method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060609

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090526

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091006