JP2004165708A - Stereoscopic image display device, stereoscopic image encoding device, stereoscopic image decoding device, stereoscopic image recording method, and stereoscopic image transmission method - Google Patents

Abstract

An object of the present invention is to provide a three-dimensional image display device which enables flexible control in protecting an observer's eye and is easy to use. A measuring means for measuring a display time of a three-dimensional image and a three-dimensional image creating means are provided. On the other hand, when the stereoscopic image display time measured by the measuring means 4 exceeds a predetermined time, the parallax adjusting means 5 sends the parallax adjusting means 5 to the stereoscopic image creating means 1. An instruction is given to reduce the parallax of the stereoscopic image to be created, and a stereoscopic image with a small parallax is displayed on the display unit 3.
[Selection diagram] Fig. 1

Description

【００２７】
まず、表示モード情報Ｍ１が入力画像スルー表示モードである場合の本表示装置の動作について説明する。この場合、例えば入力画像Ａ１をスルー表示する。スイッチ制御手段１０は、スイッチ１１と１２をオフにして、入力画像Ａ１がスルーで、フレームメモリ２に接続されるようにスイッチ１３とスイッチ１４をそれぞれ切り替える。入力画像Ａ１が、スイッチ１３，１４を通してフレームメモリ２に書き込まれる。フレームメモリ２から入力画像Ａ１が表示手段３に入力される。表示手段３は入力画像Ａ１を平面表示する。また、入力画像Ａ１の代わりにＡ２を用いてもよく、どちらの入力画像を使用するかを任意に設定できるようにしてもよい。
【００２８】
次に、表示モード情報Ｍ１が左眼用平面画像表示モードである場合の本表示装置の動作について説明する。スイッチ制御手段１０は、スイッチ１１と１２をオフにして、左眼用画像データＬが平面画像作成手段６に入力されるようにスイッチ１３を、フレームメモリ２と平面画像作成手段６が接続されるようにスイッチ１４をそれぞれ切り替える。平面画像作成手段６に左眼用画像データＬがスイッチ１３を通じて入力される。平面画像作成手段６において左眼用画像を用いた平面画像データが作成され、スイッチ１４を通して、フレームメモリ２に書き込まれる。フレームメモリ２から平面画像データが表示手段３に入力される。表示手段３は入力された平面画像データを平面表示する。
【００２９】
図２は、表示モード情報Ｍ１が左眼用画像Ｌを平面画像として表示するモードである場合に平面画像作成手段６で作成されるデータの構成及びその表示方法の一例を示す図である。左眼用画像データＬを垂直方向の短冊状に分解した画像をＬ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６，Ｌ７，Ｌ８とすると、平面画像作成手段６で作成される平面画像データは左眼用画像データＬの一部（図２の左眼用画像データＬの太枠部分）をそのまま用いる。ここではＬ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６，Ｌ７を表示することとする。図２では表示するフレームを正面から見た図と上から見た図の２種類を示している。フレームを上から見た図では、簡単のため、立体表示モードで用いるスリット（詳細は後述する）を図示していない。この図からからわかるように、平面画像データ２０１のＬ２〜Ｌ７は観察者の右眼および左眼で観察される。こうして観察者は左眼用画像Ｌから作成された画像を平面画像として観察することができる。
【００３０】
また表示手段３は、立体表示と平面表示が可能な表示手段と上記では説明したが、立体表示のみしか出来なくても構わない。図３は表示手段３が立体表示のみしか出来ない場合に、表示モード情報Ｍ１が左眼用画像Ｌを平面画像として表示するモードである際に平面画像作成手段６で作成されるデータの作成方法及びその表示方法の一例を示す図である。この場合、表示手段３で表示に用いられる画像は、図２で説明したものと同じものとする。表示手段３のディスプレイ面上にはスリット３００が備えられており、フレーム３０１に表示されたＬ２、Ｌ４、Ｌ６の画像が観察者の左眼に、Ｌ３，Ｌ５，Ｌ７の画像が観察者の右眼に送られることにより観察者は左眼用画像Ｌから作成された画像を平面画像として観察することができる。また、表示手段３のディスプレイ面上にはスリットの代わりにレンズを備えても良い。
【００３１】
また、表示モード情報Ｍ１が右眼用平面画像表示モードである場合は、左眼用平面画像表示モードと同様な方法で右眼用画像から平面画像を作成して表示を行う。
【００３２】
次に表示モード情報Ｍ１が立体画像表示モードである場合の本表示装置の動作について説明する。表示モード情報Ｍ１が立体画像表示モードである場合、スイッチ制御手段１０は、スイッチ１１，１２をオンにし、立体画像作成手段１とフレームメモリ２を接続されるように、スイッチ１４を制御する。外部から立体画像作成手段１にスイッチ１１を通じて左眼用画像データＬが、スイッチ１２を通じて右眼用画像データＲがそれぞれ入力される。次に立体画像作成手段１において立体画像データが作成され、フレームメモリ２に書き込まれる。最後にフレームメモリ２から立体画像データが表示手段３に入力される。表示手段３は入力された立体画像データを立体表示する。
【００３３】
図４は立体画像データの作成及びその表示の一例を示す図である。左眼用画像データＬを垂直方向の短冊状に分解した画像をＬ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６，Ｌ７，Ｌ８、右眼用画像データＲを垂直方向の短冊状に分解した画像をＲ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５，Ｒ６，Ｒ７，Ｒ８とする。このとき表示する画像の水平方向のサイズは左眼用画像データＬ及び右眼用画像データＲの水平方向のサイズよりも小さいとする。例えば図４の左右眼別の画像において太枠で示した範囲内の画像が実際に表示されるとすると、立体画像データは図４のようにＬ２，Ｒ３，Ｌ４，Ｒ５，Ｌ６，Ｒ７を用いて作成される。立体画像表示装置のディスプレイ面上にはスリット３００あるいはレンズが備えられており、立体画像データ３０１に表示されたＬ２，Ｌ４，Ｌ６の画像が観察者の左眼に、Ｒ３，Ｒ５，Ｒ７の画像が観察者の右眼に送られることにより観察者は立体画像を観察することができる。
【００３４】
図４の例では、入力された画像データの間引きと合成を行って立体画像を合成する方法を説明した。図１の立体画像作成手段１では、この間引きと合成を両方行ってもよいが、間引き処理は外部で行い、合成のみを内部で行うようにしてもよい。後者の場合、外部から立体画像作成手段１に入力される左眼用画像データＬ及び左眼用画像データＲはそれぞれ、Ｌ２，Ｌ４，Ｌ６，Ｌ８のみと、Ｒ１，Ｒ３，Ｒ５，Ｒ７のみとで構成されたデータとなる。
【００３５】
本実施形態では、立体表示を所定時間継続すると立体画像の視差が小さくなるよう調整する。立体画像の視差および像の見え方について図１８を用いて説明する。
【００３６】
図１８で、観察者の左眼と右眼の間の距離をｅとし、観察者とディスプレイとの間の距離をＬとする。図１８（ａ）では、右眼で観察する像と左眼で観察する像がディスプレイ上の同一点（Ｐ１）にある。この時、像はディスプレイ面上にあるように感知される。
【００３７】
次に図１８（ｂ）に示すように、右眼で観察する像をＰ１から左方向にｗだけ移動させる。右眼で観察する像はＰ２の位置にくる。この時、像はＳ１の位置あるように観察され、ディスプレイ面からｄだけ観察者側に飛び出しているように感知される。
【００３８】
次に図１８（ｃ）に示すように、右眼で観察する像をＰ１から右方向にｗだけ移動させる。右眼で観察する像はＰ３の位置にくる。この時、像はＳ２の位置あるように観察され、ディスプレイ面からｄだけ奥にあるように感知される。
【００３９】
一般に立体画像の各画素は異なる視差を有しているが、ここでは画像全体から観察者が受ける立体感を「視差」と呼ぶことにする。また、視差の調整は後述するように左眼用画像と右眼用画像の水平方向の相対位置を変更することによって行うものとする。
【００４０】
ここで、図５に示すフローチャートを用いて、図１に示した立体画像表示装置による立体画像表示の処理動作を説明する。
【００４１】
初期状態において、立体画像表示装置は、所定の視差Ａにて立体画像表示を行う（Ｓ１１）。時間計測判定手段４は視差Ａにて立体画像表示を行っている時間を計測する。このとき、立体表示を開始した時刻を起点として時間計測判定手段４は計測を行う。立体画像作成手段１は立体画像を表示している間、時間計測判定手段４に立体画像表示通知信号を送り、時間計測判定手段４は立体画像表示通知信号が入力されている時間ｔ１を計測する。
【００４２】
時間計測判定手段４では、計測した時間ｔ１が決められた時間TIME1を超えたか否かを判定し（Ｓ１２）、越えていなければステップ１１に戻って視差Ａによる立体画像表示を続ける。計測した時間ｔ１が決められた時間TIME1を超えた場合、時間計測判定手段４は、視差制御手段５に時間計測終了信号Ｔ１を出力する。
【００４３】
視差制御手段５に時間計測終了信号Ｔ１が入力されると、視差制御手段５は立体画像作成手段１に、視差を小さくして立体画像を作成するように指示する信号を送る。立体画像作成手段１は視差を小さくして立体画像を作成すると同時に時間計測判定手段４へリセット信号を送る。このとき立体画像作成手段１では、視差を小さくする前の視差（視差Ａ）を示す情報を記憶しておく。こうして、表示手段３に、視差Ａより小さな視差Ｂの立体画像が表示される（Ｓ１３）。
【００４４】
ここで記憶する「視差を示す情報」とは、例えば立体画像データを作成する際における立体画像データ上に配置される左眼用画像データＬに対する右眼用画像データＲの相対的な位置によって表される。
【００４５】
このとき、ディスプレイ面より手前に感知される立体画像の視差を小さくしたい場合は、立体画像を奥に引っ込めてディスプレイ面に近づけるよう立体画像を作成し直す。具体的には右眼用画像データＲを、左眼用画像データＬに対して水平に右方向にシフトすれば良い。逆に視差を大きくしたい場合は、立体画像を手前に出すよう立体画像を作成し直す。具体的には右眼用画像データＲを、左眼用画像データＬに対して水平に左方向にシフトすれば良い。
【００４６】
また、ディスプレイ面より奥に感知される立体画像の視差を小さくしたい場合は立体画像を手前に出してディスプレイ面に近づけるよう立体画像を作成し直し、視差を大きくしたい場合は奥に引っ込めるよう立体画像を作成し直せばよい。この時、右眼用画像データＲのシフトの方向は、立体画像がディスプレイ面より手前に感知されていた場合とは逆方向となる。
【００４７】
次に、立体画像の視差調整ために、右眼用画像Ｌを水平方向にシフトして立体画像を作成する方法の一例を、表２を用いて説明する。
【００４８】
【表２】

【００４９】
左眼用画像データＬと右眼用画像データＲの、それぞれの一部から作成した立体画像を現在の表示位置より手前に出したい場合は、画像データをＬ、Ｒの順で並べて、それぞれの画像データの、より外側の領域を用いて立体画像を作成する。逆に立体画像をディスプレイ面より奥に引っ込めたい場合は、画像データをＬ、Ｒの順で並べて、それぞれの画像データのより内側の領域を用いて立体画像を作成する。例えば図４で画像の左上を座標の原点（０，０）、水平方向をｘ、垂直方向をｙとする。図４の太枠部分の左上の座標が、左、右共に（１，０）である場合に作成した立体画像を手前に出したい場合、新たにそれらの座標を、左は（０，０）、右は（２，０）として、立体画像を作成し直せばよい。逆にディスプレイ面より奥に引っ込めたい場合は、左の座標を（２，０）、右の座標を（０，０）として、立体画像を作成し直せばよい。
【００５０】
視差を小さくした立体画像データを作成する方法について、図６を用いて説明する。図６は、ディスプレイ面より手前に見える立体画像に対して視差を小さくして表示したい場合における立体画像データの作成及びその表示の一例を示す図である。例えば、図４の立体画像データをディスプレイ面より前に見える立体画像を表示するためのデータとする。このとき視差を小さくして立体画像を表示するには、立体画像が奥に引っ込むように作成し直せばよい。つまり、表２で説明したように、図６に示すように太枠部分の左上の座標を、左眼用画像データＬについては（０，０）、右眼用画像データＲについては（２，０）とすればよい。このとき、図４における立体画像データ上のデータＬ２，Ｌ４，Ｌ６の位置にそれぞれ、左眼用画像データＬのＬ１，Ｌ３，Ｌ５のデータが配置される。同様に図４における立体画像データ上のＲ３，Ｒ５，Ｒ７の位置にそれぞれ、右眼用画像データＲのＲ４，Ｒ６，Ｒ８のデータが配置される。立体画像データ３０１のＬ１，Ｌ３，Ｌ５は左眼で、Ｒ４，Ｒ６，Ｒ８は右眼で観察され、観察者は立体画像データを立体と認識する。
【００５１】
このように、視差を小さくしたい場合は図４の太枠部分を左眼用画像データＬでは左側に、右眼用画像データＲでは右にシフトして立体画像データを作成する。また、視差を大きくしたい場合は、太枠部分のシフト方向を逆にして、立体画像データを作成すればよい。
【００５２】
このように、視差Ａによる立体画像の表示時間が決められた時間TIME1を超えたことにより、表示される立体画像が小さな視差Ｂの立体画像に変更された場合、時間計測判定手段４は計測中の時間をリセットし、視差変更後の立体画像が表示されている時間ｔ２の計測を始める。
【００５３】
次に、時間計測判定手段４は計測した時間ｔ２を決められた時間TIME2と比較し（Ｓ１４）、時間ｔ２が決められた時間TIME2に達しない間はステップ１３に戻って小さな視差Ｂの立体画像を表示し続ける。計測した時間ｔ２すなわち視差Ｂでの立体画像表示時間が決められた時間TIME2に達すれば、時間計測判定手段４は、視差制御手段５に時間計測終了信号Ｔ２を出力する。視差制御手段５に時間計測終了信号Ｔ２が入力されると、視差制御手段５は、立体画像の視差を立体画像作成手段１で記憶していた視差に戻すように指示する信号を、立体画像作成手段１へ出力する。立体画像作成手段１に元の視差に戻すように指示する信号が入力されると、立体画像作成手段１は視差を元の視差に戻して立体画像を作成すると同時に時間計測判定手段４へリセット信号を送る。このとき、視差を直ちに元の視差Ａに戻すようにしてもよいが、段階的に視差が大きくなるように立体画像を作成し、表示するようにしてもよい。
【００５４】
上で述べたように、視差が変更されたときは、立体画像作成手段１は時間計測判定手段４へリセット信号を出力する。時間計測判定手段４はリセット信号が入力されると、計測時間を０にリセットして再度計測を開始する。以上のような動作により、所定の視差で立体表示を行った時間を計測し、これに従って視差を調整しながら立体画像を作成する。
【００５５】
次に、立体画像作成手段１、時間計測判定手段４、視差制御手段５の間で伝送される信号について表３を参照して説明する。
【００５６】
【表３】

【００５７】
状態［１−１］は、時間計測判定手段４が計測を開始したときの状態であり、このとき本装置が立体画像を表示していることを示す立体画像表示通知信号が、立体画像作成手段１から時間計測判定手段４へ出力される。
【００５８】
状態［１−２］は、時間計測判定手段４の計測時間が決められた時間TIME1を経過したときの状態であり、時間計測判定手段４から視差制御手段５へ、時間TIME1が経過したことを表す時間計測終了信号Ｔ１が出力され、それに応じて視差制御手段５から立体画像作成手段１へ、視差を小さくして立体画像を作成することを指示する信号が出力される。立体画像作成手段１に視差を小さくして立体画像を作成することを指示する信号が入力されると同時に、時間計測判定手段４をリセットすることを指示するリセット信号が、立体画像作成手段１から時間計測判定手段４へ出力される。
【００５９】
状態［１−３］は、時間計測判定手段４の計測時間が決められた時間TIME2を経過したときの状態であり、時間計測判定手段４から視差制御手段５へ、時間TIME2が経過したことを表す時間計測終了信号Ｔ２が出力され、それに応じて視差制御手段５から立体画像作成手段１へ視差を戻して立体画像を作成することを指示する信号が出力される。これと同時に立体画像表示通知信号が、立体画像作成手段１から時間計測判定手段４に出力される。
【００６０】
状態［１−４］は、立体画像作成手段１において、立体画像を作成する際に用いる視差が元の視差に戻ったときの状態であり、このときリセット信号が、立体画像作成手段１から時間計測判定手段４へ出力される。
【００６１】
このようにして、長時間立体画像を観察することにより観察者の眼が疲労して観察者の視差を感知する能力が衰えた場合であっても、視差を小さくした立体画像を表示することにより観察者の眼を保護することができる。また観察者の眼の疲労が回復し、観察者の視差を感知する能力が復活するに従い、視差を元に戻して立体画像を表示するため、違和感の少ない立体画像の表示が可能となる。上記で説明した時間TIME1及びTIME2はそれぞれ、立体画像表示装置内部のメモリに予め設定された値を保存しておくことができる。
【００６２】
また、時間TIME1及びTIME2の予め設定された値はそれぞれが１つずつではなく、例えば入力画像の画面サイズや入力画像が動画であればその全再生時間などといった鑑賞時の目の疲れと関連のある要素をパラメータとして、それらのパラメータの組み合わせに応じた数だけ設定されていても構わない。また観察者が、これらの時間TIME1、TIME2をそれぞれ設定あるいは変更できるようにしてもよい。
【００６３】
また、図１の立体画像表示装置の前段に、図７に示すような立体画像フォーマットデータＦ１を復号するための立体画像復号手段５００と、立体画像復号手段５００で復号された立体画像データを左右眼別の画像データに分離する分離手段５０４を配置してもよい。このとき、立体画像フォーマットデータＦ１の内部に、前述した時間TIME1、TIME2に相当する値を予め保存しておき、立体画像表示装置において、TIME1とTIME2にそれらの値を代入して用いてもよい。このときの立体画像復号手段５００の動作について次に説明する。立体画像復号手段５００は、立体画像制御情報解析手段５０１、画像データ部復号手段５０２及びスイッチ５０３を備え、立体画像フォーマットデータＦ１を復号する。
【００６４】
ここで、立体画像フォーマットデータＦ１について説明する。図８は立体画像フォーマットデータＦ１の一例を示す図である。図示する立体画像フォーマットデータＦ１は、立体画像制御情報部と画像データ部から構成されている。このうち、立体画像制御情報部は立体画像フォーマットデータＦ１が立体画像表示用のデータであるか否かを示す立体画像識別情報Ｉ１と制御情報Ｉ２から、画像データ部は符号化データＤから、それぞれ構成されている。ここで制御情報Ｉ２とは、前記した時間TIME1及びTIME2を示す情報である。また、画像データ部における符号化データは、例えば、対応する左眼用画像データＬと右眼用画像データＲを左右に並べた画像をＪＰＥＧやＭＰＥＧ等の符号化方式を用いて符号化されたものとすることができる。立体画像フォーマットデータＦ１におけるデータの格納は、Ｉ１，Ｉ２，Ｄの順とする。
【００６５】
立体画像制御情報解析手段５０１は、立体画像識別情報Ｉ１を解析し、立体画像フォーマットデータＦ１が立体画像表示用のデータであると判定した場合、制御情報Ｉ２を時間TIME1及びTIME2を示す値として、表１の立体画像表示モードを表示モード情報Ｍ１として、それぞれ立体画像表示装置へ出力し、画像データ部復号手段５０２と分離手段５０４が接続されるようにスイッチ５０３を切り替える。これと同時に、符号化データＤを画像データ部復号手段５０２に出力する。画像データ部復号手段５０２では符号化データＤを復号して立体画像データＷ２を生成し，スイッチ５０３を通して、立体画像データＷ２を分離手段５０４に出力する。分離手段５０４では、入力された立体画像データＷ２を左眼用画像データＬと右眼用画像データＲに分離してそれぞれ、出力画像データＯ１、Ｏ２として立体画像表示装置へ出力する。出力画像データＯ１，Ｏ２は、それぞれ入力画像Ａ１及びＡ２として、図１の立体画像表示装置に入力される。
【００６６】
また、立体画像フォーマットデータＦ１の内部の制御情報Ｉ２内に保存する値は、前記TIME1とTIME2のどちらか一方の値でも構わなく、保存されていないデータは予め設定された値を用いるようにしてもよい。
【００６７】
また、立体画像フォーマットデータＦ１の内部の制御情報Ｉ２内に保存する値は、前記TIME1とTIME2のどちらか一方の値でも構わなく、保存されていないデータは予め設定された値を用いるようにしてもよい。
【００６８】
例えばTIME1のみを保存した立体画像フォーマットデータＦ１を再生する場合、立体表示時間の計測値がTIME1に達した時点で、視差を小さくするように立体画像の表示制御を行うが、その後の表示制御は再生装置毎に自由に行えるものとする。すなわち、立体表示時間がTIME1を経過した後は、
（i）次に電源を切るまでは視差を小さくしたまま立体表示を継続する
（ii）再生装置が独自にTIME2に相当する時間を設定し、既に説明した手法によって視差を元の状態に戻す。
（iii）再生装置が独自に所定の時間を設定し、立体表示時間が所定の時間に達した時点で立体表示から平面表示に切り替える。
などの処理を行うことが出来る。
【００６９】
なお、上記では立体表示時間の計測値がTIME1に達した時点で、視差を小さくする例を述べたが、TIME1に達した時点で立体表示から平面表示に切り替えるようにしても良い。これによって、立体画像のコンテンツ作成者の意図を反映し、観察者の眼の疲労をより早く回復することが可能となる。
【００７０】
立体画像フォーマットデータＦ１が立体画像表示用のデータでないことを立体画像識別情報Ｉ１が示す場合、制御情報Ｉ２は出力しない。入力画像スルー表示モードを示す情報を表示モード情報Ｍ１として立体画像表示装置へ出力する。これと同時に、画像データ部復号手段５０２の出力が、出力画像データＯ１として出力されるようにスイッチ５０３を切り替える。これと同時に符号化データＤを画像データ部復号手段５０２に出力する。画像データ部復号手段５０２では符号化データＤを復号する。復号されたデータを平面画像データＷ１とすると、平面画像データＷ１は出力画像データＯ１として出力され、入力画像Ａ１として図１の立体画像表示装置に入力される。
【００７１】
また、上記で説明した立体画像フォーマットデータＦ１の画像データ部のデータは符号化されたデータでなくても構わない。例えば無圧縮のデータでも構わない。
【００７２】
また、上記で表示モード情報Ｍ１は立体画像識別情報Ｉ１から求めることを説明したが、外部から入力してもよく、さらに外部から入力された方の値を優先して用いても構わない。ただし、立体画像フォーマットデータＦ１が立体画像表示用のデータでないことを立体画像識別情報Ｉ１が示す場合のみ、表示モード情報Ｍ１は強制的に入力画像スルー表示モードを示す値にする。
【００７３】
また、上記で説明した立体画像フォーマットデータＦ１の立体画像制御情報部は、データＦ１内において繰り返し挿入されていても構わない。図９は立体画像コンテンツを放送で受信する際の一例を示す図である。例えば放送衛星２１から放送された立体画像コンテンツの放送波を移動受信端末２２で受信する。このとき放送される放送コンテンツは、複数の番組配列情報と立体画像コンテンツで構成されており、立体画像制御情報部はこの番組配列情報の一部として挿入されていても構わない。
【００７４】
また、立体画像フォーマットデータＦ１において、立体画像制御情報部は画像データ部に挿入されていても構わない。例えば画像データ部がＭＰＥＧ−４で符号化されたデータである場合、立体画像制御情報部はＭＰＥＧ−４符号化データ内で規定される所定の位置に挿入されていても構わない。
【００７５】
また、立体表示を開始した時刻を起点として時間計測判定手段４は計測を行うことを上記で説明したが、放送の場合、放送コンテンツの受信を開始してから最初に立体画像制御情報部のデータを受信した時刻、もしくは番組配列情報内に立体画像制御情報部のデータが含まれているなら、最初にその番組配列情報を受信した時刻を起点にして時間計測判定手段４は表示時間の計測を開始しても構わない。また、最初に受信した上記番組配列情報内に番組再生に必要な時間情報が含まれていれば、その情報を用いて作成した時刻を、時間計測判定手段４で行われる計測の起点としてもよい。
【００７６】
また上記では、立体画像フォーマットデータＦ１が放送波で伝送される場合について説明したが、例えば伝送経路として、ケーブルやインターネットなどのネットワークなどが使用されても構わないし、伝送される代わりにハードディスクや光ディスクなどの記録媒体に記録されていても構わない。
【００７７】
図１０は、立体画像フォーマットデータＦ１が、記録媒体に記録されて利用される場合のデータの流れの一例を説明する図である。例えば、立体画像データが立体画像符号化手段５１０に入力される。立体画像符号化手段５１０は入力された立体画像データを符号化し、立体画像フォーマットデータＦ１を作成し、記録媒体５１１に出力する。記録媒体５１１は、ハードディスクや、光ディスクなどを内蔵しており、入力されたデジタルデータを記録することができるものとする。記録媒体５１１から、立体画像フォーマットデータＦ１が立体画像復号手段５１２へ出力される。立体画像復号手段５１２は、上で説明した立体画像復号手段５００と同様にして、立体画像フォーマットデータＦ１を復号し、制御情報Ｉ２及び表示モード情報Ｍ１、立体画像データを出力する。
【００７８】
また、図１１は、立体画像フォーマットデータＦ１の伝送経路としてネットワークが使われた場合のデータの流れの一例を説明する図である。例えば、立体画像データが立体画像符号化手段５２０に入力される。立体画像符号化手段５２０は入力された立体画像データを符号化し、立体画像フォーマットデータＦ１を作成する。立体画像フォーマットデータＦ１は、ネットワーク５２２を通じて立体画像復号手段５２３に伝送される。立体画像復号手段５２３は、上で説明した立体画像復号手段５００と同様にして、立体画像フォーマットデータＦ１を復号し、制御情報Ｉ２及び表示モード情報Ｍ１、立体画像データを出力する。
【００７９】
また、立体画像フォーマットデータＦ１は、ＢＳやＣＳなどの放送に用いられるデータに変換され、伝送されても構わない。例えば、立体画像データが立体画像作成手段５２０に入力される。立体画像作成手段５２０は入力された立体画像データを符号化し、立体画像フォーマットデータＦ１を作成し、ＢＳデータ作成手段５２１に出力する。ＢＳデータ作成手段５２１は、立体画像フォーマットデータＦ１を用いてＢＳデータを作成し、ネットワーク５２２を通じてＢＳデータ復号手段５２４へ出力する。ＢＳデータ復号手段５２４は、入力されたＢＳデータを復号して立体画像フォーマットデータＦ１を生成し、立体画像復号手段５２３へ出力する。立体画像復号手段５２３は、上で説明した立体画像復号手段５００と同様にして、立体画像フォーマットデータＦ１を復号し、制御情報Ｉ２及び表示モード情報Ｍ１、立体画像データを出力する。
【００８０】
こうして立体画像表示装置では、制御情報Ｉ２の値からそれぞれ処理に用いる時間TIME1及びTIME2を取得して使用することができ、立体表示する個々のデータに応じて、時間TIME1及びTIME2を設定できるため便利である。
【００８１】
次に、入力画像データが３つの場合について説明する。 図１２は、入力画像データが３つの場合の第１の実施形態の立体画像表示装置の構成例を示す図である。
【００８２】
この立体画像表示装置は、３つの視点から撮影された多視点画像データ（入力画像Ｘ，Ｙ，Ｚ）を入力として立体画像データを作成し、フレームメモリ２に出力する立体画像作成手段６００と、多視点画像データのいずれか一つのデータから平面画像を作成する平面画像作成手段６と、入出力する画像データを切り替えるためのスイッチ１１，１２，６０１，６０２，６０３と、それらのスイッチを、多視点画像データを用いて立体表示を行うか平面表示を行うかを示す表示モード情報Ｍ′１に合わせて制御するスイッチ制御手段６０４と、立体画像作成手段６００又は平面画像作成手段６で作成された画像もしくは入力画像をそのまま格納するフレームメモリ２と、立体表示と平面表示が可能な表示手段であり、かつ表示モード情報Ｍ′１に応じてフレームメモリ２の画像データを立体画像として表示もしくは平面画像として表示する表示手段３と、立体画像表示の際に、立体画像の表示時間を計測する時間計測判定手段４と、立体画像の表示時間が所定の時間を超えた場合、立体画像作成手段６００に前記多視点画像の視差を調整して立体画像を作成することを指示する視差制御手段５とを備えて構成されている。表示モード情報Ｍ′１については後述する。
【００８３】
ここで、フレームメモリ２と、表示手段３、時間計測判定手段４、視差制御手段５、平面画像作成手段６、スイッチ１１，１２は前述した、２つの画像が入力された場合の第１の実施形態の立体画像表示装置と同じ動作をするため、図１２における番号も同じものとする。以下、図１２を用いて、入力画像データが３つの場合における、本発明の第１の実施形態を説明する。
【００８４】
外部から表示モード情報Ｍ′１がスイッチ制御手段６０４に入力される。表示モード情報Ｍ′１には、立体画像表示モード１〜４、平面画像表示モード１〜３、入力画像スルー表示モードの８種類があり、本装置は入力された表示モード情報Ｍ′１に合わせて、入力画像のうちのいずれか２つ、もしくは３つを用いた立体画像表示及び、入力画像のうちのいずれか１つを用いた平面画像表示、入力画像をそのまま平面表示する入力画像スルー表示のそれぞれを切り替える。
【００８５】
表４に表示モード情報Ｍ′１の値とモード名及び各モードで表示される画像の関係をまとめて示す。
【００８６】
【表４】

【００８７】
立体画像表示モード１では、入力画像データＸとＹを用いて立体画像（２視点）を作成し、立体表示する。立体画像表示モード２では、入力画像データＹとＺを用いて立体画像（２視点）を作成し、立体表示する。立体画像表示モード３では、入力画像データＸとＺを用いて立体画像（２視点）を作成し、立体表示する。立体画像表示モード４では、入力画像データＸとＹ，Ｚを用いて立体画像（３視点）を作成し、立体表示する。
【００８８】
平面画像表示モード１では、入力画像Ｘを用いて平面画像を作成し、平面表示する。平面画像表示モード２では、入力画像データＹを用いて平面画像を作成し、平面表示する。平面画像表示モード３では、入力画像データＺを用いて平面画像を作成し、平面表示する。入力画像スルー表示モードでは、入力画像データＸ，Ｙ，Ｚのいずれかひとつをそのままスルー表示する。
【００８９】
以上８つの表示モードにおける本表示装置の動作について説明する。まず、表示モード情報Ｍ′１が立体画像表示モード１〜３のいずれかである場合の本装置の動作について説明する。
【００９０】
立体画像表示モード１〜３のいずれかがスイッチ制御手段６０４に入力される。スイッチ制御手段６０４は、スイッチ６０２をオフにして、表４を参照して各モードで立体画像を作成するのに必要な画像データ（入力画像Ｘ，Ｙ，Ｚのうちいずれか２つ）が、立体画像作成手段６００に入力されるようにスイッチ１１，１２，６０１を制御し、立体画像作成手段６００とフレームメモリ２が接続されるようにスイッチ６０３を制御する。次に、立体画像作成手段６００は、前述した入力画像データが２つの場合において説明した表示モード情報Ｍ１の、立体画像表示モードと同様にして、立体画像データ（２視点）を作成し、フレームメモリ２に出力する。最後にフレームメモリ２から立体画像データが表示手段３に入力される。表示手段３は入力された立体画像データ（２視点の画像データ）を立体表示する。
また、時間計測手段４及び視差制御手段５は、入力画像データが２つの場合と同様の動作を行い、視差の調節をして立体表示を行う。
【００９１】
以上の説明では、表示手段３は左右眼別の画像（２視点の画像）を表示する２眼式の表示手段としたが、３視点の画像を表示する多眼式の表示手段を備えるようにしてもよく、この場合には立体画像表示モード４が選択可能である。
【００９２】
次に、表示モード情報Ｍ′１が立体画像表示モード４である場合の本装置の動作について説明する。
立体画像表示モード４がスイッチ制御手段６０４に入力される。スイッチ制御手段６０４は、スイッチ６０２をオフにし、表４を参照して各モードで立体画像を作成するのに必要な画像データ（入力画像Ｘ及びＹ，Ｚ）が、立体画像作成手段６００に入力されるようにスイッチ１１，１２，６０１を制御し、立体画像作成手段６００とフレームメモリ２が接続されるようにスイッチ６０３を制御する。次に、立体画像作成手段６００において、立体画像データ（３視点）が作成され、フレームメモリ２に書き込まれる。最後にフレームメモリ２から立体画像データが表示手段３に入力される。表示手段３は入力された立体画像データ（３視点）を立体表示する。
【００９３】
このとき立体画像作成手段６００において作成される立体画像データ（３視点）について、図１３を参照して説明する。図１３は入力画像データが３つの場合の立体画像データの作成及びその表示の一例を示す図である。
【００９４】
入力画像データＸを垂直方向の短冊状に分解した画像をＸ１，Ｘ２，Ｘ３，Ｘ４，Ｘ５，Ｘ６，Ｘ７，Ｘ８、入力画像データＹを垂直方向の短冊状に分解した画像をＹ１，Ｙ２，Ｙ３，Ｙ４，Ｙ５，Ｙ６，Ｙ７，Ｙ８、入力画像データＺを垂直方向の短冊状に分解した画像をＺ１，Ｚ２，Ｚ３，Ｚ４，Ｚ５，Ｚ６，Ｚ７，Ｚ８とする。このとき表示する画像の水平方向のサイズは入力画像データＸとＹ，Ｚ、それぞれの水平方向のサイズよりも小さいとする。
【００９５】
例えば、図１３の入力画像データＸ，Ｙ，Ｚにおいて太枠で示した範囲内の画像が実際に表示されるとすると、立体画像データ（３視点）は図１３のようにＸ２，Ｙ３，Ｚ４，Ｘ５，Ｙ６，Ｚ７を用いて作成される。立体画像表示装置のディスプレイ面上にはスリット３００が備えられており、ディスプレイに表示されたＸ２，Ｘ５の画像が観察者の左眼に、Ｙ３，Ｙ６の画像が観察者の右眼に送られることにより観察者は、観察位置１からの立体画像を観察することができる。また、観察者が右に動くことにより、Ｙ３，Ｙ６の画像が観察者の左眼に、Ｚ４，Ｚ７の画像が観察者の右眼に送られることにより観察者は、観察位置２から立体画像を観察することができる。
【００９６】
また視差の調節は、３視点以上の画像のうち観察者の目に届く２視点の画像の間の視差について、入力画像データが２つの場合で説明した方法と同様に行う。例えば、まず観察位置１の視差を調節する。入力画像データＸとＹの太枠をそれぞれ動かして立体画像を作成することによって、観察位置１の視差を調節する。このとき、入力画像データＺの太枠は、隣り合う視点の入力画像データであるＹの太枠と同じだけ動かして配置して立体画像を作成する。この場合、観察位置１における視差は変化するが、観察位置２における視差は変化しない。
【００９７】
次に、観察位置２の視差を調節してもよい。例えば上記の観察位置１の視差を調節で説明したように入力画像Ｚの太枠を入力画像データであるＹの太枠と同じだけ動かした後、入力画像Ｚの太枠をさらに動かして立体画像を作成することによって、観察位置２の視差視差を調節する。
【００９８】
このようにして、３視点の画像を表示する多眼式の表示手段であっても、観察位置１と観察位置２のそれぞれに対して、入力画像データが２つの場合で説明した方法と同様に視差の調節を行うことができる。
【００９９】
次に、表示モード情報Ｍ′１が平面画像表示モード１〜３である場合の本装置の動作について説明する。平面画像表示モード１〜３のいずれかが、スイッチ制御手段６０４に入力される。スイッチ制御手段６０４は、スイッチ１１，１２，６０１をオフにし、表４を参照してそれぞれのモードで平面画像を作成するのに必要な画像データ（入力画像Ｘ，Ｙ，Ｚのうちいずれか１つ）が、平面画像作成手段６に入力されるようにスイッチ６０２を制御し、平面画像作成手段６とフレームメモリ２が接続されるようにスイッチ６０３を制御する。平面画像作成手段６は、前述した入力画像データが２つの場合において説明した表示モード情報Ｍ１の左眼(もしくは右眼)用平面画像表示モードと同様にして、平面画像データを作成し、フレームメモリ２に出力する。最後にフレームメモリ２から平面画像データが表示手段３に入力される。表示手段３は入力された平面画像データを平面表示する。
【０１００】
また、表示モード情報Ｍ′１が入力画像スルー表示モードである場合の本装置の動作について説明する。入力画像スルー表示モードが、スイッチ制御手段６０４に入力される。スイッチ制御手段６０４は、スイッチ１１，１２，６０１をオフにし、入力画像Ｘ（入力画像Ｘ，Ｙ，Ｚのうちいずれか１つ）がフレームメモリ２に入力されるようにスイッチ６０２とスイッチ６０３を制御する。入力画像がフレームメモリ２に出力される。最後にフレームメモリ２から平面画像データが表示手段３に入力される。表示手段３は入力された平面画像データを平面表示する。
【０１０１】
以上、表示モード情報Ｍ′１に対する本装置の動作について説明したが、このようにして、入力画像が３つである場合にも、入力画像データが２つの場合と同様にして、観察者の目の疲労に合わせて、視差を調整して立体画像を表示することが可能である。またこのとき必要に応じて平面画像を表示することも出来る。
【０１０２】
またさらに、入力画像の数がｍ（ｍは４以上の整数）個の場合でも、入力の数と、入力と立体画像作成手段６００をつなぐスイッチの数、スイッチ６０２の入力との接点の数、表示モード情報Ｍ′１の種類を、入力画像データが２の場合から３の場合に拡張した場合と同様に拡張を行うことにより、立体画像の表示及び、その視差を調節することができる。
【０１０３】
また、立体画像フォーマットデータＦ１の画像データ部は、ｎ（ｎ≧１）視点から構成されていてもよく、この場合、制御情報Ｉ２内に、立体画像フォーマットデータＦ１に含まれる視点数を含めてもよく、このとき例えば、図７の立体画像復号手段５００において、立体画像フォーマットデータＦ１に含まれる視点数を示すデータを立体画像制御情報解析手段５０１から分離手段５０４に伝送し、立体画像データＷを視点の数だけ分離して出力する。
【０１０４】
次に、本発明の第２の実施形態について説明する。
図１４は、本発明による立体画像表示装置の第２の実施形態の構成例を示す図である。
【０１０５】
本発明における第２の実施形態の立体画像表示装置は、左右眼別の画像データを入力として立体画像データを作成する立体画像作成手段１００と、左右眼別の画像データのどちらか一方のデータから平面画像を作成する平面画像作成手段６と、入出力する画像データを切り替えるためのスイッチ１１，１２，１３，１４と、それらのスイッチを表示モード情報Ｍ１に従って制御するスイッチ制御手段１０と、立体画像作成手段１００又は平面画像作成手段６で作成された画像もしくは入力画像をそのまま格納するフレームメモリ２と、表示モード情報Ｍ１に応じてフレームメモリ２の画像データを立体画像として表示もしくは平面画像として表示する表示手段３と、立体画像の表示時間を計測する時間計測判定手段１０１と、立体画像の表示時間が所定の時間を超えた場合、立体画像作成手段１００に現在表示している立体画像上に警告のメッセージを表示するように指示する警告表示制御手段１０２から構成されている。ここでフレームメモリ２と表示手段３、平面画像作成手段６、スイッチ制御手段１０、スイッチ１１，１２，１３，１４は前述した第１の実施形態の立体画像表示装置と同じ動作をするため、図１４における番号も同じものとする。
【０１０６】
第１の実施形態と同様にして、外部から表示モード情報Ｍ１がスイッチ制御手段１０に入力される。ここで表示モード情報Ｍ１は、第１の実施形態で説明したものと同様である。ここで、表示モード情報Ｍ１が入力画像スルー表示モードである場合と、左眼用もしくは右眼用画像を用いた平面画像表示である場合における本表示装置の動作は第１の実施形態で説明した表示装置と同様である。
【０１０７】
次に、表示モード情報Ｍ１が立体画像表示モードである場合の動作について説明する。
外部から立体画像作成手段１００に入力画像Ａ１として左眼用画像データＬ及び入力画像Ａ２として右眼用画像データＲがそれぞれ入力される。
【０１０８】
表示モード情報Ｍ１が立体画像表示モードである場合、スイッチ制御手段１０は、スイッチ１１，１２をオンにし、立体画像作成手段１００とフレームメモリ２を接続されるように、スイッチ１４を制御する。外部から立体画像作成手段１００にスイッチ１１を通じて左眼用画像データＬが、スイッチ１２を通じて右眼用画像データＲがそれぞれ入力される。次に立体画像作成手段１００において立体画像データが作成され、フレームメモリ２に書き込まれる。最後にフレームメモリ２から立体画像データが表示手段３に入力される。表示手段３は入力された立体画像を立体表示する。
【０１０９】
ここで、図１５に示すフローチャートを用いて、図１４に示した立体画像表示装置による立体画像表示の処理動作を説明する。
初期状態において、立体画像表示装置は、立体画像表示を行う（Ｓ２１）。図１４に示す時間計測判定手段１０１は立体表示を行っている間、その時間を計測する。立体画像作成手段１００は立体画像を表示している間、時間計測判定手段１０１に立体画像表示通知信号を送り、時間計測判定手段１０１は立体画像表示通知信号が入力されている時間ｔ３を計測する。このとき、立体表示を開始した時刻を起点として時間計測判定手段１０１は計測を行う。
【０１１０】
時間計測判定手段１０１では、計測した時間ｔ３が決められた時間TIME３を超えたか否かを判定し（Ｓ２２）、越えていなければステップ２１に戻って立体画像表示を続ける。計測した時間ｔ３が決められた時間TIME３を超えると、警告表示制御手段１０２は立体画像作成手段１００に、表示している立体画像上に警告のメッセージを上書きして立体で表示するように指示する信号を送る。この信号が入力されると、立体画像作成手段１００では現在作成している立体画像面上に警告のメッセージを上書きして立体画像を作成し、出力する（Ｓ２３）。このとき警告のメッセージが最前面になるように（観察者から見て最も浮き上がってみえるように）立体画像を作成する。
【０１１１】
例えば、観察者が立体として知覚できる限界の飛び出し位置に警告のメッセージが立体で表示されるように、警告のメッセージの部分に視差を与えたものを、現在表示している立体画像上に上書き、合成して、立体画像を作成するようにしてもよい。また、このときの視差を立体表示限界視差とする。
【０１１２】
また、これまで表示していた立体画像の代わりに左（又は右）眼用の画像だけを用いて平面画像を作成し、警告のメッセージの部分だけが立体表示されるように、警告のメッセージの部分に視差を与えたものを、平面画像上に上書き、合成して、立体画像を作成するようにしてもよい。あるいは、これまで表示していた立体画像の代わりに所定の画像を用いて平面画像を作成し、警告のメッセージの部分に視差を与えたものを、平面画像上に上書き、合成して、立体画像を作成するようにしてもよい。例えば黒い画面を作成し、その画面上に警告のメッセージを上書きしてもよい。
【０１１３】
また、現在表示している立体画像の左眼用画像と右眼用画像を用いて、所定の画素数単位に分割されたブロック単位で視差ベクトルを求め、求めた視差ベクトルの中で最も飛びだし量が大きくなる視差ベクトルの値を最大視差として、この値よりも大きい視差を警告のメッセージの部分に与えるようにしてもよい。このとき、与える視差は、前記立体表示限界視差を超えないようにする。なお、上記視差ベクトルは、ブロックマッチングなどによって求めることが可能である。また、最大視差は画素単位の視差ベクトルなど、ブロック単位の視差ベクトル以外のデータから求めてもよい。
【０１１４】
次に、立体画像作成手段１００、時間計測判定手段１０１、警告表示制御手段１０２との間で伝送される信号について、表５を参照して説明する。
【０１１５】
【表５】

【０１１６】
状態［２−１］は、時間計測判定手段１０１が立体画像表示時間の計測を開始したときの状態であり、このとき本装置が立体画像を表示していることを示す立体画像表示通知信号が、立体画像作成手段１００から時間計測判定手段１０１へ出力される。
【０１１７】
状態［２−２］は、時間計測判定手段１０１の計測時間が決められた時間TIME３を経過したときの状態であり、時間計測判定手段１０１から警告表示制御手段１０２へ、時間TIME３を経過したことを表す時間計測終了信号Ｔ３が出力され、警告表示制御手段１０２から立体画像作成手段１００へ、現在作成している立体画像上に警告のメッセージを表示することを指示する信号がそれぞれ出力される。このようにして、観察者はいち早く長時間観察したという警告を知ることができるため観察者の眼を保護することができる。
【０１１８】
また上記では、警告メッセージ自体を立体画像として作成し、現在表示している立体画像もしくは、平面画像に変換した画像上に上書きして表示する場合について述べたが、警告メッセージ自体が平面画像であっても構わない。また警告メッセージを表示する代わりに、ブザーなどを鳴らしてもかまわないし、ランプやインジケーターなどを点灯させてもかまわない。警告メッセージを表示した後、所定の時間が経過すればディスプレイの表示を止める、もしくはディスプレイの電源を切っても構わない。
【０１１９】
上記で説明した決められた時間TIME３は、観察者が立体画像を立体として鑑賞できる連続鑑賞時間を表す。この時間TIME３は、立体画像表示装置内部のメモリに予め設定された値を保存しておいてもよい。また、この時間TIME３の予め設定された値は、１つではなく、例えば入力画像の画面サイズや入力画像が動画であればその全再生時間などといった鑑賞時の目の疲れと関連のある要素をパラメータとして、それらのパラメータの組み合わせに応じた数だけ設定されていても構わない。また、観察者が時間TIME3を変更できるようにしてもよい。
【０１２０】
また、図１４の立体画像表示装置の前段に、図７で示したものと同様に立体画像フォーマットデータＦ２を復号するための立体画像復号手段と、立体画像復号手段で復号された立体画像データを左右眼別の画像データに分離する分離手段を配置してもよい。このとき立体画像フォーマットデータＦ２の構成は、本発明の第１の実施形態で説明した立体画像フォーマットデータＦ１と同様に、立体画像制御情報部と画像データ部から構成することができる。ただし、立体画像フォーマットデータＦ２の内部の制御情報Ｉ２内に保存されている値は、前述した時間TIME３に相当する値とし、立体画像表示装置において、時間計測判定手段１０１で用いる時間TIME３にこの値を代入して用いてもよい。
【０１２１】
また、このときの立体画像復号手段及び分離手段の動作は、本発明の第１の実施形態で説明したものと同様である。
また、上記で説明した立体画像フォーマットデータＦ２の画像データ部のデータは符号化されたデータでなくても構わない。例えば無圧縮のデータでも構わない。また、上記で説明した立体画像フォーマットデータＦ２の立体画像制御情報部は、本発明の第１の実施形態で説明したものと同様に、例えば番組配列情報の一部として、データＦ２内において繰り返し挿入されていても構わない。
【０１２２】
また、立体画像フォーマットデータＦ２において、本発明の第１の実施形態で説明したものと同様、立体画像制御情報部は画像データ部に挿入されていても構わない。例えば画像データ部がＭＰＥＧ−４で符号化されたデータである場合、立体画像制御情報部はＭＰＥＧ−４符号化データ内に規定される所定の位置に挿入されていても構わない。
【０１２３】
また、表示装置に上記の放送を受信できる受信手段が備わっており、かつ録画手段が備わっている、もしくは外部の録画装置が接続されていたりする場合、立体画像の放送を受信中に決められた時間TIME３を超過した場合、立体画像表示装置の表示手段に警告メッセージを表示すると同時に録画を開始し、その後の放送を録画し続けても構わない。
【０１２４】
また、立体表示を開始した時刻を起点として時間計測判定手段１０１は計測を行うことを上記で説明したが、本発明の第１の実施形態で説明したものと同様、放送の場合、放送コンテンツの受信を開始してから最初に立体画像制御情報部のデータを受信した時刻、もしくは番組配列情報内に立体画像制御情報部のデータが含まれているなら、最初にその番組配列情報を受信した時刻を起点にして時間計測判定手段１０１は表示時間の計測を開始しても構わない。また、最初に受信した上記番組配列情報内に番組再生に必要な時間情報が含まれていれば、その情報を用いて作成した時刻を、時間計測判定手段１０１で行われる計測の起点としてもよい。
【０１２５】
また上記では、立体画像フォーマットデータＦ２が放送波で伝送される場合について説明したが、例えば伝送経路として、ケーブルやインターネットなどのネットワークなどが使用されても構わないし、伝送される代わりにハードディスクや光ディスクなどの記録媒体に記録されていても構わない。
【０１２６】
こうして立体画像表示装置では、立体画像フォーマットデータＦ２の制御情報の値から決められた時間TIME３を、本発明の第１の実施形態の場合と同様に代入して使用することができ、立体表示する個々のデータに応じて、時間計測判定手段１０１で用いる時間TIME３を設定できるため便利である。
【０１２７】
以上では入力画像が２つである場合について装置の動作を説明したが、この第２の実施形態は、入力画像データが３つ以上の場合に対しても、本発明の第１の実施形態と同様に拡張することができる。
【０１２８】
また、立体画像フォーマットデータＦ２の画像データ部は、ｎ（ｎ≧１）視点から構成されていてもよく、この場合には、本発明の第１の実施形態にて説明した拡張方法と同様の方法で、立体画像復号手段５００と分離手段５０４を拡張すればよい。
【０１２９】
次に、本発明の第３の実施形態について説明する。
図１６は、本発明による立体画像表示装置の第３の実施形態の構成例を示す図である。
【０１３０】
本発明における第３の実施形態の立体画像表示装置は、左右眼別の画像データを用いて、立体表示を行うか平面表示を行うかを示す表示モード情報Ｍ１と、平面表示のみを行うことを示す平面表示モード情報Ｍ２のどちらか一方をスイッチ制御手段２００の入力に切り替えるためのスイッチ２０１と、スイッチ２０１の切り替えを行うための立体表示禁止フラグを記憶するためのメモリを備えたモードスイッチ制御手段２０２と、左右眼別の画像データから立体画像を作成する立体画像作成手段２０３と、左右眼別の画像データのどちらか一方のデータから平面画像を作成する平面画像作成手段６と、入出力する画像データを切り替えるためのスイッチ１１，１２，１３，１４と、それらのスイッチを制御するスイッチ制御手段２００と、立体画像作成手段２０３又は平面画像作成手段６で作成された画像を格納するフレームメモリ２と、フレームメモリ２の画像データを用いて立体画像を表示する表示手段３と、立体画像の表示時間を計測する第１の時間計測判定手段２０４と、立体画像の表示時間が所定の時間を超えた場合に強制的に第２の時間計測判定手段２０５以外の電源を切る電源制御手段２０６と、強制的に電源が切られてからの経過時間を計測する第２の時間計測判定手段２０５から構成されている。ここでフレームメモリ２と表示手段３、平面画像作成手段６、スイッチ１１，１２，１３，１４は、前述した第１及び第２の実施形態の立体画像表示装置と同じ動作をするため、図１６における番号も同じものとする。
【０１３１】
表示モード情報Ｍ１は、第１の実施形態で説明したものと同様である。また平面表示モード情報Ｍ２については後述する。
【０１３２】
第１及び第２の実施形態と同様にして、外部から表示モード情報Ｍ１がスイッチ制御手段２００に入力される。ここで、表示モード情報Ｍ１が入力画像スルー表示モードである場合と、左眼用もしくは右眼用画像を用いた平面画像表示である場合における本表示装置の動作は、第１の実施形態で説明した表示装置の動作と同様である。
【０１３３】
次に、表示モード情報Ｍ１が立体画像表示モードである場合について説明する。外部からスイッチ２０１に表示モード情報Ｍ１と、平面表示モード情報Ｍ２がスイッチ２０１に入力される。スイッチ２０１は、表示モード情報Ｍ１か、平面表示モード情報Ｍ２のどちらか一方を、スイッチ制御手段２００の入力に接続する。スイッチ２０１の切り替えは、モードスイッチ制御手段２０２により制御される。
【０１３４】
モードスイッチ制御手段２０２は、内部にメモリを備えており、立体表示禁止フラグをメモリに記憶する。ここでモードスイッチ制御手段２０２はスイッチ２０１を制御する手段であり、例えば立体表示禁止フラグが０の場合は表示モード情報Ｍ１が、１の場合は平面表示モード情報Ｍ２がスイッチ制御手段２００に入力されるようにスイッチ２０１を制御する。立体表示禁止フラグの初期値を０とすると、動作開始時にはスイッチ２０１は表示モード情報Ｍ１側に接続される。
【０１３５】
ここで平面表示モード情報Ｍ２について説明する。平面表示モード情報Ｍ２は、例えば表６に示すように、表示モード情報Ｍ１で説明した左眼用平面画像表示モードもしくは右眼用平面画像表示モードの２種類のみから構成される。
【０１３６】
【表６】

【０１３７】
図１７は、本発明の第３の実施形態の立体画像表示装置の立体表示開始後の動作を示すフローチャートである。図１６及び図１７を用いて、それぞれの表示モードにおける本装置の動作を詳細に説明する。
【０１３８】
装置の電源が投入されると、初期処理の後、ステップ３１において、立体表示をすべきかどうかを判定する。この判定処理は、表示モード情報Ｍ１の内容に基づいて行われる。表示モード情報Ｍ１が平面画像表示モードである場合には、ステップ３２に進み、表示モード情報Ｍ１の示すところに従って平面画像表示を行う。
【０１３９】
表示モード情報Ｍ１が立体画像表示モードである場合には、ステップ３１からステップ３３に進み、モードスイッチ制御手段２０２内部のメモリにある立体表示禁止フラグの値を０とし、ステップ３４に進む。ステップ３４では、立体画像作成手段２０３で立体画像を作成し、第１の時間計測判定手段２０４で立体画像を表示している時間ｔ４を計測する。このとき、第１の時間計測判定手段２０４は、立体画像表示を開始した時刻を起点として計測を行う。
【０１４０】
表示モード情報Ｍ１はスイッチ制御手段２００に入力され、入力された表示モード情報Ｍ１が立体画像表示モードである場合、スイッチ制御手段２００は、スイッチ１１及び１２をオン、スイッチ１３をオフにし、スイッチ１４をフレームメモリ２と立体画像作成手段２０３が接続されるように制御する。スイッチ１１及びスイッチ１３に左眼用画像データＬが、スイッチ１２及びスイッチ１３には右眼用画像データＲがそれぞれ外部から入力される。左眼用画像データＬ及び右眼用画像データＲがそれぞれ、スイッチ１１，１２を通じて立体画像作成手段２０３に入力される。立体画像作成手段２０３では、第１の実施形態で説明したのと同様にして立体画像データが作成され、スイッチ１４を通してフレームメモリ２に書き込まれる。作成された立体画像データは、フレームメモリ２から表示手段３に入力されて表示される。立体画像作成手段２０３は立体画像を表示している間、第１の時間計測判定手段２０４に立体画像表示通知信号を送り、第１の時間計測判定手段２０４は立体画像表示通知信号が入力されている間、その時間を計測する。
【０１４１】
次に判定ステップ３５に進む。第１の時間計測判定手段２０４で計測した時間ｔ４は電源制御手段２０６に入力される。判定ステップ３５では、電源制御手段２０６において、第１の時間計測判定手段２０４から入力された計測時間ｔ４が決められた時間TIME４を超過したか否かを判定する。計測した時間ｔ４が時間TIME４を越えていないと判定された場合、ステップ３４に戻り、立体画像作成手段２０３による立体画像の作成、及び作成された立体画像の表示手段３へ表示を行う。第１の時間計測判定手段２０４で計測した時間ｔ４が時間TIME４を越えたと判定された場合、ステップ３６に進む。
【０１４２】
ステップ３６において、本装置は次のような動作をする。電源制御手段２０６から、モードスイッチ制御手段２０２へ、画像の立体表示を禁止することを示す立体表示禁止信号を送信し、第２の時間計測判定手段２０５へ計測時間を０にリセットして計測を開始するように指示する計測開始信号を送信する。そして、装置の一部電源をオフにする。例えば、モードスイッチ制御手段２０２と第２の時間計測判定手段２０５以外の電源を強制的にオフにする。モードスイッチ制御手段２０２では、立体表示禁止信号が入力されると同時に、モードスイッチ制御手段２０２内のメモリに立体表示禁止フラグを１にして記憶する。
【０１４３】
ここで、立体画像作成手段２０３、第１の時間計測判定手段２０４、電源制御手段２０６、第２の時間計測判定手段２０５、モードスイッチ制御手段２０２との間で伝送される信号について、表７を参照して説明する。
【０１４４】
【表７】

【０１４５】
状態［５−１］は、第１の時間計測判定手段２０４が立体画像表示時間の計測を開始したときの状態であり、このとき本装置が立体画像を表示していることを示す立体画像表示通知信号が、立体画像作成手段２０３から第１の時間計測判定手段２０４へ出力される。
【０１４６】
状態［５−２］は、第１の時間計測判定手段２０４の計測時間が決められた時間TIME４を経過したときの状態であり、第１の時間計測判定手段２０４から電源制御手段２０６へ時間TIME４が経過したことを表す時間計測終了信号Ｔ４が出力され、それに応じて電源制御手段２０６から、第２の時間計測判定手段２０５へ計測時間を０にリセットして計測を開始するように指示する計測開始信号と、モードスイッチ制御手段２０２へ立体表示禁止信号が、それぞれ出力される。
【０１４７】
計測開始信号を受けた第２の時間計測判定手段２０５は、立体表示を中止してからの経過時間（立体画像非表示時間）ｔ５の計測を開始する。
【０１４８】
次に、判定ステップ３７に進む。判定ステップ３７では、第２の時間計測判定手段２０５によって計測された時間ｔ５が決められた時間TIME５を超過したか否かを判定する。時間ｔ５が時間TIME５を経過したと判定された場合、モードスイッチ制御手段２０２は、立体表示禁止フラグを０にしてメモリに記憶し、第２の時間計測判定手段２０５へ計測停止信号を送り、モードスイッチ制御手段２０２の電源をオフにする。第２の時間計測判定手段２０５に計測停止信号が入力されると同時に、第２の時間計測判定手段２０５は計測時間ｔ５をリセットし、第２の時間計測判定手段２０５の電源をオフにする。
【０１４９】
表８に、このとき、第２の時間計測判定手段２０５、モードスイッチ制御手段２０２の間で伝送される信号について示す。
【０１５０】
【表８】

【０１５１】
状態［６−１］は、第２の時間計測判定手段２０５の計測時間ｔ５が決められた時間TIME５を経過したときの状態であり、第２の時間計測判定手段２０５からモードスイッチ制御手段２０２へ時間TIME５が経過したことを表す時間計測終了信号Ｔ５が、モードスイッチ制御手段２０２から第２の時間計測判定手段２０５へ計測停止信号が、それぞれ出力される。
【０１５２】
このようにして、装置の一部の電源が強制的にオフにされてから決められた時間TIME５を経過しても電源がオンされなかった場合（画像表示を再開するための操作が行われなかった場合）には、ステップ３８に進み、モードスイッチ制御手段２０２は立体表示禁止フラグを０にしてメモリに記憶し、すべての電源をオフにして動作を終了する。
【０１５３】
判定ステップ３７において、ステップ３６で計測開始された立体画像非表示時間ｔ５が決められた時間TIME５を経過していないと判定された場合、判定ステップ３９へ進む。
【０１５４】
判定ステップ３９では、本装置に画像を表示するための操作が行われたか否か、すなわち装置の電源スイッチが押されたか否かを判定する。電源スイッチが押されていないと判定された場合は、ステップ３７に戻って時間ｔ５の計測を続行する。一方、電源スイッチが押されたと判定された場合は、ステップ４０へ進む。ステップ４０では、本装置全体の電源をオンにするための処理を行う。その後、ステップ４１に進み、本装置は立体画像の表示を禁止し、以下のようにして平面画像の表示を行う。
【０１５５】
例えば図１６において、外部からスイッチ２０１に表示モード情報Ｍ１と、平面表示モード情報Ｍ２が入力される。モードスイッチ制御手段２０２は、メモリにある立体表示禁止フラグを参照し、その値が１であるので、平面表示モード情報Ｍ２がスイッチ制御手段２００に入力されるようにスイッチ２０１を制御する。スイッチ２０１は表示モード情報Ｍ２側に接続され、スイッチ制御手段２００にスイッチ２０１を通して平面表示モード情報Ｍ２が入力される。
【０１５６】
ここで、平面表示モード情報Ｍ２が左眼用平面画像表示モードであるとすると、スイッチ制御手段２００は、スイッチ１１及び１２をオフにし、スイッチ１３を左眼用画像データＬが平面画像作成手段６に入力されるように、スイッチ１４をフレームメモリ２と平面画像作成手段６が接続されるようにそれぞれ切り替える。平面画像作成手段６において左眼用画像の平面画像データが作成され、スイッチ１４を通して、フレームメモリ２に書き込まれる。フレームメモリ２から平面画像データが表示手段３に入力される。表示手段３は入力された平面画像データを表示する。このとき作成される平面画像は、本発明の第１の実施形態及び第２の実施形態で説明した、表示モード情報Ｍ１が左眼用平面画像表示モードである場合と同様にして作成される。以上のように平面表示モード情報Ｍ２に従って、平面画像の作成、表示を行う。
【０１５７】
また、このようにして平面画像を表示している間も、第２の時間計測判定手段２０５は時間ｔ５の計測を続けており、立体表示の際と同様に第２の時間計測判定手段２０５で計測した時間ｔ５は、モードスイッチ制御手段２０２に入力される。ステップ４２では、計測時間ｔ５が決められた時間TIME５に達しているか否かの判定を行い、第２の時間計測判定手段２０５で計測された時間ｔ５が決められた時間TIME５を経過するまでは平面画像の表示を行い、計測された時間ｔ５が時間TIME５に達すると同時に、ステップ４３に進む。ステップ４３において、モードスイッチ制御手段２０２は、第２の時間計測判定手段２０５へ計測停止信号を送る等の立体表示再開処理を行う。第２の時間計測判定手段２０５は、計測停止信号が入力されると同時に計測時間をリセットし、時間の計測を止める。その後、ステップ３３に戻り、モードスイッチ制御手段２０２は、立体表示禁止フラグを０にしてメモリに記憶する。以降、立体表示禁止フラグが０であるので、表示モード情報Ｍ１に沿って立体画像を表示する。
【０１５８】
また、この時、モードスイッチ制御手段２０２に、画像の立体表示を許可することを示す立体表示許可信号が入力される場合、画面上に立体画像の表示を許可するメッセージを表示してもよい。
【０１５９】
このようにして、立体画像の長時間の連続的な表示が行われた場合は強制的に立体画像表示装置の電源をオフにし、観察者が再度電源をオンにしても、電源が強制的にオフにされてから決められた時間TIME５が経過するまでは立体画像の表示を禁止することにより、観察者の眼を確実に保護することができる。また強制的に電源がオフにされてから所定の時間TIME5が経っていない状態で、再度電源をオンにした場合、観察者の眼に負担の少ない平面画像の表示を許可することにより立体画像表示装置を継続的に使用することができる。
【０１６０】
また、立体画像の表示時間ｔ４が決められた時間TIME4に達した後は、表示手段３の電源のみを切るようにしても構わない。表示手段３の電源のみが切られた後、観察者が立体画像表示装置に備わっている何らかのボタンを押すことにより、再度、表示手段３の電源が入るようにしても構わない。例えば電源ボタンを押すと、表示手段３の電源が入るようにしても構わない。
【０１６１】
上記で説明した決められた時間TIME４は、観察者が立体画像を立体として鑑賞できる連続鑑賞時間を表す。上記で説明した時間TIME４及びTIME５はそれぞれ、立体画像表示装置内部のメモリに予め設定された値が保存されていてもよい。また時間TIME４及びTIME５の予め設定された値はそれぞれが１つずつではなく、例えば入力画像の画面サイズや入力画像が動画であればその全再生時間などといった鑑賞時の目の疲れと関連のある要素をパラメータとして、それらのパラメータの組み合わせに応じた数だけ設定されていても構わない。また、観察者がTIME４とTIME５の値をそれぞれ変更できるようにしてもよい。
【０１６２】
また、図１６の立体画像表示装置の前段に、図７で示したものと同様に立体画像フォーマットデータＦ３を復号するための立体画像復号手段と、前記立体画像復号手段で復号された立体画像データを左右眼別の画像データに分離する分離手段を配置してもよい。このとき、立体画像フォーマットデータＦ３の構成は、本発明の第１及び第２の実施形態で説明したＦ１及びＦ２と同様に、立体画像制御情報部と画像データ部から構成する。ただし、立体画像フォーマットデータＦ３の内部の制御情報Ｉ２内に保存されている値は、前述した時間TIME４とTIME５に相当する値であり、立体画像表示装置はＦ３からそれらの値を取得して利用するようにしてもよい。
【０１６３】
また、立体画像フォーマットデータＦ３の内部の制御情報Ｉ２内に保存する値は、時間TIME４もしくはTIME５のどちらか一方でもかまわなく、保存されていないデータは予め設定された値を用いるようにしてもよい。
【０１６４】
また、このときの立体画像復号手段及び分離手段の動作は、本発明の第１及び第２の実施形態で説明したものと同様である。また、上記で説明した立体画像フォーマットデータＦ３の画像データ部のデータは符号化されたデータでなくても構わない。例えば無圧縮のデータでも構わない。
【０１６５】
また、上記で説明した立体画像フォーマットデータＦ３の立体画像制御情報部は、本発明の第１及び第２の実施形態で説明したものと同様に、例えば番組配列情報の一部として、データＦ３内において繰り返し挿入されていても構わない。立体画像フォーマットデータＦ３において、本発明の第１及び第２の実施形態で説明したものと同様、立体画像制御情報部は画像データ部に挿入されていても構わない。例えば画像データ部がＭＰＥＧ−４で符号化されたデータである場合、立体画像制御情報部はＭＰＥＧ−４符号化データ内で規定された所定の位置に挿入されていても構わない。
【０１６６】
また、立体表示を開始した時刻を起点として第１の時間計測判定手段２０４は計測を行うことを上記で説明したが、本発明の第１及び第２の実施形態で説明したものと同様、放送の場合、放送コンテンツの受信を開始してから最初に立体画像制御情報部のデータを受信した時刻、もしくは番組配列情報内に立体画像制御情報部のデータが含まれているなら、最初にその番組配列情報を受信した時刻を起点にして、第１の時間計測判定手段２０４は表示時間の計測を開始しても構わない。また、最初に受信した上記番組配列情報内に番組再生に必要な時間情報が含まれていれば、その情報を用いて作成した時刻を、第１の時間計測判定手段２０４で行われる計測の起点としてもよい。
【０１６７】
また上記では、立体画像フォーマットデータＦ３が放送波で伝送される場合について説明したが、例えば伝送経路として、ケーブルやインターネットなどのネットワークなどが使用されても構わないし、伝送される代わりにハードディスクや光ディスクなどの記録媒体に記録されていても構わない。
【０１６８】
こうして立体画像表示装置では、立体画像フォーマットデータＦ３の制御情報の値から時間TIME４とTIME５を、本発明の第１及び第２の実施形態の場合と同様に代入して使用することができ、立体表示する個々のデータに応じて、TIME４とTIME５を設定できるため便利である。また上記で説明したように、立体画像の長時間の連続的な表示が行われ、強制的に立体画像表示装置の電源がオフにされ、観察者が再度電源をオンにした場合、立体画像表示装置の電源が強制的にオフにされる直前の状態で、立体画像表示装置が表示を再開できるようにしても構わない。例えば、あるファイルを再生している途中で電源をオフにされたのであれば、オフになる直前の時間から再生を再開したり、放送を見ていた場合、同じチャンネルの放送をすぐに受信しても構わない。
【０１６９】
また、表示装置に上記の放送を受信できる受信手段が備わっており、かつ録画手段が備わっているもしくは外部の録画装置が接続されていたりする場合には、決められた時間TIME４以上連続的に立体画像を観察した時、立体画像の放送を受信中に立体画像表示装置の電源をオフにすると同時に録画を開始し、受信手段と録画手段は電源をオフにせずに放送を受信し続け、電源がオフにされた間の放送を録画し続けても構わない。このようにすることで、電源がオフになっている間に放送された立体画像を後で再生して鑑賞できるようになる。
【０１７０】
以上では、入力画像が２つである場合における装置の動作について説明したが、本実施形態は、本発明の第１及び第２の実施形態において説明した方法と同様の方法により入力画像データが３つ以上の場合に対しても拡張することができる。
【０１７１】
また、立体画像フォーマットデータＦ３の画像データ部は、ｎ（ｎ≧１）視点から構成されていてもよく、この場合には、本発明の第１及び第２の実施形態において説明したのと同様の方法で、立体画像復号手段５００と分離手段５０４を拡張すればよい。
【０１７２】
上述した本発明の第１、第２、第３の実施形態の立体画像表示装置において、パスワードを記憶する手段と、パスワードを入力するパスワード入力部とを備え、使用の際にパスワードの入力を要求する。このとき立体画像表示装置はパスワード毎に観察者を区別し、観察者毎に立体画像表示時間を管理するようにしてもよい。
【０１７３】
パスワード毎に観察者を区別して観察者毎に立体画像を表示する時間を管理することにより他の観察者が使用した条件に影響されず、それぞれの観察者で立体画像表示装置を使用することができる。すなわち、使用時にパスワードを要求してパスワード毎に観察者を区別して観察者毎に立体画像を表示する時間を管理することにより、一人の観察者が立体画像を表示するモードで立体画像表示装置を長時間使用して電源を強制的にオフにされた後でも、他の観察者は立体画像を表示するモードで立体画像表示装置を使用することができる。
【０１７４】
また、本発明による視差の調節をした立体表示、警告表示、平面表示への移行、観察者毎のパスワードの使用についても、多眼式の表示装置に適用することが可能である。
【０１７５】
次に本発明の第４の実施形態について説明する。
第１の実施形態についての説明で述べたように、立体画像は視差を有し、観察者は視差によって立体感を感知する。立体画像の各画素の視差は異なるが、例えば大きな視差を有する画素が多い立体画像の立体感は大きく、大きな視差を有する画素が少ない立体画像の立体感は小さい。このように立体感の大小を示す指標を「立体強度」と呼ぶ。本実施形態は、複数の立体画像が異なる立体強度を持つ場合の立体画像表示の制限方法に関するものである。
【０１７６】
立体強度は、画素毎の視差の値の平均値（静止画では画面全体の平均値。動画像の場合は動画像全体の平均値）によって客観的に決めても良いし、主観評価によって決めても良い。あるいは、両者の加重平均によって決定しても良い。客観評価値としては、平均値の代わりに加重平均値、メディアン、最大値などを利用しても良い。動画の場合はフレーム毎の最大値を求め、この最大値の全フレームにわたる平均値、メディアン、最大値などを客観評価値としても良い。
【０１７７】
一般に、立体強度の大きな立体画像を観察する場合、立体強度の小さなものに比べて眼の疲労が早まるため、立体強度によって立体表示の許容時間等に差を設ける必要がある。
【０１７８】
図１９は、立体強度（Ｉ）と立体表示の許容時間との関係を示す図である。図１９（ａ）はＩ＝１の場合であり、立体表示時間（横軸）の経過と共に一定の割合（ｋ＝α）で増加する「累積強度」（縦軸）が計算されるものとする。ここで、累積強度の値は時間０で０、時間ｔ１でＴＨとなっている。また、ＴＨは所定のしきい値を示し、累積強度の値がＴＨに達する時間（ｔ１）で、本発明の立体表示装置は以下のような処理を行う。
（１）表示モードを立体表示から平面表示に切り替える。
（２）視差が少なくなるよう調節して立体表示を継続する
（３）画面に警告メッセージを表示する。
【０１７９】
（１）の方法を採る場合、ｔ１は、立体表示を連続する時間（立体表示時間）の許容時間の意味を持つ。また、（３）のメッセージは、立体表示時間が許容時間を経過した旨、平面表示への切り替えを促す旨などを示すものとする。これらの処理は、いずれか一つを用いても良いが、複数を組み合わせて用いることもできる。例えば（１）と（２）を組み合わせ、表示モードを平面表示に切り替えると同時に画面にその旨を知らせるメッセージを表示する。
【０１８０】
図１９（ｂ）はＩ＝２の場合であり、上記と同様に累積強度が計算されるが、一定の割合ｋは図１９（ａ）の２倍（ｋ＝２α）とする。従って累積強度の値がしきい値ＴＨに達する時間（ｔ２）は、ｔ１の半分となる。立体表示装置が上記（１）の方法をとる場合、立体画像表示の許容時間は図１９（ａ）の場合の半分となる。
【０１８１】
一般に累積強度（ＡＩ）は、立体強度Ｉと立体表示時間ｔを用いて以下のように表される。
ＡＩ＝ｆ(Ｉ，ｔ)
ここで、ｆ(Ｉ，ｔ)はＩおよびｔの関数とする。図１９の場合
ｆ(Ｉ，ｔ)＝ｋ(Ｉ)・ｔ
となる。ただし、ｋ(Ｉ)はＩの関数であり、図１９の場合は
ｋ(Ｉ)＝α・Ｉ （αは定数）
である。
ｆ，ｋの関数としては他にも
ｆ(Ｉ，ｔ)＝ｋ(Ｉ)・ｔ＋ｍ （ｍは定数）
ｋ(Ｉ)＝α・Ｉ＋β （α，βは定数）
などの一次関数や二次以上の関数あるいはその他の関数を用いても構わない。また、定数ｍ，α，βは実験によって決められる値である。αが正であれば上式のｋ(Ｉ)はＩの単調増加関数となり、ｋ(Ｉ)が正であれば上式のｆ(Ｉ，ｔ)はｔの単調増加関数となる。
【０１８２】
累積強度を時間と共に図１９のように増加させる場合、本発明の立体表示装置では一定時間間隔（ｄ）毎に一定量（ｓ・Ｉ）を累積強度に足し込む処理を行う。ここでｓはあらかじめ定められた定数であるり、ｓとαの関係は次のようになる。
α＝（ｓ／ｄ）
【０１８３】
この時の累積強度と時間の関係を図２０に示す。例えば時間を秒で表し、立体強度Ｉが１の立体画像に対して１秒毎に累積強度を３だけ増加させる場合、ｄ＝１、ｓ＝３となる。
【０１８４】
本発明の立体表示装置は累積強度をｓ・Ｉだけ増加させる毎に累積強度としきい値ＴＨを比較し、累積強度がＴＨより小さければ立体表示を継続し、ＴＨ以上であれば上記（１）〜（３）に述べたような処理のいずれかが採られる。
【０１８５】
立体強度とその累積強度および立体表示の許容時間との関係を示す別の例を図２１に示す。この例では立体強度Ｉが１の場合と２の場合で累積強度は同じ割合で増加し、しきい値ＴＨが異なる値をとるものとする。すなわち、Ｉ＝１で用いる値ＴＨ１に対し、Ｉ＝２ではＴＨ１の半分のしきい値ＴＨ２を用いる。これによって、Ｉ＝１の時は時間ｔ１で累積強度がしきい値に達し、Ｉ＝２の時はｔ１の半分の時間ｔ２で累積強度がしきい値に達する。累積強度がしきい値に到達後、立体表示装置は上記（１）〜（３）のいずれかの処理を行う。
【０１８６】
このように、異なる立体強度に対して異なるしきい値を用いることでも本実施形態の目的を達することが可能である。
【０１８７】
次に、立体強度の異なる複数の立体画像を連続して立体表示した場合の立体表示の制限方法について説明する。
【０１８８】
図２２に表示時間と累積強度の関係の例を示す。この例では、時間０から時間ａまで立体強度Ｉ＝２の立体画像を立体表示し、時間ａから時間ｂまで立体強度Ｉ＝３の立体画像を立体表示し、時間ｂ以降に立体強度Ｉ＝３の立体画像を立体表示する。この時、累積強度は時間０から時間ａまで傾きｋ＝２αで増加し、時間ａから時間ｂまで傾きｋ＝αで増加し、時間ｂからは傾きｋ＝３αで増加する。ＴＨｍはしきい値であり、累積強度がＴＨｍに達した時間ｃにおいて、上述した（１）〜（３）のいずれかの処理が採られる。
【０１８９】
（１）の処理を採る場合、時間ｃで立体表示装置の表示モードが平面表示に切り替えられる。これ以降の処理について、本実施形態では詳細な説明を省略するが、例えば図２２のように時間ｃ以降の累積強度を一定の割合で減少させ、累積強度が０となった時点で再度立体表示に切換える。
【０１９０】
図２３は本実施形態の立体画像符号化装置を示すブロック図である。
立体画像制御情報生成手段２３０１は、立体強度としきい値から図８で述べた立体画像制御情報部を生成する。例えば、立体強度として１から４の整数を用い、これを２ビットの変数“3D_intensity”で表現する。また、しきい値として０から６５５３５の変数を用い、これを１６ビットの変数“3D_threshold”で表現する。これらの情報は固定長あるいは可変長で符号化されるものとし、可変長符号化の場合はハフマン符号化や算術符号化等が用いられるものとする。
【０１９１】
立体画像符号化手段２３０２は、原画像データをＪＰＥＧ等の静止画符号化方式あるいはＭＰＥＧ等の動画符号化方式にて符号化し、符号化データを得る。ここで原画像データは右眼用画像データおよび左眼用画像データから成るものとする。右眼用画像データと左眼用画像データを各々間引き、両者を左右に合成し、符号化用の画像を得るための前処理もここで行われる。また、符号化にはＪＰＥＧ，ＭＰＥＧ等の画像圧縮の他、ビットマップによる表現や、コンピュータグラフィックス等による表現も含まれるものとする。
【０１９２】
多重化手段２３０３は、符号化データと立体画像制御情報部を多重化して立体画像フォーマットデータを得る。この時、立体画像識別情報Ｉ１も立体画像フォーマットデータに挿入される。これについては図８、図９を用いて説明しているため説明を省略する。多重化された立体画像フォーマットデータは、記録媒体に蓄積あるいは伝送媒体に送出される。
【０１９３】
以上のようにして、立体画像に対する立体強度やしきい値を示す情報が、立体画像の符号化データと共に蓄積あるいは伝送される。
【０１９４】
図２４は本実施形態の立体画像復号装置を示すブロック図である。
逆多重化手段２４０１は、記録媒体に蓄積あるいは伝送媒体に送出された立体画像フォーマットデータを入力とし、これから符号化データと立体画像制御情報部を分離する。
【０１９５】
立体画像復号手段２４０３は、符号化データを復号し復号画像データを得る。ここで復号画像データは右眼用画像データおよび左眼用画像データから成るものとする。右眼用画像データと左眼用画像データの分離もここで行われる。
【０１９６】
立体画像制御情報解析手段２４０２は、立体画像制御情報部を解析し、立体強度およびしきい値を復号する。例えば、立体強度として２ビットの変数“3D_intensity”得られ、しきい値として１６ビットの変数“3D_threshold”が得られる。
【０１９７】
以上のようにして、立体画像の符号化データと共に蓄積あるいは伝送された立体強度やしきい値を示す情報が復号される。
【０１９８】
図２５（ａ）は本実施形態の立体画像表示装置を示すブロック図である。本装置では、立体強度としきい値を用い、上述の方法によって立体表示を（１）〜（３）のように制限する。
【０１９９】
表示制御手段２５０１は、立体強度に応じて累積強度を計算し、累積強度としきい値の比較結果に基づいて立体画像作成手段２５０２、平面画像作成手段２５０３、スイッチ２５０４、表示手段２５０５を以下のように制御する。
【０２００】
累積強度がしきい値よりも小さい場合、立体画像作成手段２５０２を動作させて立体表示用の画像を作成し、平面画像作成手段２５０３は停止させる。スイッチ２５０４は立体画像作成手段２５０２側に接続され、立体表示用の画像が表示手段２５０５に送られる。さらに、表示手段２５０５を立体表示モードに設定し、立体表示用の画像を表示する。
【０２０１】
累積強度がしきい値以上で、上述の（１）のように立体表示を制限する場合、平面画像作成手段２５０３を動作させて平面表示用の画像を作成し、立体画像作成手段２５０２は停止させる。スイッチ２５０４は平面画像作成手段２５０３側に接続され、平面表示用の画像が表示手段２５０５に送られる。さらに、表示手段２５０５を平面表示モードに設定し、平面表示用の画像を表示する。
【０２０２】
立体強度がしきい値以上で、上述の（２）のように立体表示を制限する場合、立体画像作成手段２５０２の動作は、累積強度がしきい値よりも小さい場合と基本的に同じであるが、表示制御手段２５０１は立体画像作成手段２５０２の動作モードを変更し、立体画像作成手段は、前述した方法により視差の少ない立体画像を作成する。
【０２０３】
立体強度がしきい値以上で、上述の（３）のように立体表示を制限する場合も、累積強度がしきい値よりも小さい場合と基本的に同じであるが、表示手段２５０５によって警告メッセージが表示される。
【０２０４】
立体表示用の画像および平面表示用の画像の作成方法は実施形態１〜３で述べたものと同様であるため、ここでは説明を省略する。
【０２０５】
累積強度がしきい値に達した際の処理として、これまで（１）〜（３）の処理を例示したが、あらかじめ処理の内容を複数セット用意しておき、どのセットを採るかを適応的に選択出来るようにしても良い。例えば、処理のセットとして
Ａ．処理（１）を行う。
Ｂ．処理（２）を行う。
Ｃ．処理（３）を行う。
Ｄ．処理（１）及び（３）を行う。
Ｅ．処理（２）及び（３）を行う。
をあらかじめ定義しておき、セットＡ〜Ｅのいずれを採るかを示す情報を、立体画像制御情報部に含めるようにする。従って、立体画像符号化装置では上記セットを示す情報Ｓを立体画像の符号化データと共に蓄積あるいは伝送し、立体画像復号装置では情報Ｓを復号し、立体画像表示装置では情報Ｓに基づいて、累積強度がしきい値に達した際の処理を選択する。
【０２０６】
次に、立体画像表示装置において、立体強度やしきい値に補正を行う手法について説明する。上述の方法では、同じ立体画像を特性（ディスプレイサイズ、観察距離等）の異なる表示手段で表示する場合でも、特性に関らず同じ立体強度としきい値が用いられていた。しかし、観察者の眼に対する影響は、例えばディスプレイサイズが大きくなれば大きく、あるいは観察距離が近くなれば大きくなると考えられるため、表示手段の特性によって立体強度やしきい値に補正を行うことが好ましい。例えば、立体画像の符号化データと共に蓄積あるいは伝送される立体強度やしきい値としては、標準ディスプレイサイズ、標準観察距離等の標準特性を備えた表示手段について最適に定められた値（標準立体強度、標準しきい値）を用い、各表示装置は各々の表示手段の特性に基づいて、標準立体強度、標準しきい値を補正する。
【０２０７】
このような補正を行うために、図２５（ａ）に示す立体画像表示装置において、表示制御手段２５０１の入力部分に、図２５（ｂ）に示す補正手段２５０６を接続する。補正手段２５０６では、標準立体強度（Ｉｎ）および標準しきい値（ＴＨｎ）の補正が行われ、補正後の立体強度（Ｉ）およびしきい値（ＴＨ）が出力される。ＩおよびＴＨは、一般に
Ｉ＝Ｇ(Ｉｎ)
ＴＨ＝Ｈ(ＴＨｎ)
のように、それぞれ表示手段の特性に応じた補正関数Ｇ、Ｈによって与えられる。補正関数は例えば、
Ｇ(Ｉｎ)＝Ｎ１・Ｉｎ＋Ｎ２
Ｈ(ＴＨｎ)＝Ｎ３・ＴＨｎ＋Ｎ３
のような一次関数で表現することが可能である。ただし、Ｎ１〜Ｎ３は実験等によって求める値である。より簡単には、ＴＨｎのみを補正することとし、
Ｉ＝Ｉｎ
ＴＨ＝Ｎ・ＴＨｎ
のようにしてＩ，ＴＨを求めてもよいし、逆にＩｎのみを補正するようにしても良い。
【０２０８】
上の式の場合、表示装置が備える表示手段の観察距離は標準観察距離と同じで、ディプレイサイズが標準ディスプレイサイズよりも大きい時はＮを１より小さな値とし、反対にディプレイサイズが標準ディスプレイサイズよりも小さい時はＮを１より大きな値とする。
【０２０９】
以上のように、第４の実施形態では左眼用画像データ、右眼用画像データから成る２視点の画像データを用いて説明してきたが、第１の実施形態と同様に３視点以上を含む多視点の画像データにも第４の実施形態を適用できることは明らかである。
【０２１０】
【発明の効果】
以上説明したように本発明によれば、観察者の眼の疲労に応じて表示される立体画像の視差を調整したり、長時間立体画像を表示した際に警告のメッセージを表示したり、長時間連続して立体画像の表示が行われた場合に強制的に表示を中止し、観察者が再度表示する操作を行っても所定の時間が経過するまでは立体画像の表示を禁止する等の手段により、簡易な構成で観察者の眼を保護することができる。
【０２１１】
また、立体感の強い立体画像と立体感の弱い立体画像の違いを立体強度を用いて表現し、立体強度の大きさによって立体表示を制限することが可能となる。さらに、複数の立体画像を連続して観察した場合には累積強度を計算し、累積強度と所定のしきい値の比較によって立体表示を制限することにより、例えばデジタル放送等でチャンネルを切り替えて立体強度の異なる立体画像を連続して視聴する場合でも、立体表示の制限を容易に行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の立体画像表示装置の構成を示す図。
【図２】本発明の第１の実施形態の立体画像表示装置による平面画像データの構成及びその表示方法の一例を示す図。
【図３】本発明の第１の実施形態の立体画像表示装置において、表示手段３が立体表示のみしか出来ない場合の立体画像データの作成及びその表示方法の一例を示す図。
【図４】本発明の第１の実施形態の立体画像表示装置による立体画像データの作成及びその表示方法の一例を示す図。
【図５】本発明の第１の実施形態の立体画像表示装置による立体画像表示の処理動作を説明するフローチャート。
【図６】本発明の第１の実施形態の立体画像表示装置による立体画像データの作成及びその表示方法の一例を示す図。
【図７】本発明の第１の実施形態の立体画像フォーマットデータＦ１を復号する立体画像復号手段５００の一例を示す図。
【図８】本発明の第１の実施形態の立体画像フォーマットデータＦ１の一例を示す図。
【図９】本発明の第１の実施形態の立体画像コンテンツを放送で受信する際の一例を示す図。
【図１０】本発明の第１の実施形態の立体画像フォーマットデータＦ１の伝送経路として記録媒体が使われた場合の立体画像フォーマットデータＦ１の流れの一例を説明する図。
【図１１】本発明の第１の実施形態の立体画像フォーマットデータＦ１の伝送経路としてネットワークが使われた場合の立体画像フォーマットデータＦ１の流れの一例を説明する図。
【図１２】本発明における入力画像データが３つの場合の、第１の実施形態の立体画像表示装置の構成を示す図。
【図１３】本発明における入力画像データが３つの場合の、第１の実施形態の立体画像データの作成およびその表示の一例を示す図。
【図１４】本発明の第２の実施形態の立体画像表示装置の構成を示す図。
【図１５】本発明の第２の実施形態の立体画像表示装置による立体画像表示の処理動作を説明するフローチャート。
【図１６】本発明の第３の実施形態の立体画像表示装置の構成を示す図。
【図１７】本発明の第３の実施形態の立体画像表示装置の動作を示すフローチャート。
【図１８】立体画像の視差および像の見え方を示す図。
【図１９】立体強度と立体表示の許容時間との関係の例を示す図。
【図２０】累積強度と時間の関係を示す図である。
【図２１】立体強度と立体表示の許容時間との関係の他の例を示す図。
【図２２】表示時間と累積強度の関係の例を示す図。
【図２３】第４の実施形態の立体画像符号化装置を示すブロック図。
【図２４】第４の実施形態の立体画像復号装置を示すブロック図。
【図２５】第４の実施形態の立体画像表示装置を示すブロック図。
【符号の説明】
１，１００，２０３，６００：立体画像作成手段
２：フレームメモリ
３：表示手段
４，１０１，２０４，２０５：時間計測判定手段
５：視差制御手段
６：平面画像作成手段
１０，２００，６０４：スイッチ制御手段
１１，１２，１３，１４、２０１，６０１，６０２，６０３：スイッチ
１０２：警告表示制御手段
２０２：モードスイッチ制御手段
２０６：電源制御手段
３００：スリット
３０１：フレーム
５００，５１２，５２３：立体画像復号手段
５０１：立体画像制御情報解析手段
５０２：画像データ部復号手段
５０４：分離手段
５１０，５２０：立体画像符号化手段
５１１：記録媒体
５２１：ＢＳデータ作成手段
５２２：ネットワーク
５２４：ＢＳデータ復号手段
２３０１：立体画像制御情報生成手段
２３０２：立体画像符号化手段
２３０３：多重化手段
２４０１：逆多重化手段
２４０２：立体画像制御情報解析手段
２４０３：立体画像復号手段
２５０１：表示制御手段
２５０２：立体画像作成手段
２５０３：平面画像作成手段
２５０４：スイッチ
２５０５：表示手段
２５０６：補正手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a stereoscopic image display device for stereoscopically observing an electronic image.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in a device that displays a stereoscopic image using a CRT (Cathode Ray Tube) or a liquid crystal display device (LCD: Liquid Crystal Display), two images are displaced in the interpupillary direction to give parallax and to be displayed on a screen. The images are displayed and presented for the left and right eyes for stereoscopic vision.
[0003]
In such a device, for example, Patent Literature 1 discloses a stereoscopic display game machine that forcibly switches a stereoscopic image to a normal planar image when an allowable game time for stereoscopic vision has elapsed. Further, in Patent Document 2, a timer is installed internally so that the apparatus is not used continuously for a long time, and the power is forcibly turned off after a first predetermined time has passed since the power was turned on. An image display device in which the power is not turned on until a second predetermined time has elapsed thereafter is disclosed.
[0004]
[Patent Document 1]
JP-A-7-16351
[Patent Document 2]
JP-A-6-333479
[0005]
[Problems to be solved by the invention]
However, in the technology disclosed in Patent Document 1, even when the ability to detect parallax is reduced due to eye fatigue due to long-term observation, stereoscopic display is continued without adjusting parallax, so that parallax is gradually reduced. It is not possible to make fine adjustments such as reducing the load on the eyes of the observer by reducing the size to a small value. Further, according to the technique disclosed in Patent Document 2, once the power is turned off, the power is not turned on until a predetermined time elapses, and for example, the image can be displayed by adaptively switching between flat display and stereoscopic display. In a simple display, it is not possible to respond to the case where it is desired to turn off the power only when using a stereoscopic display that is burdensome to the eyes at the time of observation for a long time, and once the power is forcibly turned off, until the predetermined time elapses Can not use a flat display, which hardly burdens the eyes.
[0006]
Also, when a stereoscopic image is to be broadcast by digital broadcasting or the like, there is a demand that the broadcasting station set a time limit for continuously displaying a stereoscopic image to be stereoscopically displayed by a content creator or a content distribution company. However, the conventional technology could not respond to this.
[0007]
In general, the degree of pop-out or retraction of a stereoscopic image (herein, referred to as “stereoscopic effect”) differs for each image, so that a stereoscopic image having a strong stereoscopic effect and a stereoscopic image having a weak stereoscopic effect are the same. It is not appropriate to limit by the permissible play time. This is because it is considered that the burden on the eyes is different depending on the strength of the three-dimensional effect. Furthermore, when broadcasting a stereoscopic image by digital broadcasting or the like, a conventional study has been conducted on how to limit stereoscopic vision when continuously viewing stereoscopic images with different stereoscopic effects by switching the channel of the receiver. There was a problem that was not done.
[0008]
SUMMARY OF THE INVENTION The present invention has been made in consideration of the above-described problems of the related art, and has as its object to provide a stereoscopic image display device that enables more flexible control in protecting an observer's eyes and is easy to use.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, a stereoscopic image display device according to the present invention for displaying an image for each of the left and right eyes of an observer includes: a stereoscopic image creating unit that creates a stereoscopic image from a plurality of images; Parallax adjusting means for adjusting the parallax of the three-dimensional image, wherein when the stereoscopic image display time exceeds the first predetermined time, the parallax adjusting means reduces the parallax of the stereoscopic image created by the stereoscopic image creating means. And
[0010]
According to this configuration, it is possible to protect the eyes of the observer with a simple configuration by adjusting the parallax of the stereoscopic image displayed according to the fatigue of the eyes of the observer.
[0011]
A storage unit that stores the parallax of the stereoscopic image, wherein the parallax adjusting unit reduces the parallax of the stereoscopic image created by the stereoscopic image creating unit, and when the parallax adjusting unit exceeds a second predetermined time, the parallax adjusting unit stores the parallax. Based on the parallax stored in the means, the parallax of a stereoscopic image created by the stereoscopic image creating means may be returned to the original state.
[0012]
A stereoscopic image display device according to another aspect of the present invention includes a stereoscopic image creating unit that creates a stereoscopic image from a plurality of images, and a warning display control unit that creates a warning display for the stereoscopic image creating unit. If the display time exceeds the first predetermined time, the warning display control means creates the warning display for the stereoscopic image creating means.
[0013]
According to this configuration, by displaying a warning message when a stereoscopic image is displayed for a long time, the observer can receive a warning that the observer has observed the image for a long time quickly, which can help protect the eyes of the observer. it can.
[0014]
The warning display is preferably displayed in a three-dimensional manner, and the warning display may be displayed in a three-dimensional manner, and other than the warning display may be displayed in a two-dimensional manner. Further, the warning display may be stereoscopically displayed at a limit position at which the observer can perceive as a stereoscopic display. As a result, the observer can immediately sense the warning message, which can be used for protecting the eyes of the observer.
[0015]
A three-dimensional image display device according to another aspect of the present invention includes a three-dimensional image creating unit that creates a three-dimensional image from a plurality of images, a two-dimensional image creating unit that creates a two-dimensional image from a plurality of images, and a three-dimensional image creating unit. Display means for displaying a three-dimensional image or a two-dimensional image created by the two-dimensional image creation means. When the three-dimensional image display time exceeds a first predetermined time, at least a power supply including a power supply of the display means is automatically cut off. If the operation of restoring the power supply that has been shut off until the time during which the stereoscopic image is not displayed exceeds the second predetermined time after the automatic power-off of the display means is performed, The created planar image is displayed.
[0016]
Even if the time during which the stereoscopic image is not displayed exceeds the second predetermined time, if the operation of restoring the automatically shut off power is not performed, the power of the entire apparatus is turned off. Therefore, when the power is turned on after the time during which the stereoscopic image is not displayed exceeds the second predetermined time, the stereoscopic image display device returns to the normal state and displays the stereoscopic image.
[0017]
According to this configuration, when the stereoscopic image is continuously displayed for a long time, the power of the stereoscopic image display device is forcibly turned off, and a predetermined time elapses even if the observer turns on the power again. Until the display of the stereoscopic image is prohibited, the eyes of the observer can be reliably protected, and even if the power is turned on again before the predetermined time has elapsed, the burden on the eyes of the observer is small. By allowing the display of the planar image, the stereoscopic image display device can be used continuously.
[0018]
The three-dimensional image display device of the present invention further includes three-dimensional image decoding means for decoding the three-dimensional image format data, and separating means for separating the three-dimensional image data decoded by the three-dimensional image decoding means into left and right eye-specific image data. It may be provided. The format of the stereoscopic image format data includes at least one stereoscopic image identification information indicating whether or not the data is stereoscopic image display data, and at least one including at least one of a first predetermined time and a second predetermined time. One piece of stereoscopic image control information and at least one piece of image data can be included. The image data can be compressed image data. The stereoscopic image decoding means may include stereoscopic image control information analyzing means for analyzing stereoscopic image control information of the stereoscopic image format data, and image data part decoding means for decoding stereoscopic image data of the stereoscopic image format data.
[0019]
According to this configuration, information included in the stereoscopic image control information of the stereoscopic image format data and indicating the time during which the observer can view the stereoscopic image without changing the parallax or the time during which the viewer can continuously view the stereoscopic image is changed. By decoding, the time that can be viewed without reducing the parallax and the time that can be viewed continuously without reducing the parallax in units of data having the stereoscopic image control information are adjusted, respectively. In such a case, the time can be changed to reduce the burden on the eyes of the observer.
[0020]
Further, according to the stereoscopic image format data, when transmitting the stereoscopic image format data, depending on whether the parallax is large and burdensome data or not, the observer can change the parallax without changing the parallax. Since the transmission side can prerecord and transmit the information indicating the time during which the viewer can enjoy the video and the time during which the viewer can continuously enjoy the video as a three-dimensional object, the viewer cannot view the video continuously for a long time so as not to put a great burden on the observer's eyes. Data can be provided.
[0021]
Further, according to the stereoscopic image format data, information representing a time during which the observer can view the stereoscopic image without changing the parallax or a time during which the viewer can continuously view the stereoscopic image is converted into stereoscopic image control information of the stereoscopic image format data. By including them in the data, there is no need to transmit the data separately from the image data, and the usability is good.
[0022]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0023]
FIG. 1 is a diagram illustrating a configuration example of a first embodiment of a stereoscopic image display device according to the present invention.
First, a case where there are two pieces of input image data will be described.
[0024]
The stereoscopic image display device according to the first embodiment of the present invention includes a stereoscopic image creating unit 1 that creates stereoscopic image data by inputting image data for each of the right and left eyes, and a one-dimensional image data for each of the left and right eyes. A plane image creating means 6 for creating a plane image, switches 11, 12, 13, and 14 for switching image data to be input and output, and the switches are connected to left and right image data (left-eye image data L, Switch control means 10 for controlling in accordance with display mode information M1 indicating whether to perform stereoscopic display or planar display using right-eye image data R), and to be produced by stereoscopic image producing means 1 or planar image producing means 6 A frame memory 2 for storing the input image or the input image as it is, and a three-dimensional display and a two-dimensional display are possible, and the image data of the frame memory 2 is displayed in accordance with the display mode information M1. Display means 3 for displaying the data as a three-dimensional image or a two-dimensional image, time measurement determining means 4 for measuring the display time of the three-dimensional image when displaying the three-dimensional image, and display time of the three-dimensional image exceeding a predetermined time. In this case, a parallax control unit 5 instructs the stereoscopic image creating unit 1 to adjust the parallax of the image for each of the right and left eyes to create a stereoscopic image. The display mode information M1 will be described later.
The display unit 3 is a binocular display unit that displays images for the left and right eyes (images of two viewpoints).
[0025]
Hereinafter, the first embodiment of the present invention will be described in detail.
Image data L for the left eye is input as the input image A1, and image data R for the right eye is input as the input image A2 from the outside. Further, the display mode information M1 is input to the switch control means 10 from outside. Here, the display mode information M1 will be described. The display mode information M1 includes a stereoscopic image display mode (or a stereoscopic display mode), a left-eye planar image display mode (or a left-eye planar display mode), a right-eye planar image display mode (or a right-eye planar display mode). There are four types of input image through display mode (or through display mode). The present apparatus matches the input display mode information M1 with a stereoscopic image display, a planar image display using a left-eye image, and a right image display. Switching between a two-dimensional image display using an ophthalmic image and a through-input image display in which an input image is displayed as it is on a plane is switched. Table 1 summarizes the values of the display mode information M1, the mode names, and the images displayed in each mode.
[0026]
[Table 1]

[0027]
First, the operation of the present display device when the display mode information M1 is the input image through display mode will be described. In this case, for example, the input image A1 is displayed through. The switch control means 10 switches off the switches 11 and 12, and switches the switches 13 and 14 so that the input image A1 is through and connected to the frame memory 2. The input image A1 is written into the frame memory 2 through the switches 13 and 14. The input image A1 is input to the display unit 3 from the frame memory 2. The display means 3 displays the input image A1 on a plane. Further, A2 may be used instead of the input image A1, and it may be possible to arbitrarily set which input image to use.
[0028]
Next, the operation of the present display device when the display mode information M1 is the left-eye flat image display mode will be described. The switch control means 10 turns off the switches 11 and 12, connects the switch 13 so that the left-eye image data L is input to the plane image creation means 6, and connects the frame memory 2 to the plane image creation means 6. Switches 14 are switched as described above. The left-eye image data L is input to the plane image creating means 6 through the switch 13. The plane image creating means 6 creates plane image data using the left-eye image and writes it to the frame memory 2 through the switch 14. The plane image data is input to the display means 3 from the frame memory 2. The display means 3 displays the input plane image data on a plane.
[0029]
FIG. 2 is a diagram illustrating an example of a configuration of data created by the planar image creating unit 6 and an example of a display method when the display mode information M1 is a mode for displaying the left-eye image L as a planar image. Assuming that images obtained by decomposing the left-eye image data L into strips in the vertical direction are L1, L2, L3, L4, L5, L6, L7, and L8, the plane image data created by the plane image creation means 6 is left eye A part of the image data L for use (the thick frame portion of the image data L for the left eye in FIG. 2) is used as it is. Here, L2, L3, L4, L5, L6, and L7 are displayed. FIG. 2 shows two types of a frame to be displayed, a diagram viewed from the front and a diagram viewed from the top. In the view of the frame viewed from above, for the sake of simplicity, slits used in the stereoscopic display mode (details will be described later) are not shown. As can be seen from this figure, L2 to L7 of the plane image data 201 are observed by the right and left eyes of the observer. Thus, the observer can observe the image created from the left-eye image L as a planar image.
[0030]
Although the display means 3 has been described above as a display means capable of performing three-dimensional display and two-dimensional display, it is possible that only three-dimensional display is possible. FIG. 3 shows a method of creating data created by the plane image creating means 6 when the display mode information M1 is a mode in which the left-eye image L is displayed as a plane image when the display means 3 can perform only stereoscopic display. FIG. 6 is a diagram showing an example of a display method for the same. In this case, the image used for display by the display unit 3 is the same as that described with reference to FIG. A slit 300 is provided on the display surface of the display means 3, and the images of L2, L4, and L6 displayed on the frame 301 are displayed on the left eye of the observer, and the images of L3, L5, and L7 are displayed on the right of the observer. By being sent to the eyes, the observer can observe the image created from the left-eye image L as a planar image. Further, a lens may be provided on the display surface of the display means 3 instead of the slit.
[0031]
When the display mode information M1 is the right-eye plane image display mode, a plane image is created and displayed from the right-eye image in the same manner as in the left-eye plane image display mode.
[0032]
Next, the operation of the present display device when the display mode information M1 is the stereoscopic image display mode will be described. When the display mode information M1 indicates the stereoscopic image display mode, the switch control means 10 turns on the switches 11 and 12 and controls the switch 14 so that the stereoscopic image creating means 1 and the frame memory 2 are connected. Externally, the left-eye image data L and the right-eye image data R are input to the three-dimensional image generating means 1 through the switch 11 from the outside. Next, three-dimensional image data is created by the three-dimensional image creating means 1 and written into the frame memory 2. Finally, the stereoscopic image data is input to the display means 3 from the frame memory 2. The display means 3 stereoscopically displays the input stereoscopic image data.
[0033]
FIG. 4 is a diagram illustrating an example of creation and display of stereoscopic image data. L1, L2, L3, L4, L5, L6, L7, and L8 are images obtained by decomposing the left-eye image data L into vertical strips, and images obtained by decomposing the right-eye image data R into vertical strips are obtained. R1, R2, R3, R4, R5, R6, R7, R8. At this time, the size of the image to be displayed in the horizontal direction is smaller than the horizontal size of the left-eye image data L and the right-eye image data R. For example, assuming that an image within the range shown by the thick frame in the image for each of the right and left eyes in FIG. 4 is actually displayed, the stereoscopic image data uses L2, R3, L4, R5, L6, and R7 as shown in FIG. Created. A slit 300 or a lens is provided on the display surface of the three-dimensional image display device, and the images of L2, L4, and L6 displayed in the three-dimensional image data 301 are displayed on the left eye of the observer by the images of R3, R5, and R7. Is sent to the observer's right eye, so that the observer can observe a stereoscopic image.
[0034]
In the example of FIG. 4, the method of synthesizing a stereoscopic image by thinning and synthesizing input image data has been described. In the three-dimensional image creating means 1 of FIG. 1, both the thinning and the combination may be performed. However, the thinning processing may be performed externally, and only the synthesis may be performed internally. In the latter case, the left-eye image data L and the left-eye image data R input from the outside to the three-dimensional image creating means 1 are only L2, L4, L6, L8, and only R1, R3, R5, R7, respectively. The data is composed of
[0035]
In the present embodiment, the adjustment is performed so that the parallax of the stereoscopic image is reduced when the stereoscopic display is continued for a predetermined time. The parallax of a stereoscopic image and how the image looks will be described with reference to FIG.
[0036]
In FIG. 18, the distance between the left and right eyes of the observer is e, and the distance between the observer and the display is L. In FIG. 18A, the image observed by the right eye and the image observed by the left eye are at the same point (P1) on the display. At this time, the image is perceived as being on the display surface.
[0037]
Next, as shown in FIG. 18B, the image observed by the right eye is moved leftward from P1 by w. The image observed by the right eye comes to the position of P2. At this time, the image is observed as if it were at the position S1, and it is sensed that the image protrudes from the display surface by d toward the observer.
[0038]
Next, as shown in FIG. 18C, the image observed by the right eye is moved rightward from P1 by w. The image observed by the right eye comes to the position of P3. At this time, the image is observed as if it were at the position S2, and it is sensed that it is at a depth d from the display surface.
[0039]
Generally, each pixel of a stereoscopic image has a different parallax. Here, the stereoscopic effect received by a viewer from the entire image is referred to as “parallax”. The adjustment of the parallax is performed by changing the horizontal relative position of the image for the left eye and the image for the right eye as described later.
[0040]
Here, the processing operation of the stereoscopic image display by the stereoscopic image display device shown in FIG. 1 will be described using the flowchart shown in FIG.
[0041]
In the initial state, the stereoscopic image display device displays a stereoscopic image with a predetermined parallax A (S11). The time measurement determination unit 4 measures the time during which a stereoscopic image is displayed using the parallax A. At this time, the time measurement determination unit 4 performs measurement starting from the time when the stereoscopic display is started. While displaying the three-dimensional image, the three-dimensional image creation unit 1 sends a three-dimensional image display notification signal to the time measurement determination unit 4, and the time measurement determination unit 4 measures the time t1 during which the three-dimensional image display notification signal is input. .
[0042]
The time measurement determining means 4 determines whether or not the measured time t1 has exceeded the predetermined time TIME1 (S12). If not, the process returns to step 11 to continue the stereoscopic image display using the parallax A. When the measured time t1 exceeds the predetermined time TIME1, the time measurement determination unit 4 outputs a time measurement end signal T1 to the parallax control unit 5.
[0043]
When the time measurement end signal T1 is input to the parallax control unit 5, the parallax control unit 5 sends a signal for instructing the stereoscopic image creating unit 1 to reduce the parallax and create a stereoscopic image. The three-dimensional image creation means 1 sends a reset signal to the time measurement determination means 4 at the same time as creating a three-dimensional image with reduced parallax. At this time, the stereoscopic image creating means 1 stores information indicating the parallax (parallax A) before the parallax is reduced. Thus, a stereoscopic image of parallax B smaller than parallax A is displayed on the display unit 3 (S13).
[0044]
The “information indicating parallax” stored here is represented by, for example, the relative position of the right-eye image data R with respect to the left-eye image data L arranged on the stereoscopic image data when the stereoscopic image data is created. Is done.
[0045]
At this time, when it is desired to reduce the parallax of the stereoscopic image sensed in front of the display surface, the stereoscopic image is recreated such that the stereoscopic image is retracted to the rear and brought closer to the display surface. Specifically, the right-eye image data R may be shifted horizontally to the right with respect to the left-eye image data L. Conversely, when it is desired to increase the parallax, the stereoscopic image is re-created so that the stereoscopic image is brought forward. Specifically, the image data R for the right eye may be shifted horizontally to the left with respect to the image data L for the left eye.
[0046]
Also, if you want to reduce the parallax of a stereoscopic image that is perceived behind the display surface, bring the stereoscopic image forward and recreate the stereoscopic image so that it is closer to the display surface, and if you want to increase the parallax, retract the stereoscopic image to the back. Should be recreated. At this time, the direction of the shift of the right-eye image data R is opposite to the direction in which the stereoscopic image is sensed before the display surface.
[0047]
Next, an example of a method of shifting the right-eye image L in the horizontal direction to create a stereoscopic image in order to adjust the parallax of the stereoscopic image will be described with reference to Table 2.
[0048]
[Table 2]

[0049]
When a stereoscopic image created from a part of each of the left-eye image data L and the right-eye image data R is desired to be brought forward from the current display position, the image data is arranged in the order of L and R, and A three-dimensional image is created using a region outside the image data. Conversely, when it is desired to retract the stereoscopic image deeper than the display surface, the image data is arranged in the order of L and R, and a stereoscopic image is created using the inner region of each image data. For example, in FIG. 4, the upper left of the image is the origin (0, 0) of the coordinates, the horizontal direction is x, and the vertical direction is y. When the upper left coordinates of the thick frame portion in FIG. 4 are (1, 0) for both the left and right sides, if it is desired to bring out the created stereoscopic image to the front, those coordinates are newly added, and the left is (0, 0). , The right may be (2, 0) to recreate the stereoscopic image. On the other hand, when the user wants to retract the display from the display surface, the left coordinate is set to (2, 0) and the right coordinate is set to (0, 0), and the stereoscopic image may be recreated.
[0050]
A method of creating stereoscopic image data with reduced parallax will be described with reference to FIG. FIG. 6 is a diagram illustrating an example of creating and displaying stereoscopic image data when it is desired to display a stereoscopic image that is viewed from the front of the display surface with reduced parallax. For example, assume that the stereoscopic image data in FIG. 4 is data for displaying a stereoscopic image that can be seen before the display surface. At this time, in order to reduce the parallax and display the stereoscopic image, the stereoscopic image may be recreated so as to be recessed. That is, as described in Table 2, as shown in FIG. 6, the upper left coordinates of the thick frame portion are (0, 0) for the left-eye image data L and (2, 0) for the right-eye image data R. 0). At this time, the data of L1, L3, and L5 of the left-eye image data L are respectively arranged at the positions of the data L2, L4, and L6 on the stereoscopic image data in FIG. Similarly, data of R4, R6, and R8 of the right-eye image data R are respectively arranged at positions of R3, R5, and R7 on the stereoscopic image data in FIG. L1, L3, and L5 of the stereoscopic image data 301 are observed by the left eye, and R4, R6, and R8 are observed by the right eye, and the observer recognizes the stereoscopic image data as a stereoscopic image.
[0051]
As described above, when it is desired to reduce the parallax, stereoscopic image data is created by shifting the thick frame portion in FIG. 4 to the left in the left-eye image data L and to the right in the right-eye image data R. When it is desired to increase the parallax, stereoscopic image data may be created by reversing the shift direction of the thick frame portion.
[0052]
As described above, when the displayed stereoscopic image is changed to the stereoscopic image with the small parallax B due to the display time of the stereoscopic image based on the parallax A exceeding the predetermined time TIME1, the time measurement determination unit 4 is performing measurement. Is reset, and measurement of the time t2 during which the stereoscopic image after the parallax change is displayed is started.
[0053]
Next, the time measurement judging means 4 compares the measured time t2 with the determined time TIME2 (S14), and returns to step 13 to return to the stereoscopic image of the small parallax B while the time t2 does not reach the determined time TIME2. Continue to be displayed. When the measured time t2, that is, the stereoscopic image display time in the parallax B reaches the determined time TIME2, the time measurement determination unit 4 outputs a time measurement end signal T2 to the parallax control unit 5. When the time measurement end signal T2 is input to the parallax control unit 5, the parallax control unit 5 outputs a signal instructing to return the parallax of the stereoscopic image to the parallax stored in the stereoscopic image generation unit 1, Output to means 1. When a signal instructing the stereoscopic image creating means 1 to return to the original parallax is input, the stereoscopic image creating means 1 returns the parallax to the original parallax to create a stereoscopic image, and at the same time, a reset signal to the time measurement determining means 4. Send. At this time, the parallax may be immediately returned to the original parallax A. Alternatively, a stereoscopic image may be created and displayed so that the parallax gradually increases.
[0054]
As described above, when the parallax is changed, the stereoscopic image creating unit 1 outputs a reset signal to the time measurement determining unit 4. When the reset signal is input, the time measurement determination means 4 resets the measurement time to 0 and starts measurement again. By the operation as described above, the time during which the stereoscopic display is performed with the predetermined parallax is measured, and the stereoscopic image is created while adjusting the parallax accordingly.
[0055]
Next, signals transmitted among the three-dimensional image creating means 1, the time measurement determining means 4, and the parallax control means 5 will be described with reference to Table 3.
[0056]
[Table 3]

[0057]
The state [1-1] is a state when the time measurement determination unit 4 starts measurement. At this time, a stereoscopic image display notification signal indicating that the present apparatus is displaying a stereoscopic image is transmitted to the stereoscopic image creating unit. 1 to the time measurement determining means 4.
[0058]
The state [1-2] is a state in which the time measured by the time measurement determining means 4 has passed a predetermined time TIME1, and the time measurement determining means 4 has transmitted to the parallax control means 5 that the time TIME1 has elapsed. The indicated time measurement end signal T1 is output, and a signal instructing to reduce the parallax to generate a stereoscopic image is output from the parallax control unit 5 to the stereoscopic image generating unit 1 accordingly. At the same time as a signal instructing to create a stereoscopic image with reduced parallax is input to the stereoscopic image creating means 1, a reset signal instructing to reset the time measurement determining means 4 is sent from the stereoscopic image creating means 1. It is output to the time measurement determining means 4.
[0059]
The state [1-3] is a state in which the time measured by the time measurement determining means 4 has elapsed the determined time TIME2, and the time measurement determination means 4 has sent the parallax control means 5 that the time TIME2 has elapsed. A time measurement end signal T2 is output, and a signal instructing that parallax is returned from the parallax control unit 5 to the stereoscopic image generating unit 1 to generate a stereoscopic image is output accordingly. At the same time, a three-dimensional image display notification signal is output from the three-dimensional image creation means 1 to the time measurement determination means 4.
[0060]
State [1-4] is a state in which the parallax used for creating a stereoscopic image has returned to the original parallax in the stereoscopic image creating means 1, and at this time, a reset signal is output from the stereoscopic image creating means 1 in time. It is output to the measurement determination means 4.
[0061]
In this way, even when the observer's eyes are fatigued by observing the stereoscopic image for a long time and the ability to sense the parallax of the observer is weakened, the stereoscopic image with reduced parallax is displayed. The eyes of the observer can be protected. Further, as the fatigue of the eyes of the observer recovers and the ability of the observer to sense the parallax recovers, the parallax is returned to the original and the stereoscopic image is displayed, so that a stereoscopic image with less discomfort can be displayed. For the times TIME1 and TIME2 described above, a preset value can be stored in a memory inside the stereoscopic image display device.
[0062]
In addition, the preset values of the times TIME1 and TIME2 are not one each, but for example, the screen size of the input image or the entire reproduction time of the input image if the input image is a moving image. A certain element may be set as a parameter and the number may be set according to the combination of those parameters. The observer may be able to set or change these times TIME1 and TIME2.
[0063]
Further, before the three-dimensional image display device of FIG. 1, a three-dimensional image decoding unit 500 for decoding three-dimensional image format data F1 as shown in FIG. A separating unit 504 for separating image data for each eye may be arranged. At this time, values corresponding to the above-described times TIME1 and TIME2 may be stored in the stereoscopic image format data F1 in advance, and the stereoscopic image display device may substitute and use those values for TIME1 and TIME2. . The operation of the stereoscopic image decoding means 500 at this time will be described next. The stereoscopic image decoding unit 500 includes a stereoscopic image control information analysis unit 501, an image data unit decoding unit 502, and a switch 503, and decodes the stereoscopic image format data F1.
[0064]
Here, the stereoscopic image format data F1 will be described. FIG. 8 is a diagram illustrating an example of the stereoscopic image format data F1. The illustrated stereoscopic image format data F1 includes a stereoscopic image control information section and an image data section. The three-dimensional image control information part includes three-dimensional image identification information I1 and control information I2 that indicate whether the three-dimensional image format data F1 is data for displaying three-dimensional images. It is configured. Here, the control information I2 is information indicating the above-mentioned times TIME1 and TIME2. Further, the encoded data in the image data portion is, for example, an image obtained by arranging the corresponding left-eye image data L and right-eye image data R on the left and right using an encoding method such as JPEG or MPEG. Things. Data is stored in the stereoscopic image format data F1 in the order of I1, I2, and D.
[0065]
The stereoscopic image control information analysis unit 501 analyzes the stereoscopic image identification information I1 and, when determining that the stereoscopic image format data F1 is data for displaying a stereoscopic image, sets the control information I2 as a value indicating the times TIME1 and TIME2. The stereoscopic image display modes in Table 1 are output to the stereoscopic image display device as the display mode information M1, respectively, and the switch 503 is switched so that the image data part decoding unit 502 and the separating unit 504 are connected. At the same time, the encoded data D is output to the image data part decoding means 502. The image data part decoding means 502 decodes the encoded data D to generate stereoscopic image data W2, and outputs the stereoscopic image data W2 to the separating means 504 through the switch 503. The separating unit 504 separates the input stereoscopic image data W2 into left-eye image data L and right-eye image data R, and outputs them to the stereoscopic image display device as output image data O1 and O2, respectively. The output image data O1 and O2 are input to the stereoscopic image display device of FIG. 1 as input images A1 and A2, respectively.
[0066]
Further, the value stored in the control information I2 inside the stereoscopic image format data F1 may be either the value of TIME1 or TIME2, and the data not stored may use a preset value. Is also good.
[0067]
Further, the value stored in the control information I2 inside the stereoscopic image format data F1 may be either the value of TIME1 or TIME2, and the data not stored may use a preset value. Is also good.
[0068]
For example, when playing back the stereoscopic image format data F1 in which only TIME1 is stored, when the measured value of the stereoscopic display time reaches TIME1, the display control of the stereoscopic image is performed so as to reduce the parallax. It can be freely performed for each playback device. That is, after the stereoscopic display time has passed TIME1,
(I) Continue stereoscopic display with reduced parallax until the next power off
(Ii) The playback device independently sets a time corresponding to TIME2, and returns the parallax to the original state by the method described above.
(Iii) The playback device independently sets a predetermined time, and switches from stereoscopic display to planar display when the stereoscopic display time reaches the predetermined time.
And other processes can be performed.
[0069]
In the above description, an example has been described in which the parallax is reduced when the measured value of the stereoscopic display time reaches TIME1, but the stereoscopic display may be switched to the planar display when the measured value of TIME1 is reached. As a result, it is possible to reflect the intention of the content creator of the stereoscopic image and recover the eye fatigue of the observer more quickly.
[0070]
When the stereoscopic image identification information I1 indicates that the stereoscopic image format data F1 is not data for displaying a stereoscopic image, the control information I2 is not output. Information indicating the input image through display mode is output to the stereoscopic image display device as display mode information M1. At the same time, the switch 503 is switched so that the output of the image data part decoding means 502 is output as output image data O1. At the same time, the encoded data D is output to the image data section decoding means 502. The image data section decoding means 502 decodes the encoded data D. Assuming that the decoded data is plane image data W1, the plane image data W1 is output as output image data O1, and is input to the stereoscopic image display device of FIG. 1 as an input image A1.
[0071]
Further, the data of the image data portion of the stereoscopic image format data F1 described above does not have to be coded data. For example, uncompressed data may be used.
[0072]
In addition, although the display mode information M1 has been described above as being obtained from the stereoscopic image identification information I1, the display mode information M1 may be input from the outside, or the value input from the outside may be preferentially used. However, only when the stereoscopic image identification information I1 indicates that the stereoscopic image format data F1 is not stereoscopic image display data, the display mode information M1 is forcibly set to a value indicating the input image through display mode.
[0073]
Further, the stereoscopic image control information section of the stereoscopic image format data F1 described above may be repeatedly inserted in the data F1. FIG. 9 is a diagram illustrating an example of receiving stereoscopic image content by broadcasting. For example, the mobile reception terminal 22 receives a broadcast wave of stereoscopic image content broadcast from the broadcast satellite 21. The broadcast content broadcast at this time is composed of a plurality of pieces of program arrangement information and three-dimensional image contents, and the three-dimensional image control information section may be inserted as a part of the program arrangement information.
[0074]
Further, in the stereoscopic image format data F1, the stereoscopic image control information section may be inserted in the image data section. For example, when the image data part is data encoded by MPEG-4, the stereoscopic image control information part may be inserted at a predetermined position defined in the MPEG-4 encoded data.
[0075]
In addition, although it has been described above that the time measurement determination unit 4 performs measurement starting from the time at which the stereoscopic display is started, in the case of broadcasting, the data of the stereoscopic image control information unit is first transmitted after the broadcast content is received. When the data of the stereoscopic image control information section is included in the program arrangement information, or when the program arrangement information is included in the program arrangement information, the time measurement determination unit 4 starts measuring the display time starting from the time at which the program arrangement information is first received. You can start. If the time information necessary for reproducing the program is included in the program arrangement information received first, the time created by using the information may be used as the starting point of the measurement performed by the time measurement determining means 4. .
[0076]
In the above description, the case where the stereoscopic image format data F1 is transmitted by broadcast waves has been described. However, for example, a network such as a cable or the Internet may be used as a transmission path, or a hard disk or an optical disk may be used instead of the transmission. It may be recorded on a recording medium such as.
[0077]
FIG. 10 is a diagram illustrating an example of a data flow when the stereoscopic image format data F1 is recorded on a recording medium and used. For example, stereoscopic image data is input to the stereoscopic image encoding unit 510. The stereoscopic image encoding unit 510 encodes the input stereoscopic image data, creates stereoscopic image format data F1, and outputs the data to the recording medium 511. The recording medium 511 has a built-in hard disk, optical disk, or the like, and can record inputted digital data. From the recording medium 511, the stereoscopic image format data F1 is output to the stereoscopic image decoding unit 512. The stereoscopic image decoding unit 512 decodes the stereoscopic image format data F1, and outputs control information I2, display mode information M1, and stereoscopic image data, in the same manner as the stereoscopic image decoding unit 500 described above.
[0078]
FIG. 11 is a diagram illustrating an example of a data flow when a network is used as a transmission path of the stereoscopic image format data F1. For example, stereoscopic image data is input to the stereoscopic image encoding unit 520. The stereoscopic image encoding means 520 encodes the input stereoscopic image data and creates stereoscopic image format data F1. The stereoscopic image format data F1 is transmitted to the stereoscopic image decoding unit 523 via the network 522. The stereoscopic image decoding unit 523 decodes the stereoscopic image format data F1, and outputs control information I2, display mode information M1, and stereoscopic image data, in the same manner as the stereoscopic image decoding unit 500 described above.
[0079]
Further, the stereoscopic image format data F1 may be converted into data used for broadcasting such as BS and CS and transmitted. For example, stereoscopic image data is input to the stereoscopic image creating unit 520. The three-dimensional image creating unit 520 encodes the input three-dimensional image data, creates three-dimensional image format data F1, and outputs it to the BS data creating unit 521. The BS data creation unit 521 creates BS data using the stereoscopic image format data F1 and outputs the created BS data to the BS data decoding unit 524 via the network 522. The BS data decoding unit 524 decodes the input BS data to generate stereoscopic image format data F1, and outputs the stereoscopic image format data F1 to the stereoscopic image decoding unit 523. The stereoscopic image decoding unit 523 decodes the stereoscopic image format data F1, and outputs control information I2, display mode information M1, and stereoscopic image data, in the same manner as the stereoscopic image decoding unit 500 described above.
[0080]
Thus, in the stereoscopic image display device, the times TIME1 and TIME2 used for the processing can be acquired and used from the value of the control information I2, and the times TIME1 and TIME2 can be set according to the individual data to be stereoscopically displayed. It is.
[0081]
Next, a case where there are three pieces of input image data will be described. FIG. 12 is a diagram illustrating a configuration example of the stereoscopic image display device according to the first embodiment when there are three pieces of input image data.
[0082]
This stereoscopic image display device generates stereoscopic image data using multi-viewpoint image data (input images X, Y, Z) taken from three viewpoints as input and outputs the stereoscopic image data to the frame memory 2. A planar image creating means 6 for creating a planar image from any one of the multi-view image data, switches 11, 12, 601, 602, and 603 for switching input / output image data, and these switches are Switch control means 604 for controlling in accordance with display mode information M'1 indicating whether stereoscopic display or planar display is to be performed using the viewpoint image data, and stereoscopic image generating means 600 or planar image generating means 6 A frame memory 2 for storing an image or an input image as it is, display means capable of three-dimensional display and two-dimensional display, and display mode information M'1 Display means 3 for displaying the image data of the frame memory 2 as a three-dimensional image or displaying it as a two-dimensional image, time measurement determining means 4 for measuring the display time of the three-dimensional image when displaying the three-dimensional image, and display of the three-dimensional image When the time exceeds a predetermined time, a parallax control unit 5 is provided which instructs the stereoscopic image creating unit 600 to adjust the parallax of the multi-viewpoint image to create a stereoscopic image. The display mode information M'1 will be described later.
[0083]
Here, the frame memory 2, the display means 3, the time measurement determination means 4, the parallax control means 5, the plane image creation means 6, and the switches 11 and 12 are the first embodiment in the case where the above two images are input. In order to perform the same operation as the stereoscopic image display device of the embodiment, the numbers in FIG. 12 are also the same. Hereinafter, the first embodiment of the present invention in a case where there are three pieces of input image data will be described with reference to FIG.
[0084]
Display mode information M'1 is input to the switch control means 604 from outside. There are eight types of display mode information M'1, three-dimensional image display modes 1-4, two-dimensional image display modes 1-3, and input image through display mode, and the present apparatus matches the input display mode information M'1. A stereoscopic image display using any two or three of the input images, a planar image display using any one of the input images, and an input image through display for displaying the input image as it is. Switch between each.
[0085]
Table 4 shows the relationship between the values of the display mode information M'1, the mode names, and the images displayed in each mode.
[0086]
[Table 4]

[0087]
In the stereoscopic image display mode 1, a stereoscopic image (two viewpoints) is created using the input image data X and Y, and is stereoscopically displayed. In the stereoscopic image display mode 2, a stereoscopic image (two viewpoints) is created using the input image data Y and Z, and is stereoscopically displayed. In the three-dimensional image display mode 3, a three-dimensional image (two viewpoints) is created using the input image data X and Z, and is displayed three-dimensionally. In the stereoscopic image display mode 4, a stereoscopic image (three viewpoints) is created by using the input image data X, Y, and Z, and stereoscopically displayed.
[0088]
In the plane image display mode 1, a plane image is created using the input image X, and the plane image is displayed. In the plane image display mode 2, a plane image is created using the input image data Y and is displayed on the plane. In the plane image display mode 3, a plane image is created using the input image data Z, and the plane image is displayed. In the input image through display mode, any one of the input image data X, Y, and Z is displayed as it is.
[0089]
The operation of the present display device in the above eight display modes will be described. First, the operation of the present apparatus when the display mode information M'1 is any of the three-dimensional image display modes 1 to 3 will be described.
[0090]
One of the three-dimensional image display modes 1 to 3 is input to the switch control unit 604. The switch control unit 604 turns off the switch 602 and refers to Table 4 to store image data (any two of the input images X, Y, and Z) required to create a stereoscopic image in each mode. The switches 11, 12, and 601 are controlled so as to be input to the three-dimensional image creating means 600, and the switch 603 is controlled so that the three-dimensional image creating means 600 and the frame memory 2 are connected. Next, the three-dimensional image creating means 600 creates three-dimensional image data (two viewpoints) in the same manner as in the three-dimensional image display mode of the display mode information M1 described above in the case of two input image data, and Output to 2. Finally, the stereoscopic image data is input to the display means 3 from the frame memory 2. The display means 3 stereoscopically displays the input stereoscopic image data (image data of two viewpoints).
Further, the time measuring unit 4 and the parallax control unit 5 perform the same operation as in the case of two input image data, adjust the parallax, and perform the stereoscopic display.
[0091]
In the above description, the display means 3 is a binocular display means for displaying images for left and right eyes (two viewpoint images), but a multi-view display means for displaying three viewpoint images is provided. In this case, the stereoscopic image display mode 4 can be selected.
[0092]
Next, the operation of the present apparatus when the display mode information M'1 is the stereoscopic image display mode 4 will be described.
The stereoscopic image display mode 4 is input to the switch control unit 604. The switch control unit 604 turns off the switch 602 and inputs image data (input images X, Y, and Z) necessary for creating a stereoscopic image in each mode with reference to Table 4 to the stereoscopic image creating unit 600. The switch 603 is controlled so that the three-dimensional image creating means 600 and the frame memory 2 are connected. Next, stereoscopic image data (three viewpoints) is generated by the stereoscopic image generating means 600 and written into the frame memory 2. Finally, the stereoscopic image data is input to the display means 3 from the frame memory 2. The display means 3 stereoscopically displays the input stereoscopic image data (three viewpoints).
[0093]
The three-dimensional image data (three viewpoints) created by the three-dimensional image creating means 600 at this time will be described with reference to FIG. FIG. 13 is a diagram showing an example of creation and display of stereoscopic image data when there are three pieces of input image data.
[0094]
X1, X2, X3, X4, X5, X6, X7, X8 are images obtained by decomposing input image data X into vertical strips, and Y1, Y2 are images obtained by decomposing input image data Y into vertical strips. Images obtained by decomposing Y3, Y4, Y5, Y6, Y7, and Y8 and the input image data Z into strips in the vertical direction are defined as Z1, Z2, Z3, Z4, Z5, Z6, Z7, and Z8. At this time, it is assumed that the size of the image to be displayed in the horizontal direction is smaller than the size of the input image data X, Y, and Z in the horizontal direction.
[0095]
For example, assuming that an image within the range shown by the thick frame in the input image data X, Y, and Z in FIG. 13 is actually displayed, the three-dimensional image data (three viewpoints) are X2, Y3, and Z4 as shown in FIG. , X5, Y6, and Z7. A slit 300 is provided on the display surface of the stereoscopic image display device, and the images of X2 and X5 displayed on the display are sent to the left eye of the observer, and the images of Y3 and Y6 are sent to the right eye of the observer. Thereby, the observer can observe the stereoscopic image from the observation position 1. When the observer moves to the right, the images of Y3 and Y6 are sent to the left eye of the observer, and the images of Z4 and Z7 are sent to the right eye of the observer. Can be observed.
[0096]
The adjustment of the parallax is performed in the same way as the method described for the case of two input image data, for parallax between two viewpoint images reaching the observer's eyes among images of three or more viewpoints. For example, first, the parallax of the observation position 1 is adjusted. The parallax of the observation position 1 is adjusted by moving the thick frames of the input image data X and Y to create a stereoscopic image. At this time, the thick frame of the input image data Z is moved and arranged by the same amount as the thick frame of Y which is the input image data of the adjacent viewpoint to create a stereoscopic image. In this case, the parallax at the observation position 1 changes, but the parallax at the observation position 2 does not change.
[0097]
Next, the parallax of the observation position 2 may be adjusted. For example, as described in the adjustment of the parallax at the observation position 1, the thick frame of the input image Z is moved by the same amount as the thick frame of the input image data Y, and then the thick frame of the input image Z is further moved. The parallax of the observation position 2 is adjusted by creating.
[0098]
In this way, even in the case of a multi-view display unit that displays images of three viewpoints, for each of the observation position 1 and the observation position 2, the input image data is two in the same manner as described above. Adjustment of parallax can be performed.
[0099]
Next, the operation of the present apparatus when the display mode information M'1 is the flat image display modes 1 to 3 will be described. One of the planar image display modes 1 to 3 is input to the switch control unit 604. The switch control unit 604 turns off the switches 11, 12, and 601 and refers to Table 4 to generate image data (any one of the input images X, Y, and Z) required to create a planar image in each mode. Is controlled by the switch 602 so as to be input to the plane image creation means 6 and the switch 603 so that the plane image creation means 6 and the frame memory 2 are connected. The plane image creating means 6 creates plane image data in the same manner as the plane image display mode for the left eye (or right eye) of the display mode information M1 described in the case where the number of input image data is two, and Output to 2. Finally, the plane image data is input to the display means 3 from the frame memory 2. The display means 3 displays the input plane image data on a plane.
[0100]
The operation of the present apparatus when the display mode information M'1 is the input image through display mode will be described. The input image through display mode is input to the switch control unit 604. The switch control unit 604 turns off the switches 11, 12, and 601 and switches the switches 602 and 603 so that the input image X (any one of the input images X, Y, and Z) is input to the frame memory 2. Control. The input image is output to the frame memory 2. Finally, the plane image data is input to the display means 3 from the frame memory 2. The display means 3 displays the input plane image data on a plane.
[0101]
The operation of the present apparatus with respect to the display mode information M'1 has been described above. In this way, even when there are three input images, the viewer's eyes It is possible to display a stereoscopic image by adjusting the parallax according to the fatigue of the user. At this time, a planar image can be displayed as needed.
[0102]
Furthermore, even when the number of input images is m (m is an integer of 4 or more), the number of inputs, the number of switches connecting the input and the stereoscopic image creating means 600, the number of contacts between the inputs of the switch 602, By expanding the type of the display mode information M'1 in the same way as when the input image data is expanded from 2 to 3, it is possible to adjust the display of a stereoscopic image and the parallax thereof.
[0103]
Further, the image data portion of the stereoscopic image format data F1 may include n (n ≧ 1) viewpoints. In this case, the control information I2 includes the number of viewpoints included in the stereoscopic image format data F1. At this time, for example, in the stereoscopic image decoding unit 500 of FIG. 7, data indicating the number of viewpoints included in the stereoscopic image format data F1 is transmitted from the stereoscopic image control information analyzing unit 501 to the separating unit 504, and the stereoscopic image data W Are separated by the number of viewpoints and output.
[0104]
Next, a second embodiment of the present invention will be described.
FIG. 14 is a diagram illustrating a configuration example of a second embodiment of the stereoscopic image display device according to the present invention.
[0105]
The stereoscopic image display apparatus according to the second embodiment of the present invention includes a stereoscopic image creating unit 100 that creates stereoscopic image data by inputting left and right eye-specific image data, and one of the left and right eye-specific image data. A plane image creating unit 6 for creating a plane image, switches 11, 12, 13, and 14 for switching input / output image data, a switch control unit 10 for controlling these switches according to display mode information M1, and a stereoscopic image A frame memory 2 for storing the image or the input image created by the creation means 100 or the plane image creation means 6 as it is, and displaying the image data of the frame memory 2 as a stereoscopic image or a plane image according to the display mode information M1. Display means 3, time measurement determination means 101 for measuring the display time of the stereoscopic image, and display of the stereoscopic image If during exceeds a predetermined time, and a warning display control means 102 for instructing to display a warning message on the three-dimensional image that is currently displayed on the stereoscopic image creating unit 100. Here, since the frame memory 2 and the display means 3, the planar image creation means 6, the switch control means 10, and the switches 11, 12, 13, and 14 operate in the same manner as the stereoscopic image display device of the first embodiment described above, FIG. The number in 14 is also the same.
[0106]
In the same manner as in the first embodiment, the display mode information M1 is externally input to the switch control means 10. Here, the display mode information M1 is the same as that described in the first embodiment. Here, the operation of the present display device when the display mode information M1 is the input image through display mode and when the display mode information M1 is the two-dimensional image display using the left-eye or right-eye image has been described in the first embodiment. It is the same as the display device.
[0107]
Next, an operation when the display mode information M1 is the stereoscopic image display mode will be described.
The left-eye image data L as the input image A1 and the right-eye image data R as the input image A2 are input to the three-dimensional image creating means 100 from outside.
[0108]
When the display mode information M1 indicates the stereoscopic image display mode, the switch control unit 10 turns on the switches 11 and 12, and controls the switch 14 so that the stereoscopic image creating unit 100 and the frame memory 2 are connected. Externally, the left-eye image data L and the right-eye image data R are input to the three-dimensional image creating means 100 through the switch 11 from the outside. Next, three-dimensional image data is created by the three-dimensional image creating means 100 and written into the frame memory 2. Finally, the stereoscopic image data is input to the display means 3 from the frame memory 2. The display means 3 stereoscopically displays the input stereoscopic image.
[0109]
Here, the processing operation of the stereoscopic image display by the stereoscopic image display device shown in FIG. 14 will be described using the flowchart shown in FIG.
In the initial state, the stereoscopic image display device performs stereoscopic image display (S21). The time measurement determination means 101 shown in FIG. 14 measures the time during the stereoscopic display. While displaying the stereoscopic image, the stereoscopic image creating unit 100 sends a stereoscopic image display notification signal to the time measurement determining unit 101, and the time measurement determining unit 101 measures the time t3 during which the stereoscopic image display notification signal is input. . At this time, the time measurement determination unit 101 performs measurement starting from the time when the stereoscopic display is started.
[0110]
The time measurement determining means 101 determines whether or not the measured time t3 has exceeded the predetermined time TIME3 (S22). If not, the process returns to step 21 to continue displaying the stereoscopic image. When the measured time t3 exceeds the predetermined time TIME3, the warning display control means 102 instructs the three-dimensional image creation means 100 to overwrite a warning message on the displayed three-dimensional image and display the three-dimensional image. Send a signal. When this signal is input, the three-dimensional image creating means 100 creates a three-dimensional image by overwriting a warning message on the three-dimensional image surface currently being created, and outputs it (S23). At this time, the stereoscopic image is created such that the warning message is at the forefront (so that it can be seen most prominently from the observer).
[0111]
For example, so that a warning message is displayed in a three-dimensional manner at the limit where the observer can perceive as a three-dimensional image, the parallax is given to the part of the warning message on the currently displayed three-dimensional image, The images may be combined to create a stereoscopic image. Also, the parallax at this time is referred to as a stereoscopic display limit parallax.
[0112]
Also, a flat image is created using only the image for the left (or right) eye instead of the stereoscopic image that has been displayed so far, and the warning message is displayed so that only the warning message portion is displayed three-dimensionally. A stereoscopic image may be created by overwriting and synthesizing a part with parallax on a plane image. Alternatively, a three-dimensional image is created by using a predetermined image instead of the three-dimensional image that has been displayed so far, and a parallax is given to the part of the warning message on the two-dimensional image, and the three-dimensional image is synthesized. May be created. For example, a black screen may be created, and a warning message may be overwritten on the screen.
[0113]
Further, using the left-eye image and the right-eye image of the currently displayed stereoscopic image, a disparity vector is obtained in units of blocks divided into units of a predetermined number of pixels, and the most pop-out amount among the obtained disparity vectors. May be set as the maximum disparity, and a disparity larger than this value may be given to the warning message portion. At this time, the given parallax does not exceed the stereoscopic display limit parallax. Note that the disparity vector can be obtained by block matching or the like. The maximum disparity may be obtained from data other than the disparity vector in block units, such as the disparity vector in pixel units.
[0114]
Next, signals transmitted among the three-dimensional image creating means 100, the time measurement determining means 101, and the warning display control means 102 will be described with reference to Table 5.
[0115]
[Table 5]

[0116]
State [2-1] is a state when the time measurement determination unit 101 starts measuring the stereoscopic image display time. At this time, a stereoscopic image display notification signal indicating that the present apparatus is displaying a stereoscopic image is output. Is output from the three-dimensional image creation means 100 to the time measurement determination means 101.
[0117]
The state [2-2] is a state in which the time measured by the time measurement determining means 101 has passed the predetermined time TIME3, and the time measurement TIME3 has passed from the time measurement determining means 101 to the warning display control means 102. Is output, and a signal instructing the warning display control means 102 to display a warning message on the currently created stereoscopic image is output from the warning display control means 102 to the stereoscopic image creating means 100. In this manner, the observer can be warned that he has observed for a long time as soon as possible, so that his eyes can be protected.
[0118]
Also, in the above description, a case has been described in which the warning message itself is created as a three-dimensional image and is displayed by overwriting the currently displayed three-dimensional image or the image converted to a two-dimensional image. It does not matter. Instead of displaying a warning message, a buzzer or the like may be sounded, or a lamp or an indicator may be turned on. After a predetermined time has elapsed after the warning message is displayed, the display on the display may be stopped, or the power of the display may be turned off.
[0119]
The determined time TIME3 described above represents a continuous viewing time during which a viewer can view a stereoscopic image as a stereoscopic image. As this time TIME3, a preset value may be stored in a memory inside the stereoscopic image display device. In addition, the preset value of the time TIME3 is not one, but includes elements related to eyestrain at the time of viewing, such as the screen size of the input image or the entire reproduction time if the input image is a moving image. As parameters, a number corresponding to the combination of those parameters may be set. Further, the observer may be allowed to change the time TIME3.
[0120]
Further, at the preceding stage of the three-dimensional image display device of FIG. 14, three-dimensional image decoding means for decoding the three-dimensional image format data F2 and three-dimensional image data decoded by the three-dimensional image decoding means as shown in FIG. Separating means for separating the image data into left and right eyes may be provided. At this time, the configuration of the stereoscopic image format data F2 can be composed of a stereoscopic image control information section and an image data section, similarly to the stereoscopic image format data F1 described in the first embodiment of the present invention. However, the value stored in the control information I2 inside the stereoscopic image format data F2 is a value corresponding to the above-described time TIME3, and this value is used for the time TIME3 used by the time measurement determination means 101 in the stereoscopic image display device. May be substituted and used.
[0121]
Further, the operations of the stereoscopic image decoding unit and the separating unit at this time are the same as those described in the first embodiment of the present invention.
Further, the data of the image data portion of the stereoscopic image format data F2 described above does not have to be coded data. For example, uncompressed data may be used. Further, the stereoscopic image control information section of the stereoscopic image format data F2 described above is repeatedly inserted into the data F2, for example, as a part of the program arrangement information, as in the case of the first embodiment of the present invention. It does not matter.
[0122]
Further, in the stereoscopic image format data F2, the stereoscopic image control information section may be inserted in the image data section as in the case of the first embodiment of the present invention. For example, when the image data section is data encoded by MPEG-4, the stereoscopic image control information section may be inserted at a predetermined position defined in the MPEG-4 encoded data.
[0123]
Also, if the display device is provided with a receiving means capable of receiving the broadcast, and the recording device is provided, or if an external recording device is connected, it is determined that the broadcast of the stereoscopic image is being received. When the time TIME3 is exceeded, a warning message may be displayed on the display means of the three-dimensional image display device, recording may be started at the same time, and recording of the subsequent broadcast may be continued.
[0124]
In addition, although it has been described above that the time measurement determination unit 101 performs measurement starting from the time when the stereoscopic display is started, similar to the first embodiment of the present invention, in the case of broadcasting, The time when the data of the stereoscopic image control information section was first received after the reception was started, or the time when the program sequence information was first received if the data of the stereoscopic image control information section was included in the program sequence information , The time measurement determination means 101 may start measuring the display time. In addition, if the time information necessary for reproducing the program is included in the program arrangement information received first, the time created using the information may be used as the starting point of the measurement performed by the time measurement determining unit 101. .
[0125]
In the above description, the case where the stereoscopic image format data F2 is transmitted by broadcast waves has been described. However, for example, a network such as a cable or the Internet may be used as a transmission path, or a hard disk or an optical disk may be used instead of the transmission. It may be recorded on a recording medium such as.
[0126]
In this way, in the stereoscopic image display device, the time TIME3 determined from the value of the control information of the stereoscopic image format data F2 can be substituted and used in the same manner as in the first embodiment of the present invention, and stereoscopic display is performed. This is convenient because the time TIME3 used by the time measurement determining means 101 can be set according to each data.
[0127]
In the above, the operation of the apparatus has been described for the case where there are two input images. However, the second embodiment is different from the first embodiment of the present invention even when there are three or more input image data. It can be extended as well.
[0128]
Further, the image data portion of the stereoscopic image format data F2 may be composed of n (n ≧ 1) viewpoints. In this case, the same as the extension method described in the first embodiment of the present invention. In this method, the stereoscopic image decoding unit 500 and the separating unit 504 may be extended.
[0129]
Next, a third embodiment of the present invention will be described.
FIG. 16 is a diagram illustrating a configuration example of a third embodiment of the stereoscopic image display device according to the present invention.
[0130]
The three-dimensional image display device according to the third embodiment of the present invention uses display data M1 indicating whether to perform three-dimensional display or two-dimensional display, and performs only two-dimensional display using image data for left and right eyes. A mode switch control means including a switch 201 for switching one of the two-dimensional display mode information M2 shown to the input of the switch control means 200 and a memory for storing a three-dimensional display inhibition flag for switching the switch 201 202, a three-dimensional image creating means 203 for creating a three-dimensional image from left and right eye-specific image data, and a two-dimensional image creating means 6 for creating a two-dimensional image from one of the left and right eye image data. Switches 11, 12, 13, and 14 for switching image data, switch control means 200 for controlling the switches, A frame memory 2 for storing an image created by the image creating means 203 or the plane image creating means 6, a display means 3 for displaying a three-dimensional image using the image data of the frame memory 2, and a display time of the three-dimensional image is measured A first time measurement determination unit 204, a power supply control unit 206 that forcibly turns off power other than the second time measurement determination unit 205 when the display time of the stereoscopic image exceeds a predetermined time, And a second time measurement judging means 205 for measuring an elapsed time after the power is turned off. Here, since the frame memory 2, the display means 3, the planar image creation means 6, and the switches 11, 12, 13, and 14 operate in the same manner as the stereoscopic image display devices of the first and second embodiments described above, FIG. Are the same.
[0131]
The display mode information M1 is the same as that described in the first embodiment. The plane display mode information M2 will be described later.
[0132]
The display mode information M1 is externally input to the switch control unit 200 in the same manner as in the first and second embodiments. Here, the operation of the present display device when the display mode information M1 is the input image through display mode and when the display mode information M1 is the two-dimensional image display using the left-eye or right-eye image will be described in the first embodiment. This is the same as the operation of the display device.
[0133]
Next, a case where the display mode information M1 is the stereoscopic image display mode will be described. Display mode information M1 and flat display mode information M2 are externally input to the switch 201. The switch 201 connects either the display mode information M1 or the plane display mode information M2 to an input of the switch control unit 200. Switching of the switch 201 is controlled by the mode switch control unit 202.
[0134]
The mode switch control means 202 has a memory therein and stores a stereoscopic display prohibition flag in the memory. Here, the mode switch control means 202 is a means for controlling the switch 201. For example, when the stereoscopic display inhibition flag is 0, the display mode information M1 is input to the switch control means 200. The switch 201 is controlled as follows. Assuming that the initial value of the stereoscopic display prohibition flag is 0, the switch 201 is connected to the display mode information M1 at the start of the operation.
[0135]
Here, the plane display mode information M2 will be described. For example, as shown in Table 6, the plane display mode information M2 includes only two types of the left-eye plane image display mode and the right-eye plane image display mode described in the display mode information M1.
[0136]
[Table 6]

[0137]
FIG. 17 is a flowchart showing the operation of the stereoscopic image display device according to the third embodiment of the present invention after the start of stereoscopic display. The operation of the apparatus in each display mode will be described in detail with reference to FIGS.
[0138]
When the power of the apparatus is turned on, after the initial processing, it is determined in step 31 whether or not to perform stereoscopic display. This determination process is performed based on the contents of the display mode information M1. If the display mode information M1 is the plane image display mode, the process proceeds to step 32, where the plane image is displayed according to the indication of the display mode information M1.
[0139]
If the display mode information M1 indicates the stereoscopic image display mode, the process proceeds from step 31 to step 33, where the value of the stereoscopic display prohibition flag in the memory inside the mode switch control means 202 is set to 0, and the process proceeds to step. In step 34, a three-dimensional image is created by the three-dimensional image creation means 203, and the time t4 during which the three-dimensional image is displayed is measured by the first time measurement determination means 204. At this time, the first time measurement determination unit 204 performs measurement starting from the time when the stereoscopic image display is started.
[0140]
The display mode information M1 is input to the switch control unit 200. When the input display mode information M1 is the stereoscopic image display mode, the switch control unit 200 turns on the switches 11 and 12, turns off the switch 13, and turns off the switch 14. Is controlled so that the frame memory 2 and the stereoscopic image creating means 203 are connected. The left-eye image data L is input to the switch 11 and the switch 13, and the right-eye image data R is input to the switch 12 and the switch 13 from the outside. The left-eye image data L and the right-eye image data R are input to the stereoscopic image creating unit 203 through the switches 11 and 12, respectively. In the three-dimensional image creating means 203, three-dimensional image data is created in the same manner as described in the first embodiment, and is written into the frame memory 2 through the switch 14. The created stereoscopic image data is input from the frame memory 2 to the display means 3 and displayed. While displaying the three-dimensional image, the three-dimensional image creation unit 203 sends a three-dimensional image display notification signal to the first time measurement determination unit 204, and the first time measurement determination unit 204 receives the three-dimensional image display notification signal and While you are, measure the time.
[0141]
Next, the routine proceeds to the judgment step 35. The time t4 measured by the first time measurement determining means 204 is input to the power control means 206. In the determination step 35, the power supply control means 206 determines whether or not the measurement time t4 input from the first time measurement determination means 204 has exceeded a predetermined time TIME4. When it is determined that the measured time t4 does not exceed the time TIME4, the process returns to step S34, where the stereoscopic image creation unit 203 creates a stereoscopic image and displays the created stereoscopic image on the display unit 3. If it is determined that the time t4 measured by the first time measurement determining means 204 has exceeded the time TIME4, the process proceeds to step S36.
[0142]
In step 36, the apparatus operates as follows. The power supply control unit 206 transmits a stereoscopic display prohibition signal indicating prohibition of stereoscopic display of an image to the mode switch control unit 202, and resets the measurement time to 0 to the second time measurement determination unit 205 to perform measurement. A measurement start signal for instructing to start is transmitted. Then, a part of the device is turned off. For example, power supplies other than the mode switch control unit 202 and the second time measurement determination unit 205 are forcibly turned off. The mode switch control means 202 sets the three-dimensional display prohibition flag to 1 and stores it in the memory of the mode switch control means 202 at the same time as the input of the three-dimensional display prohibition signal.
[0143]
Here, Table 7 shows signals transmitted among the three-dimensional image creation unit 203, the first time measurement determination unit 204, the power supply control unit 206, the second time measurement determination unit 205, and the mode switch control unit 202. It will be described with reference to FIG.
[0144]
[Table 7]

[0145]
The state [5-1] is the state when the first time measurement determination unit 204 starts measuring the stereoscopic image display time, and at this time, the stereoscopic image display indicating that the present apparatus is displaying the stereoscopic image. The notification signal is output from the three-dimensional image creation means 203 to the first time measurement determination means 204.
[0146]
The state [5-2] is a state when the measurement time of the first time measurement determination means 204 has passed the predetermined time TIME4, and the first time measurement determination means 204 sends the time TIME4 to the power supply control means 206. Is output, and the power supply control unit 206 instructs the second time measurement determination unit 205 to reset the measurement time to 0 and start measurement in response thereto. A start signal and a stereoscopic display prohibition signal are output to the mode switch control unit 202, respectively.
[0147]
The second time measurement determining unit 205 that has received the measurement start signal starts measuring the elapsed time (stereoscopic image non-display time) t5 after stopping the stereoscopic display.
[0148]
Next, the routine proceeds to the judgment step 37. In the determination step 37, it is determined whether or not the time t5 measured by the second time measurement determination means 205 has exceeded a predetermined time TIME5. When it is determined that the time t5 has elapsed the time TIME5, the mode switch control unit 202 sets the stereoscopic display prohibition flag to 0, stores the flag in the memory, sends a measurement stop signal to the second time measurement determination unit 205, and The power of the switch control means 202 is turned off. Simultaneously with the input of the measurement stop signal to the second time measurement determining means 205, the second time measurement determining means 205 resets the measurement time t5 and turns off the power of the second time measurement determining means 205.
[0149]
Table 8 shows the signals transmitted between the second time measurement determination means 205 and the mode switch control means 202 at this time.
[0150]
[Table 8]

[0151]
The state [6-1] is a state when the measurement time t5 of the second time measurement / determination means 205 has elapsed a predetermined time TIME5. A time measurement end signal T5 indicating that the time TIME5 has elapsed is output from the mode switch control means 202 to the second time measurement determination means 205, and a measurement stop signal is output.
[0152]
In this way, if the power is not turned on even after the lapse of the predetermined time TIME5 since the power of a part of the apparatus is forcibly turned off (the operation for restarting the image display is not performed). In this case, the process proceeds to step 38, where the mode switch control means 202 sets the stereoscopic display prohibition flag to 0, stores the flag in the memory, turns off all power supplies, and ends the operation.
[0153]
When it is determined in the determination step 37 that the stereoscopic image non-display time t5 measured in step 36 has not elapsed the determined time TIME5, the process proceeds to the determination step 39.
[0154]
In the determination step 39, it is determined whether or not an operation for displaying an image on the apparatus has been performed, that is, whether or not the power switch of the apparatus has been pressed. If it is determined that the power switch has not been pressed, the process returns to step S37 to continue measuring the time t5. On the other hand, if it is determined that the power switch has been pressed, the process proceeds to step S40. In step 40, a process for turning on the power of the entire apparatus is performed. Thereafter, the process proceeds to step 41, where the apparatus prohibits the display of the stereoscopic image, and displays the planar image as follows.
[0155]
For example, in FIG. 16, display mode information M1 and flat display mode information M2 are externally input to the switch 201. The mode switch control means 202 refers to the three-dimensional display prohibition flag in the memory, and since the value is 1, controls the switch 201 so that the plane display mode information M2 is input to the switch control means 200. The switch 201 is connected to the display mode information M2 side, and the flat display mode information M2 is input to the switch control means 200 through the switch 201.
[0156]
Here, assuming that the plane display mode information M2 is the left-eye plane image display mode, the switch control unit 200 turns off the switches 11 and 12, and sets the switch 13 to the left-eye image data L. Are switched so that the frame memory 2 and the plane image creating means 6 are connected. The plane image creating means 6 creates the plane image data of the image for the left eye, and writes it into the frame memory 2 through the switch 14. The plane image data is input to the display means 3 from the frame memory 2. The display means 3 displays the input plane image data. The plane image created at this time is created in the same manner as in the case where the display mode information M1 is the left-eye plane image display mode described in the first embodiment and the second embodiment of the present invention. As described above, the plane image is created and displayed according to the plane display mode information M2.
[0157]
Also, while displaying the planar image in this manner, the second time measurement determining means 205 continues to measure the time t5, and the second time measurement determining means 205 performs the same operation as in the stereoscopic display. The measured time t5 is input to the mode switch control unit 202. In step 42, it is determined whether or not the measured time t5 has reached a predetermined time TIME5. The plane till the time t5 measured by the second time measurement determining means 205 passes the predetermined time TIME5. The image is displayed, and the process proceeds to step 43 at the same time when the measured time t5 reaches the time TIME5. In step 43, the mode switch control unit 202 performs stereoscopic display restart processing such as sending a measurement stop signal to the second time measurement determination unit 205. The second time measurement determining means 205 resets the measurement time at the same time as the input of the measurement stop signal, and stops the time measurement. Thereafter, returning to step 33, the mode switch control unit 202 sets the stereoscopic display prohibition flag to 0 and stores the flag in the memory. Thereafter, since the three-dimensional display prohibition flag is 0, a three-dimensional image is displayed according to the display mode information M1.
[0158]
Further, at this time, when a stereoscopic display permission signal indicating that the stereoscopic display of the image is permitted is input to the mode switch control unit 202, a message for permitting the display of the stereoscopic image may be displayed on the screen.
[0159]
In this way, when the stereoscopic image is continuously displayed for a long time, the power of the stereoscopic image display device is forcibly turned off, and even if the observer turns on the power again, the power is forcibly turned off. By prohibiting the display of the stereoscopic image until a predetermined time TIME5 has elapsed after the power is turned off, the eyes of the observer can be reliably protected. Also, if the power is turned on again in a state where the predetermined time TIME5 has not passed since the power was forcibly turned off, a three-dimensional image display is allowed by allowing the display of a flat image with little burden on the eyes of the observer. The device can be used continuously.
[0160]
After the display time t4 of the stereoscopic image has reached the predetermined time TIME4, only the power of the display means 3 may be turned off. After only the power of the display unit 3 is turned off, the viewer may press any button provided on the stereoscopic image display device to turn on the power of the display unit 3 again. For example, when the power button is pressed, the power of the display unit 3 may be turned on.
[0161]
The determined time TIME4 described above represents a continuous viewing time during which a viewer can view a stereoscopic image as a stereoscopic image. For the times TIME4 and TIME5 described above, preset values may be stored in the memory inside the stereoscopic image display device. The preset values of the times TIME4 and TIME5 are not one each, but are related to eyestrain at the time of viewing, such as the screen size of the input image or the entire playback time if the input image is a moving image. Elements may be set as parameters, and the number may be set according to the combination of those parameters. The observer may be allowed to change the values of TIME4 and TIME5.
[0162]
Further, at the preceding stage of the stereoscopic image display device of FIG. 16, stereoscopic image decoding means for decoding stereoscopic image format data F3 as shown in FIG. 7, and stereoscopic image data decoded by the stereoscopic image decoding means. May be arranged to separate the image data into image data for the right and left eyes. At this time, the configuration of the stereoscopic image format data F3 includes a stereoscopic image control information section and an image data section, similarly to F1 and F2 described in the first and second embodiments of the present invention. However, the values stored in the control information I2 inside the stereoscopic image format data F3 are values corresponding to the above-described times TIME4 and TIME5, and the stereoscopic image display device obtains and uses those values from F3. You may make it.
[0163]
Further, the value stored in the control information I2 inside the stereoscopic image format data F3 may be either time TIME4 or TIME5, and the data not stored may use a preset value. .
[0164]
The operations of the stereoscopic image decoding unit and the separating unit at this time are the same as those described in the first and second embodiments of the present invention. Further, the data of the image data portion of the stereoscopic image format data F3 described above does not have to be encoded data. For example, uncompressed data may be used.
[0165]
The stereoscopic image control information section of the stereoscopic image format data F3 described above includes, for example, data in the data F3 as a part of the program arrangement information, similarly to those described in the first and second embodiments of the present invention. May be repeatedly inserted. In the three-dimensional image format data F3, the three-dimensional image control information section may be inserted in the image data section, as in the first and second embodiments of the present invention. For example, when the image data part is data encoded by MPEG-4, the stereoscopic image control information part may be inserted at a predetermined position defined in the MPEG-4 encoded data.
[0166]
Although the first time measurement determination unit 204 performs measurement starting from the time at which the stereoscopic display is started as described above, broadcast measurement is performed in the same manner as described in the first and second embodiments of the present invention. In the case of, the time when the data of the stereoscopic image control information section is first received after the reception of the broadcast content is started, or if the data of the stereoscopic image control information section is included in the program arrangement information, the The first time measurement determination unit 204 may start measuring the display time starting from the time when the array information is received. If the program sequence information received first includes time information necessary for program reproduction, the time created using the information is used as the starting point of the measurement performed by the first time measurement determination unit 204. It may be.
[0167]
In the above description, the case where the stereoscopic image format data F3 is transmitted by broadcast waves has been described. However, for example, a network such as a cable or the Internet may be used as a transmission path, or a hard disk or an optical disk may be used instead of the transmission. It may be recorded on a recording medium such as.
[0168]
Thus, in the stereoscopic image display device, the times TIME4 and TIME5 can be substituted and used from the value of the control information of the stereoscopic image format data F3 in the same manner as in the first and second embodiments of the present invention. It is convenient because TIME4 and TIME5 can be set according to the individual data to be displayed. Further, as described above, when a long-time continuous display of a stereoscopic image is performed and the power of the stereoscopic image display device is forcibly turned off and the observer turns on the power again, the stereoscopic image display is performed. The stereoscopic image display device may be able to resume the display immediately before the power of the device is forcibly turned off. For example, if the power is turned off while a certain file is being played, playback will be resumed from the time immediately before the power is turned off, or if you are watching a broadcast, you will immediately receive a broadcast on the same channel. It does not matter.
[0169]
If the display device is provided with a receiving means capable of receiving the above-mentioned broadcast and the recording means is provided or an external recording device is connected to the display device, the stereoscopic image is continuously output for a predetermined time TIME4 or more. When observing the image, turning off the power of the stereoscopic image display device while receiving the stereoscopic image broadcast and simultaneously starting recording, the receiving means and the recording means continue to receive the broadcast without turning off the power, and the power supply is turned off. You may continue to record broadcasts while they are turned off. In this way, the stereoscopic image broadcast while the power is off can be reproduced and viewed later.
[0170]
In the above, the operation of the apparatus when there are two input images has been described. In the present embodiment, however, the input image data is reduced to 3 by the same method as the method described in the first and second embodiments of the present invention. It can be extended to more than one case.
[0171]
Further, the image data portion of the stereoscopic image format data F3 may be composed of n (n ≧ 1) viewpoints. In this case, the image data is the same as that described in the first and second embodiments of the present invention. In this method, the stereoscopic image decoding means 500 and the separating means 504 may be extended.
[0172]
In the stereoscopic image display devices according to the first, second and third embodiments of the present invention described above, the three-dimensional image display device includes a unit for storing a password and a password input unit for inputting a password, and requests input of the password when used. I do. At this time, the stereoscopic image display device may distinguish the observer for each password and manage the stereoscopic image display time for each observer.
[0173]
By managing the time for displaying the stereoscopic image for each observer by distinguishing the observer for each password, it is possible to use the stereoscopic image display device for each observer without being affected by the conditions used by other observers. it can. That is, a stereoscopic image display device can be provided in a mode in which one observer displays a stereoscopic image by requesting a password at the time of use and managing the time for displaying the stereoscopic image for each observer while distinguishing the observer for each password. Even after the power is forcibly turned off for a long time, another observer can use the stereoscopic image display device in a mode for displaying a stereoscopic image.
[0174]
Further, the stereoscopic display, the warning display, the shift to the flat display, and the use of the password for each observer according to the present invention can be applied to the multi-view display device.
[0175]
Next, a fourth embodiment of the present invention will be described.
As described in the description of the first embodiment, the stereoscopic image has the parallax, and the observer perceives the stereoscopic effect by the parallax. Although the parallax of each pixel of the stereoscopic image is different, for example, the stereoscopic effect of the stereoscopic image having many pixels having large parallax is large, and the stereoscopic effect of the stereoscopic image having few pixels having large parallax is small. Such an index indicating the size of the three-dimensional effect is called “three-dimensional strength”. The present embodiment relates to a method for restricting stereoscopic image display when a plurality of stereoscopic images have different stereoscopic intensities.
[0176]
The stereoscopic intensity may be objectively determined by the average value of the parallax values for each pixel (the average value of the entire screen in the case of a still image; the average value of the entire moving image in the case of a moving image), or may be determined by a subjective evaluation. Is also good. Or you may determine by the weighted average of both. As the objective evaluation value, a weighted average value, median, maximum value, or the like may be used instead of the average value. In the case of a moving image, the maximum value for each frame is obtained, and the average value, median, maximum value, and the like of the maximum value over all frames may be used as the objective evaluation value.
[0177]
Generally, when observing a three-dimensional image having a large three-dimensional intensity, fatigue of eyes is quicker than that of an image having a small three-dimensional intensity. Therefore, it is necessary to provide a difference in allowable time of three-dimensional display or the like depending on the three-dimensional intensity.
[0178]
FIG. 19 is a diagram illustrating the relationship between the stereoscopic intensity (I) and the permissible time of stereoscopic display. FIG. 19A shows the case where I = 1, and the “cumulative intensity” (vertical axis) that increases at a fixed rate (k = α) with the elapse of the stereoscopic display time (horizontal axis) is calculated. . Here, the value of the accumulated intensity is 0 at time 0 and TH at time t1. In addition, TH indicates a predetermined threshold value, and is a time (t1) when the value of the accumulated intensity reaches TH, and the stereoscopic display device of the present invention performs the following processing.
(1) The display mode is switched from stereoscopic display to planar display.
(2) Adjusting to reduce parallax and continue stereoscopic display
(3) Display a warning message on the screen.
[0179]
In the case of employing the method (1), t1 has a meaning of an allowable time of a continuous time (stereoscopic display time) of stereoscopic display. The message (3) indicates that the stereoscopic display time has exceeded the allowable time, that the display is to be switched to flat display, and the like. Any one of these processes may be used, but a plurality of them may be used in combination. For example, (1) and (2) are combined to switch the display mode to flat display, and at the same time, display a message to that effect on the screen.
[0180]
FIG. 19B shows a case where I = 2, and the accumulated intensity is calculated in the same manner as described above, but the fixed ratio k is set to twice (k = 2α) of FIG. 19A. Therefore, the time (t2) at which the value of the accumulated intensity reaches the threshold value TH is half of t1. When the stereoscopic display device adopts the method (1), the permissible time for displaying the stereoscopic image is half that in the case of FIG.
[0181]
Generally, the cumulative intensity (AI) is expressed as follows using the stereoscopic intensity I and the stereoscopic display time t.
AI = f (I, t)
Here, f (I, t) is a function of I and t. In the case of FIG.
f (I, t) = k (I) .t
It becomes. Here, k (I) is a function of I, and in the case of FIG.
k (I) = α · I (α is a constant)
It is.
Other functions of f and k
f (I, t) = k (I) .t + m (m is a constant)
k (I) = α · I + β (α and β are constants)
For example, a primary function, a quadratic function, or another function may be used. The constants m, α, and β are values determined by experiments. If α is positive, k (I) in the above equation becomes a monotonically increasing function of I, and if k (I) is positive, f (I, t) in the above equation becomes a monotonically increasing function of t.
[0182]
When increasing the cumulative intensity over time as shown in FIG. 19, the stereoscopic display device of the present invention performs a process of adding a constant amount (s · I) to the cumulative intensity at regular time intervals (d). Here, s is a predetermined constant, and the relationship between s and α is as follows.
α = (s / d)
[0183]
FIG. 20 shows the relationship between the accumulated intensity and time at this time. For example, when the time is expressed in seconds and the cumulative intensity is increased by 3 every second for a stereoscopic image with a stereoscopic intensity I of 1, d = 1 and s = 3.
[0184]
The stereoscopic display device of the present invention compares the cumulative intensity with the threshold value TH each time the cumulative intensity is increased by s · I. If the cumulative intensity is smaller than TH, the stereoscopic display is continued. Any of the processes described in (3) to (3) is adopted.
[0185]
FIG. 21 shows another example showing the relationship between the three-dimensional intensity, its cumulative intensity, and the allowable time of the three-dimensional display. In this example, it is assumed that the cumulative intensity increases at the same rate when the solid intensity I is 1 and when the solid intensity I is 2, and the threshold value TH takes a different value. That is, for I = 2, a threshold value TH2 that is half of TH1 is used for the value TH1 used for I = 1. Thus, when I = 1, the cumulative intensity reaches the threshold value at time t1, and when I = 2, the cumulative intensity reaches the threshold value at time t2, which is half of t1. After the accumulated intensity reaches the threshold value, the stereoscopic display device performs one of the processes (1) to (3).
[0186]
As described above, the object of the present embodiment can be achieved by using different thresholds for different three-dimensional intensities.
[0187]
Next, a method of restricting stereoscopic display when a plurality of stereoscopic images having different stereoscopic intensities are successively stereoscopically displayed will be described.
[0188]
FIG. 22 shows an example of the relationship between the display time and the cumulative intensity. In this example, a stereoscopic image with a stereoscopic intensity I = 2 is stereoscopically displayed from time 0 to time a, a stereoscopic image with a stereoscopic intensity I = 3 is stereoscopically displayed from time a to time b, and a stereoscopic intensity I = 3 after time b. 3 is displayed in a stereoscopic manner. At this time, the cumulative intensity increases with a slope k = 2α from time 0 to time a, increases with a slope k = α from time a to time b, and increases with a slope k = 3α from time b. THm is a threshold value, and at time c when the accumulated intensity reaches THm, any one of the above-described processes (1) to (3) is performed.
[0189]
When the process (1) is employed, the display mode of the stereoscopic display device is switched to the flat display at the time c. Although the detailed description of the subsequent processing is omitted in the present embodiment, for example, as shown in FIG. 22, the cumulative intensity after time c is reduced at a fixed rate, and when the cumulative intensity becomes 0, the stereoscopic display is performed again. Switch to.
[0190]
FIG. 23 is a block diagram illustrating a stereoscopic image encoding device according to the present embodiment.
The stereoscopic image control information generating means 2301 generates the stereoscopic image control information section described in FIG. 8 from the stereoscopic intensity and the threshold. For example, an integer from 1 to 4 is used as the three-dimensional intensity, and this is represented by a 2-bit variable “3D_intensity”. Also, a variable from 0 to 65535 is used as the threshold, and this is represented by a 16-bit variable “3D_threshold”. These pieces of information are coded in a fixed length or a variable length. In the case of variable length coding, Huffman coding or arithmetic coding is used.
[0191]
The stereoscopic image encoding unit 2302 encodes the original image data using a still image encoding method such as JPEG or a moving image encoding method such as MPEG to obtain encoded data. Here, it is assumed that the original image data includes right-eye image data and left-eye image data. Pre-processing for thinning out the right-eye image data and the left-eye image data, synthesizing the two right and left, and obtaining an encoding image is also performed here. In addition, the encoding includes not only image compression such as JPEG and MPEG but also expression using a bitmap and expression using computer graphics.
[0192]
The multiplexing unit 2303 multiplexes the encoded data and the stereoscopic image control information section to obtain stereoscopic image format data. At this time, the stereoscopic image identification information I1 is also inserted into the stereoscopic image format data. Since this has been described with reference to FIGS. 8 and 9, the description is omitted. The multiplexed stereoscopic image format data is stored in a recording medium or transmitted to a transmission medium.
[0193]
As described above, the information indicating the three-dimensional strength and the threshold value for the three-dimensional image is stored or transmitted together with the encoded data of the three-dimensional image.
[0194]
FIG. 24 is a block diagram illustrating the stereoscopic image decoding device according to the present embodiment.
The demultiplexing means 2401 receives the stereoscopic image format data stored in the recording medium or transmitted to the transmission medium, and separates the encoded data and the stereoscopic image control information from the input.
[0195]
The stereoscopic image decoding unit 2403 decodes the encoded data to obtain decoded image data. Here, the decoded image data includes right-eye image data and left-eye image data. Separation of the right-eye image data and the left-eye image data is also performed here.
[0196]
The stereoscopic image control information analysis means 2402 analyzes the stereoscopic image control information section and decodes the stereoscopic intensity and the threshold. For example, a 2-bit variable “3D_intensity” is obtained as the three-dimensional intensity, and a 16-bit variable “3D_threshold” is obtained as the threshold.
[0197]
As described above, the information indicating the three-dimensional intensity and the threshold value stored or transmitted together with the encoded data of the three-dimensional image is decoded.
[0198]
FIG. 25A is a block diagram illustrating a stereoscopic image display device according to the present embodiment. In this device, the stereoscopic display is limited as described in (1) to (3) by the above-described method using the stereoscopic intensity and the threshold value.
[0199]
The display control unit 2501 calculates the cumulative intensity according to the three-dimensional intensity, and sets the three-dimensional image creating unit 2502, the two-dimensional image creating unit 2503, the switch 2504, and the display unit 2505 based on the comparison result of the cumulative intensity and the threshold value as follows. To control.
[0200]
When the cumulative intensity is smaller than the threshold value, the stereoscopic image creating unit 2502 is operated to create an image for stereoscopic display, and the planar image creating unit 2503 is stopped. The switch 2504 is connected to the side of the three-dimensional image creation unit 2502, and an image for three-dimensional display is sent to the display unit 2505. Further, the display unit 2505 is set to a stereoscopic display mode, and an image for stereoscopic display is displayed.
[0201]
When the cumulative intensity is equal to or larger than the threshold value and the stereoscopic display is limited as in (1) above, the planar image creating unit 2503 is operated to create an image for planar display, and the stereoscopic image creating unit 2502 is stopped. . The switch 2504 is connected to the plane image creation unit 2503, and an image for plane display is sent to the display unit 2505. Further, the display unit 2505 is set to the planar display mode, and an image for planar display is displayed.
[0202]
When the stereoscopic intensity is equal to or higher than the threshold and the stereoscopic display is limited as in the above (2), the operation of the stereoscopic image creating means 2502 is basically the same as when the cumulative intensity is smaller than the threshold. However, the display control unit 2501 changes the operation mode of the stereoscopic image creating unit 2502, and the stereoscopic image creating unit creates a stereoscopic image with little parallax by the above-described method.
[0203]
The case where the stereoscopic intensity is equal to or higher than the threshold value and the stereoscopic display is limited as in (3) above is basically the same as the case where the cumulative intensity is lower than the threshold value. Is displayed.
[0204]
The method of creating an image for stereoscopic display and an image for planar display is the same as that described in the first to third embodiments, and a description thereof will not be repeated.
[0205]
Although the processing of (1) to (3) has been exemplified as the processing when the cumulative intensity has reached the threshold value, a plurality of processing contents are prepared in advance, and which set is adaptively determined. May be selected. For example, as a set of processing
A. Processing (1) is performed.
B. Processing (2) is performed.
C. Processing (3) is performed.
D. Processing (1) and (3) are performed.
E. FIG. Processing (2) and (3) are performed.
Is defined in advance, and information indicating which of the sets A to E is adopted is included in the stereoscopic image control information section. Therefore, the stereoscopic image encoding device stores or transmits the information S indicating the set together with the encoded data of the stereoscopic image, the stereoscopic image decoding device decodes the information S, and the stereoscopic image display device accumulates the information S based on the information S. Select what to do when the intensity reaches the threshold.
[0206]
Next, a method of correcting the three-dimensional intensity and the threshold value in the three-dimensional image display device will be described. In the above-described method, even when the same three-dimensional image is displayed on display means having different characteristics (display size, viewing distance, etc.), the same three-dimensional intensity and threshold value are used regardless of the characteristics. However, the influence on the eyes of the observer is considered to be large, for example, when the display size is large, or large when the observation distance is short. Therefore, it is preferable to correct the three-dimensional intensity and the threshold value according to the characteristics of the display means. . For example, as the three-dimensional intensity or threshold value stored or transmitted together with the encoded data of the three-dimensional image, a value (standard three-dimensional intensity) that is optimally determined for display means having standard characteristics such as a standard display size and a standard observation distance is used. , And each display device corrects the standard three-dimensional intensity and the standard threshold based on the characteristics of each display means.
[0207]
In order to perform such a correction, in the stereoscopic image display device shown in FIG. 25A, a correction unit 2506 shown in FIG. 25B is connected to an input part of the display control unit 2501. The correction unit 2506 corrects the standard three-dimensional intensity (In) and the standard threshold value (THn), and outputs the corrected three-dimensional intensity (I) and threshold value (TH). I and TH are generally
I = G (In)
TH = H (THn)
, And are given by correction functions G and H according to the characteristics of the display means, respectively. The correction function is, for example,
G (In) = N1 · In + N2
H (THn) = N3.THn + N3
It can be expressed by a linear function such as Here, N1 to N3 are values obtained by experiments and the like. More simply, only THn is corrected,
I = In
TH = N · THn
I and TH may be obtained as described above, or conversely, only In may be corrected.
[0208]
In the case of the above formula, the observation distance of the display means provided in the display device is the same as the standard observation distance. When the display size is larger than the standard display size, N is set to a value smaller than 1, and conversely, the display size is set to the standard value. When the size is smaller than the display size, N is set to a value larger than 1.
[0209]
As described above, the fourth embodiment has been described using the image data of two viewpoints including the image data for the left eye and the image data for the right eye, but includes three or more viewpoints as in the first embodiment. It is clear that the fourth embodiment can be applied to multi-viewpoint image data.
[0210]
【The invention's effect】
As described above, according to the present invention, it is possible to adjust the parallax of a stereoscopic image displayed according to the fatigue of the observer's eyes, display a warning message when displaying a stereoscopic image for a long time, If the stereoscopic image is displayed continuously for a period of time, the display is forcibly stopped, and the display of the stereoscopic image is prohibited until a predetermined time has elapsed even if the observer performs an operation of displaying again. The means can protect the eyes of the observer with a simple configuration.
[0211]
Further, it is possible to express the difference between a stereoscopic image having a strong stereoscopic effect and a stereoscopic image having a weak stereoscopic effect by using the stereoscopic intensity, and to limit the stereoscopic display depending on the magnitude of the stereoscopic intensity. Further, when a plurality of stereoscopic images are continuously observed, the cumulative intensity is calculated, and the stereoscopic display is limited by comparing the cumulative intensity with a predetermined threshold value. Even when viewing stereoscopic images having different intensities continuously, it is possible to easily restrict the stereoscopic display.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of a stereoscopic image display device according to a first embodiment of the present invention.
FIG. 2 is a diagram showing an example of a configuration of a two-dimensional image data and a display method thereof by the three-dimensional image display device according to the first embodiment of the present invention.
FIG. 3 is a diagram showing an example of creation and display method of stereoscopic image data when the display means 3 can perform only stereoscopic display in the stereoscopic image display device according to the first embodiment of the present invention.
FIG. 4 is a view showing an example of a method of generating stereoscopic image data and displaying the stereoscopic image data by the stereoscopic image display device according to the first embodiment of the present invention.
FIG. 5 is a flowchart illustrating a processing operation of displaying a stereoscopic image by the stereoscopic image display device according to the first embodiment of the present invention.
FIG. 6 is a diagram showing an example of a method of generating stereoscopic image data and displaying the stereoscopic image data by the stereoscopic image display device according to the first embodiment of the present invention.
FIG. 7 is a diagram illustrating an example of a stereoscopic image decoding unit 500 that decodes stereoscopic image format data F1 according to the first embodiment of the present invention.
FIG. 8 is a view showing an example of stereoscopic image format data F1 according to the first embodiment of the present invention.
FIG. 9 is a view showing an example when receiving stereoscopic image content by broadcast according to the first embodiment of the present invention.
FIG. 10 is a view for explaining an example of the flow of stereoscopic image format data F1 when a recording medium is used as a transmission path of stereoscopic image format data F1 according to the first embodiment of the present invention.
FIG. 11 is an exemplary view for explaining an example of the flow of stereoscopic image format data F1 when a network is used as a transmission path of stereoscopic image format data F1 according to the first embodiment of the present invention.
FIG. 12 is a diagram showing a configuration of the stereoscopic image display device of the first embodiment when there are three pieces of input image data in the present invention.
FIG. 13 is a diagram showing an example of creation and display of stereoscopic image data according to the first embodiment when there are three pieces of input image data in the present invention.
FIG. 14 is a diagram illustrating a configuration of a stereoscopic image display device according to a second embodiment of the present invention.
FIG. 15 is a flowchart illustrating a stereoscopic image display processing operation performed by the stereoscopic image display device according to the second embodiment of the present invention.
FIG. 16 is a diagram illustrating a configuration of a stereoscopic image display device according to a third embodiment of the present invention.
FIG. 17 is a flowchart illustrating an operation of the stereoscopic image display device according to the third embodiment of the present invention.
FIG. 18 is a diagram illustrating parallax of a stereoscopic image and how the image is viewed.
FIG. 19 is a diagram illustrating an example of a relationship between three-dimensional intensity and allowable time of three-dimensional display.
FIG. 20 is a diagram showing a relationship between accumulated intensity and time.
FIG. 21 is a diagram illustrating another example of the relationship between the stereoscopic intensity and the permissible time of stereoscopic display.
FIG. 22 is a diagram showing an example of the relationship between display time and cumulative intensity.
FIG. 23 is a block diagram illustrating a stereoscopic image encoding device according to a fourth embodiment.
FIG. 24 is a block diagram illustrating a stereoscopic image decoding device according to a fourth embodiment.
FIG. 25 is a block diagram illustrating a stereoscopic image display device according to a fourth embodiment.
[Explanation of symbols]
1,100,203,600: stereoscopic image creating means
2: Frame memory
3: Display means
4, 101, 204, 205: time measurement determination means
5: Parallax control means
6: Plane image creation means
10, 200, 604: switch control means
11, 12, 13, 14, 201, 601, 602, 603: switch
102: warning display control means
202: Mode switch control means
206: power control means
300: slit
301: Frame
500, 512, 523: stereoscopic image decoding means
501: stereoscopic image control information analysis means
502: Image data part decoding means
504: separation means
510, 520: stereoscopic image coding means
511: Recording medium
521: BS data creation means
522: Network
524: BS data decoding means
2301: stereoscopic image control information generating means
2302: stereoscopic image encoding means
2303: Multiplexing means
2401: demultiplexing means
2402: stereoscopic image control information analysis means
2403: stereoscopic image decoding means
2501: display control means
2502: stereoscopic image creating means
2503: Plane image creation means
2504: Switch
2505: display means
2506: Correction means

Claims (24)

In a three-dimensional image display device for displaying images for each of left and right eyes of an observer, a three-dimensional image creating means for creating a three-dimensional image from a plurality of images, and a parallax adjusting means for adjusting the parallax of the three-dimensional image with respect to the three-dimensional image creating means A stereoscopic image display device, wherein when the stereoscopic image display time exceeds a first predetermined time, the parallax adjusting unit reduces the parallax of the stereoscopic image created by the stereoscopic image creating unit. . 2. The stereoscopic image display device according to claim 1, further comprising a storage unit configured to store a parallax of the stereoscopic image, wherein the parallax adjusting unit reduces the parallax of the stereoscopic image created by the stereoscopic image creating unit, and then performs a second operation. When a predetermined time has passed, the parallax adjusting unit returns the parallax of the stereoscopic image created by the stereoscopic image creating unit to the original based on the parallax stored in the storage unit. Image display device. 2. The stereoscopic image display device according to claim 1, wherein the stereoscopic image decoding unit decodes the stereoscopic image format data, and the separating unit separates the stereoscopic image data decoded by the stereoscopic image decoding unit into left and right eye image data. A stereoscopic image display device comprising: 4. The stereoscopic image display device according to claim 3, wherein the format of the stereoscopic image format data is at least one piece of stereoscopic image identification information indicating whether or not the data is data for displaying a stereoscopic image, a first predetermined time, and a second predetermined time. A stereoscopic image display device comprising at least one stereoscopic image control information including at least one of the predetermined time periods and at least one image data. 5. The three-dimensional image display device according to claim 4, wherein the three-dimensional image decoding unit analyzes three-dimensional image control information of the three-dimensional image format data, and the three-dimensional image data of the three-dimensional image format data. A three-dimensional image display device comprising: an image data part decoding means for decoding. In a stereoscopic image display device that displays images for each of the left and right eyes of an observer, a stereoscopic image creating unit that creates a stereoscopic image from a plurality of images, and a warning display control unit that creates a warning display for the stereoscopic image creating unit A stereoscopic image display device, wherein when the display time of the stereoscopic image exceeds a first predetermined time, the warning display control means generates the warning display to the stereoscopic image generating means. 7. The stereoscopic image display device according to claim 6, wherein the warning display is stereoscopically displayed. 7. The three-dimensional image display device according to claim 6, wherein the warning display is three-dimensionally displayed, and a plane other than the warning display is displayed in a plane. 8. The stereoscopic image display device according to claim 6, wherein the warning display is stereoscopically displayed at a limit position at which the observer can perceive the stereoscopic display as a stereoscopic image. 7. The three-dimensional image display device according to claim 6, wherein the three-dimensional image decoding unit decodes the three-dimensional image format data, and the separating unit separates the three-dimensional image data decoded by the three-dimensional image decoding unit into left and right eye image data. A stereoscopic image display device comprising: 11. The three-dimensional image display device according to claim 10, wherein the format of the three-dimensional image format data includes at least one piece of three-dimensional image identification information indicating whether the data is data for three-dimensional image display, and at least a first predetermined time. A stereoscopic image display device having a stereoscopic image format including one piece of control information and at least one piece of image data. 12. The stereoscopic image display device according to claim 11, wherein the stereoscopic image decoding unit analyzes stereoscopic image control information of the stereoscopic image format data, and decodes the image data of the stereoscopic image format data. A stereoscopic image display device comprising: image data decoding means. In a three-dimensional image display device that displays images for each of the left and right eyes of an observer, a three-dimensional image creating unit that creates a three-dimensional image from a plurality of images, a two-dimensional image creating unit that creates a two-dimensional image from the plurality of images, and the three-dimensional image Display means for displaying the three-dimensional image created by the creation means or the two-dimensional image created by the two-dimensional image creation means. When the three-dimensional image display time exceeds a first predetermined time, at least a power source of the display means is included. When the power supply is automatically cut off and after the power supply is automatically cut off by the display means, an operation for restoring the cut off power supply is performed until the time during which the stereoscopic image is not displayed exceeds a second predetermined time. A three-dimensional image display device, wherein the two-dimensional image created by the two-dimensional image creation means is displayed on the display means. 14. The stereoscopic image display device according to claim 13, wherein stereoscopic image decoding means for decoding stereoscopic image format data, and separating means for separating the stereoscopic image data decoded by the stereoscopic image decoding means into left and right eye-specific image data. A stereoscopic image display device comprising: 15. The three-dimensional image display device according to claim 14, wherein the format of the three-dimensional image format data is at least one piece of three-dimensional image identification information indicating whether or not the data is data for displaying a three-dimensional image, the first predetermined time, and the first predetermined time. A stereoscopic image display device having a stereoscopic image format including at least one control information including at least one of a second predetermined time and image data. 16. The three-dimensional image display device according to claim 15, wherein the three-dimensional image decoding unit analyzes the three-dimensional image control information of the three-dimensional image format data, and the three-dimensional image format information. A stereoscopic image display device comprising: image data decoding means for decoding. In a three-dimensional image encoding device that encodes a three-dimensional image composed of a plurality of images, encoding means for encoding a three-dimensional image, generating means for generating control information for controlling display of the three-dimensional image, and encoding Multiplexing means for multiplexing coded data obtained by the means and control information obtained by the generating means, wherein the control information includes information indicating a three-dimensional strength of the three-dimensional image. apparatus. In a three-dimensional image encoding device that encodes a three-dimensional image composed of a plurality of images, encoding means for encoding a three-dimensional image, generating means for generating control information for controlling display of the three-dimensional image, and encoding Multiplexing means for multiplexing the encoded data obtained by the means and the control information obtained by the generating means, wherein the control information includes a threshold value relating to a cumulative value that increases with the stereoscopic display time. Stereoscopic image coding device. In a three-dimensional image decoding device for decoding a three-dimensional image composed of a plurality of images, a demultiplexing unit that separates encoded data of the three-dimensional image and control information for controlling display of the three-dimensional image from input data; And a analyzing unit for analyzing the control information, wherein the control information includes information indicating a stereoscopic intensity of the stereoscopic image. In a three-dimensional image decoding device for decoding a three-dimensional image composed of a plurality of images, a demultiplexing unit for separating encoded data of the three-dimensional image and control information for controlling display of the three-dimensional image from input data; And decoding means for analyzing the control information, wherein the control information includes a threshold value for an accumulated value that increases with the stereoscopic display time. A stereoscopic image recording method for recording a stereoscopic image composed of a plurality of images, comprising a recording step of recording control information for controlling display of the stereoscopic image, wherein the control information includes information indicating a stereoscopic intensity of the stereoscopic image. A three-dimensional image recording device characterized by the above-mentioned. A stereoscopic image recording method for recording a stereoscopic image composed of a plurality of images, further comprising a recording step of recording control information for controlling display of the stereoscopic image, wherein the control information relates to a cumulative value that increases with a stereoscopic display time. A stereoscopic image recording device comprising a threshold value. In a three-dimensional image transmission method for transmitting a three-dimensional image composed of a plurality of images, the method further includes a transmission step of transmitting control information for controlling display of the three-dimensional image, wherein the control information includes information indicating a three-dimensional intensity of the three-dimensional image. A stereoscopic image transmission device, characterized in that: In a stereoscopic image transmission method for transmitting a stereoscopic image composed of a plurality of images, a transmission step of transmitting control information for controlling display of the stereoscopic image is provided, wherein the control information relates to a cumulative value that increases with a stereoscopic display time. A stereoscopic image transmission device comprising a threshold value.

Images