[go: up one dir, main page]

JP2009042967A - Information input display system, information terminal and display device - Google Patents

Information input display system, information terminal and display device Download PDF

Info

Publication number
JP2009042967A
JP2009042967A JP2007206359A JP2007206359A JP2009042967A JP 2009042967 A JP2009042967 A JP 2009042967A JP 2007206359 A JP2007206359 A JP 2007206359A JP 2007206359 A JP2007206359 A JP 2007206359A JP 2009042967 A JP2009042967 A JP 2009042967A
Authority
JP
Japan
Prior art keywords
display
unit
input
information
pda
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007206359A
Other languages
Japanese (ja)
Inventor
Yoshiaki Miyagawa
嘉明 宮川
Nobuyuki Miyake
信行 三宅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2007206359A priority Critical patent/JP2009042967A/en
Publication of JP2009042967A publication Critical patent/JP2009042967A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

【課題】情報入力表示システムにおいて表示部を有効利用する。
【解決手段】ＰＤＡ１０と、ＨＭＤ２０とが接続されると、ＰＤＡ１０の表示部１２には、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースだけが表示され、ＨＭＤ２０の画像表示部２２ａ，２２ｂには、アプリケーションソフトウェアによるデータだけが表示されるように構成した。すなわち、ＰＤＡ１０を主として文字等の入力装置として扱い、ＨＭＤ２０を主として画像や音声の出力装置として扱うように構成した。これにより、ＰＤＡ１０の表示部１２およびＨＭＤ２０の画像表示部２２ａ，２２ｂの双方を有効に利用できる。
【選択図】図４A display unit is effectively used in an information input display system.
When a PDA and an HMD are connected, only a graphical user interface for inputting characters and the like by a user is displayed on the display unit of the PDA, and image display units 22a and 22b of the HMD 20 are displayed. In this configuration, only data from application software is displayed. That is, the PDA 10 is mainly handled as an input device for characters and the like, and the HMD 20 is mainly handled as an image or audio output device. Thereby, both the display part 12 of PDA10 and the image display parts 22a and 22b of HMD20 can be utilized effectively.
[Selection] Figure 4

Description

本発明は、情報入力表示システム、情報端末および表示装置に関する。   The present invention relates to an information input display system, an information terminal, and a display device.

携帯型のコンテンツデータ再生装置として、たとえば、接続された装置からの画像を表示するヘッドマウントディスプレイが知られている（特許文献１参照）。また、スケジュール管理や辞書、電卓、メール送受信などのアプリケーションソフトウェアの処理を行う情報端末装置が知られている（特許文献２参照）。   As a portable content data reproducing device, for example, a head-mounted display that displays an image from a connected device is known (see Patent Document 1). In addition, an information terminal device that performs processing of application software such as schedule management, dictionary, calculator, and mail transmission / reception is known (see Patent Document 2).

特開２００５−２１５３９３号公報JP 2005-215393 A 特開２００１−３２５０４４号公報JP 2001-325044 A

情報端末装置では、アプリケーションソフトウェアによるデータと、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースとが表示部の１画面に表示される。そのため、アプリケーションソフトウェアによるデータを表示する領域が狭くなってしまう。   In the information terminal device, data by application software and a graphical user interface for inputting characters and the like by the user are displayed on one screen of the display unit. For this reason, an area for displaying data by the application software is narrowed.

（１） 請求項１の発明による情報入力表示システムは、ユーザの操作入力を受け付ける入力部と、第１の表示部と、第１の表示部における表示を制御する第１の表示制御手段とを有する情報端末と、第２の表示部と、第２の表示部における表示を制御する第２の表示制御手段とを有する表示装置とを備え、情報端末と表示装置とが接続されたとき、第１の表示制御手段は、ユーザの操作入力の受け付けに関する画面を表示するよう第１の表示部を制御し、第２の表示制御手段は、情報端末の入力部で受け付けたユーザの操作入力に応じて画面表示するよう第２の表示部を制御することを特徴とする。
（２） 請求項２の発明は、請求項１に記載の情報入力表示システムにおいて、第１の表示部は、ユーザの操作入力を受け付けるタッチパネルスイッチを有することを特徴とする。
（３） 請求項３の発明は、請求項１または請求項２に記載の情報入力表示システムにおいて、情報端末は、アプリケーションソフトウェアの処理を行う第１の処理部をさらに有し、第１の処理部は、ユーザの操作入力に応じてアプリケーションソフトウェアの処理を行い、第２の表示制御手段は、第１の処理部の処理結果に基づいて画面表示するよう第２の表示部を制御することを特徴とする。
（４） 請求項４の発明は、請求項１または請求項２に記載の情報入力表示システムにおいて、表示装置は、アプリケーションソフトウェアの処理を行う第２の処理部をさらに有し、第２の処理部は、ユーザの操作入力に応じてアプリケーションソフトウェアの処理を行い、第２の表示制御手段は、第２の処理部の処理結果に基づいて画面表示するよう第２の表示部を制御することを特徴とする。
（５） 請求項５の発明は、求項１〜４のいずれか一項に記載の情報入力表示システムにおいて、表示装置は、携帯表示装置であることを特徴とする。
（６） 請求項６の発明は、請求項５に記載の情報入力表示システムにおいて、表示装置は、ヘッドマウントディスプレイ装置であることを特徴とする。
（７） 請求項７の発明は、請求項６に記載の情報入力表示システムにおいて、ヘッドマウントディスプレイ装置は、第２の表示部がユーザの右目用および左目用にそれぞれ設けられている両眼タイプのヘッドマウントディスプレイ装置であり、ユーザがヘッドマウントディスプレイ装置を装着した際に、ユーザが視線を下方に移動させることによって外界を視認できるように、下方が開放されていることを特徴とする。
（８） 請求項８の発明による情報端末は、請求項１〜７のいずれか一項に記載の情報入力表示システムに用いる情報端末であることを特徴とする。
（９） 請求項９の発明による表示装置は、請求項１〜７のいずれか一項に記載の情報入力表示システムに用いる表示装置であることを特徴とする。 (1) An information input display system according to the invention of claim 1 includes an input unit that receives a user's operation input, a first display unit, and a first display control unit that controls display on the first display unit. A display device having an information terminal, a second display unit, and a second display control means for controlling display on the second display unit, and when the information terminal and the display device are connected, The first display control unit controls the first display unit to display a screen related to the reception of the user's operation input, and the second display control unit responds to the user's operation input received by the input unit of the information terminal. The second display unit is controlled to display the screen.
(2) According to a second aspect of the present invention, in the information input display system according to the first aspect, the first display unit includes a touch panel switch that receives a user's operation input.
(3) The invention according to claim 3 is the information input display system according to claim 1 or 2, wherein the information terminal further includes a first processing unit that performs processing of the application software. And the second display control means controls the second display unit to display the screen based on the processing result of the first processing unit. Features.
(4) The invention according to claim 4 is the information input display system according to claim 1 or 2, wherein the display device further includes a second processing unit that performs processing of the application software. And the second display control means controls the second display unit to display the screen based on the processing result of the second processing unit. Features.
(5) The invention according to claim 5 is the information input display system according to any one of claims 1 to 4, wherein the display device is a portable display device.
(6) The invention according to claim 6 is the information input display system according to claim 5, wherein the display device is a head-mounted display device.
(7) The invention according to claim 7 is the information input display system according to claim 6, wherein the head mounted display device is a binocular type in which the second display unit is provided for the right eye and the left eye of the user, respectively. When the user mounts the head mounted display device, the lower portion is opened so that the user can visually recognize the outside world by moving the line of sight downward.
(8) An information terminal according to the invention of claim 8 is an information terminal used in the information input display system according to any one of claims 1 to 7.
(9) A display device according to a ninth aspect of the invention is a display device used in the information input display system according to any one of the first to seventh aspects.

本発明によれば、表示部を有効利用できる。   According to the present invention, the display unit can be used effectively.

−−−第１の実施の形態−−−
図１〜６を参照して、本発明による情報入力表示システム、情報端末および表示装置の第１の実施の形態を説明する。図１は、本発明による情報入力表示システムで用いられる情報端末および表示装置の外観を示す図である。本発明による情報入力表示システムでは、携帯型の情報端末である携帯情報端末（以下、ＰＤＡと呼ぶ）１０と、ヘッドマウントディスプレイ装置（以下、ＨＭＤと呼ぶ）２０とを備えている。 --- First embodiment ---
A first embodiment of an information input / display system, an information terminal, and a display device according to the present invention will be described with reference to FIGS. FIG. 1 is a diagram showing the appearance of an information terminal and a display device used in an information input display system according to the present invention. The information input display system according to the present invention includes a portable information terminal (hereinafter referred to as PDA) 10 which is a portable information terminal and a head mounted display device (hereinafter referred to as HMD) 20.

ＰＤＡ１０は、たとえば、スケジュール管理機能や、辞書機能、文書作成機能、電卓機能、コンテンツデータ再生機能、撮影機能、メール送受信機能、インターネット接続・閲覧機能などを有する携帯型の情報端末装置である。ＰＤＡ１０は、本体１１の正面に設けられた表示部１２と、各操作ボタン１３と、マウスモード切替ボタン１４と、外部モニタ接続部１５とを備えている。表示部１２は、タッチパネルスイッチを有する、タッチパネル式の表示装置であり、文字や画像などの表示の他、たとえば操作用のペン（ＰＤＡ操作用ペン）１９などによって表示部１２の表面を軽く押圧したりなぞったりすることによって、操作入力が可能である。   The PDA 10 is a portable information terminal device having, for example, a schedule management function, a dictionary function, a document creation function, a calculator function, a content data playback function, a shooting function, a mail transmission / reception function, an Internet connection / browsing function, and the like. The PDA 10 includes a display unit 12 provided on the front surface of the main body 11, each operation button 13, a mouse mode switching button 14, and an external monitor connection unit 15. The display unit 12 is a touch panel type display device having a touch panel switch. In addition to displaying characters and images, the display unit 12 lightly presses the surface of the display unit 12 with, for example, an operation pen (PDA operation pen) 19. Operation input is possible by tracing.

図２は、一例として、スケジュール管理用のアプリケーションソフトを起動させているときの表示部１２の表示画面を示す図である。たとえば、スケジュール管理用のアプリケーションソフトを起動させると、表示部１２には、スケジュールデータ表示領域１２１にスケジュールのデータであるスケジュールデータ表示１２１ａが表示され、手書き文字入力領域１２２に、ユーザが表示部１２の表面をなぞることで文字を入力するためのグラフィカルユーザインターフェースである手書き文字入力表示１２２ａが表示される。このように、ＰＤＡ１０では、通常、アプリケーションソフトウェアによるデータと、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースとが表示部１２の１画面に同時に表示される。   FIG. 2 is a diagram showing a display screen of the display unit 12 when the schedule management application software is activated as an example. For example, when application software for schedule management is activated, the display unit 12 displays a schedule data display 121a that is schedule data in the schedule data display area 121, and the user displays the schedule data display area 121a in the handwritten character input area 122. A handwritten character input display 122a which is a graphical user interface for inputting characters by tracing the surface of the screen is displayed. As described above, in the PDA 10, normally, data by application software and a graphical user interface for inputting characters and the like by the user are simultaneously displayed on one screen of the display unit 12.

各操作ボタン１３は、たとえば、表示部１２に表示された画面のスクロール操作や特定のアプリケーションソフトウェアの起動など、使用頻度の高い機能などに割り当てられた操作ボタンである。マウスモード切替ボタン１４は、ＰＤＡ１０をＨＭＤ２０と接続した際に、表示部１２を利用した操作入力の際の入力モードを切り替えるための操作ボタンである。マウスモード切替ボタン１４による入力モードの切り替えについては後述する。外部モニタ接続部１５は、接続ケーブル３１を介して接続された外部の表示装置に描画用のデータである画像の信号（画像情報）や音声の信号などを出力するインターフェースである。   Each operation button 13 is an operation button assigned to a frequently used function such as a scroll operation of the screen displayed on the display unit 12 or activation of specific application software. The mouse mode switching button 14 is an operation button for switching the input mode for operation input using the display unit 12 when the PDA 10 is connected to the HMD 20. The input mode switching by the mouse mode switching button 14 will be described later. The external monitor connection unit 15 is an interface that outputs image signals (image information), audio signals, and the like, which are data for drawing, to an external display device connected via the connection cable 31.

ＨＭＤ２０は、ユーザの頭部に装着可能な携帯型の表示装置であり、装着部２１と、画像表示部２２ａ，２２ｂと、画像表示部収納部２３と、不図示のスピーカとを備えている。装着部２１は、ユーザがＨＭＤ２０を装着した際にユーザの頭部左右から挟み込んでＨＭＤ２０をユーザの頭部に固定するように構成されている。画像表示部２２ａ，２２ｂは、入力された画像情報に基づいて画像を表示する装置であり、ユーザがＨＭＤ２０を装着した際にユーザの左右それぞれの眼前に位置するようにそれぞれ配設されている。画像表示部収納部２３は、画像表示部２２が配設されて収納された部位である。   The HMD 20 is a portable display device that can be mounted on the user's head, and includes a mounting unit 21, image display units 22a and 22b, an image display unit storage unit 23, and a speaker (not shown). The mounting unit 21 is configured to sandwich the HMD 20 from the left and right sides of the user's head when the user wears the HMD 20 and fix the HMD 20 to the user's head. The image display units 22a and 22b are devices that display images based on input image information, and are disposed so as to be positioned in front of the right and left eyes of the user when the user wears the HMD 20, respectively. The image display unit storage unit 23 is a part in which the image display unit 22 is disposed and stored.

画像表示部収納部２３は、ユーザがＨＭＤ２０を装着した際にユーザの眼前に位置するが、ユーザがＨＭＤ２０を装着したままであってもユーザが視線を下方に移動させるだけで、手元で保持しているＰＤＡ１０を視認できるように、ユーザの下方の視界を妨げないように構成されている。たとえば、画像表示部収納部２３のうち、ＨＭＤ２０を装着したユーザの眼から斜め下方に位置する部位が開口しており、ユーザは当該開口部分を介して、手元で保持しているＰＤＡ１０を視認できる。なお、当該開口部分にユーザの視界を妨げないように透明な板状の部材が設けられていてもよい。   The image display unit storage unit 23 is positioned in front of the user's eyes when the user wears the HMD 20, but even if the user keeps wearing the HMD 20, the user simply moves the line of sight downward and holds it at hand. It is configured so as not to obstruct the user's lower field of vision so that the PDA 10 can be visually recognized. For example, a portion of the image display unit storage unit 23 located obliquely downward from the user's eye wearing the HMD 20 is open, and the user can visually recognize the PDA 10 held at hand through the opening. . A transparent plate-like member may be provided at the opening so as not to disturb the user's field of view.

図３は、ＰＤＡ１０およびＨＭＤ２０のブロック図である。ＰＤＡ１０は、中央演算部１０１と、ワークメモリ部１０２と、ストレージ部１０３と、入力部１０４と、表示制御部１０５と、表示部１２と、外部モニタ接続部１５と、接続検出部１０６とを備えている。中央演算部１０１は、ワークメモリ部１０２を作業エリアとして、ストレージ部１０３から読み込んだプログラムを起動して各種の処理を行って、ＰＤＡ１０の各部を制御する。ストレージ部１０３は、アプリケーションソフトウェアのプログラムや、オーディオ／ビジュアルコンテンツのデータ、文書ファイルのデータなどを記憶する。   FIG. 3 is a block diagram of the PDA 10 and the HMD 20. The PDA 10 includes a central processing unit 101, a work memory unit 102, a storage unit 103, an input unit 104, a display control unit 105, a display unit 12, an external monitor connection unit 15, and a connection detection unit 106. ing. The central processing unit 101 uses the work memory unit 102 as a work area, activates a program read from the storage unit 103, performs various processes, and controls each unit of the PDA 10. The storage unit 103 stores application software programs, audio / visual content data, document file data, and the like.

入力部１０４は、各操作ボタン１３やマウスモード切り替えボタン１４の操作によって信号を出力するスイッチや、表示部１２のタッチパネルスイッチなど、ユーザの操作入力に応じた信号を出力するスイッチ群から構成される。表示制御部１０５は、中央演算部１０１からの制御信号や画像情報に基づいて、表示部１２における画像（映像）の表示を制御し、外部モニタ接続部１５へ出力する画像情報を制御する。接続検出部１０６は、接続ケーブル３１を介して外部モニタ接続部１５へ外部の表示装置が接続されたか否かを検出する。   The input unit 104 includes a switch group that outputs a signal corresponding to a user operation input, such as a switch that outputs a signal by operating each operation button 13 or the mouse mode switching button 14, or a touch panel switch of the display unit 12. . The display control unit 105 controls display of an image (video) on the display unit 12 based on control signals and image information from the central processing unit 101 and controls image information output to the external monitor connection unit 15. The connection detection unit 106 detects whether or not an external display device is connected to the external monitor connection unit 15 via the connection cable 31.

ＨＭＤ２０は、画像表示部２２ａ，２２ｂと、表示制御部２０１と、画像入力部２０２とを備えている。表示制御部２０１は、画像入力部２０２で受信した画像情報に基づいて画像表示部２２ａ，２２ｂにおける画像（映像）の表示を制御する。画像入力部２０２は、たとえば、接続ケーブル３１を介して接続された外部の機器からの画像情報を受信して表示制御部２０１へ出力する。   The HMD 20 includes image display units 22a and 22b, a display control unit 201, and an image input unit 202. The display control unit 201 controls display of images (videos) in the image display units 22a and 22b based on the image information received by the image input unit 202. For example, the image input unit 202 receives image information from an external device connected via the connection cable 31 and outputs the image information to the display control unit 201.

このように構成される情報入力表示システムでは、ＰＤＡ１０は、ＨＭＤ２０と接続されていない場合には、従来の携帯情報端末と同様に、起動されたアプリケーションソフトウェアによる処理を行い、表示部１２に処理の結果を表示する。たとえば、図２に示すように、スケジュール管理用のアプリケーションソフトウェアが起動されると、表示部１２には、スケジュールデータ表示領域１２１にスケジュールデータ表示１２１ａが表示され、手書き文字入力領域１２２に手書き文字入力表示１２２ａが表示される。   In the information input display system configured as described above, when the PDA 10 is not connected to the HMD 20, the PDA 10 performs processing by the activated application software and performs processing on the display unit 12 as in the conventional portable information terminal. Display the results. For example, as shown in FIG. 2, when the application software for schedule management is activated, the display unit 12 displays the schedule data display 121 a in the schedule data display area 121 and the handwritten character input area 122. A display 122a is displayed.

ユーザは、スケジュールデータ表示１２１ａの任意の日にちの欄をＰＤＡ操作用ペン１９で触れることでスケジュールの新規入力位置や修正すべき項目を選択できる。また、ユーザは、手書き文字入力表示１２２ａが表示された表示部１２の表面の所定の領域をなぞることで、たとえば選択された新規入力位置に対して文字や数字、記号などを入力できる。   The user can select a new input position of the schedule and an item to be corrected by touching a column of an arbitrary date on the schedule data display 121a with the PDA operation pen 19. Further, the user can input characters, numbers, symbols, and the like to the selected new input position by tracing a predetermined area on the surface of the display unit 12 on which the handwritten character input display 122a is displayed.

また、ＨＭＤ２０は、画像入力部２０２に外部の機器が接続されている場合、当該外部の機器から出力された画像情報や音声信号に基づいて、画像表示部２２ａ，２２ｂに画像を表示し、不図示のスピーカから音声を出力する。   In addition, when an external device is connected to the image input unit 202, the HMD 20 displays an image on the image display units 22a and 22b based on image information and audio signals output from the external device. Audio is output from the illustrated speaker.

従来の情報入力表示システムでは、情報端末と表示装置とを接続しても、情報端末の表示部に表示される表示内容と、表示装置で表示される表示内容は同じ内容である。すなわち、情報端末では、アプリケーションソフトウェアによるデータと、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースとが表示部の１画面に表示されるが、情報端末に接続された表示装置にも同じ画像が表示される。たとえば、スケジュール管理用のアプリケーションソフトを起動させた場合には、図２に示したスケジュールデータ表示１２１ａと手書き文字入力表示１２２ａとが、情報端末および表示装置のそれぞれの表示部に表示されることになる。そのため、情報端末と表示装置の双方で、アプリケーションソフトウェアによるデータを表示する領域が狭くなってしまう。また、アプリケーションソフトウェアによるデータは、表示装置に表示させれば、情報端末であえて表示する必要がない。また、表示装置では、表示させる必要のない入力のためのグラフィカルユーザインターフェースが表示されてしまう。   In the conventional information input display system, even if the information terminal and the display device are connected, the display content displayed on the display unit of the information terminal is the same as the display content displayed on the display device. That is, in the information terminal, data by application software and a graphical user interface for inputting characters by the user are displayed on one screen of the display unit, but the same image is also displayed on the display device connected to the information terminal. Is displayed. For example, when application software for schedule management is activated, the schedule data display 121a and the handwritten character input display 122a shown in FIG. 2 are displayed on the respective display units of the information terminal and the display device. Become. For this reason, the area for displaying data by the application software becomes narrow on both the information terminal and the display device. Further, if the data by the application software is displayed on the display device, it is not necessary to display it on the information terminal. In addition, the display device displays a graphical user interface for input that does not need to be displayed.

そこで本実施の形態の情報入力表示システムでは、接続ケーブル３１を介してＰＤＡ１０の外部モニタ接続部１５と、ＨＭＤ２０の画像入力部２０２とが接続されると、ＰＤＡ１０の表示部１２には、図４に示すように、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースだけが表示されるように構成した。そして、ＨＭＤ２０の画像表示部２２ａ，２２ｂには、アプリケーションソフトウェアによるデータだけが表示されるように構成した。以下、スケジュール管理用のアプリケーションソフトウェアが起動されている場合を例に説明する。   Therefore, in the information input display system of the present embodiment, when the external monitor connection unit 15 of the PDA 10 and the image input unit 202 of the HMD 20 are connected via the connection cable 31, the display unit 12 of the PDA 10 is connected to the display unit 12 of FIG. As shown in Fig. 1, only the graphical user interface for inputting characters by the user is displayed. The image display units 22a and 22b of the HMD 20 are configured to display only data based on application software. Hereinafter, a case where application software for schedule management is activated will be described as an example.

具体的には、ＰＤＡ１０の中央演算部１０１は、外部の表示装置が外部モニタ接続部１５へ接続されたことを示す信号（外部モニタ検出信号）を接続検出部１０６から受信すると、手書き文字入力表示１２２ａを表示部１２の表示領域の全てを利用して表示するための画像情報（入力専用画像情報）を生成する。また、中央演算部１０１は、スケジュールデータ表示１２１ａをＨＭＤ２０の画像表示部２２ａ，２２ｂの全ての表示領域を利用して表示するための画像情報（表示専用画像情報）を生成する。   Specifically, when the central processing unit 101 of the PDA 10 receives a signal (external monitor detection signal) indicating that an external display device is connected to the external monitor connection unit 15 from the connection detection unit 106, the handwritten character input display is performed. Image information (input-only image information) for displaying 122a using the entire display area of the display unit 12 is generated. Further, the central processing unit 101 generates image information (display-only image information) for displaying the schedule data display 121a by using all display areas of the image display units 22a and 22b of the HMD 20.

そして、中央演算部１０１は、入力専用画像情報に基づいて表示部１２で表示を行うように表示制御部１０５を制御する。また、中央演算部１０１は、表示専用画像情報が外部モニタ接続部１５へ出力されるよう表示制御部１０５を制御する。   Then, the central processing unit 101 controls the display control unit 105 to display on the display unit 12 based on the input-only image information. Further, the central processing unit 101 controls the display control unit 105 so that display-only image information is output to the external monitor connection unit 15.

表示制御部１０５は、中央演算部１０１からの制御信号および入力専用画像情報に基づいて、手書き文字入力表示１２２ａだけが表示されるように表示部１２における表示を制御する。その結果、表示部１２では、図４に示すように、手書き文字入力表示１２２ａだけが、すなわち、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースだけが表示される。   The display control unit 105 controls the display on the display unit 12 so that only the handwritten character input display 122a is displayed based on the control signal from the central processing unit 101 and the input-only image information. As a result, as shown in FIG. 4, the display unit 12 displays only the handwritten character input display 122a, that is, only the graphical user interface for inputting characters and the like by the user.

また、図５に示すように、手書き文字入力領域１２２の他に、キーボード入力領域１２３を設け、キーボード入力表示１２３ａを表示するようにしてもよい。キーボード入力表示１２３ａの任意の文字が表示された部分をＰＤＡ操作用ペン１９などによって押圧すると、当該文字が選択されて入力される。   In addition to the handwritten character input area 122, a keyboard input area 123 may be provided to display a keyboard input display 123a as shown in FIG. When a portion of the keyboard input display 123a where an arbitrary character is displayed is pressed with the PDA operation pen 19 or the like, the character is selected and input.

また、表示制御部１０５は、中央演算部１０１からの制御信号に基づいて、表示専用画像情報を外部モニタ接続部１５へ出力する。ＨＭＤ２０の表示制御部２０１は、接続ケーブル３１および画像入力部２０２を介して受信した表示専用画像情報に基づいて、画像表示部２２ａ，２２ｂにおける画像の表示を制御する。その結果、画像表示部２２ａ，２２ｂには、図４，５に示すように、スケジュールデータ表示１２１ａだけが、すなわち、アプリケーションソフトウェアによるデータだけが表示される。   Further, the display control unit 105 outputs display-only image information to the external monitor connection unit 15 based on a control signal from the central processing unit 101. The display control unit 201 of the HMD 20 controls display of images on the image display units 22a and 22b based on display-only image information received via the connection cable 31 and the image input unit 202. As a result, as shown in FIGS. 4 and 5, only the schedule data display 121a, that is, only the data based on the application software is displayed on the image display units 22a and 22b.

−−−マウスモードについて−−−
従来の情報入力表示システムでは、情報端末と表示装置とが接続されても、アプリケーションソフトウェアによるデータが情報端末の表示部に表示された。そのため、アプリケーションソフトウェアによるデータが表示された領域のうちの任意の位置をＰＤＡ操作用ペン１９などによって押圧することで、アプリケーションソフトウェアによるデータにおける文字等の入力位置を指示できた。すなわち、情報端末と表示装置とが接続されても、図２に示すように、表示部１２にスケジュールデータ表示１２１ａが表示されるため、スケジュールデータ表示１２１ａが表示された表示部１２の任意の位置をＰＤＡ操作用ペン１９などによって押圧することで、文字等の入力開始位置を指示できた。 ---- About mouse mode ---
In the conventional information input display system, even when the information terminal and the display device are connected, the data by the application software is displayed on the display unit of the information terminal. Therefore, the input position of characters or the like in the data by the application software can be indicated by pressing an arbitrary position in the area where the data by the application software is displayed with the PDA operation pen 19 or the like. That is, since the schedule data display 121a is displayed on the display unit 12 as shown in FIG. 2 even if the information terminal and the display device are connected, any position of the display unit 12 on which the schedule data display 121a is displayed. The input start position of characters or the like can be indicated by pressing the button with the PDA operation pen 19 or the like.

しかし、本実施の形態の情報入力表示システムでは、ＰＤＡ１０とＨＭＤ２０とが接続されると、アプリケーションソフトウェアによるデータがＰＤＡ１０の表示部１２に表示されないため、そのままではアプリケーションソフトウェアによるデータにおける文字等の入力位置を指示できない。   However, in the information input display system of the present embodiment, when the PDA 10 and the HMD 20 are connected, the data by the application software is not displayed on the display unit 12 of the PDA 10, so that the input position of characters or the like in the data by the application software as it is I cannot tell you.

そこで、本実施の形態の情報入力表示システムでは、マウスモード切替ボタン１４が一度押圧操作されると、ＰＤＡ１０における操作入力の入力モードがマウスモードに切り替えられる。なお、図４，５では、ＰＤＡ１０における操作入力の入力モードが、文字等を入力するためのモード（文字入力モード）に設定されている状態を示している。   Therefore, in the information input display system of the present embodiment, when the mouse mode switching button 14 is pressed once, the operation input input mode in the PDA 10 is switched to the mouse mode. 4 and 5 show a state where the input mode of operation input in the PDA 10 is set to a mode for inputting characters or the like (character input mode).

入力モードがマウスモードに切り替えられると、図６に示すように、たとえばＰＤＡ操作用ペン１９で表示部１２をなぞった軌跡と同様の軌跡を描くように、ＨＭＤ２０の画像表示部２２ａ，２２ｂに表示されるポインタ２２１の位置が、画像表示部２２ａ，２２ｂに表示されたアプリケーションソフトウェアによるデータの表示画面上で移動する。マウスモード切替ボタン１４がもう一度押圧操作されると、入力モードがマウスモードから再び文字入力モードに切り替えられる。   When the input mode is switched to the mouse mode, as shown in FIG. 6, for example, the display is displayed on the image display units 22 a and 22 b of the HMD 20 so as to draw a locus similar to the locus traced on the display unit 12 with the PDA operation pen 19. The position of the pointer 221 is moved on the data display screen by the application software displayed on the image display units 22a and 22b. When the mouse mode switching button 14 is pressed again, the input mode is switched from the mouse mode to the character input mode again.

具体的には、ＰＤＡ１０の中央演算部１０１は、マウスモード切替ボタン１４が押圧されたことを示す信号を入力部１０４から受信すると、図６に示すように、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースをハーフトーンで表示するように、表示制御部１０５を制御する。また、中央演算部１０１は、表示部１２がなぞられたことで入力部１０４（タッチパネルスイッチ）から出力される信号に基づいて、表示部１２がなぞられた軌跡を算出する。そして、中央演算部１０１は、算出した軌跡に基づいて、アプリケーションソフトウェアによるデータの表示画面上に表示させるポインタを移動させるように、画像情報（表示専用画像情報）を生成して表示制御部１０５に出力する。   Specifically, when the central processing unit 101 of the PDA 10 receives a signal indicating that the mouse mode switching button 14 has been pressed from the input unit 104, as shown in FIG. The display control unit 105 is controlled so that the graphical user interface is displayed in halftone. Further, the central processing unit 101 calculates a trajectory traced by the display unit 12 based on a signal output from the input unit 104 (touch panel switch) when the display unit 12 is traced. Then, the central processing unit 101 generates image information (display-only image information) so as to move a pointer to be displayed on the data display screen by the application software based on the calculated trajectory, and sends it to the display control unit 105. Output.

また、中央演算部１０１は、表示画面上のポインタの表示位置に対応する位置（もしくは、文字の入力位置のようにあらかじめ定められた所定の位置にしか入力できない場合には、表示画面上のポインタの表示位置に対応する位置近傍であってアプリケーションソフトウェアによって定められる入力可能な位置）を文字等の入力の始点として設定する。この設定された文字等の入力始点のことを以下、文字入力開始始点と呼ぶ。   In addition, the central processing unit 101 selects a pointer corresponding to the display position of the pointer on the display screen (or the pointer on the display screen when input is possible only at a predetermined position such as a character input position). Is set in the vicinity of the position corresponding to the display position, and the input position determined by the application software) is set as the starting point of input of characters and the like. The input start point of the set character or the like is hereinafter referred to as a character input start start point.

表示制御部１０５は、中央演算部１０１からの制御信号および画像情報に基づいて、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースをハーフトーン表示するよう表示部１２を制御する。表示制御部１０５は、中央演算部１０１で生成された画像情報（表示専用画像情報）を外部モニタ接続部１５に出力する。   Based on the control signal from the central processing unit 101 and image information, the display control unit 105 controls the display unit 12 to display a halftone display of a graphical user interface for inputting characters and the like by the user. The display control unit 105 outputs the image information (display-only image information) generated by the central processing unit 101 to the external monitor connection unit 15.

その結果、表示部１２では、図６に示すように、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースがハーフトーンで表示される。   As a result, on the display unit 12, as shown in FIG. 6, a graphical user interface for inputting characters and the like by the user is displayed in halftone.

ＨＭＤ２０の表示制御部２０１は、接続ケーブル３１および画像入力部２０２を介して受信した表示専用画像情報に基づいて、画像表示部２２ａ，２２ｂにおける画像の表示を制御する。その結果、画像表示部２２ａ，２２ｂには、図６に示すように、アプリケーションソフトウェアによるデータの表示画面と、当該画面上で移動するポインタ２２１とが表示される。   The display control unit 201 of the HMD 20 controls display of images on the image display units 22a and 22b based on display-only image information received via the connection cable 31 and the image input unit 202. As a result, as shown in FIG. 6, a data display screen by application software and a pointer 221 moving on the screen are displayed on the image display units 22 a and 22 b.

マウスモードに設定されているときに、たとえばＰＤＡ操作用ペン１９で表示部１２をなぞることで、画像表示部２２ａ，２２ｂに表示されるポインタ２２１の位置を任意の位置に移動させた後、再びマウスモード切替ボタン１４が押圧操作されて文字入力モードに設定されると、ＰＤＡ１０から文字等の入力が可能となる。この場合、ＰＤＡ１０から文字等が入力されると、入力された文字は、画像表示部２２ａ，２２ｂに表示されるアプリケーションソフトウェアによるデータの表示画面上で、上述した文字入力開始始点を始点として表示される。   When the mouse mode is set, for example, by tracing the display unit 12 with the PDA operation pen 19, the position of the pointer 221 displayed on the image display units 22a and 22b is moved to an arbitrary position, and then again. When the mouse mode switching button 14 is pressed and set to the character input mode, characters and the like can be input from the PDA 10. In this case, when a character or the like is input from the PDA 10, the input character is displayed on the data display screen by the application software displayed on the image display units 22a and 22b, starting from the character input start point described above. The

なお、上述の説明では、スケジュール管理用のアプリケーションソフトウェアが起動されている場合を例に説明したが、本発明はこれに限定されず、メモ機能や、画像のアルバム機能、動画再生機能、インターネット接続・閲覧機能などの各機能を実現するそれぞれのアプリケーションソフトウェアの実行に際して適用することができる。   In the above description, the case where the application software for schedule management is activated has been described as an example. However, the present invention is not limited to this, and a memo function, an image album function, a video playback function, an Internet connection is provided. -It can be applied when executing each application software that realizes each function such as a browsing function.

上述した第１の実施の形態の情報入力表示システムでは、次の作用効果を奏する。
（１） 接続ケーブル３１を介してＰＤＡ１０の外部モニタ接続部１５と、ＨＭＤ２０の画像入力部２０２とが接続されると、ＰＤＡ１０の表示部１２には、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースだけが表示されるように構成した。また、ＨＭＤ２０の画像表示部２２ａ，２２ｂには、アプリケーションソフトウェアによるデータだけが表示されるように構成した。すなわち、ＰＤＡ１０を主として文字等の入力装置として扱い、ＨＭＤ２０を主として画像や音声の出力装置として扱うように構成した。これにより、ＰＤＡ１０では、表示部１２の全面にわたって文字等の入力操作のために有効に利用できるので、入力操作が容易となる。また、ＨＭＤ２０では、画像表示部２２ａ，２２ｂの全面にわたってアプリケーションソフトウェアによるデータを表示できようになるので、表示できる情報量を増やすことができて利便性が向上する。また、画像表示部２２ａ，２２ｂに表示される文字や画像を大きくできるので視認性が向上する。すなわち、ＰＤＡ１０の表示部１２およびＨＭＤ２０の画像表示部２２ａ，２２ｂの双方を有効に利用できる。 The information input display system according to the first embodiment described above has the following operational effects.
(1) When the external monitor connection unit 15 of the PDA 10 and the image input unit 202 of the HMD 20 are connected via the connection cable 31, a graphical user for inputting characters and the like by the user is displayed on the display unit 12 of the PDA 10. Configured to display only the interface. Further, only the data by the application software is displayed on the image display units 22a and 22b of the HMD 20. That is, the PDA 10 is mainly handled as an input device for characters and the like, and the HMD 20 is mainly handled as an image or audio output device. As a result, the PDA 10 can be used effectively for inputting characters and the like over the entire surface of the display unit 12, thereby facilitating the input operation. Further, the HMD 20 can display data by application software over the entire surface of the image display units 22a and 22b, so that the amount of information that can be displayed can be increased and convenience is improved. Further, since the characters and images displayed on the image display units 22a and 22b can be enlarged, the visibility is improved. That is, both the display unit 12 of the PDA 10 and the image display units 22a and 22b of the HMD 20 can be used effectively.

（２） アプリケーションソフトによる処理や、ＰＤＡ１０の表示部１２およびＨＭＤ２０の画像表示部２２ａ，２２ｂで表示される画像についての画像情報の生成処理をＰＤＡ１０側で行うように構成した。これにより、アプリケーションソフトによる処理のために従来から高い処理能力を持つ中央演算部１０１を有効利用できるので、ＰＤＡ１０およびＨＭＤ２０の双方のコストアップを抑制できる。 (2) It is configured such that processing by application software and generation processing of image information for images displayed on the display unit 12 of the PDA 10 and the image display units 22a and 22b of the HMD 20 are performed on the PDA 10 side. As a result, since the central processing unit 101 having a high processing capacity can be effectively used for processing by application software, the cost increase of both the PDA 10 and the HMD 20 can be suppressed.

（３） ＰＤＡ１０とＨＭＤ２０とによって情報入力表示システムを構成した。ＰＤＡ１０およびＨＭＤ２０のいずれもが携行容易であり、様々な場所やシチュエーションで情報入力表示システムを利用でき、利便性が向上する。 (3) An information input display system is configured by the PDA 10 and the HMD 20. Both the PDA 10 and the HMD 20 are easy to carry, and the information input display system can be used in various places and situations, improving convenience.

（４） ユーザがＨＭＤ２０を装着したままであってもユーザが視線を下方に移動させるだけで、手元に保持しているＰＤＡ１０を視認できるように画像表示部収納部２３を構成した。これにより、ＰＤＡ１０で文字等を入力する際にユーザが装着したＨＭＤ２０を外したりずらしたりする必要がないので、利便性が高い。 (4) The image display unit storage unit 23 is configured so that the user can visually recognize the PDA 10 held at hand only by moving the line of sight downward even when the user keeps wearing the HMD 20. Thereby, when inputting characters or the like on the PDA 10, it is not necessary to remove or shift the HMD 20 worn by the user, which is highly convenient.

−−−第２の実施の形態−−−
図７，８を参照して、本発明による情報入力表示システム、情報端末および表示装置の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、アプリケーションソフトによる処理や、画像情報の生成処理をＨＭＤ２０側で行うように構成した点で、第１の実施の形態と異なる。 --- Second embodiment ---
With reference to FIGS. 7 and 8, a second embodiment of the information input display system, information terminal, and display device according to the present invention will be described. In the following description, the same components as those in the first embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first embodiment. This embodiment is different from the first embodiment in that it is configured such that processing by application software and image information generation processing are performed on the HMD 20 side.

図７は、ＰＤＡ１０およびＨＭＤ２０のブロック図である。ＰＤＡ１０は、中央演算部１０１と、ワークメモリ部１０２と、ストレージ部１０３と、入力部１０４と、表示制御部１０５と、表示部１２と、接続検出部１０６と、通信Ｉ／Ｆ部１０７とを備えている。通信Ｉ／Ｆ部１０７は、たとえば接続ケーブル３１を介して接続された外部の機器との通信を行うためのインターフェースである。なお、接続検出部１０６は、たとえば接続ケーブル３１を介して通信Ｉ／Ｆ部１０７へ外部の機器（ＨＭＤ２０）が接続されたか否かを検出する。   FIG. 7 is a block diagram of the PDA 10 and the HMD 20. The PDA 10 includes a central processing unit 101, a work memory unit 102, a storage unit 103, an input unit 104, a display control unit 105, a display unit 12, a connection detection unit 106, and a communication I / F unit 107. I have. The communication I / F unit 107 is an interface for communicating with an external device connected via the connection cable 31, for example. The connection detection unit 106 detects whether or not an external device (HMD 20) is connected to the communication I / F unit 107 via, for example, the connection cable 31.

ＨＭＤ２０は、画像表示部２２ａ，２２ｂと、表示制御部２０１と、中央演算部２０３と、入力部２０４と、ワークメモリ部２０５と、ストレージ部２０６と、通信Ｉ／Ｆ部２０７と、接続検出部２０８とを備えている。中央演算部２０３は、ワークメモリ部２０５を作業エリアとしてストレージ部２０６から読み込んだプログラムを起動して各種の処理を行って、ＨＭＤ２０の各部を制御する。入力部２０４は、たとえば、再生するオーディオ／ビジュアルコンテンツの選択操作や、再生したオーディオ／ビジュアルコンテンツの停止、巻き戻し、早送り等の指示操作、再生音量の調整操作など、各種の操作を行う不図示の操作部材の操作に応じて信号を出力するスイッチ類である。ストレージ部２０６は、たとえば動画再生用のアプリケーションソフトウェアのプログラムや、オーディオ／ビジュアルコンテンツのデータなどを記憶する。   The HMD 20 includes an image display unit 22a, 22b, a display control unit 201, a central processing unit 203, an input unit 204, a work memory unit 205, a storage unit 206, a communication I / F unit 207, and a connection detection unit. 208. The central processing unit 203 activates a program read from the storage unit 206 using the work memory unit 205 as a work area, performs various processes, and controls each unit of the HMD 20. The input unit 204 performs various operations such as an operation for selecting audio / visual content to be reproduced, an instruction operation for stopping, rewinding, and fast-forwarding the reproduced audio / visual content, and an operation for adjusting the reproduction volume. These switches output a signal in response to the operation of the operation member. The storage unit 206 stores, for example, application software programs for playing back moving images, audio / visual content data, and the like.

通信Ｉ／Ｆ部２０７は、たとえば接続ケーブル３１を介して接続された外部の機器との通信を行うためのインターフェースである。接続検出部２０８は、たとえば接続ケーブル３１を介して通信Ｉ／Ｆ部２０７へ外部の機器（ＰＤＡ１０）が接続されたか否かを検出する。   The communication I / F unit 207 is an interface for performing communication with an external device connected via the connection cable 31, for example. The connection detection unit 208 detects whether or not an external device (PDA 10) is connected to the communication I / F unit 207 via the connection cable 31, for example.

本実施の形態の情報入力表示システムでは、接続ケーブル３１を介してＰＤＡ１０の通信Ｉ／Ｆ部１０７と、ＨＭＤ２０の通信Ｉ／Ｆ部２０７とが接続されると、ＰＤＡ１０の表示部１２には、ユーザによる操作入力のためのグラフィカルユーザインターフェースだけが表示されるように構成した。そして、ＨＭＤ２０の画像表示部２２ａ，２２ｂには、アプリケーションソフトウェアによるデータ（たとえば再生されたオーディオ／ビジュアルコンテンツの動画）だけが表示されるように構成した。すなわち、ＨＭＤ２０の操作入力をＰＤＡ１０で入力できるように構成した。以下、ストレージ部２０６に格納されたオーディオ／ビジュアルコンテンツのデータを再生する場合を例に説明する。   In the information input display system of the present embodiment, when the communication I / F unit 107 of the PDA 10 and the communication I / F unit 207 of the HMD 20 are connected via the connection cable 31, the display unit 12 of the PDA 10 Only the graphical user interface for operation input by the user is displayed. The image display units 22a and 22b of the HMD 20 are configured to display only data based on application software (for example, reproduced audio / visual content moving images). That is, the operation input of the HMD 20 can be input by the PDA 10. Hereinafter, a case where the audio / visual content data stored in the storage unit 206 is reproduced will be described as an example.

具体的には、ＨＭＤ２０の中央演算部２０３は、通信Ｉ／Ｆ部２０７へＰＤＡ１０が接続されたことを示す信号（外部機器検出信号）を接続検出部２０８から受信すると、図８に示すような、ＰＤＡ１０の表示部１２に表示させる、ＨＭＤ２０の操作入力のためのグラフィカルユーザインターフェース１２５の画像情報を生成する。また、中央演算部２０３は、後述する検出位置情報を生成する。そして、中央演算部２０３は、生成した画像情報および検出位置情報を表示部表示情報として通信Ｉ／Ｆ部２０７を介してＰＤＡ１０へ出力する。なお、ＰＤＡ１０へ表示部表示情報を出力する際に、再生に係るコンテンツのタイトル名（たとえば「日米野球対決」）の情報を同時に出力するようにしてもよい。   Specifically, when the central processing unit 203 of the HMD 20 receives a signal (external device detection signal) indicating that the PDA 10 is connected to the communication I / F unit 207 from the connection detection unit 208, as shown in FIG. The image information of the graphical user interface 125 for operation input of the HMD 20 to be displayed on the display unit 12 of the PDA 10 is generated. Further, the central processing unit 203 generates detection position information described later. The central processing unit 203 then outputs the generated image information and detected position information to the PDA 10 via the communication I / F unit 207 as display unit display information. Note that when the display unit display information is output to the PDA 10, information on the title name of the content related to reproduction (for example, “Japan-US Baseball Showdown”) may be output simultaneously.

ここで、検出位置情報について説明する。検出位置情報とは、グラフィカルユーザインターフェース１２５が表示された表示部１２における操作位置（タッチパネルスイッチの押圧位置）と、コンテンツデータの再生における操作の内容（たとえば、再生、一時停止、巻き戻し、早送り等）とを関連づける情報である。たとえば図８に示すように、表示部１２で、コンテンツの再生開始を指示するための再生指示アイコン１２５ａの表示領域が押圧されると、ＰＤＡ１０の中央演算部１０１が、コンテンツの再生開始が指示されたものと判断するように、検出位置情報は構成されている。   Here, the detected position information will be described. The detected position information includes the operation position (touch panel switch pressing position) on the display unit 12 on which the graphical user interface 125 is displayed, and the content of the operation in reproducing the content data (for example, reproduction, pause, rewind, fast forward, etc.) ). For example, as shown in FIG. 8, when the display area of the playback instruction icon 125a for instructing the start of content playback is pressed on the display unit 12, the central processing unit 101 of the PDA 10 is instructed to start playback of the content. The detected position information is configured so as to determine that the

同様に、たとえば、表示部１２で、コンテンツの再生の一時停止を指示するための一時停止指示アイコン１２５ｂの表示領域が押圧されると、ＰＤＡ１０の中央演算部１０１が、コンテンツの再生の一時停止が指示されたものと判断するように、検出位置情報は構成されている。たとえば、表示部１２で、コンテンツの巻き戻しを指示するための巻き戻し指示アイコン１２５ｃの表示領域が押圧されると、ＰＤＡ１０の中央演算部１０１が、コンテンツの巻き戻しが指示されたものと判断するように、検出位置情報は構成されている。たとえば、表示部１２で、コンテンツの早送りを指示するための早送り指示アイコン１２５ｄの表示領域が押圧されると、ＰＤＡ１０の中央演算部１０１が、コンテンツの早送りが指示されたものと判断するように、検出位置情報は構成されている。   Similarly, for example, when the display area of the pause instruction icon 125b for instructing the pause of content playback is pressed on the display unit 12, the central processing unit 101 of the PDA 10 pauses the playback of the content. The detected position information is configured so as to determine that it has been instructed. For example, when the display area of the rewind instruction icon 125c for instructing the rewind of content is pressed on the display unit 12, the central processing unit 101 of the PDA 10 determines that the rewind of content has been instructed. Thus, the detected position information is configured. For example, when the display area of the fast-forward instruction icon 125d for instructing fast-forwarding of content is pressed on the display unit 12, the central processing unit 101 of the PDA 10 determines that the fast-forwarding of content has been instructed. The detected position information is configured.

通信Ｉ／Ｆ部１０７を介して表示部表示情報を受信したＰＤＡ１０では、中央演算部１０１は、受信した画像情報に基づいて、グラフィカルユーザインターフェース１２５が表示部１２に表示されるよう表示制御部１０５を制御する。表示制御部１０５は、グラフィカルユーザインターフェース１２５を表示するように表示部１２を制御する。その結果、図８に示すように、表示部１２にはグラフィカルユーザインターフェース１２５が表示される。なお、通信Ｉ／Ｆ部１０７を介して受信した、再生に係るコンテンツのタイトル名の情報に基づいて、図８に示すように、コンテンツのタイトル名（たとえば「日米野球対決」）を表示部１２に表示するようにしてもよい。   In the PDA 10 that has received the display unit display information via the communication I / F unit 107, the central processing unit 101 displays the graphical user interface 125 on the display unit 12 based on the received image information. To control. The display control unit 105 controls the display unit 12 to display the graphical user interface 125. As a result, as shown in FIG. 8, the graphical user interface 125 is displayed on the display unit 12. As shown in FIG. 8, the title of the content (for example, “Japan-US Baseball Showdown”) is displayed on the display unit based on the information on the title name of the content related to reproduction received via the communication I / F unit 107. 12 may be displayed.

また、中央演算部１０１は、タッチパネルスイッチである表示部１２（すなわち入力部１０４）からの操作信号を受信すると、表示部１２上の操作位置（押圧位置）の情報と、上述した検出位置情報とに基づいて、どのような指示がなされたのかを判断する。中央演算部１０１は、たとえば、コンテンツの再生開始が指示されたものと判断すると再生開始信号を、再生の一時停止が指示されたものと判断すると一時停止信号を、巻き戻しが指示されたものと判断すると巻き戻し信号を、早送りが指示されたものと判断すると早送り信号をそれぞれユーザ操作情報として通信Ｉ／Ｆ部１０７を介してＨＭＤ２０へ出力する。   In addition, when the central processing unit 101 receives an operation signal from the display unit 12 (that is, the input unit 104) that is a touch panel switch, information on the operation position (pressed position) on the display unit 12 and the detection position information described above. Based on the above, it is determined what instruction has been given. For example, the central processing unit 101 determines that a playback start signal has been instructed to start playback of content, a pause signal to have determined that playback pause has been instructed, and an instruction to rewind. If it is determined, the rewind signal is output to the HMD 20 via the communication I / F unit 107 as user operation information when it is determined that the fast-forward is instructed.

ＨＭＤ２０の中央演算部２０３は、通信Ｉ／Ｆ部２０７を介して受信したユーザ操作情報に基づいて、コンテンツのデータの再生や一時停止、巻き戻し、早送り等の処理を行い、画像情報を生成して表示制御部２０１に出力する。表示制御部２０１は、中央演算部２０３で生成された画像情報に基づいて画像表示部２２ａ，２２ｂにおける画像（映像）の表示を制御する。その結果、画像表示部２２ａ，２２ｂにおける画像（映像）の表示において、ユーザが表示部１２上で操作した操作内容が反映される。   Based on the user operation information received via the communication I / F unit 207, the central processing unit 203 of the HMD 20 performs processing such as reproduction, pause, rewind, and fast-forward of content data to generate image information. To the display control unit 201. The display control unit 201 controls display of images (videos) on the image display units 22a and 22b based on the image information generated by the central processing unit 203. As a result, in the display of images (videos) on the image display units 22a and 22b, the operation content operated by the user on the display unit 12 is reflected.

すなわち、ユーザが表示部１２に表示された再生指示アイコン１２５ａの表示領域を押圧操作すると、画像表示部２２ａ，２２ｂにおける画像（映像）の再生が開始される。同様に、ユーザが一時停止指示アイコン１２５ｂの表示領域を押圧操作すると、画像表示部２２ａ，２２ｂにおける画像（映像）の再生が一時停止される。ユーザが巻き戻し指示アイコン１２５ｃの表示領域を押圧操作すると、画像表示部２２ａ，２２ｂにおける画像（映像）が巻き戻される。ユーザが早送り指示アイコン１２５ｄの表示領域を押圧操作すると、画像表示部２２ａ，２２ｂにおける画像（映像）が早送りされる。   That is, when the user presses the display area of the reproduction instruction icon 125a displayed on the display unit 12, reproduction of images (videos) on the image display units 22a and 22b is started. Similarly, when the user presses the display area of the pause instruction icon 125b, playback of images (videos) on the image display units 22a and 22b is paused. When the user presses the display area of the rewind instruction icon 125c, the images (videos) in the image display units 22a and 22b are rewound. When the user presses the display area of the fast-forward instruction icon 125d, images (videos) on the image display units 22a and 22b are fast-forwarded.

なお、上述の説明では、ストレージ部２０６に格納されたオーディオ／ビジュアルコンテンツのデータを再生する場合を例に説明したが、本発明はこれに限定されず、メモ機能や、画像のアルバム機能、インターネット接続・閲覧機能などの各機能を実現するそれぞれのアプリケーションソフトウェアの実行に際して適用することができる。   In the above description, the case where the audio / visual content data stored in the storage unit 206 is reproduced has been described as an example. However, the present invention is not limited to this, and the memo function, image album function, Internet The present invention can be applied when executing each application software that realizes each function such as a connection / browsing function.

上述した第２の実施の形態の情報入力表示システムでは、第１の実施の形態の作用効果に加えて次の作用効果を奏する。
（１） アプリケーションソフトによる処理や、ＰＤＡ１０の表示部１２およびＨＭＤ２０の画像表示部２２ａ，２２ｂで表示される画像情報の生成処理をＨＭＤ２０側で行うように構成した。これにより、たとえば、アプリケーションソフトによる動画の再生処理のために従来から高い画像処理能力を持つ中央演算部２０３を有効利用でき、ＨＭＤ２０で再生中のデータに相応しい情報表示を、ＰＤＡ１０に表示することが可能となる。 In the information input display system of the second embodiment described above, the following operational effects are obtained in addition to the operational effects of the first embodiment.
(1) Processing by application software and generation processing of image information displayed on the display unit 12 of the PDA 10 and the image display units 22a and 22b of the HMD 20 are configured to be performed on the HMD 20 side. As a result, for example, the central processing unit 203 having a high image processing capability can be effectively used for moving image reproduction processing by application software, and information display suitable for the data being reproduced by the HMD 20 can be displayed on the PDA 10. It becomes possible.

（２） ＨＭＤ２０の操作入力をＰＤＡ１０に入力できるように構成したので、ＨＭＤ２０の操作性が向上する。 (2) Since the operation input of the HMD 20 can be input to the PDA 10, the operability of the HMD 20 is improved.

−−−変形例−−−
（１） 上述の説明では、ＰＤＡ１０とＨＭＤ２０とを接続ケーブル３１で接続するように構成しているが、本発明はこれに限定されない。たとえば、赤外線を利用した無線通信や、電波を利用した無線通信によってＰＤＡ１０とＨＭＤ２０とを接続するように構成してもよい。 ---- Modification ---
(1) In the above description, the PDA 10 and the HMD 20 are configured to be connected by the connection cable 31, but the present invention is not limited to this. For example, the PDA 10 and the HMD 20 may be connected by wireless communication using infrared rays or wireless communication using radio waves.

（２） 上述の説明では、マウスモードに切り替えられると、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースをハーフトーンで表示するように構成したが、本発明はこれに限定されない。たとえば、マウスモードに切り替えられると、ユーザによる文字などの入力のためのグラフィカルユーザインターフェースの表示を中止するように構成してもよい。 (2) In the above description, when the mouse mode is switched, the graphical user interface for inputting characters and the like by the user is displayed in halftone, but the present invention is not limited to this. For example, when the mode is switched to the mouse mode, the display of the graphical user interface for inputting characters or the like by the user may be stopped.

（３） 上述した第２の実施の形態では、ＰＤＡ１０をＨＭＤ２０の操作部材の一部として扱っているが、たとえば、ＰＤＡ１０に加速度センサなどを設けて、ＰＤＡ１０自体の動きを検出することで、アプリケーションソフトウェアにおける操作を行うようにしてもよい。たとえば、ゲームのアプリケーションソフトウェアを起動させた際に、ＰＤＡ１０自体を動かすことでそのゲームにおける操作を行うことができるようにしてもよい。 (3) In the above-described second embodiment, the PDA 10 is handled as a part of the operation member of the HMD 20, but for example, an acceleration sensor or the like is provided in the PDA 10 to detect the movement of the PDA 10 itself. You may make it perform operation in software. For example, when game application software is activated, the PDA 10 itself may be moved so that operations in the game can be performed.

（４） 上述の説明では、情報入力表示システムにおける表示装置としてＨＭＤ２０を例に挙げて説明しているが、ＨＭＤ２０に限らず、画像（映像）を表示可能な表示部を有する携行可能な様々な装置（携帯表示装置）であってもよい。たとえば、ＰＤＡ１０に、携帯型のモニタ装置やテレビ受像機を接続してもよく、液晶パネルなどの表示装置を有する携帯電話機を接続してもよい。また、上述したＰＤＡ１０に他のＰＤＡを接続してもよい。 (4) In the above description, the HMD 20 is described as an example of the display device in the information input display system. However, the display device is not limited to the HMD 20, and various portable devices having a display unit capable of displaying an image (video). It may be a device (portable display device). For example, a portable monitor device or a television receiver may be connected to the PDA 10 or a mobile phone having a display device such as a liquid crystal panel may be connected. Further, another PDA may be connected to the PDA 10 described above.

（５） 上述した第２の実施の形態のＨＭＤ２０では、動画再生用のアプリケーションソフトウェアのプログラムや、オーディオ／ビジュアルコンテンツのデータなどを内蔵したストレージ部２０６に格納するように構成しているが、本発明はこれに限定されない。たとえば、外部のストレージ装置をＨＭＤ２０に接続し、当該外部のストレージ装置に格納された動画再生用のアプリケーションソフトウェアのプログラムや、オーディオ／ビジュアルコンテンツのデータなどを利用するように構成してもよい。 (5) The HMD 20 according to the second embodiment described above is configured to store the application software program for moving image reproduction, the audio / visual content data, and the like in the built-in storage unit 206. The invention is not limited to this. For example, an external storage device may be connected to the HMD 20 so that a moving image playback application software program, audio / visual content data, or the like stored in the external storage device may be used.

（６） 上述した第２の実施の形態では、ＨＭＤ２０が画像情報および検出位置情報を表示部表示情報としてＰＤＡ１０に出力し、ＰＤＡ１０からユーザ操作情報を受信することでコンテンツのデータの再生や一時停止、巻き戻し、早送り等の処理を行うように構成しているが、本発明はこれに限定されない。たとえば、ＨＭＤ２０がＰＤＡ１０に表示部表示情報だけを送信し、ＰＤＡ１０から、表示部１２が押圧された位置（座標）の情報を受信するように構成してもよい。そして、ＨＭＤ２０の中央演算部２０３が、ＰＤＡ１０から受信した、表示部１２が押圧された位置（座標）の情報に基づいて、どのような指示（たとえば、再生、一時停止、巻き戻し、早送り等）がなされたのかを判断するように構成してもよい。 (6) In the second embodiment described above, the HMD 20 outputs the image information and the detected position information to the PDA 10 as display unit display information, and receives the user operation information from the PDA 10 to reproduce or pause the content data. However, the present invention is not limited to this. For example, the HMD 20 may be configured to transmit only display unit display information to the PDA 10 and receive information on the position (coordinates) at which the display unit 12 is pressed from the PDA 10. And what instruction (for example, reproduction, pause, rewind, fast forward, etc.) based on the information (position) where the central processing unit 203 of the HMD 20 received from the PDA 10 the display unit 12 is pressed. You may comprise so that it may be judged whether it was made.

（７） 上述の説明では、ＨＭＤ２０にはユーザの両眼にそれぞれ対応するように、２つの画像表示部２２ａ，２２ｂが設けられているが、すなわち、ＨＭＤ２０は両眼タイプのヘッドマウントディスプレイ装置であるが、画像表示部が１つである片眼タイプのヘッドマウントディスプレイ装置であってもよい。 (7) In the above description, the HMD 20 is provided with the two image display units 22a and 22b so as to correspond to both eyes of the user. In other words, the HMD 20 is a binocular head-mounted display device. However, it may be a one-eye type head mounted display device having one image display unit.

（８） 上述の説明では、ＰＤＡ１０とＨＭＤ２０とが接続されると、ＰＤＡ１０の表示部１２のタッチパネルスイッチを利用して、ＨＭＤ２０に表示されるアプリケーションソフトウェアによるデータ上での入力操作を可能とするように構成したが、本発明はこれに限定されない。表示部１２のタッチパネルスイッチの利用は必須ではなく、各操作ボタン１３やマウスモード切り替えボタン１４の操作によって、ＨＭＤ２０に表示されるアプリケーションソフトウェアによるデータ上での入力操作を可能とするように構成してもよい。
（９） 上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。 (8) In the above description, when the PDA 10 and the HMD 20 are connected, the input operation on the data by the application software displayed on the HMD 20 can be performed using the touch panel switch of the display unit 12 of the PDA 10. However, the present invention is not limited to this. The use of the touch panel switch of the display unit 12 is not indispensable, and the operation can be performed on the data by the application software displayed on the HMD 20 by the operation of each operation button 13 or the mouse mode switching button 14. Also good.
(9) You may combine each embodiment and modification which were mentioned above, respectively.

なお、本発明は、上述した実施の形態のものに何ら限定されず、ユーザの操作入力を受け付ける入力部と、第１の表示部と、第１の表示部における表示を制御する第１の表示制御手段とを有する情報端末と、第２の表示部と、第２の表示部における表示を制御する第２の表示制御手段とを有する表示装置とを備え、情報端末と表示装置とが接続されたとき、第１の表示制御手段は、ユーザの操作入力の受け付けに関する画面を表示するよう第１の表示部を制御し、第２の表示制御手段は、情報端末の入力部で受け付けたユーザの操作入力に応じて画面表示するよう第２の表示部を制御することを特徴とする各種構造の情報入力表示システムや、当該情報入力表示システムに用いられる情報端末や表示装置を含むものである。   In addition, this invention is not limited to the thing of embodiment mentioned above at all, The 1st display which controls the display in the input part which receives a user's operation input, a 1st display part, and a 1st display part An information terminal having a control means, a second display unit, and a display device having a second display control means for controlling display on the second display unit, the information terminal and the display device being connected to each other. The first display control unit controls the first display unit to display a screen related to the reception of the user's operation input, and the second display control unit displays the user's input received from the input unit of the information terminal. It includes an information input / display system of various structures characterized by controlling the second display unit to display a screen in response to an operation input, and an information terminal and display device used in the information input / display system.

本発明による情報入力表示システムで用いられる情報端末および表示装置の外観を示す図である。It is a figure which shows the external appearance of the information terminal and display apparatus which are used with the information input display system by this invention. 一例として、スケジュール管理用のアプリケーションソフトを起動させているときの表示部１２の表示画面を示す図である。As an example, it is a figure which shows the display screen of the display part 12 when the application software for schedule management is started. ＰＤＡ１０およびＨＭＤ２０のブロック図である。It is a block diagram of PDA10 and HMD20. ＰＤＡ１０とＨＭＤ２０とを接続したときの表示部１２および画像表示部２２ａ，２２ｂに表示される画像の一例を示す図である。It is a figure which shows an example of the image displayed on the display part 12 and image display part 22a, 22b when PDA10 and HMD20 are connected. ＰＤＡ１０とＨＭＤ２０とを接続したときの表示部１２および画像表示部２２ａ，２２ｂに表示される画像の一例を示す図である。It is a figure which shows an example of the image displayed on the display part 12 and image display part 22a, 22b when PDA10 and HMD20 are connected. マウスモードについて説明する図である。It is a figure explaining mouse mode. 第２の実施の形態におけるＰＤＡ１０およびＨＭＤ２０のブロック図である。It is a block diagram of PDA10 and HMD20 in a 2nd embodiment. 第２の実施の形態において、ＰＤＡ１０とＨＭＤ２０とを接続したときの表示部１２および画像表示部２２ａ，２２ｂに表示される画像の一例を示す図である。In 2nd Embodiment, it is a figure which shows an example of the image displayed on the display part 12 and image display part 22a, 22b when PDA10 and HMD20 are connected.

符号の説明Explanation of symbols

１０ 携帯情報端末（ＰＤＡ） １２ 表示部
１４ マウスモード切り替えボタン
２０ ヘッドマウントディスプレイ装置（ＨＭＤ）
２２ａ，２２ｂ 画像表示部 ２３ 画像表示部収納部
１０１ 中央演算部 １０４ 入力部
１０５ 表示制御部 １２１ａ スケジュールデータ表示
１２２ａ 手書き文字入力表示 ２０１ 表示制御部
２０３ 中央演算部 ２０４ 入力部 DESCRIPTION OF SYMBOLS 10 Personal digital assistant (PDA) 12 Display part 14 Mouse mode switching button 20 Head mounted display apparatus (HMD)
22a, 22b Image display unit 23 Image display unit storage unit 101 Central processing unit 104 Input unit 105 Display control unit 121a Schedule data display 122a Handwritten character input display 201 Display control unit 203 Central processing unit 204 Input unit

Claims (9)

ユーザの操作入力を受け付ける入力部と、第１の表示部と、前記第１の表示部における表示を制御する第１の表示制御手段とを有する情報端末と、
第２の表示部と、前記第２の表示部における表示を制御する第２の表示制御手段とを有する表示装置とを備え、
前記情報端末と前記表示装置とが接続されたとき、前記第１の表示制御手段は、ユーザの操作入力の受け付けに関する画面を表示するよう前記第１の表示部を制御し、前記第２の表示制御手段は、前記情報端末の入力部で受け付けたユーザの操作入力に応じて画面表示するよう前記第２の表示部を制御することを特徴とする情報入力表示システム。 An information terminal including an input unit that receives a user's operation input, a first display unit, and a first display control unit that controls display in the first display unit;
A display device comprising: a second display unit; and a second display control unit that controls display in the second display unit,
When the information terminal and the display device are connected, the first display control means controls the first display unit to display a screen related to accepting a user's operation input, and the second display The control means controls the second display unit to display the screen in accordance with a user operation input received by the input unit of the information terminal. 請求項１に記載の情報入力表示システムにおいて、
前記第１の表示部は、ユーザの操作入力を受け付けるタッチパネルスイッチを有することを特徴とする情報入力表示システム。 In the information input display system according to claim 1,
The information display system according to claim 1, wherein the first display unit includes a touch panel switch that receives a user operation input. 請求項１または請求項２に記載の情報入力表示システムにおいて、
前記情報端末は、アプリケーションソフトウェアの処理を行う第１の処理部をさらに有し、
前記第１の処理部は、前記ユーザの操作入力に応じて前記アプリケーションソフトウェアの処理を行い、
前記第２の表示制御手段は、前記第１の処理部の処理結果に基づいて画面表示するよう前記第２の表示部を制御することを特徴とする情報入力表示システム。 In the information input display system according to claim 1 or 2,
The information terminal further includes a first processing unit that performs processing of application software,
The first processing unit performs processing of the application software in response to an operation input of the user,
The second display control means controls the second display unit to display a screen based on a processing result of the first processing unit. 請求項１または請求項２に記載の情報入力表示システムにおいて、
前記表示装置は、アプリケーションソフトウェアの処理を行う第２の処理部をさらに有し、
前記第２の処理部は、前記ユーザの操作入力に応じて前記アプリケーションソフトウェアの処理を行い、
前記第２の表示制御手段は、前記第２の処理部の処理結果に基づいて画面表示するよう前記第２の表示部を制御することを特徴とする情報入力表示システム。 In the information input display system according to claim 1 or 2,
The display device further includes a second processing unit that performs processing of application software,
The second processing unit performs processing of the application software in response to the operation input of the user,
The second display control means controls the second display unit to display a screen based on a processing result of the second processing unit. 請求項１〜４のいずれか一項に記載の情報入力表示システムにおいて、
前記表示装置は、携帯表示装置であることを特徴とする情報入力表示システム。 In the information input display system according to any one of claims 1 to 4,
The information input display system, wherein the display device is a portable display device. 請求項５に記載の情報入力表示システムにおいて、
前記表示装置は、ヘッドマウントディスプレイ装置であることを特徴とする情報入力表示システム。 In the information input display system according to claim 5,
The information input display system, wherein the display device is a head mounted display device. 請求項６に記載の情報入力表示システムにおいて、
前記ヘッドマウントディスプレイ装置は、前記第２の表示部がユーザの右目用および左目用にそれぞれ設けられている両眼タイプの前記ヘッドマウントディスプレイ装置であり、ユーザが前記ヘッドマウントディスプレイ装置を装着した際に、ユーザが視線を下方に移動させることによって外界を視認できるように、下方が開放されていることを特徴とする情報入力表示システム。 In the information input display system according to claim 6,
The head mounted display device is the binocular head mounted display device in which the second display unit is provided for a user's right eye and left eye, respectively, and when the user wears the head mounted display device In addition, the lower part is opened so that the user can visually recognize the outside world by moving the line of sight downward. 請求項１〜７のいずれか一項に記載の情報入力表示システムに用いる情報端末。   The information terminal used for the information input display system as described in any one of Claims 1-7. 請求項１〜７のいずれか一項に記載の情報入力表示システムに用いる表示装置。   The display apparatus used for the information input display system as described in any one of Claims 1-7.
JP2007206359A 2007-08-08 2007-08-08 Information input display system, information terminal and display device Pending JP2009042967A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007206359A JP2009042967A (en) 2007-08-08 2007-08-08 Information input display system, information terminal and display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007206359A JP2009042967A (en) 2007-08-08 2007-08-08 Information input display system, information terminal and display device

Publications (1)

Publication Number Publication Date
JP2009042967A true JP2009042967A (en) 2009-02-26

Family

ID=40443660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007206359A Pending JP2009042967A (en) 2007-08-08 2007-08-08 Information input display system, information terminal and display device

Country Status (1)

Country Link
JP (1) JP2009042967A (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010098267A1 (en) 2009-02-25 2010-09-02 日本電気株式会社 Cable containing structure for slide housing, slide unit, electronic apparatus, and cable containing method
JP2011217236A (en) * 2010-04-01 2011-10-27 Funai Electric Co Ltd Portable information processing device
JP2011244438A (en) 2010-04-19 2011-12-01 Dap Realize Co Ltd Portable information processing device provided with touch panel means and program for the portable information processing device
JP2012178097A (en) * 2011-02-28 2012-09-13 Olympus Corp Head mounting type display device and client device
WO2013099081A1 (en) * 2011-12-26 2013-07-04 ソニー株式会社 Head-mounted display and information display device
JP2014064293A (en) * 2013-11-01 2014-04-10 Hitachi Consumer Electronics Co Ltd Hand terminal, controller, and system for operating television receiver
WO2015189987A1 (en) * 2014-06-13 2015-12-17 日立マクセル株式会社 Wearable information display/input system, and portable information input/output device and information input method which are used therein
JP2017004532A (en) * 2016-06-23 2017-01-05 ソニー株式会社 Head-mounted display and information display
JP2017228300A (en) * 2017-07-13 2017-12-28 ソニー株式会社 Image display device, head-mounted display, information display device, display processing method, and program
WO2018008888A1 (en) * 2016-07-05 2018-01-11 Samsung Electronics Co., Ltd. Electronic device and screen display method thereof
WO2018173288A1 (en) * 2017-03-24 2018-09-27 サン電子株式会社 Image display unit
JP2019114050A (en) * 2017-12-22 2019-07-11 セイコーエプソン株式会社 Processing device, display system, and program
JP2019527888A (en) * 2016-12-07 2019-10-03 ゴーアテック テクノロジー カンパニー リミテッド Touch control device and virtual reality system for VR equipment
JP2019194870A (en) * 2019-06-05 2019-11-07 株式会社コロプラ Information processing method, information processing program, information processing system, and information processing apparatus
JP2022518682A (en) * 2019-01-07 2022-03-16 芋▲頭▼科技（杭州）有限公司 Visual enhancement system with integrated mobile device

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010098267A1 (en) 2009-02-25 2010-09-02 日本電気株式会社 Cable containing structure for slide housing, slide unit, electronic apparatus, and cable containing method
JP2011217236A (en) * 2010-04-01 2011-10-27 Funai Electric Co Ltd Portable information processing device
US9237375B2 (en) 2010-04-01 2016-01-12 Funai Electric Co., Ltd. Portable information processing device
JP2011244438A (en) 2010-04-19 2011-12-01 Dap Realize Co Ltd Portable information processing device provided with touch panel means and program for the portable information processing device
JP2012178097A (en) * 2011-02-28 2012-09-13 Olympus Corp Head mounting type display device and client device
WO2013099081A1 (en) * 2011-12-26 2013-07-04 ソニー株式会社 Head-mounted display and information display device
JP2013134532A (en) * 2011-12-26 2013-07-08 Sony Corp Head-mounted display and information display
US9779700B2 (en) 2011-12-26 2017-10-03 Sony Corporation Head-mounted display and information display apparatus
JP2014064293A (en) * 2013-11-01 2014-04-10 Hitachi Consumer Electronics Co Ltd Hand terminal, controller, and system for operating television receiver
WO2015189987A1 (en) * 2014-06-13 2015-12-17 日立マクセル株式会社 Wearable information display/input system, and portable information input/output device and information input method which are used therein
JP2017004532A (en) * 2016-06-23 2017-01-05 ソニー株式会社 Head-mounted display and information display
WO2018008888A1 (en) * 2016-07-05 2018-01-11 Samsung Electronics Co., Ltd. Electronic device and screen display method thereof
US10802623B2 (en) 2016-07-05 2020-10-13 Samsung Electronics Co., Ltd. Electronic device and screen display method thereof
JP2019527888A (en) * 2016-12-07 2019-10-03 ゴーアテック テクノロジー カンパニー リミテッド Touch control device and virtual reality system for VR equipment
WO2018173288A1 (en) * 2017-03-24 2018-09-27 サン電子株式会社 Image display unit
JPWO2018173288A1 (en) * 2017-03-24 2020-01-23 サン電子株式会社 Image display unit
JP2021100252A (en) * 2017-03-24 2021-07-01 サン電子株式会社 Image display unit
JP7051155B2 (en) 2017-03-24 2022-04-11 サン電子株式会社 Image display unit
JP2017228300A (en) * 2017-07-13 2017-12-28 ソニー株式会社 Image display device, head-mounted display, information display device, display processing method, and program
JP2019114050A (en) * 2017-12-22 2019-07-11 セイコーエプソン株式会社 Processing device, display system, and program
JP7013850B2 (en) 2017-12-22 2022-02-01 セイコーエプソン株式会社 Processing equipment, display systems, and programs
JP2022518682A (en) * 2019-01-07 2022-03-16 芋▲頭▼科技（杭州）有限公司 Visual enhancement system with integrated mobile device
JP2019194870A (en) * 2019-06-05 2019-11-07 株式会社コロプラ Information processing method, information processing program, information processing system, and information processing apparatus
JP6994005B2 (en) 2019-06-05 2022-01-14 株式会社コロプラ Information processing methods, information processing programs, information processing systems and information processing equipment

Similar Documents

Publication Publication Date Title
JP2009042967A (en) Information input display system, information terminal and display device
JP6408156B2 (en) Multi surface controller
US9110585B2 (en) Method for providing user interface using drawn pattern and mobile terminal thereof
US10488919B2 (en) System for gaze interaction
US8514196B2 (en) Mobile terminal and screen display method thereof
US8775966B2 (en) Electronic device and method with dual mode rear TouchPad
US10073585B2 (en) Electronic device, storage medium and method for operating electronic device
KR102045458B1 (en) Mobile terminal and method of controlling the same
US20110201388A1 (en) Prominent selection cues for icons
EP3163426A1 (en) System and method of controlling the same
US20090122022A1 (en) Method for displaying content and electronic apparatus using the same
KR101553949B1 (en) Terminal and method for controlling the same
US20110298743A1 (en) Information processing apparatus
KR20090101733A (en) Mobile terminal and displaying method of display information using face recognition thereof
US11567725B2 (en) Data processing method and mobile device
KR20170140702A (en) Mobile terminal
WO2014129581A1 (en) Electronic device, control program, and method for operating electronic device
KR20150023140A (en) Remote controller having dual touch pad and method for controlling using the same
KR101507833B1 (en) Mobile communication terminal and content reproduction method using same
KR101615984B1 (en) Mobile terminal and method for controlling thereof
KR101929777B1 (en) Mobile terminal and method for controlling thereof
US20240176649A1 (en) Information processing device, information processing method, and program
KR101643418B1 (en) Method for displaying icon and mobile terminal using the same
KR20090046189A (en) Method and device for controlling motion using progress bar
JP2012208222A (en) Electronic equipment