JP2007264923A

JP2007264923A - User interface

Info

Publication number: JP2007264923A
Application number: JP2006087634A
Authority: JP
Inventors: Hirohiko Yamada; 宏彦山田; Ryoji Yasui; 良次安井
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2006-03-28
Filing date: 2006-03-28
Publication date: 2007-10-11
Anticipated expiration: 2026-03-28
Also published as: JP4489719B2

Abstract

【課題】簡単な操作で利用頻度の高いファンクションやメニューを利用者自身の好きな場所に配置したり、操作し易い大きさで表示したり、さらには使用頻度の低いファンクションやメニューを隠蔽したり、画面の一部を引き伸ばしたりすることができ、さらに表示画面に収まりきられないような写真を縮小表示したりする必要のないユーザインタフェースを提供すること。
【解決手段】携帯電話１の筐体全面にユーザインタフェース化したフレキシブルディスプレイセンサ１６を設け、筐体の角部や湾曲部を含むユーザインタフェースエリア上の任意箇所に伸縮自在な任意属性を有するオブジェクトを新設、削除、拡大縮小させることを可能とし、またボタンオブジェクトの拡大縮小に連動してキャプションのフォントを拡大縮小したり、ウィンドウオブジェクトの拡大縮小に連動して表示内容を拡大縮小したりすることを可能とした。
【選択図】図１[PROBLEMS] To arrange functions and menus that are frequently used with simple operations in a place that the user likes, to display them in a size that is easy to operate, and to hide functions and menus that are less frequently used. To provide a user interface that can enlarge a part of the screen and does not need to reduce and display a photo that does not fit on the display screen.
A flexible display sensor 16 having a user interface is provided on the entire surface of a casing of a mobile phone 1, and an object having an arbitrary attribute that can be expanded and contracted at an arbitrary position on a user interface area including a corner portion and a curved portion of the casing. It is possible to add, delete, and enlarge / reduce the size of the caption font in conjunction with the enlargement / reduction of the button object, or to enlarge / reduce the display content in conjunction with the enlargement / reduction of the window object. It was possible.
[Selection] Figure 1

Description

本発明は、携帯電話を含む携帯通信端末等の電子機器に用いて好適なユーザインタフェースに関する。 The present invention relates to a user interface suitable for use in an electronic device such as a mobile communication terminal including a mobile phone.

従来の携帯通信端末の一種である携帯電話は、液晶表示デバイスや有機ＥＬ（Organic Electroluminescence Display）デバイスを使用した表示部と物理的なキーからなる操作部とをそれぞれ独立させた構成によりユーザインタフェースを提供する例が一般的であり、表示部にはソフトウェア的なメニューを表示させることで柔軟性を持たせている（例えば、特許文献１参照）。表示部と操作部を分けて配置する以外に、操作部にタッチセンサを使用してそれを表示部に貼り合わせることで、動的にキーの形状、配置、ファンクションを変更する機能を備えた端末も考案されている。表示部に貼り合わせるタッチセンサは、一般的に静電容量方式又は抵抗膜方式の何れかが使用される。
特開２００２−１８５５９９号公報 A mobile phone, which is a type of conventional mobile communication terminal, has a user interface with a configuration in which a display unit using a liquid crystal display device or an organic EL (Organic Electroluminescence Display) device and an operation unit including physical keys are independent from each other. An example of provision is common, and the display unit is made flexible by displaying a software-like menu (see, for example, Patent Document 1). In addition to arranging the display unit and the operation unit separately, a terminal with a function to dynamically change the shape, arrangement, and function of keys by using a touch sensor on the operation unit and pasting it to the display unit Has also been devised. As a touch sensor to be attached to the display portion, either a capacitance method or a resistance film method is generally used.
JP 2002-185599 A

しかしながら、従来のユーザインタフェースにおいては、場所、表示面積、表示方法などで常にデバイス（液晶表示デバイスや有機ＥＬデバイス）の制限を受けることもあって、利用頻度の高いファンクションやメニューを利用者自身の好きな場所に配置したり、操作し易い大きさで表示したり、さらには使用頻度の低いファンクションやメニューを隠蔽したりすることができない。また、ファンクションが多いほどメニュー階層が深くならざるを得ず操作が大変になる。 However, in the conventional user interface, the device (liquid crystal display device or organic EL device) is always limited by the location, display area, display method, etc., and frequently used functions and menus are stored by the user himself / herself. It cannot be placed anywhere, displayed in a size that is easy to operate, and functions and menus that are infrequently used cannot be hidden. Also, the more functions there are, the deeper the menu hierarchy becomes, and the more difficult the operation becomes.

また、ファンクションやメニュー表示が見難いなどの理由でも表示レイアウトが固定されていることから、画面の一部を引き伸ばしたりすることができない。また、何らかの操作により、拡大縮小機能が行えたとしても、それに伴う複雑なメニュー操作が新たに追加されてしまうため、必ずしも利用されず、かつ、少ない操作で直感的な操作方法とは逆行してしまう。また、画面レイアウトが固定されていることから、表示画面に収まりきられないような写真をスクロール無しに閲覧しようとした場合、写真を縮小表示するしか方法が無い。同様に情報量の多い内容ほど閲覧方法に制限が生じ、操作も複雑になる傾向にある。 Also, because the display layout is fixed for reasons such as difficulty in viewing functions and menu displays, it is not possible to enlarge a part of the screen. In addition, even if the enlargement / reduction function can be performed by some operation, a complicated menu operation is newly added. Therefore, it is not always used, and it is contrary to the intuitive operation method with few operations. End up. In addition, since the screen layout is fixed, there is only a method for reducing the size of the photo when browsing a photo that cannot be fit on the display screen without scrolling. Similarly, as the amount of information increases, the browsing method is limited, and the operation tends to be complicated.

本発明はかかる点に鑑みてなされたものであり、簡単な操作で利用頻度の高いファンクションやメニューを利用者自身の好きな場所に配置したり、操作し易い大きさで表示したり、さらには使用頻度の低いファンクションやメニューを隠蔽したり、画面の一部を引き伸ばしたりすることができ、さらに表示画面に収まりきられないような写真を縮小表示したりする必要のないユーザインタフェースを提供することを目的とする。 The present invention has been made in view of such points, and functions and menus that are frequently used can be arranged in a user's favorite place with a simple operation, displayed in a size that is easy to operate, To provide a user interface that can hide functions and menus that are used infrequently, can enlarge a part of the screen, and does not need to reduce the size of photos that do not fit on the display screen. With the goal.

本発明のユーザインタフェースは、電子機器本体の少なくとも一面に装着可能な形状に形成され、それぞれ可撓性を有するディスプレイ及びタッチセンサを含む積層構造のフレキシブルディスプレイセンサと、前記フレキシブルディスプレイセンサの前記タッチセンサからの座標情報に基づいて前記ディスプレイ上の任意箇所に伸縮自在な任意属性を有するボタンオブジェクト又はウィンドウオブジェクトを表示するグラフィック処理手段と、を具備することを特徴とする。 A user interface according to the present invention is formed in a shape that can be attached to at least one surface of an electronic device body, and includes a flexible display sensor having a laminated structure including a flexible display and a touch sensor, and the touch sensor of the flexible display sensor. Graphic processing means for displaying a button object or window object having an arbitrary attribute that can be expanded and contracted at an arbitrary position on the display based on coordinate information from the display.

この構成によれば、電子機器の筐体の角部や湾曲部を含むユーザインタフェースエリア上の任意箇所に伸縮自在な任意属性を有するオブジェクトを新設、削除、拡大縮小させることが可能となり、簡単な操作で利用頻度の高いファンクションやメニューを利用者自身の好きな場所に配置したり、操作し易い大きさで表示したり、さらには使用頻度の低いファンクションやメニューを隠蔽したりすることができる。 According to this configuration, it is possible to newly create, delete, and enlarge / reduce an object having an optional attribute that can be expanded and contracted at an arbitrary location on a user interface area including a corner portion or a curved portion of a casing of an electronic device. Functions and menus that are frequently used in operation can be arranged in a user's favorite place, displayed in a size that is easy to operate, and functions and menus that are less frequently used can be hidden.

本発明のユーザインタフェースにおいては、前記グラフィック処理手段は、前記ディスプレイ上に表示するボタンオブジェクトの拡大縮小に連動してキャプション名の拡大縮小を行うことが好ましい。この構成によれば、ボタンオブジェクトの拡大縮小に連動してキャプションのフォントの拡大縮小が可能となる。 In the user interface of the present invention, it is preferable that the graphic processing means enlarges / reduces the caption name in conjunction with enlargement / reduction of the button object displayed on the display. According to this configuration, the font of the caption can be enlarged / reduced in conjunction with the enlargement / reduction of the button object.

本発明のユーザインタフェースにおいては、前記グラフィック処理手段は、前記ディスプレイ上に表示するウィンドウオブジェクトの拡大縮小に連動して表示内容の拡大縮小を行うことが好ましい。この構成によれば、ウィンドウオブジェクトの拡大縮小に連動して表示内容の拡大縮小が可能となり、常に一定量の情報を把握することができる。 In the user interface of the present invention, it is preferable that the graphic processing means enlarges / reduces the display content in conjunction with enlargement / reduction of a window object displayed on the display. According to this configuration, the display content can be enlarged / reduced in conjunction with the enlargement / reduction of the window object, and a constant amount of information can always be grasped.

本発明のユーザインタフェースにおいては、巻回状態又は折畳み状態で前記電子機器本体に収納され、それぞれ可撓性を有するディスプレイ及びタッチセンサを含む積層構造の第２のフレキシブルディスプレイセンサと、前記第２のフレキシブルディスプレイセンサの前記電子機器本体からの露出量を検出する露出量検出手段と、を具備し、前記グラフィック処理手段は、前記第２のフレキシブルディスプレイセンサの前記電子機器本体からの露出量に応じて表示内容の拡大縮小を行うことが好ましい。この構成によれば、第２のフレキシブルディスプレイセンサの露出面積に連動した表示内容の拡大縮小が可能となり、常に一定量の情報を把握することができる。 In the user interface of the present invention, the second flexible display sensor having a laminated structure including a flexible display and a touch sensor, which are housed in the electronic device main body in a wound state or a folded state, respectively, and the second Exposure amount detecting means for detecting an exposure amount of the flexible display sensor from the electronic device main body, and the graphic processing means according to the exposure amount of the second flexible display sensor from the electronic device main body. It is preferable to enlarge or reduce the display contents. According to this configuration, the display content can be enlarged or reduced in conjunction with the exposed area of the second flexible display sensor, and a constant amount of information can always be grasped.

本発明のユーザインタフェースにおいては、前記第２のフレキシブルディスプレイセンサは、前記電子機器本体と着脱自在であり、前記電子機器本体と無線を利用した通信を行うことが好ましい。この構成によれば、電子機器から離れた場所でも表示を見ることができ、しかも上記同様に第２のフレキシブルディスプレイセンサの露出面積に連動して表示内容が拡大縮小するので、常に一定量の情報を把握することができる。 In the user interface according to the aspect of the invention, it is preferable that the second flexible display sensor is detachable from the electronic device main body and performs wireless communication with the electronic device main body. According to this configuration, the display can be seen even at a place away from the electronic device, and the display content is enlarged / reduced in conjunction with the exposed area of the second flexible display sensor as described above. Can be grasped.

本発明のユーザインタフェースにおいては、前記グラフィック処理手段は、前記フレキシブルディスプレイセンサの前記タッチセンサからの座標情報に基づいて前記電子機器の接地面を検出し、その検出結果から表示内容の向きの最適化を行うことが好ましい。この構成によれば、電子機器が置かれた方向に応じて表示内容の向きが最適化されるので、電子機器をどのような向きに置いても常に正しい向きで表示内容を見ることができる。また、ジャイロセンサ等の特別なセンサを用いることがないので、低コスト化が図れる。 In the user interface of the present invention, the graphic processing means detects a ground plane of the electronic device based on coordinate information from the touch sensor of the flexible display sensor, and optimizes the direction of display content from the detection result. It is preferable to carry out. According to this configuration, since the orientation of the display content is optimized according to the direction in which the electronic device is placed, the display content can always be viewed in the correct orientation regardless of the orientation of the electronic device. In addition, since no special sensor such as a gyro sensor is used, the cost can be reduced.

本発明のユーザインタフェースにおいては、前記グラフィック処理手段は、前記フレキシブルディスプレイセンサの前記タッチセンサからの複数の座標情報に基づいて前記電子機器の支持態様を認識し、その認識結果から表示内容の向きの最適化を行うことが好ましい。この構成によれば、電子機器の支持状態に応じて表示内容の向きが最適化されるので、電子機器をどのように持っても(片手で持ったり、両手でもったりしても)常に正しい向きで表示内容を見ることができる。 In the user interface of the present invention, the graphic processing means recognizes a support mode of the electronic device based on a plurality of coordinate information from the touch sensor of the flexible display sensor, and determines a display content direction from the recognition result. It is preferable to perform optimization. According to this configuration, the orientation of the display content is optimized according to the support state of the electronic device, so it is always correct no matter how the electronic device is held (either with one hand or with both hands). You can see the display contents in the direction.

本発明のユーザインタフェースにおいては、前記グラフィック処理手段は、前記フレキシブルディスプレイセンサの前記タッチセンサからの複数の座標情報に基づいて前記電子機器の握持態様を認識し、その認識結果から前記ボタンオブジェクト又は前記ウィンドウオブジェクトの最適化を行うことが好ましい。この構成によれば、電子機器の握られ方に応じてボタンオブジェクト又はウィンドウオブジェクトが最適化されるので、右手で握った場合には右手での最適な操作ができ、左手で握った場合には左手での最適な操作ができる。 In the user interface of the present invention, the graphic processing means recognizes a grip mode of the electronic device based on a plurality of coordinate information from the touch sensor of the flexible display sensor, and determines the button object or It is preferable to optimize the window object. According to this configuration, the button object or window object is optimized according to how the electronic device is gripped, so that when the hand is held with the right hand, the right hand can be optimally operated, and when the hand is held with the left hand, Optimal operation with the left hand.

本発明のユーザインタフェースにおいては、前記フレキシブルディスプレイセンサの前記ディスプレイが電子ペーパーであり、前記グラフィック処理手段は、前記ディスプレイ上にボタンオブジェクトとして電源ボタンを常時表示することが好ましい。この構成によれば、一時的にバッテリが切れたり、水没して動作不能となったりしてもボタンオブジェクトとしての電源ボタンの表示はそのまま残るので、突然の電源トラブルや水没に遭遇した場合でも完全に操作不能になることを回避することができる。 In the user interface of the present invention, it is preferable that the display of the flexible display sensor is electronic paper, and the graphic processing means always displays a power button as a button object on the display. According to this configuration, the power button display as a button object remains even if the battery temporarily runs out or becomes inoperable due to submersion. It can be avoided that the operation becomes impossible.

本発明のユーザインタフェースは、簡単な操作で利用頻度の高いファンクションやメニューを利用者自身の好きな場所に配置したり、操作し易い大きさで表示したり、さらには使用頻度の低いファンクションやメニューを隠蔽したり、画面の一部を引き伸ばしたりすることができ、さらに表示画面に収まりきられないような写真を縮小表示したりする必要がない。 The user interface according to the present invention allows functions and menus that are frequently used with simple operations to be arranged in a user's favorite place, displayed in a size that is easy to operate, and functions and menus that are less frequently used. Can be concealed or part of the screen can be enlarged, and there is no need to reduce and display a photo that cannot fit on the display screen.

以下、本発明の実施の形態について添付図面を参照して詳細に説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係る携帯電話の概略構成を示すブロック図である。同図において、本実施の形態の携帯電話１は、アンテナ２と、無線通信部３と、音声処理部４と、スピーカ５と、マイクロフォン６と、ＣＰＵ（Central Processing Unit）７と、ＲＯＭ（Read Only Memory）８と、ＲＡＭ（Random Access Memory）９と、カメラ部１０と、画像記憶部１１と、フレキシブルタッチセンサ１２と、タッチセンサインタフェース１３と、フレキシブルディスプレイ１４と、グラフィック処理部１５と、バス１８とを備えて構成される。無線通信部３は、基地局を含む図示せぬ携帯電話網と双方向通信を行い、通話、メール送受信、Ｗｅｂブラウザを使用したインターネット等のネットワークへの閲覧を可能とする。音声処理部４は、無線通信部３で受信されたディジタルの音声信号をアナログ変換してスピーカ５より出力するとともに、マイク６から入力された音声信号をディジタル変換して無線通信部３へ送る。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
(Embodiment 1)
FIG. 1 is a block diagram showing a schematic configuration of a mobile phone according to Embodiment 1 of the present invention. In the figure, a mobile phone 1 according to the present embodiment includes an antenna 2, a wireless communication unit 3, an audio processing unit 4, a speaker 5, a microphone 6, a CPU (Central Processing Unit) 7, and a ROM (Read Only Memory (RAM) 8, RAM (Random Access Memory) 9, camera unit 10, image storage unit 11, flexible touch sensor 12, touch sensor interface 13, flexible display 14, graphic processing unit 15, bus 18. The wireless communication unit 3 performs two-way communication with a mobile phone network (not shown) including a base station, and enables browsing to a network such as the Internet using a telephone call, mail transmission / reception, and a Web browser. The audio processing unit 4 converts the digital audio signal received by the wireless communication unit 3 into an analog signal and outputs it from the speaker 5, and digitally converts the audio signal input from the microphone 6 and sends it to the wireless communication unit 3.

ＣＰＵ７は、装置各部を制御するものであり、ＲＯＭ８に格納されているプログラムに従って動作する。また、この動作においてＲＡＭ９をワークメモリとして使用する。ＲＡＭ９は、ワークメモリとして使用される以外にインターネット経由で送られてくるアプリケーションソフトの格納に使用される。ＲＯＭ８に格納されているプログラムにはＷｅｂブラウザも含まれる。また、ＲＯＭ８には文字や記号等のフォントデータも格納されている。カメラ部１０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を有し、該撮像素子で撮像して得られた撮像データをＪＰＥＧ（Joint Photographic Coding Experts Group）やＭＰＥＧ（Moving Picture Experts Group）などの圧縮処理を施して画像記憶部１１に格納する。画像記憶部１１は携帯電話１本体に対して着脱自在になっている。 The CPU 7 controls each part of the apparatus, and operates according to a program stored in the ROM 8. In this operation, the RAM 9 is used as a work memory. The RAM 9 is used for storing application software sent via the Internet in addition to being used as a work memory. The program stored in the ROM 8 includes a web browser. The ROM 8 also stores font data such as characters and symbols. The camera unit 10 has an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and image data obtained by imaging with the image sensor is represented by JPEG (Joint Photographic Coding Experts Group) or MPEG. A compression process such as (Moving Picture Experts Group) is applied and stored in the image storage unit 11. The image storage unit 11 is detachable from the main body of the mobile phone 1.

フレキシブルタッチセンサ１２は、プラスチックフィルムなどの可撓性を有すシートに複数のスイッチ素子がマトリクス状に配置された構造を有し、触れた位置のスイッチ素子がオンになる。タッチセンサには静電容量方式と抵抗膜式があり、本実施の形態ではいずれの方式も採用可能である。タッチセンサインタフェース１３はフレキシブルタッチセンサ１２の出力（座標検出出力）を取り込んでグラフィック処理部１５に送る。フレキシブルディスプレイ１４は、電子ペーパーと呼ばれ、図２に示すようにマイクロカプセルやジリコンビーズのフロントプレーン（画素形成層）１４１と、フロントプレーン１４１を駆動するバックプレーン（ドライバ層）１４２とが２枚のプラスチックシート１４３で挟まれた構造を採る。フロントプレーン１４１のバックプレーン１４２側の面には反射膜１４４が形成されている。なお、図２ではフロントプレーン１４１とバックプレーン１４２とを離した状態で示しているが、実際は接合された状態になっている。フレキシブルタッチセンサ１２とフレキシブルディスプレイ１４は、図３に示すように接着剤又は両面テープ１８で貼り合わされた状態で使用される。 The flexible touch sensor 12 has a structure in which a plurality of switch elements are arranged in a matrix on a flexible sheet such as a plastic film, and the switch element at the touched position is turned on. There are a capacitive type and a resistive type in the touch sensor, and any of these types can be adopted in this embodiment. The touch sensor interface 13 captures the output (coordinate detection output) of the flexible touch sensor 12 and sends it to the graphic processing unit 15. The flexible display 14 is called electronic paper. As shown in FIG. 2, the front plane (pixel forming layer) 141 made of microcapsules or gyricon beads and two backplanes (driver layers) 142 for driving the front plane 141 are provided. A structure sandwiched between plastic sheets 143 is adopted. A reflective film 144 is formed on the surface of the front plane 141 on the back plane 142 side. In FIG. 2, the front plane 141 and the back plane 142 are shown separated from each other, but are actually joined. The flexible touch sensor 12 and the flexible display 14 are used in a state of being bonded with an adhesive or a double-sided tape 18 as shown in FIG.

薄くフレキシブルな特性を有するフレキシブルディスプレイ１４と、同様の特性を有するフレキシブルタッチセンサ１２の双方を貼りあわせることにより、フレキシブルで、かつ、タッチ座標検出機能を有するデバイスを実現できる。このデバイスを本実施の形態ではフレキシブルディスプレイセンサ１６と呼ぶこととする。また、フレキシブルディスプレイセンサ１６とタッチセンサインタフェース１３とグラフィック処理部１５がユーザインタフェース１７として機能する。フレキシブルディスプレイセンサ１６は携帯電話１の筐体全面を覆う形状に加工されており、例えば筐体が長方形状の一体形状のものであれば、図４に示すように、筐体の前面に対応する部分１６１と、側面に対応する部分１６２と、上面に対応する部分１６３と、下面に対応する部分１６４と、裏面に対応する部分１６５とで構成された一体物となる。これに対して、筐体が折り畳み可能な上下２つの部分からなる形状のものであれば、折り畳み構造に対応させるため、図５に示すように上部前面及び上面に対応する部分１６６と、側面に対応する部分１６７と、下面に対応する部分１６８と、裏面に対応する部分１６９とを有し、上部前面及び上面に対応する部分１６６とその他の各部分が別体となる。すなわち、折り畳み構造の場合は２つ部分からなる。 By bonding both the flexible display 14 having thin and flexible characteristics and the flexible touch sensor 12 having similar characteristics, a flexible device having a touch coordinate detection function can be realized. This device is referred to as a flexible display sensor 16 in the present embodiment. Further, the flexible display sensor 16, the touch sensor interface 13, and the graphic processing unit 15 function as a user interface 17. The flexible display sensor 16 is processed into a shape that covers the entire casing of the mobile phone 1. For example, if the casing has a rectangular integrated shape, it corresponds to the front surface of the casing as shown in FIG. It is an integrated body composed of a portion 161, a portion 162 corresponding to the side surface, a portion 163 corresponding to the top surface, a portion 164 corresponding to the bottom surface, and a portion 165 corresponding to the back surface. On the other hand, if the casing has a shape that can be folded up and down, it has a portion 166 corresponding to the upper front surface and the upper surface as shown in FIG. A corresponding portion 167, a portion 168 corresponding to the lower surface, and a portion 169 corresponding to the back surface are included, and the portion 166 corresponding to the upper front surface and the upper surface are separated from each other portion. That is, in the case of a folding structure, it consists of two parts.

このようにフレキシブルな特性を活かして、１つのシートで多面体を覆うことが可能なため、部品点数や配線の削減が可能となる。また、１つのシートで多面体を覆う構成とすることで座標管理も１座標系で済むため、ドライバ（ソフトウェア）の開発やアプリケーションの開発を容易に行うことができる。そして、携帯電話１の筐体全面を覆う形状とすることで、今までの携帯電話では実現できなかった操作が可能となる。この詳細については後述する。なお、フレキシブルディスプレイセンサ１６は、使用するフレキシブルタッチセンサ１２の方式によって、既存の携帯電話の物理ボタン上に重合わせることが可能であり、単独で押し込み感を再現できるスイッチとの併用も可能である。また、単体で「曲げる」、「丸める」、「折り畳む」などの一時的変形が可能で、塑性変形しないため、本体への内蔵や、収納方法を問わない利用が可能である。 Thus, since the polyhedron can be covered with a single sheet by making use of flexible characteristics, the number of parts and wiring can be reduced. In addition, since the coordinate management can be performed in one coordinate system by covering the polyhedron with one sheet, it is possible to easily develop a driver (software) and an application. And by making it the shape which covers the housing | casing whole surface of the mobile telephone 1, operation which was not realizable with the conventional mobile telephone is attained. Details of this will be described later. Note that the flexible display sensor 16 can be superimposed on a physical button of an existing mobile phone depending on the method of the flexible touch sensor 12 to be used, and can be used in combination with a switch that can reproduce the feeling of pushing alone. . Further, it can be temporarily deformed such as “bend”, “round”, “fold”, etc., and does not plastically deform, so that it can be incorporated into the main body or used regardless of the storage method.

図１に戻り、グラフィック処理部１５は、ＣＰＵ７からの指令にしたがってフレキシブルディスプレイ１４のバックプレーン１４２を制御してフロントプレーン１４１上に文字・記号などのフォント、画像（静止画、動画）、各種グラフィックを表示する。この際、文字や記号などのフォントはＲＯＭ８から読み込み、画像はカメラ部１０から直接又は画像記憶部１１から読み込む。 Returning to FIG. 1, the graphic processing unit 15 controls the backplane 142 of the flexible display 14 according to a command from the CPU 7, and fonts, images (still images, moving images), various graphics, etc. on the front plane 141. Is displayed. At this time, fonts such as characters and symbols are read from the ROM 8, and images are read directly from the camera unit 10 or from the image storage unit 11.

次に、本実施の形態に係る携帯電話１の操作に関わる動作について説明する。ただし、携帯電話１は折り畳み式であるとする。また、主たる動作はグラフィック処理部１５にて行われる。 Next, operations related to the operation of the mobile phone 1 according to the present embodiment will be described. However, the mobile phone 1 is assumed to be foldable. The main operation is performed by the graphic processing unit 15.

図６は、オブジェクトの新設イメージを示す図である。この図では、ボタンオブジェクトとウィンドウオブジェクトを新設する場合を示している。ボタンオブジェクト及びウィンドウオブジェクトそれぞれを新設する場合、まず（ａ）オブジェクト２０の座標(始点)と大きさ(終点)をドラッグ操作で指定する。次いで、（ｂ）オブジェクト２０の属性やパラメータを指定する。そして、（ｃ）指定したオブジェクトがボタンとして設定される。図７は、使用頻度の高いファンクションを使い易い大きさや配置でカスタマイズした例である。また、図８は、携帯電話１の筐体側面を利用して立体的にオブジェクト２０を拡大した例である。筐体全面がユーザインタフェースエリアであるため、筐体側面に回り込むようなオブジェクトの拡大が可能である。また、図９は、従来使われていなかった筐体の角部２１や湾曲部２２に適当なファンクションを割り当てた例である。このように自由にファンクションの大きさや位置をカスタマイズすることができ、しかも側面部、筐体の角部及び湾曲部もボタン化できることにより、従来と比べて操作性が格段に向上する。 FIG. 6 is a diagram illustrating a new image of an object. This figure shows a case where a button object and a window object are newly provided. When a button object and a window object are newly provided, first, (a) the coordinates (start point) and size (end point) of the object 20 are designated by a drag operation. Next, (b) the attributes and parameters of the object 20 are designated. (C) The designated object is set as a button. FIG. 7 shows an example in which a frequently used function is customized with an easy-to-use size and arrangement. FIG. 8 is an example in which the object 20 is expanded three-dimensionally using the side surface of the casing of the mobile phone 1. Since the entire surface of the housing is a user interface area, it is possible to enlarge an object that wraps around the side surface of the housing. FIG. 9 shows an example in which appropriate functions are assigned to the corners 21 and the curved portions 22 of the casing that have not been used conventionally. In this way, the size and position of the function can be freely customized, and the side portion, the corner portion and the curved portion of the housing can be made into buttons, so that the operability is greatly improved as compared with the conventional case.

また、図１０は、ボタンオブジェクトのキャプション名の拡大例であり、ボタンオブジェクト２０の終点をドラッグ操作してサイズを拡大する。これにより、拡大フォントとなり見易くなる。また、図１１は、ウィンドウオブジェクトの表示内容の拡大例であり、ウィンドウオブジェクト２３もボタンオブジェクト２０と同様に、その終点をドラッグ操作してサイズを拡大する。ウィンドウオブジェクト２１内の写真がスクロールバー無しに拡大表示されるため、見易くなる。また、この場合、以前から存在するオブジェクト２４はウィンドウオブジェクト２３の下に重なっている。このような必要のないオブジェクトを削除したり、一時的に隠したりすることも可能である。 FIG. 10 is an example of enlargement of the caption name of the button object, and the size is enlarged by dragging the end point of the button object 20. Thereby, it becomes an enlarged font and becomes easy to see. FIG. 11 is an example of enlargement of the display contents of the window object. Similarly to the button object 20, the window object 23 is enlarged by dragging its end point. Since the picture in the window object 21 is enlarged and displayed without a scroll bar, it is easy to see. In this case, the existing object 24 overlaps below the window object 23. Such unnecessary objects can be deleted or temporarily hidden.

このように、本実施の形態に係る携帯電話１によれば、筐体全面にユーザインタフェース化したフレキシブルディスプレイセンサ１６を有し、筐体の角部や湾曲部を含むユーザインタフェースエリア上の任意箇所に伸縮自在な任意属性を有するオブジェクトを新設、削除、拡大縮小させることを可能とし、ボタンオブジェクトの拡大縮小に連動してキャプションのフォントを拡大縮小したり、ウィンドウオブジェクトの拡大縮小に連動して表示内容を拡大縮小したりすることを可能としたので、簡単な操作で利用頻度の高いファンクションやメニューを利用者自身の好きな場所に配置したり、操作し易い大きさで表示したり、さらには使用頻度の低いファンクションやメニューを隠蔽したりすることができる。 Thus, according to the mobile phone 1 according to the present embodiment, the flexible display sensor 16 having a user interface is provided on the entire surface of the housing, and an arbitrary location on the user interface area including the corners and the curved portions of the housing. It is possible to create, delete, and enlarge / retract objects with optional attributes that can be expanded and contracted. The font of the caption is enlarged / reduced in conjunction with the enlargement / reduction of the button object, and the window object is enlarged / reduced. Since the contents can be enlarged and reduced, functions and menus that are frequently used can be arranged in a user's favorite place with a simple operation, displayed in a size that is easy to operate, and even more It is possible to hide functions and menus that are not frequently used.

上述した携帯電話１を用いることにより、それぞれ可撓性を有するディスプレイ及びタッチセンサからなる積層構造のフレキシブルディスプレイセンサを電子機器本体の少なくとも一面に装着し、前記タッチセンサからの座標情報に基づいて前記ディスプレイ上の任意箇所に伸縮自在な任意属性を有するボタンオブジェクト又はウィンドウオブジェクトを新設、移動、削除、拡大縮小を含む各種表示を行うことができる。この方法によれば、電子機器（例えば携帯電話）の筐体の角部や湾曲部を含むユーザインタフェースエリア上の任意箇所に伸縮自在な任意属性を有するオブジェクトを新設、削除、拡大縮小させることが可能となり、簡単な操作で利用頻度の高いファンクションやメニューを利用者自身の好きな場所に配置したり、操作し易い大きさで表示したり、さらには使用頻度の低いファンクションやメニューを隠蔽したりすることが可能となる。 By using the mobile phone 1 described above, a flexible display sensor having a laminated structure composed of a flexible display and a touch sensor is mounted on at least one surface of the electronic device main body, and based on the coordinate information from the touch sensor, A button object or window object having an optional attribute that can be freely expanded and contracted at an arbitrary position on the display can be displayed in various ways including new, moved, deleted, and enlarged / reduced. According to this method, it is possible to newly create, delete, and scale an object having an arbitrary attribute that can be expanded and contracted at an arbitrary position on a user interface area including a corner portion or a curved portion of a casing of an electronic device (for example, a mobile phone). It is possible to place frequently used functions and menus with simple operations, place them at their favorite places, display them in a size that is easy to operate, and even hide functions and menus that are used infrequently. It becomes possible to do.

（実施の形態２）
図１２は、本発明の実施の形態２に係る携帯電話の概略構成を示すブロック図である。また、図１３は、本実施の形態に係る携帯電話の特徴を示す図である。図１２に示すように、本実施の形態の携帯電話３０は、筐体上部に巻物状のフレキシブルディスプレイセンサ３１を備えたものである。なお、筐体の他の部分にもフレキシブルディスプレイセンサが取り付けられている。フレキシブルディスプレイセンサ３１は、実施の形態１のフレキシブルディスプレイセンサ１６と同様のものであり、部分が巻回された状態で携帯電話３０の筐体内に収容されている。通常は一部分３１Ａを残して丸まった状態（内部応力がかかった状態）になっており、端を持って引き出すことで露出させることが可能となっている。この場合、引き出すのを途中で止めるとその位置で停止し、再度引き出すことで露出エリアを広げることも、そのまま丸くなる方向に収容させたりすることもできるロック機構（図示せず）が設けられている。 (Embodiment 2)
FIG. 12 is a block diagram showing a schematic configuration of the mobile phone according to Embodiment 2 of the present invention. Moreover, FIG. 13 is a figure which shows the characteristic of the mobile telephone based on this Embodiment. As shown in FIG. 12, the mobile phone 30 of the present embodiment includes a scroll-like flexible display sensor 31 at the top of the housing. A flexible display sensor is also attached to the other part of the casing. The flexible display sensor 31 is the same as the flexible display sensor 16 of the first embodiment, and is housed in the casing of the mobile phone 30 in a state where the portion is wound. Normally, the portion 31A is left in a rounded state (a state in which internal stress is applied), and can be exposed by pulling it with an end. In this case, there is provided a lock mechanism (not shown) that can be stopped in the middle when it is pulled out, and then stopped at that position to extend the exposed area by pulling out again, or to be accommodated in the direction of rounding as it is. Yes.

さらに、丸まった状態のエリアと、徐々に露出（内部応力の解放）されていくエリアの境界を識別し、全体としてどの程度フレキシブルディスプレイセンサ３１が露出されているかをグラフィック処理部１５が認識できる情報を出力する露出度検出部３２（図１２参照）が設けられている。グラフィック処理部１５は、露出度検出部３２の出力に基づいて全体としてどの程度フレキシブルディスプレイセンサ３１が露出されているのかを認識し、その認識結果に基づいて表示内容を拡大縮小する。図１３は、携帯電話３０の本体に対して横方向に引き出す方式であるが、図１４に示すように、携帯電話３０の本体に対して縦方向に引き出す方式であっても良い。また、図１５に示すように、携帯電話３０の本体から取り出すことができるようにしても良い。この場合、フレキシブルディスプレイセンサ３１と携帯電話３０とが双方向通信を行うことができるように例えばブルートゥース（Bluetooth）を設け、それを通じて表示内容の拡大縮小を可能とする。 Furthermore, the graphic processing unit 15 can recognize how much the flexible display sensor 31 is exposed as a whole by identifying the boundary between the rounded area and the area that is gradually exposed (releasing internal stress). Is provided with an exposure degree detection unit 32 (see FIG. 12). The graphic processing unit 15 recognizes how much the flexible display sensor 31 is exposed as a whole based on the output of the exposure level detection unit 32, and enlarges / reduces the display content based on the recognition result. 13 shows a method of pulling out in the horizontal direction with respect to the main body of the mobile phone 30, but a method of pulling out in the vertical direction with respect to the main body of the mobile phone 30 as shown in FIG. Moreover, as shown in FIG. 15, you may enable it to take out from the main body of the mobile telephone 30. FIG. In this case, for example, Bluetooth is provided so that the flexible display sensor 31 and the mobile phone 30 can perform two-way communication, and display contents can be enlarged or reduced through the Bluetooth.

また、丸めるのではなく、図１６に示すように折り畳んだ状態としても良い。この場合、上述した露出度検出部３２と同様のものが折り畳んだ状態（内部応力がかかった状態）のエリアと、徐々に露出（内部応力の解放）されていくエリアの境界を識別し、全体としてどの程度フレキシブルディスプレイセンサ３１が露出されているかをグラフィック処理部１５が認識できる情報を出力する。グラフィック処理部１５は該出力に基づいて全体としてどの程度フレキシブルディスプレイセンサ３１が露出されているのかを認識し、その認識情報に基づいて表示内容の拡大縮小を行う。 Moreover, it is good also as a folded state as shown in FIG. 16 instead of rounding. In this case, the boundary between the area where the same thing as the above-described exposure degree detection unit 32 is folded (internal stress is applied) and the area where the area is gradually exposed (internal stress is released) is identified. As a result, the graphic processing unit 15 outputs information that allows the flexible display sensor 31 to be exposed. Based on the output, the graphic processing unit 15 recognizes how much the flexible display sensor 31 is exposed as a whole, and enlarges / reduces the display content based on the recognition information.

このように、本実施の形態に係る携帯電話３０によれば、筐体に内蔵可能な補助的なフレキシブルディスプレイセンサ３１を有するとともに、このフレキシブルディスプレイセンサ３１の露出面積に連動し表示内容の拡大縮小を行うので、常に一定量の情報を把握することができる。 As described above, according to the mobile phone 30 according to the present embodiment, the mobile phone 30 has the auxiliary flexible display sensor 31 that can be built in the housing, and the display content is enlarged or reduced in conjunction with the exposed area of the flexible display sensor 31. Therefore, a certain amount of information can always be grasped.

（実施の形態３）
次に、本発明の実施の形態３に係る携帯電話について説明する。
机の上に携帯電話を横向きにし、横長のコンテンツを閲覧するような場合、一般的には縦型表示から横型表示への切替えに何らかのメニュー操作が発生せざるを得ず、少ない操作で直感的に縦横切替えを行うことができない。その解決方法としては、ジャイロセンサを使用して天地状態を検出し、その結果をユーザインタフェースに反映することも不可能ではない。しかしながら、部品点数が増加してコスト高になることを考慮すると実現性が低い。本実施の形態は、ジャイロセンサなどの特別なセンサを用いることなく、フレキシブルディスプレイセンサ１６によって筐体の面接触による接地状態の検出と筐体の点接触による支持態様の検出を行い、その検出結果に基づいて予め登録しておいたパターンと照合することで、筐体の位置状態を認識し、認識した結果に基づき表示内容の縦横表示やオブジェクトの配置を最適化するようにした。 (Embodiment 3)
Next, a mobile phone according to Embodiment 3 of the present invention will be described.
When viewing mobile content on a desk in landscape orientation, it is generally intuitive that fewer menu operations are required to switch from vertical display to horizontal display. It is not possible to switch between portrait and landscape. As a solution, it is not impossible to detect the top and bottom state using a gyro sensor and reflect the result on the user interface. However, considering that the number of parts increases and the cost increases, the feasibility is low. In this embodiment, without using a special sensor such as a gyro sensor, the flexible display sensor 16 detects a grounding state by surface contact of the housing and a support mode by point contact of the housing, and the detection result By comparing with the pattern registered in advance based on the above, the position state of the casing is recognized, and the vertical and horizontal display of the display contents and the arrangement of the objects are optimized based on the recognized result.

図１７〜図１９は、本発明の実施の形態３に係る携帯電話４０の特徴を示す図である。なお、上述した新たな機能を有する以外は実施の形態１と同様であるので、詳細な構成は省略する。図１７は、面支持（面接触で接地）を検出する場合の例であり、底面（又は右側面）が接地していることを検出すると、表示内容を縦向き（又は横向き）に最適化する。すなわち、オペレーション用のオブジェクトを上方向（又は左方向）に配置する。図１８は、１点支持を検出する場合の例であり、右利きユーザの片持ちのパターンを認識すると、表示内容を縦向きに最適化する。すなわち、オペレーション用のオブジェクトを右方向に配置する。図１９は、２点支持を検出する場合の例であり、両持ちのパターンを認識すると、表示内容を横向きに最適化する。すなわち、オペレーション用のオブジェクトを左右均等に配置する。 17-19 is a figure which shows the characteristic of the mobile telephone 40 which concerns on Embodiment 3 of this invention. Since it is the same as that of Embodiment 1 except for having the new function described above, a detailed configuration is omitted. FIG. 17 shows an example of detecting surface support (ground contact by surface contact). When it is detected that the bottom surface (or right side surface) is grounded, the display content is optimized in the vertical direction (or horizontal direction). . That is, the operation object is arranged in the upward direction (or the left direction). FIG. 18 shows an example in the case of detecting one-point support. When a right-handed user's cantilever pattern is recognized, the display content is optimized in the vertical direction. That is, the operation object is arranged in the right direction. FIG. 19 shows an example in the case of detecting two-point support. When a both-end support pattern is recognized, the display content is optimized in the horizontal direction. That is, the operation objects are arranged equally on the left and right.

このように、本実施の形態に係る携帯電話４０によれば、筐体全面に取り付けたフレキシブルディスプレイセンサ１６で筐体の接地面を検出して縦横表示切替えを行い、また筐体の支持態様を認識して縦横表示切替えを行うので、常に一定量の情報を把握することができる。また、ジャイロセンサなどの特別なセンサを用いる場合と比べて低コスト化を図ることができる。 As described above, according to the mobile phone 40 according to the present embodiment, the ground display surface of the housing is detected by the flexible display sensor 16 attached to the entire surface of the housing, and the vertical / horizontal display switching is performed. Since it recognizes and switches between vertical and horizontal display, it is possible to always grasp a certain amount of information. Further, the cost can be reduced as compared with the case where a special sensor such as a gyro sensor is used.

（実施の形態４）
次に、本発明の実施の形態４に係る携帯電話について説明する。
携帯電話を使用中に一時的にバッテリが切れたり、水没させたりした場合に操作が不能になることがある。フレキシブルディスプレイセンサ１６を用いることで、物理的なボタンと比べて一時的にバッテリが切れたり、水没して動作不能となったりした場合に表示がされなくなることがある。そこで、本実施の形態では、図２０に示すようにボタンオブジェクトとして電源ボタン５１は必ず表示させるようにした。フレキシブルディスプレイセンサ１６はその構造から画面表示に必要な電力が画面切替え時のみ発生するという特徴があることから、常時電源ボタン５１を表示させた場合、一時的にバッテリが切れたり、水没して動作不能となったりしても「電源」の表示はそのまま残ることになる。したがって、一時的にバッテリが切れたり、水没して動作不能となったりしても電源ボタン５１の所在が分かるので、これを操作して電源を再投入すれば、動作することもある。このように突然の電源トラブルや水没に遭遇した場合でも完全に操作不能になることを回避できる。 (Embodiment 4)
Next, a mobile phone according to Embodiment 4 of the present invention will be described.
Operation may be disabled if the battery is temporarily drained or submerged while the mobile phone is in use. When the flexible display sensor 16 is used, the display may not be displayed when the battery is temporarily cut or submerged due to submersion compared to a physical button. Therefore, in the present embodiment, the power button 51 is always displayed as a button object as shown in FIG. The flexible display sensor 16 is characterized in that the power required for screen display is generated only when the screen is switched due to its structure. Therefore, when the power button 51 is always displayed, the battery temporarily runs out or is submerged. Even if it becomes impossible, the display of “power” remains as it is. Therefore, even if the battery is temporarily cut or submerged and becomes inoperable, the location of the power button 51 can be known. If the power button 51 is operated and the power is turned on again, the power button 51 may operate. Thus, even when sudden power supply trouble or submergence is encountered, it is possible to avoid being completely inoperable.

（実施の形態５）
次に、本発明の実施の形態５に係る携帯電話について説明する。
携帯電話における一般的な操作として、複数の物理ボタンを連打することが基本的である。このような操作方法では特定の指（例えば親指）に負担が集中し疲労し易い。また、操作数そのものを減らしていくことが困難な状況にある。そこで、本実施の形態では、携帯電話の筐体の握持態様（握られ方）を検出し、その結果に基づいてオブジェクトの配置や大きさ等を最適化する。このようにすることにより、特定の指に負担が集中するのを回避することができる。また、分散した操作が可能となるので、操作数そのものを減らしていくことが可能となる。図２１は、親指の連打を回避するようにした例であり、フレキシブルディスプレイセンサ１６で筐体に対する複数点支持を検出して右利きユーザの方持ちのパターンを認識し、その結果に元に表示内容を縦向きに最適化する。すなわち、オペレーションのオブジェクトを最適化する。つまり、５本指全てを有効活用可能にする。 (Embodiment 5)
Next, a mobile phone according to Embodiment 5 of the present invention will be described.
As a general operation in a cellular phone, it is basic to repeatedly hit a plurality of physical buttons. In such an operation method, a load is concentrated on a specific finger (for example, a thumb) and fatigue is easily caused. In addition, it is difficult to reduce the number of operations itself. Therefore, in the present embodiment, the grip mode (how to be gripped) of the casing of the mobile phone is detected, and the arrangement and size of the objects are optimized based on the result. By doing in this way, it can avoid that a burden concentrates on a specific finger. In addition, since distributed operations are possible, the number of operations itself can be reduced. FIG. 21 is an example in which repeated hitting of the thumb is avoided. The flexible display sensor 16 detects a plurality of support points on the housing, recognizes a right-handed user's pattern, and displays the result as a result. Optimize content vertically. That is, the operation object is optimized. In other words, all five fingers can be used effectively.

なお、フレキシブルディスプレイセンサ１６，３１を使用した表示方法としては、同時に表示する全ての文字や記号を縮小拡大できるようにすることも可能である。また、巻回させたり、折り畳んだりする場合、広げるに従って、画面スクロール無しに画像を拡大表示するようにすることも可能である。また、テレビ電話機能を設けた場合、自分と相手の画像の見聞きを表示するようにすることも可能である。また、複数の写真を繰り返し連続表示（テロップ表示）することも可能である。また、筐体カラーの設定を行うことも可能である。また、ゲーム画像の表示や操作も可能である。特に、筐体全体を使用できるので、今までにない遊びが可能となる。 In addition, as a display method using the flexible display sensors 16 and 31, it is possible to reduce and enlarge all characters and symbols displayed at the same time. Further, when winding or folding, it is possible to enlarge and display an image without scrolling the screen as it is expanded. In addition, when a videophone function is provided, it is possible to display the image of the person and the other party. It is also possible to repeatedly display a plurality of photographs continuously (telop display). It is also possible to set the housing color. It is also possible to display and operate game images. In particular, since the entire housing can be used, unprecedented play is possible.

本発明のユーザインタフェースは、簡単な操作で、利用頻度の高いファンクションやメニューを利用者自身の好きな場所に配置したり、操作し易い大きさで表示したり、さらには使用頻度の低いファンクションやメニューを隠蔽したり、画面の一部を引き伸ばしたりすることを可能とし、さらに表示画面に収まりきられないような写真を縮小表示したりすることがないといった効果を有し、携帯電話などの操作量の多い電子機器への適用が可能である。 The user interface of the present invention is a simple operation that places frequently used functions and menus in a place of their own preference, displays them in a size that is easy to operate, and uses less frequently used functions and menus. It is possible to hide the menu or enlarge a part of the screen, and it does not reduce the size of the photo that cannot fit on the display screen. It can be applied to a large amount of electronic equipment.

本発明の実施の形態１に係る携帯電話の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the mobile telephone which concerns on Embodiment 1 of this invention. 図１のフレキシブルディスプレイの構造を示す図である。It is a figure which shows the structure of the flexible display of FIG. 図１のフレキシブルディスプレイセンサの構造を示す図である。It is a figure which shows the structure of the flexible display sensor of FIG. 図１のフレキシブルディスプレイセンサの形状例を示す図である。It is a figure which shows the example of a shape of the flexible display sensor of FIG. 図１のフレキシブルディスプレイセンサの形状例を示す図である。It is a figure which shows the example of a shape of the flexible display sensor of FIG. 図１のユーザインタフェースの機能を説明するための図であるIt is a figure for demonstrating the function of the user interface of FIG. 図１のユーザインタフェースを使用してファンクションをカスタマイズした例を示す図である。It is a figure which shows the example which customized the function using the user interface of FIG. 図１のフレキシブルディスプレイセンサの特徴を説明するための図である。It is a figure for demonstrating the characteristic of the flexible display sensor of FIG. 図１のフレキシブルディスプレイセンサの特徴を説明するための図である。It is a figure for demonstrating the characteristic of the flexible display sensor of FIG. 図１のユーザインタフェースの機能を説明するための図である。It is a figure for demonstrating the function of the user interface of FIG. 図１のユーザインタフェースの機能を説明するための図である。It is a figure for demonstrating the function of the user interface of FIG. 本発明の実施の形態２に係る携帯電話の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the mobile telephone which concerns on Embodiment 2 of this invention. 図１２のフレキシブルディスプレイセンサの使用例を示す図である。It is a figure which shows the usage example of the flexible display sensor of FIG. 図１２のフレキシブルディスプレイセンサの使用例を示す図である。It is a figure which shows the usage example of the flexible display sensor of FIG. 図１２のフレキシブルディスプレイセンサの応用例を示す図である。It is a figure which shows the example of application of the flexible display sensor of FIG. 図１２のフレキシブルディスプレイセンサの応用例を示す図である。It is a figure which shows the example of application of the flexible display sensor of FIG. 本発明の実施の形態３に係る携帯電話におけるユーザインタフェースの機能を説明するための図である。It is a figure for demonstrating the function of the user interface in the mobile telephone which concerns on Embodiment 3 of this invention. 本発明の実施の形態３に係る携帯電話におけるユーザインタフェースの機能を説明するための図である。It is a figure for demonstrating the function of the user interface in the mobile telephone which concerns on Embodiment 3 of this invention. 本発明の実施の形態３に係る携帯電話におけるユーザインタフェースの機能を説明するための図である。It is a figure for demonstrating the function of the user interface in the mobile telephone which concerns on Embodiment 3 of this invention. 本発明の実施の形態４に係る携帯電話におけるユーザインタフェースの機能を説明するための図である。It is a figure for demonstrating the function of the user interface in the mobile telephone which concerns on Embodiment 4 of this invention. 本発明の実施の形態５に係る携帯電話におけるユーザインタフェースの機能を説明するための図である。It is a figure for demonstrating the function of the user interface in the mobile telephone which concerns on Embodiment 5 of this invention.

Explanation of symbols

１，３０，４０携帯電話
２アンテナ
３無線通信部
４音声処理部
５スピーカ
６マイクロフォン
７ＣＰＵ
８ＲＯＭ
９ＲＡＭ
１０カメラ部
１１画像記憶部
１２フレキシブルタッチセンサ
１３タッチセンサインタフェース
１４フレキシブルディスプレイ
１５グラフィック処理部
１６，３１フレキシブルディスプレイセンサ
１７ユーザインタフェース
１８バス
１９接着剤又は両面テープ
２０，２４オブジェクト
２１筐体角部
２２筐体湾曲部
２３ウィンドウオブジェクト
３２露出度検出部
５１電源ボタン
１４１フロントプレーン
１４２バックプレーン
１４３プラスチックシート
１４４反射膜 1, 30, 40 Mobile phone 2 Antenna 3 Wireless communication unit 4 Audio processing unit 5 Speaker 6 Microphone 7 CPU
8 ROM
9 RAM
DESCRIPTION OF SYMBOLS 10 Camera part 11 Image memory | storage part 12 Flexible touch sensor 13 Touch sensor interface 14 Flexible display 15 Graphic processing part 16,31 Flexible display sensor 17 User interface 18 Bus | bath 19 Adhesive or double-stick tape 20,24 Object 21 Corner | angular part 22 Case Body curve part 23 Window object 32 Exposure degree detection part 51 Power button 141 Front plane 142 Back plane 143 Plastic sheet 144 Reflective film

Claims

Based on coordinate information from the touch sensor of the flexible display sensor formed in a shape that can be attached to at least one surface of the main body of the electronic device and including a flexible display and a touch sensor, respectively, and the flexible display sensor And a graphic processing means for displaying a button object or a window object having a freely expandable / contractable attribute at an arbitrary position on the display.

The user interface according to claim 1, wherein the graphic processing unit performs enlargement / reduction of a caption name in conjunction with enlargement / reduction of a button object displayed on the display.

3. The user interface according to claim 1, wherein the graphic processing unit performs enlargement / reduction of display contents in conjunction with enlargement / reduction of a window object displayed on the display.

A second flexible display sensor having a laminated structure including a flexible display and a touch sensor that are housed in the electronic device main body in a wound state or a folded state, and the electronic device main body of the second flexible display sensor Exposure amount detecting means for detecting an exposure amount from the electronic device, wherein the graphic processing means enlarges / reduces the display content according to the exposure amount of the second flexible display sensor from the electronic device main body. The user interface according to any one of claims 1 to 3, wherein:

5. The user interface according to claim 4, wherein the second flexible display sensor is detachably attached to the electronic device main body and performs communication using radio with the electronic device main body.

The graphic processing means detects a ground plane of the electronic device based on coordinate information from the touch sensor of the flexible display sensor, and optimizes the direction of display content from the detection result. The user interface according to any one of claims 1 to 5.

The graphic processing means recognizes a support mode of the electronic device based on a plurality of coordinate information from the touch sensor of the flexible display sensor, and optimizes the direction of display content from the recognition result. The user interface according to any one of claims 1 to 6.

The graphic processing unit recognizes a grip mode of the electronic device based on a plurality of coordinate information from the touch sensor of the flexible display sensor, and optimizes the button object or the window object from the recognition result. The user interface according to any one of claims 1 to 7, wherein the user interface is provided.

9. The display according to claim 1, wherein the display of the flexible display sensor is an electronic paper, and the graphic processing unit always displays a power button as a button object on the display. User interface.

The user interface according to claim 1, wherein the electronic device is a mobile communication terminal.