[go: up one dir, main page]

KR101661526B1 - 플렉서블 디스플레이 장치 및 그 ｕｉ 방법 - Google Patents

플렉서블 디스플레이 장치 및 그 ｕｉ 방법 Download PDF

Info

Publication number
KR101661526B1
KR101661526B1 KR1020120036467A KR20120036467A KR101661526B1 KR 101661526 B1 KR101661526 B1 KR 101661526B1 KR 1020120036467 A KR1020120036467 A KR 1020120036467A KR 20120036467 A KR20120036467 A KR 20120036467A KR 101661526 B1 KR101661526 B1 KR 101661526B1
Authority
KR
South Korea
Prior art keywords
information
flexible display
display device
user interface
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020120036467A
Other languages
English (en)
Other versions
KR20130113895A (ko
Inventor
이근호
이문주
이한성
이창수
강경아
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120036467A priority Critical patent/KR101661526B1/ko
Priority to RU2013115294/08A priority patent/RU2013115294A/ru
Priority to BR102013008300A priority patent/BR102013008300A2/pt
Priority to AU2013203011A priority patent/AU2013203011B2/en
Priority to PCT/KR2013/002929 priority patent/WO2013154317A1/en
Priority to JP2013080356A priority patent/JP2013218696A/ja
Priority to EP13162791.1A priority patent/EP2648066B1/en
Priority to CN201310119763.3A priority patent/CN103365594B/zh
Priority to US13/858,347 priority patent/US10019052B2/en
Publication of KR20130113895A publication Critical patent/KR20130113895A/ko
Application granted granted Critical
Publication of KR101661526B1 publication Critical patent/KR101661526B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208—Display device provided on the remote control
    • H04N21/42209—Display device provided on the remote control for displaying non-command information, e.g. electronic program guide [EPG], e-mail, messages or a second television channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42226—Reprogrammable remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102—Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electroluminescent Light Sources (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Selective Calling Equipment (AREA)

Abstract

플레서블 디스플레이 장치가 개시된다. 플렉서블 디스플레이 장치는, 디스플레이부, 디스플레이부의 형태 변형을 감지하는 감지부, 및 감지된 형태 변형에 대응하는 사용자 인터페이스를 표시하도록 디스플레이부를 제어하는 제어부를 포함하고, 사용자 인터페이스는, 타 기기와 연동되어 상기 타 기기를 제어할 수 있다.

Description

플렉서블 디스플레이 장치 및 그 ＵＩ 방법 { FLEXIBLE DISPLAY APPARATUS AND USER INTERFACE PROVIDING METHOD THEREOF }
본 발명은 플렉서블 디스플레이 장치 및 그 UI 제공 방법에 대한 것으로, 보다 상세하게는, 형태 변형에 따른 사용자 인터페이스를 제공하는 플렉서블 디스플레이 장치 및 그 동작 방법에 대한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 디스플레이 장치가 개발되고 있다. 특히, TV, PC, 랩탑 컴퓨터, 태블릿 PC, 휴대폰, MP3 플레이어 등과 같은 디스플레이 장치들은 대부분의 가정에서 사용될 정도로 보급율이 높다.
최근에는 더 새롭고 다양한 기능을 원하는 사용자의 니즈(needs)에 부합하기 위하여, 디스플레이 장치를 좀 더 새로운 형태로 개발하기 위한 노력이 이루어지고 있다. 이른바 차세대 디스플레이라고 불리는 것이 바로 그것이다.
차세대 디스플레이 장치의 일 예로 플렉서블 디스플레이 장치가 있다. 플렉서블 디스플레이 장치란 마치 종이처럼 형태 변형될 수 있는 특성을 가지는 디스플레이 장치를 의미한다.
플렉서블 디스플레이 장치는 사용자가 힘을 가해서 벤딩시켜 형상을 변형시킬 수 있으므로, 이러한 플렉서블 디스플레이 장치의 형상 변형 특성을 다양하게 활용할 필요가 있다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 형태 변형에 대응되는 타 기기 제어를 위한 사용자 인터페이스를 제공하는 플렉서블 디스플레이 장치 및 그 사용자 인터페이스 제공 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 플렉서블 디스플레이 장치는, 디스플레이부, 상기 디스플레이부의 형태 변형을 감지하는 감지부 및, 상기 감지된 형태 변형에 대응하는 사용자 인터페이스를 표시하도록 상기 디스플레이부를 제어하는 제어부를 포함하고, 상기 사용자 인터페이스는, 타 기기와 연동되어 상기 타 기기를 제어할 수 있다.
여기서, 상기 사용자 인터페이스는, 상기 타 기기를 제어할 수 있는 적어도 하나의 제어 모드를 포함할 수 있다.
또한, 상기 제어 모드는, 키보드 모드, 리모컨 모드 및 터치 모드 중 적어도 하나를 포함할 수 있다.
또한, 복수의 제어 모드 각각에 대응되는 UI 정보를 저장하는 저장부;를 더 포함하며, 상기 제어부는, 상기 UI 정보를 이용하여 상기 감지된 형태 변형에 대응되는 사용자 인터페이스를 표시하도록 제어할 수 있다.
또한, 상기 타 기기와 통신하는 제2 통신부를 더 포함하며, 상기 제어부는,
상기 타 기기로부터 수신된 UI 정보를 이용하여 사용자 인터페이스를 표시하도록 제어할 수 있다.
이 경우, 상기 제어부는, 상기 감지된 형태 변형에 대응되는 신호를 상기 타 기기로 전송하고, 상기 타 기기로부터 상기 타 기기에서 발생된 이벤트에 기초한 상기 형태 변형에 대응되는 UI 정보를 수신할 수 있다.
또한, 서버와 통신하는 제2 통신부를 더 포함하며, 상기 제어부는, 상기 서버로부터 수신된 UI 정보를 이용하여 사용자 인터페이스를 표시하도록 제어할 수 있다.
이 경우, 상기 제어부는, 상기 감지된 형태 변형에 대응되는 신호를 상기 서버로 전송하고, 상기 서버로부터 상기 형태 변형에 대응되는 UI 정보를 수신할 수 있다.
여기서, 상기 감지된 형태 변형에 대응되는 신호는, 상기 형태 변형에 따라 노출되는 디스플레이 영역에 대한 정보를 포함할 수 있다.
한편, 상기 사용자 인터페이스는, 상기 타 기기를 변경하기 위한 기기 선택 영역을 포함할 수 있다.
또한, 상기 형태 변형은, 롤링 형태 및 폴딩 형태 중 적어도 하나를 포함할 수 있다.
본 발명의 다른 실시 예에 따른 플레서블 디스플레이 장치는, 디스플레이부, 상기 디스플레이부의 형태 변형을 감지하는 감지부, 상기 감지된 형태 변형에 대응하는 제1 정보를 타 기기로 전송하고, 상기 전송된 제1 정보에 대한 응답으로 상기 타 기기로부터 제2 정보를 수신하는 통신부 및, 상기 제2 정보를 기초로 사용자 인터페이스를 표시하도록 상기 디스플레이부를 제어하는 제어부를 포함하며, 상기 사용자 인터페이스는, 상기 타 기기와 연동되어 상기 타 기기를 제어할 수 있다.
여기서, 상기 사용자 인터페이스는, 상기 타 기기를 제어할 수 있는 적어도 하나의 제어 모드를 포함할 수 있다.
이 경우, 상기 제1 정보는 상기 감지된 형태 변형에 대응되는 신호이고, 상기 제2 정보는 상기 형태 변형에 대응되는 UI 정보가 될 수 있다.
또한, 상기 제1 정보는, 상기 감지된 형태 변형에 대응하는 상기 디스플레이부의 크기 정보를 포함할 수 있다.
또한, 사용자로부터 상기 사용자 인터페이스에 대응하는 면에 대한 선택을 입력받는 입력부를 더 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 플레서블 디스플레이 장치의 UI 제공 방법은, 디스플레이부의 형태 변형을 감지하는 단계 및, 상기 감지된 형태 변형에 대응하는 사용자 인터페이스를 표시하는 단계를 포함하고, 상기 사용자 인터페이스는, 타 기기와 연동되어 상기 타 기기를 제어할 수 있다.
여기서, 상기 사용자 인터페이스는, 상기 타 기기를 제어할 수 있는 적어도 하나의 제어 모드를 포함할 수 있다.
이 경우, 상기 제어 모드는, 키보드 모드, 리모컨 모드 및 터치 모드 중 적어도 하나를 포함할 수 있다.
또한, 상기 사용자 인터페이스를 표시하는 단계는, 복수의 제어 모드 각각에 대응되는 UI 정보를 이용하여 상기 감지된 형태 변형에 대응되는 사용자 인터페이스를 표시할 수 있다.
또한, 상기 사용자 인터페이스를 표시하는 단계는, 상기 타 기기로부터 수신된 UI 정보를 이용하여 상기 사용자 인터페이스를 표시할 수 있다.
또한, 상기 감지된 형태 변형에 대응되는 신호를 상기 타 기기로 전송하는 단계 및 상기 타 기기로부터 상기 타 기기에서 발생된 이벤트에 기초한 상기 형태 변형에 대응되는 상기 UI 정보를 수신하는 단계를 더 포함할 수 있다.
또한, 상기 사용자 인터페이스를 표시하는 단계는, 상기 서버로부터 수신된 상기 형태 변형에 대응되는 UI 정보를 이용하여 사용자 인터페이스를 표시할 수 있다.
또한, 상기 감지된 형태 변형에 대응되는 신호를 상기 서버로 전송하는 단계 및, 상기 서버로부터 상기 형태 변형에 대응되는 UI 정보를 수신하는 단계를 더 포함할 수 있다.
이 경우, 상기 감지된 형태 변형에 대응되는 신호는, 상기 형태 변형에 따라 노출되는 디스플레이 영역에 대한 정보를 포함할 수 있다.
또한, 상기 사용자 인터페이스는, 상기 타 기기를 변경하기 위한 기기 선택 영역을 포함할 수 있다.
여기서, 상기 형태 변형은, 롤링 형태 및 폴딩 형태 중 적어도 하나를 포함할 수 있다.
본 발명의 다른 실시 예에 따른 플레서블 디스플레이 장치의 제어 방법에 있어서, 디스플레이부의 형태 변형을 감지하는 단계, 상기 감지된 형태 변형에 대응하는 제1 정보를 타 기기로 전송하고, 상기 전송된 제1 정보에 대한 응답으로 상기 타 기기로부터 제2 정보를 수신하는 단계 및 상기 제2 정보를 기초로 사용자 인터페이스를 표시하는 단계를 포함하고, 상기 사용자 인터페이스는, 상기 타 기기와 연동되어 상기 타 기기를 제어할 수 있다.
여기서, 상기 사용자 인터페이스는, 상기 타 기기를 제어할 수 있는 적어도 하나의 제어 모드를 포함할 수 있다.
이 경우, 상기 제1 정보는 상기 감지된 형태 변형에 대응되는 신호이고, 상기 제2 정보는 상기 형태 변형에 대응되는 UI 정보가 될 수 있다.
또한, 상기 제1 정보는, 상기 감지된 형태 변형에 대응하는 상기 디스플레이부의 크기 정보를 포함할 수 있다.
또한, 사용자로부터 상기 사용자 인터페이스에 대응하는 면에 대한 선택을 입력받는 단계를 더 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 플렉서블 디스플레이 장치는 형태 변형에 따라 타 기기 제어에 요구되는 사용자 인터페이스를 제공할 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 플렉서블 디스플레이 장치를 구성하는 디스플레이부의 기본 구조를 설명하기 위한 도면이다.
도 2는 본 발명의 다른 실시 예에 따른 벤드 센서의 배치 형태를 설명하기 위한 도면이다.
도 3은 본 발명의 다른 실시 예에 따른 벤드 센서의 배치 형태를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에서, 벤드 센서를 이용하여 플렉서블 디스플레이 장치에서 벤딩을 감지하는 방법을 설명하기 위한 도면이다.
도 5는 플렉서블 디스플레이 장치가 폴딩(folding)된 상태를 감지하는 방법의 일 예를 설명하기 위한 도면이다.
도 6은 플렉서블 디스플레이 장치가 롤링을 감지하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 중첩된 벤드 센서를 이용하여 벤딩 방향을 감지하는 방법에 대하여 설명한다.
도 8은 본 발명의 다른 실시 예에 따른 벤딩 방향 감지 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 다양한 실시 예에 따른 제어 시스템의 구현 예를 설명하기 위한 도면들이다.
도 10 내지 13은 본 발명의 다양한 실시 예에 따른 제어 시스템의 동작을 설명하기 위한 도면들이다.
도 14는 본 발명의 다양한 실시 예에 따른 플렉서블 디스플레이 장치의 구성을 설명하기 위한 블록도이다.
도 15는 도 14(a)에 도시된 따른 플렉서블 디스플레이 장치의 세부 구성을 나타내는 블럭도이다.
도 16은 제어부의 세부 구성을 설명하기 위한 도면이다.
도 17은 상술한 다양한 실시 예에 따른 제어부의 동작을 지원하기 위한 저장부(140)의 소프트웨어 구조를 나타내는 도면이다.
도 18 및 도 19는 본 발명의 일 실시 예에 따른 사용자 인터페이스 제공 방법을 설명하기 위한 도면들이다.
도 20 내지 도 22는 본 발명의 다른 실시 예에 따른 가이드 정보 제공 방법을 설명하기 위한 도면들이다.
도 23 내지 도 26는 본 발명의 일 실시 예에 따른 사용자 인터페이스 화면을 설명하기 위한 도면이다.
도 27은 본 발명의 다른 실시 예에 따른 사용자 인터페이스 제공 방법을 설명하기 위한 도면이다.
도 28은 본 발명의 일 실시 예에 따른 사용자 인터페이스 표시 영역 설정 방법을 설명하기 위한 도면들이다.
도 29는 본 발명의 일 실시 예에 따른 제어 모드 UI 선택 방법을 설명하기 위한 도면이다.
도 30은 본 발명의 일 실시 예에 사용자 파지 동작에 따른 사용자 인터페이스 변경 방법을 설명하기 위한 도면이다.
도 31 및 도 32는 본 발명의 다양한 실시 예에 따른 메뉴 UI 제공 방법을 설명하기 위한 도면들이다.
도 33 내지 도 35는 본 발명의 또 다른 실시 예에 따른 UI 제공 방법을 설명하기 위한 도면들이다.
도 36은 본 발명의 또 다른 실시 예에 따른 메뉴 UI 제공 방법을 설명하기 위한 도면이다.
도 37은 본 발명의 또 다른 실시 예에 따른 사용자 인터페이스 제공 방법을 설명하기 위한 도면이다.
도 38 및 도 39는 본 발명의 다른 실시 예에 따른 UI 제공 방법을 설명하기 위한 도면이다.
도 40은 본체에 내장된 플렉서블 디스플레이 장치의 형태의 일 예를 나타내는 도면이다.
도 41은 전원부가 탈부착될 수 있는 형태의 플렉서블 디스플레이 장치를 나타내는 도면이다.
도 42는 본 발명의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블럭도이다.
도 43은 본 발명의 일 실시 예에 따른 서버의 구성을 설명하기 위한 블럭도이다.
도 44는 본 발명의 일 실시 예에 따른 플렉서블 디스플레이 장치의 UI 제공 방법을 설명하기 위한 흐름도이다.
도 45는 본 발명의 다른 실시 예에 따른 플렉서블 디스플레이 장치의 UI 제공 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 플렉서블 디스플레이 장치를 구성하는 디스플레이부의 기본 구조를 설명하기 위한 도면이다. 도 1에 따르면, 디스플레이부(10)는 기판(11), 구동부(12), 디스플레이 패널(13) 및 보호층(14)을 포함한다.
플렉서블 디스플레이 장치는 기존의 평판 디스플레이 장치의 디스플레이 특성을 그대로 유지하면서 종이와 같이 휘어지거나, 구부려지거나, 접혀지거나, 또는 말릴 수 있는 장치를 의미한다. 따라서, 플렉서블 디스플레이 장치는 유연한 기판 위에 제작되어야 한다.
구체적으로, 기판(11)은 외부 압력에 의해 변형될 수 있는 플라스틱 기판(가령, 고분자 필름)으로 구현될 수 있다.
플라스틱 기판은 기초 소재(base film)에 배리어 코팅(barrier coating)이 양면으로 처리된 구조를 갖는다. 기초 소재의 경우, PI(Polyimide), PC(Polycarbonite), PET(Polyethyleneterephtalate), PES(Polyethersulfone), PEN(Polythylenenaphthalate), FRP(Fiber Reinforced Plastic) 등의 다양한 수지로 구현될 수 있다. 그리고, 배리어 코팅은 기초 소재에서 서로 대향되는 면에 수행되며, 유연성을 유지하기 위해 유기막 또는 무기막이 이용될 수 있다.
한편, 기판(11)은 플라스틱 기판 외에도 유리 박막(thin glass) 또는 금속 박막(metal foil) 등과 같이 플렉서블한 특성을 갖는 소재가 사용될 수도 있다.
구동부(12)는 디스플레이 패널(13)을 구동시키는 기능을 한다. 구체적으로, 구동부(12)는 디스플레이 패널(13)을 구성하는 복수의 화소에 구동 전압을 인가하며, a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등으로 구현될 수 있다. 구동부(12)는 디스플레이 패널(13)의 구현 형태에 따라 다양한 형태로 구현될 수 있다. 일 예로, 디스플레이 패널(13)은 복수의 화소 셀로 이루어진 유기 발광체 및 그 유기 발광체의 양면을 덮는 전극층으로 이루어질 수 있다. 이 경우, 구동부(12)는 디스플레이 패널(13)의 각 화소 셀에 대응되는 복수의 트랜지스터를 포함할 수 있다. 이 경우, 각 트랜지스터의 게이트로 전기 신호를 인가하여, 트랜지스터에 연결된 화소 셀을 발광시키게 되며, 이에 따라 영상이 표시될 수 있다.
또는, 디스플레이 패널(13)은 유기발광다이오드 외에도 EL, EPD(electrophoretic display), ECD(electrochromic display), LCD(liquid crystal disply), AMLCD, PDP(Plasma display Panel) 등으로 구현될 수도 있다. 다만, LCD의 경우, 자체적으로 발광할 수 없다는 점에서 별도의 백라이트가 요구된다. 백라이트가 사용되지 않는 LCD의 경우에는 주변 광을 이용한다. 따라서, 백라이트 없이 LCD 디스플레이 패널(13)을 사용하기 위해서는 광량이 많은 야외 환경과 같은 조건이 충족되어야 한다.
보호층(14)은 디스플레이 패널(13)을 보호하는 기능을 한다. 예를 들어, 보호층(14)에는 ZrO, CeO2, Th O2 등의 재료가 이용될 수 있다. 보호층(114)은 투명한 필름 형태로 제작되어 디스플레이 패널(113) 표면 전체를 덮을 수 있다.
한편, 도 1에 도시된 바와 달리 디스플레이부(10)는 전자 종이로 구현될 수도 있다. 전자 종이는 종이에 일반적인 잉크의 특징을 적용한 디스플레이로서, 반사광을 사용하는 점이 일반 평판 디스플레이와는 다른 점이다. 한편, 전자 종이는 트위스트 볼을 이용하거나 캡슐을 이용한 전기영동을 이용하여 그림 또는 문자를 변경할 수 있다.
한편, 디스플레이부(10)가 투명한 재질의 구성요소로 이루어지는 경우, 벤딩이 가능하면서 투명한 성질을 가지는 디스플레이 장치로도 구현될 수 있다. 가령, 기판(11)은 투명한 성질을 가지는 플라스틱과 같은 폴리머 재료로 구현되고, 구동부(12)가 투명 트랜지스터로 구현되며 디스플레이 패널(13)이 투명 유기 발광층 및 투명 전극으로 구현되는 경우에는, 투명성을 가질 수 있다.
투명 트랜지스터란 기존 박막 트랜지스터의 불투명한 실리콘을 투명한 아연산화물, 산화 티타늄 등과 같은 투명 물질로 대체하여 제작한 트랜지스터를 의미한다. 또한, 투명 전극은 ITO(indium tin oxide)나 그래핀과 같은 신소재가 사용될 수도 있다. 그래핀이란 탄소원자가 서로 연결돼 벌집 모양의 평면 구조를 이루며 투명한 성질을 가지는 물질을 의미한다. 그 밖에, 투명 유기 발광 층도 다양한 재료로 구현될 수 있다.도 3 내지 도 5는 본 발명의 일 실시 예에 따른 플렉서블 디스플레이 장치에서 형태 변형, 즉, 벤딩을 감지하는 방법의 일 예를 설명하기 위한 도면이다.
플렉서블 디스플레이 장치는 외부 압력에 의해 벤딩되어 그 형태가 변형될 수 있다. 벤딩에는 일반 벤딩, 폴딩, 롤링되는 경우를 포함할 수 있다.일반 벤딩(normal bending)이란 플렉서블 디스플레이 장치가 구부러지는 상태를 의미한다.
폴딩(Folding)은 플렉서블 디스플레이 장치가 접혀지는 상태를 의미한다. 여기서, 폴딩 및 일반 벤딩은 벤딩되는 정도에 따라 구분될 수 있다. 가령, 일정한 벤딩 각도 이상으로 벤딩이 이루어지면 폴딩된 상태로 정의하고, 그 벤딩 각도 미만으로 벤딩이 이루어진 경우에는 일반 벤딩이라고 정의할 수 있다.
롤링(Rolling)은 플렉서블 디스플레이 장치가 말려진 상태를 의미한다. 롤링 역시 벤딩 각도를 기준으로 판단될 수 있다. 가령, 일정 벤딩 각도 이상의 벤딩이 일정 영역에 걸쳐 감지되는 상태를 롤링이라고 정의할 수 있다. 반면, 일정 벤딩 각도 미만의 벤딩이 롤링에 비해 상대적으로 작은 영역에서 감지되는 상태를 폴딩이라고 정의할 수 있다. 상술한 일반 벤딩, 폴딩, 롤링 등은 벤딩 각도 이외에 곡률 반경을 기초로 하여 판정될 수도 있다.
또한, 곡률 반경과 상관 없이 플렉서블 디스플레이 장치(100)가 말려진 단면이 거의(substantially) 원이나 타원에 가까운 형상을 갖는 상태를 롤링이라고 정의할 수도 있다.
다만, 이상과 같은 다양한 형태 변형 예들에 대한 정의는 일 예에 불과하며, 플렉서블 디스플레이 장치의 종류나 크기, 무게, 특징 등에 따라 다르게 정의될 수도 있다. 가령, 플렉서블 디스플레이 장치(100)의 표면이 서로 맞닿을 수 있을 정도로 벤딩이 가능하다면, 폴딩은 벤딩과 동시에 장치 표면이 서로 접촉하는 상태로 정의될 수도 있다. 반면, 롤링은 벤딩으로 인하여 플렉서블 디스플레이 장치의 앞면과 뒷면이 서로 접촉하는 상태로 정의될 수도 있다.
설명의 편의를 위해서, 본 명세서는 이러한 다양한 형태의 벤딩 및 그 밖의 벤딩 형태를 총괄하여 벤딩이라 칭한다.
플렉서블 디스플레이 장치(100)는 다양한 방식으로 벤딩을 감지할 수 있다.
일 예로, 감지부(미도시)는 디스플레이부(110) 앞면이나 뒷면과 같은 하나의 표면에 배치된 벤드 센서(bend sensor)나 또는 양면 모두에 배치된 벤드 센서를 포함할 수 있다.
여기서, 벤드 센서란, 그 자체로 구부러질 수 있으며, 구부러지는 정도에 따라 저항값이 달라지는 특성을 가지는 센서를 의미한다. 벤드 센서는 광섬유 벤딩 센서나, 압력 센서, 스트레인 게이지(strain gauge) 등과 같이 다양한 형태로 구현될 수 있다.
감지부(미도시)는 벤드 센서에 인가되는 전압의 크기 또는 벤드 센서를 흐르는 전류의 크기를 이용하여 벤드 센서의 저항 값을 감지하고, 그 저항 값의 크기에 따라 해당 벤드 센서의 위치에서의 벤딩 상태를 감지할 수 있다.
도 2는 본 발명의 다른 실시 예에 따른 벤드 센서의 배치 형태를 설명하기 위한 도면이다.
도 2(a)에서는 벤드 센서가 디스플레이부(110)의 앞면에 내장된 상태를 나타내지만, 이는 일 예에 불과하며 벤드 센서는 디스플레이부(110)의 뒷면에 내장될 수도 있고, 양면 모두에 내장될 수도 있다. 또한, 벤드 센서의 형태, 개수 및 배치 위치도 다양하게 변경될 수 있다. 예를 들어, 디스플레이부(110)에는 하나의 벤드 센서 또는 복수 개의 벤드 센서가 결합될 수 있다. 여기서, 하나의 벤드 센서는 하나의 벤딩 데이터를 감지하는 것일 수도 있으나, 하나의 벤드 센서가 복수의 벤딩 데이터를 감지하는 복수의 센싱 채널을 갖는 것일 수도 있다.
도 2(a)에서는 복수 개의 바 형태의 벤드 센서들이 가로 방향 및 세로 방향으로 배치되어 격자 형태를 이룬 예를 도시하였다.
도 2(a)에 따르면, 벤드 센서는 제1 방향으로 나열된 벤드 센서(21-1 내지 21-5) 및 제1 방향에 수직한 제2 방향으로 나열된 벤드 센서(22-1 내지 22-5)를 포함한다. 각 벤드 센서들은 서로 일정한 간격만큼 이격 배치될 수 있다.
도 2(a)에서는 가로 및 세로 방향 각각으로 5 개씩 벤드 센서(21-1 내지 21-5, 22-1 내지 22-5)가 배치되는 것으로 도시하였지만 이는 일 예에 불과하며, 플렉서블 디스플레이 장치의 크기 등에 따라 벤드 센서의 개수는 변경될 수 있음은 물론이다. 이와 같이, 벤드 센서가 가로 및 세로 방향으로 배치되는 것은 플렉서블 디스플레이 장치의 전역에서 이루어지는 벤딩을 감지하기 위해서이므로, 일부분만 플렉서블한 특성을 가지거나, 일부분에 대해서만 벤딩을 감지할 필요가 있는 장치인 경우에는, 해당 부분에만 벤드 센서가 배치될 수도 있다.
각 벤드 센서(21-1 내지 21-5, 22-1 내지 22-5)는 전기 저항을 이용하는 전기 저항식 센서 또는, 광섬유의 변형률을 이용하는 마이크로 광섬유 센서 형태로 구현될 수 있다. 이하에서는 설명의 편의를 위하여 벤드 센서가 전기 저항식 센서로 구현되는 경우를 상정하여 설명하도록 한다.
구체적으로, 도 2(b)와 같이 플렉서블 디스플레이 장치(100)의 좌우 양측 가장자리를 기준으로 그 중심에 위치한 중심 영역이 아래 방향을 향하도록 벤딩된 경우, 벤딩에 의한 장력이 가로 방향으로 배치된 벤드 센서들(21-1 내지 21-5)에 가해진다. 이에 따라, 가로 방향으로 배치된 각 벤드 센서(21-1 내지 21-5)의 저항값이 달라지게 된다. 감지부(미도시)는 각 벤드 센서(21-1 내지 21-5)로부터 출력되는 출력값의 변화를 감지하여 디스플레이 표면의 중심을 기준으로 가로 방향으로 벤딩이 이루어진 것을 감지할 수 있다. 도 4에서는 중심 영역이 디스플레이 표면을 기준으로 수직한 아래 방향(이하에서는, Z- 방향이라 함)으로 벤딩된 상태를 도시하였으나, 디스플레이 표면을 기준으로 수직한 윗 방향(이하에서는 Z+ 방향이라 함)으로 벤딩된 경우에도 가로 방향의 벤드 센서(21-1 내지 21-5)의 출력값의 변화에 기초하여 감지할 수 있다.
또한, 도 2(c)와 같이 플렉서블 디스플레이 장치(100)의 형태가 상하측 가장자리를 기준으로 그 중심에 위치한 중심 영역이 윗 방향을 향하도록 벤딩된 경우, 장력이 세로 방향으로 배치된 벤드 센서들(22-1 내지 22-5)에 가해지게 된다. 감지부(미도시)는 세로 방향으로 배치된 벤드 센서(22-1 내지 22-5)의 출력값에 기초하여 세로 방향의 형태 변형을 감지할 수 있다. 도 5에서는 Z+ 방향의 벤딩을 도시하였으나, Z-방향의 벤딩도 세로 방향으로 배치된 벤드 센서(22-1 내지 22-5)를 이용하여 감지할 수 있음은 물론이다.
한편, 대각선 방향의 형태 변형인 경우, 장력은 가로 및 세로 방향으로 배치된 벤드 센서들에 모두에 가해지므로, 가로 및 세로 방향으로 배치된 벤드 센서의 출력값에 기초하여 대각선 방향의 형태 변형도 감지할 수 있다.
도 3은 본 발명의 다른 실시 예에 따른 벤드 센서의 배치 형태를 설명하기 위한 도면이다.
도 3(a)는 하나의 벤드 센서를 디스플레이부(110)의 일 면에 배치하여 벤딩을 감지하는 구성의 일 예를 나타낸다. 도 3(a)에 따르면, 벤드 센서 (71)는 원형이나 사각형 기타 다각형을 이루는 폐곡선 형태로 구현되어, 디스플레이부(110)의 가장 자리에 배치될 수 있다. 플렉서블 디스플레이 장치는 폐곡선 상에서 출력값 변화가 감지되는 지점을 벤딩 영역이라 판단할 수 있다.
도 3(b)는 두 개의 벤드 센서가 서로 교차되도록 배치한 실시예를 나타낸다. 도 3(b)에 따르면, 제1 벤드 센서(71)는 디스플레이부(110)의 제1 면에 배치되고, 제2 벤드 센서(72)는 디스플레이부(110)의 제2 면에 배치된다. 제1 벤드 센서(71)는 디스플레이부(110)의 제1 면 상에서 제1 대각선 방향으로 배치되고, 제2 벤드 센서(72)는 제2 면에서 제2 대각선 방향으로 배치된다. 이에 따라, 각 모서리 영역이 벤딩되는 경우, 각 가장자리 영역이 벤딩되는 경우, 중앙부가 벤딩되는 경우, 폴딩 또는 롤링이 이루어지는 경우 등과 같은 다양한 벤딩 조건 별로 제1 및 제2 벤드 센서(71,72)의 출력값 및 출력 지점이 달라지게 되는 바, 플렉서블 디스플레이 장치는 이러한 출력값 특성에 따라 어떠한 유형의 벤딩이 이루어졌는지 판단할 수 있다.
한편, 상술한 다양한 실시 예들에서는 라인 형태의 벤드 센서들이 사용되는 경우를 도시하였으나, 단편적인 스트레인 게이지를 복수 개 사용하여 벤딩을 감지할 수도 있다.
도 3(c) 및 도 3(d)는 복수의 스트레인 게이지를 사용하여 벤딩을 감지하는 실시 예를 나타내는 도면이다. 스트레인 게이지는 가해지는 힘의 크기에 따라 저항이 크게 변하는 금속 또는 반도체를 이용하여, 그 저항치 변화에 따라 측정 대상물의 표면의 변형을 감지하는 것이다. 일반적으로 금속과 같은 재료는 외부로부터의 힘에 따라 길이가 늘어나면 저항치가 증가하고, 길이가 줄어들면 저항치가 감소하는 특성이 있다. 따라서, 저항치 변화를 감지하면 벤딩이 이루어졌는지 여부를 판단할 수 있다.
도 3(c)에 따르면, 디스플레이부(110)의 가장 자리 영역에는 복수의 스트레인 게이지들이 배치된다. 스트레인 게이지의 개수는 디스플레이부(110)의 사이즈나, 형태, 기 설정된 벤딩 감지 해상도 등에 따라 달라질 수 있다.
도 3(c)와 같이 스트레인 게이지들이 배치된 상태에서, 사용자는 임의의 지점을 임의의 방향으로 벤딩시킬 수 있다. 구체적으로,도 23과 같이 일 모서리 영역이 벤딩되는 경우, 가로 방향으로 배치된 스트레인 게이지들(80-1 ~ 80-n) 중에서 벤딩 라인에 겹치는 스트레인 게이지(80-x)에 힘이 작용한다. 이에 따라, 해당 스트레인 게이지(80-x)의 출력값이 타 스트레인 게이지들의 출력값보다 커지게 된다. 또한, 세로 방향으로 배치된 스트레인 게이지들(80-n, 80-n+1, ~~ 80-m) 중에서도 벤딩 라인에 겹치는 스트레인 게이지(80-y)에 힘이 작용하여, 출력값이 변하게 된다. 플렉서블 디스플레이 장치는 출력값이 변한 두 스트레인 게이지(80-x, 80-y)를 연결하는 라인을 벤딩 라인이라고 판단할 수도 있다.
이하에서는, 벤드 센서를 이용하여 일반 벤딩, 폴딩 및 롤링 등의 각 변형 형태를 감지하는 구체적인 방법에 대해 설명하도록 한다.
도 4는 본 발명의 일 실시 예에서, 벤드 센서를 이용하여 플렉서블 디스플레이 장치에서 벤딩을 감지하는 방법을 설명하기 위한 도면이다.
먼저, 도 4(a)는 플렉서블 디스플레이 장치가 벤딩되었을 때, 플렉서블 디스플레이 장치(100)의 단면도를 나타낸다.
플렉서블 디스플레이 장치(100)가 벤딩되면, 플렉서블 디스플레이 장치의 일 면 또는 양면에 배치된 벤드 센서도 함께 구부러지며 가해지는 장력의 세기에 대응되는 저항값을 가지며, 이에 대응되는 출력값을 출력한다.
예를 들어, 도 4(a)와 같이 플렉서블 디스플레이 장치(100)가 벤딩되면, 플렉서블 디스플레이 장치(100)의 뒷면에 배치된 벤드 센서(31-1) 또한 구부러지고, 가해지는 장력의 크기에 따른 저항값을 출력한다.
이 경우, 장력의 세기는 벤딩 정도에 비례하여 커지게 된다. 가령, 도 4(a)와 같이 벤딩이 이루어지게 되면, 중심 영역의 벤딩 정도가 가장 크게 된다. 따라서, 중심 영역인 a3 지점에 배치된 벤드 센서(31-1)에 가장 큰 장력이 작용하게 되고, 이에 따라 벤드 센서(31-1)이 가장 큰 저항값을 가지게 된다. 반면, 바깥 방향으로 갈수록 벤딩 정도가 약해진다. 이에 따라, 벤드 센서(31-1)는 a3 지점을 기준으로 a2, a1 지점으로 갈수록, 또는 a4, a5 지점으로 갈수록 a3 지점보다 작은 저항값을 가지게 된다.
감지부(미도시)는 벤드 센서에서 출력되는 저항값이 특정 지점에서 최대값을 갖고 양쪽 방향으로 갈수록 출력되는 저항값이 점차 작아지면, 최대 저항값이 검출된 영역이 제일 큰 벤딩이 이루어진 영역이라고 판단할 수 있다. 또한, 감지부(미도시)는 저항값이 변하지 않은 영역은 벤딩이 이루어지지 않은 플랫(flat) 영역으로 판단하고, 저항값이 일정 크기 이상 변한 영역은 벤딩이 조금이라도 이루어진 벤딩 영역이라고 판단할 수 있다.
도 4(b) 및 도 4(c)는 본 발명의 일 실시 예에서 벤딩 영역을 정의하는 방법을 설명하기 위한 도면이다. 도 4(b) 및 도 4(c)의 경우, 플렉서블 디스플레이 장치가 앞면을 기준으로 가로 방향으로 벤딩된 경우를 설명하기 위한 도면이므로, 설명의 편의를 위해 세로 방향으로 배치되는 벤드 센서들은 도시하지 않았다. 또한, 설명의 편의를 위하여 각 벤드 센서들에 대한 도면 부호는 도면마다 상이하게 부여하였으나, 실제로는 도 2(a)에 도시된 구조와 같은 벤드 센서들이 그대로 이용될 수도 있다.
벤딩 영역은 플렉서블 디스플레이 장치가 휘어져서 구부러진 영역을 의미한다. 벤딩에 의해 벤드 센서가 함께 구부러지게 되므로, 벤딩 영역은, 원 상태에서와는 다른 저항값을 출력하는 벤드 센서가 배치된 모든 지점으로 정의될 수 있다.
감지부(미도시)는 저항값 변화가 감지된 지점들간의 관계를 기초로 하여, 벤딩 라인의 크기, 벤딩 라인의 방향, 벤딩 라인의 위치, 벤딩 라인의 개수, 벤딩의 횟수, 형태가 변화되는 벤딩 속도, 벤딩 영역의 크기, 벤딩 영역의 위치, 벤딩 영역의 개수 등을 감지할 수 있다.
구체적으로, 저항값 변화가 감지된 지점들 사이의 거리가 기설정된 거리 내이면 저항값을 출력하는 지점들을 하나의 벤딩 영역으로 감지한다. 반면, 저항값 변화가 감지된 지점들 중 그 사이의 거리가 기설정된 거리 이상으로 이격된 지점이 존재하면, 이들 지점을 기준으로 서로 다른 벤딩 영역으로 구분하여 정의할 수 있다. 보다 구체적인 설명을 위해 도 4(b) 및 도 4(c)을 참조한다.
도 4(b)는 하나의 벤딩 영역을 감지하는 방법을 설명하기 위한 도면이다. 도 7에서와 같이 플렉서블 디스플레이 장치(100)가 벤딩되면, 벤드 센서(31-1)의 a1 지점부터 a5 지점까지, 벤드 센서(31-2)의 b1 지점부터 b5 지점까지, 벤드 센서(31-3)의 c1 지점부터 c5 지점까지, 벤드 센서(31-4)의 d1 지점부터 d5 지점까지, 벤드 센서(31-5)의 e1 지점부터 e5 지점까지 원 상태에서와는 다른 저항값을 가지게 된다.
이 경우, 각 벤드 센서(31-1 내지 31-5)에서 저항값 변화가 감지된 지점들은 서로 기 설정된 거리 이내에 위치하여 연속적으로 배치된다.
따라서, 감지부(미도시)는 벤드 센서(31-1)에서 a1 지점부터 a5 지점까지, 벤드 센서(31-2)에서 b1 지점부터 b5 지점까지, 벤드 센서(31-3)에서 c1 지점부터 c5 지점까지, 벤드 센서(31-4)에서 d1 지점부터 d5 지점까지, 벤드 센서(31-5)에서 e1 지점부터 e5 지점까지를 모두 포함하는 영역(32)을 하나의 벤딩 영역으로 감지한다.
도 4(c)는 복수의 벤딩 영역을 감지하는 방법을 설명하기 위한 도면이다.
도 4(c)에서는 플렉서블 디스플레이 장치의 벤딩에 따라, 벤드 센서(31-1)의 a1 지점부터 a2 지점까지 및 a4 지점부터 a5 지점까지, 벤드 센서(31-2)의 b1 지점부터 b2 지점까지 및 b4 지점부터 b5 지점까지, 벤드 센서(31-3)의 c1 지점부터 c2 지점까지 및 c4 지점부터 c5 지점까지, 벤드 센서(31-4)의 d1 지점부터 d2 지점까지 및 d4 지점부터 d5 지점까지, 벤드 센서(31-5)의 e1 지점부터 e2 지점까지 및 e4 지점부터 e5 지점까지 원 상태에서와는 다른 저항값을 가지게 된다.
벤드 센서(31-1)에서 a1 지점부터 a2 지점까지 및 a4 지점부터 a5 지점까지는 각 지점을 기준으로 보면 각각 연속되지만 a2 지점 및 a4 지점 사이에는 a3 지점이 존재하므로 a2 지점부터 a4 지점까지는 연속적이지 않다. 따라서, a2 지점부터 a4 지점까지 사이의 거리가 기설정된 거리만큼 이격된 것으로 보면 a1 지점부터 a2 지점까지와 a4 지점부터 a5 지점까지는 서로 다른 벤딩 영역으로 구분될 수 있다. 또한, 다른 벤드 센서들(31-2 내지 31-5)의 각 지점 역시 이와 마찬가지로 구분될 수 있다.
따라서, 플렉서블 디스플레이 장치(100)는 벤드 센서(31-1)에서 a1 지점부터 a2 지점까지, 벤드 센서(31-2)에서 b1 지점부터 b2 지점까지, 벤드 센서(31-3)에서 c1 지점부터 c2 지점까지, 벤드 센서(31-4)에서 d1 지점부터 d2 지점까지, 벤드 센서(31-5)에서 e1 지점부터 e2 지점까지를 모두 포함하는 영역(34)을 하나의 벤딩 영역으로 정의하고, 벤드 센서(31-1)에서 a4 지점부터 a5 지점까지, 벤드 센서(31-2)에서 b4 지점부터 b5 지점까지, 벤드 센서(31-3)에서 c4 지점부터 c5 지점까지, 벤드 센서(31-4)에서 d4 지점부터 d5 지점까지, 벤드 센서(31-5)에서 e4 지점부터 e5 지점까지를 모두 포함하는 영역(35)을 다른 하나의 벤딩 영역으로 정의할 수 있다.
한편, 벤딩 영역은 벤딩 라인을 포함할 수 있다. 벤딩 라인이란 각 벤딩 영역에서 가장 큰 저항값이 검출된 지점들을 연결하는 라인으로 정의될 수 있다.
가령, 도 4(b)의 경우 벤딩 영역(33)에서 가장 큰 저항값을 출력하는 a3 지점, 벤드 센서(31-2)에서 가장 큰 저항값을 출력하는 b3 지점, 벤드 센서(31-3)에서 가장 큰 저항값을 출력하는 c3 지점, 벤드 센서(31-4)에서 가장 큰 저항값을 출력하는 d3 지점, 벤드 센서(31-5)에서 가장 큰 저항값을 출력하는 e3 지점을 연결하는 라인(33)을 벤딩 라인으로 정의할 수 있다. 도 4(b)에서는 벤딩 라인이 디스플레이 표면의 중앙 영역에서 세로 방향으로 형성된 상태를 나타낸다.
또한, 도 4(c)의 경우, 벤딩 영역(34)에서 가장 큰 저항값을 출력하는 a1 지점, 벤드 센서(31-2)에서 가장 큰 저항값을 출력하는 b1 지점, 벤드 센서(31-3)에서 가장 큰 저항값을 출력하는 c1 지점, 벤드 센서(31-4)에서 가장 큰 저항값을 출력하는 d1 지점, 벤드 센서(31-5)에서 가장 큰 저항값을 출력하는 e1 지점을 연결하는 라인(36)을 하나의 벤딩 라인이 될 수 있다. 또한, 벤딩 영역(35)에서 가장 큰 저항값을 출력하는 a5 지점, 벤드 센서(31-2)에서 가장 큰 저항값을 출력하는 b5 지점, 벤드 센서(31-3)에서 가장 큰 저항값을 출력하는 c5 지점, 벤드 센서(31-4)에서 가장 큰 저항값을 출력하는 d5 지점, 벤드 센서(31-5)에서 가장 큰 저항값을 출력하는 e5 지점을 연결하는 라인(36)을 다른 하나의 벤딩 라인이 될 수 있다. 즉, 도 4(c)에서는 디스플레이 표면의 좌우측 가장자리 부근에서 두 개의 세로 방향 벤딩 라인이 형성된 상태를 나타낸다.
도 5는 플렉서블 디스플레이 장치가 폴딩(folding)된 상태를 감지하는 방법의 일 예를 설명하기 위한 도면이다.
먼저, 도 5(a)는 플렉서블 디스플레이 장치(100)가 폴딩되었을 때의 단면도를 나타낸다.
플렉서블 디스플레이 장치가 폴딩되면, 플렉서블 디스플레이 장치의 일 면 또는 양면에 배치된 벤드 센서도 함께 구부러지며 가해지는 장력의 세기에 대응되는 저항값을 가지게 된다.
예를 들어, 도 5(a)와 같이 플렉서블 디스플레이 장치(100)의 우측 가장자리 영역이 중앙을 향하는 형태로 폴딩되면, 플렉서블 디스플레이 장치(100)의 뒷면에 배치된 벤드 센서(41-1) 또한 구부러지고, 가해지는 장력의 크기에 따른 저항값을 출력한다.
즉, 벤딩된 경우와 마찬가지로, 벤드 센서(41-1)는 가해지는 장력의 세기가 가장 큰 a3 지점에서 가장 큰 저항값을 가지게 되고, 양쪽 방향으로 갈수록 작은 저항값을 가지게 된다. 즉, 벤드 센서(41-1)는 a3 지점을 기준으로 a2, a1 지점으로 갈수록, 또는 a4, a5 지점으로 갈수록 a3 지점보다 작은 저항값을 가지게 된다.
한편, 플렉서블 디스플레이 장치가 일정 벤딩 각도 이상으로 벤딩되는 폴딩이 이루어지면, 벤딩 라인에 해당하는 지점에서는 저항 값이 일정 크기 이상의 크기로 센싱된다. 따라서, 플렉서블 디스플레이 장치는 저항값의 크기에 따라 폴딩인지 일반 벤딩인지 판단할 수 있다.
또는, 플렉서블 디스플레이 장치(100)의 표면이 서로 맞닿을 수 있을 정도로 벤딩이 가능하다면, 플렉서블 디스플레이 장치는 터치가 이루어지는지까지 고려하여 폴딩인지를 판단할 수도 있다. 즉, 도 5(a)와 같이 플렉서블 디스플레이 장치(100)의 우측 가장자리가 Z+ 방향으로 벤딩되어 앞면으로 폴딩되면, 플렉서블 디스플레이 장치(100)의 앞면에서 서로 이격된 영역이 접촉하게 된다. 이 경우, 디스플레이 표면의 일 영역에서 터치가 감지되며, 저항 값의 변화 정도도 일반 벤딩의 경우보다 더 크게 된다. 이에 따라, 플렉서블 디스플레이 장치는 벤딩이 이루어진 가장자리 경계로부터 벤딩 라인까지의 거리를 산출한 후, 벤딩 라인을 기준으로 반대 방향으로 산출된 거리만큼 이격된 지점에서 터치가 감지되면, 폴딩이 이루어진 것으로 판단할 수 있다. 도 5(b)는 본 발명의 일 실시 예에서 폴딩 영역을 판단하는 방법을 설명하기 위한 도면이다. 도 5(b)의 경우, 플렉서블 디스플레이 장치가 앞면을 기준으로 가로 방향으로 폴딩된 경우를 설명하기 위한 도면이므로, 설명의 편의를 위해 세로 방향으로 배치되는 벤드 센서들은 도시하지 않았다.
폴딩 영역은 플렉서블 디스플레이 장치가 폴딩됨에 따라 형성되는 구부러진 영역으로, 벤딩의 경우와 같이 벤드 센서가 구부러짐에 따라 원 상태에서와는 다른 저항값을 출력하는 벤드 센서의 모든 지점을 포함하는 하나 또는 둘 이상의 영역으로 정의될 수 있다. 폴딩 영역을 정의 및 구분하는 방식은 벤딩 영역에서와 동일하다는 점에서, 중복 설명은 생략하기로 한다.
도 5(b)를 참조하면, 출력되는 저항값이 원 상태에서와 다른 지점들 즉, 벤드 센서(41-1)에서 a1 지점부터 a5 지점까지, 벤드 센서(41-2)에서 b1 지점부터 b5 지점까지, 벤드 센서(41-3)에서 c1 지점부터 c5 지점까지, 벤드 센서(41-4)에서 d1 지점부터 d5 지점까지, 벤드 센서(41-5)에서 e1 지점부터 e5 지점까지를 모두 포함하는 영역(42)을 하나의 폴딩 영역으로 정의할 수 있다.
폴딩 영역은 폴딩 라인을 기준으로 두 개로 구분된다. 폴딩 라인은 각 폴딩 영역에서 가장 큰 저항값을 출력하는 지점들을 연결한 라인으로 정의될 수 있다. 폴딩 라인은 벤딩 라인과 동일한 의미로 사용될 수 있다.
도 5(b)의 경우, 폴딩 영역(42)에서 벤드 센서(41-2)에서 가장 큰 저항값을 출력하는 a3 지점, 벤드 센서(41-2)에서 가장 큰 저항값을 출력하는 b3 지점, 벤드 센서(41-3)에서 가장 큰 저항값을 출력하는 c3 지점, 벤드 센서(41-4)에서 가장 큰 저항값을 출력하는 d3 지점, 벤드 센서(41-5)에서 가장 큰 저항값을 출력하는 e3 지점을 연결하는 라인(43)이 폴딩 라인이 된다.
폴딩이 감지되었을 경우, 플렉서블 디스플레이 장치는 일반 벤딩 시의 동작과 상이한 동작을 수행할 수 있다. 가령, 각 폴딩 영역에 대해 서로 다른 컨텐츠 화면을 디스플레이하는 등의 동작을 수행할 수 있다.
한편, 상술한 바와 같이 플렉서블 디스플레이 장치(100)는 종이처럼 롤링될 수도 있다. 플렉서블 디스플레이 장치는 감지부(미도시)에서 감지된 결과를 이용하여 롤링이 이루어졌는지 판단할 수 있다.
도 6은 플렉서블 디스플레이 장치가 롤링을 감지하는 방법을 설명하기 위한 도면이다.
먼저, 도 6(a)은 플렉서블 디스플레이 장치(100)가 롤링되었을 때의 단면도를 나타낸다.
상술한 바와 마찬가지로, 플렉서블 디스플레이 장치(100)가 롤링되면, 플렉서블 디스플레이 장치의 일 면 또는 양면에 배치된 벤드 센서에 장력이 작용한다.
이 경우, 벤드 센서에 가해지는 장력의 세기는 일정 범위 내에서 서로 근사하다고 볼 수 있으므로, 벤드 센서에서 출력되는 저항값 역시 일정 범위 내에서 서로 근사하게 된다.
롤링이 이루어지기 위해서는 벤딩이 일정 곡률 이상으로 이루어져야한다. 또한, 롤링이 이루어지면, 일반 벤딩이나 폴딩의 경우보다 벤딩 영역이 더 크게 형성된다. 이에 따라, 플렉서블 디스플레이 장치는 일정 벤딩 각도 이상의 벤딩이 일정 크기 이상의 영역에서 연속적으로 이루어졌다고 감지되면, 롤링 상태로 판단할 수 있다.또한, 롤링 상태에서는, 플렉서블 디스플레이 장치의 앞면과 뒷면이 서로 접촉하게 된다. 예를 들어, 도 6(a)와 같이, 플렉서블 디스플레이 장치(50)의 일측 가장자리가 Z+ 방향으로 벤딩되어 디스플레이 표면 내측으로 롤링되면, 디스플레이 표면, 즉, 앞면과 벤드 센서(50-1)가 배치된 뒷면은 서로 접촉하게 된다.
따라서, 상술한 바와 다른 예에서는, 플렉서블 디스플레이 장치는 플렉서블 디스플레이 장치의 앞면 및 뒷면이 서로 접촉하는지 여부에 따라 롤링 상태인지 판단할 수도 있다. 이 경우, 감지부(미도시)는 터치 센서를 구비할 수 있다.. 플렉서블 디스플레이 장치는 벤드 센서에서 출력되는 저항값이 일정 범위 내에서 서로 근사하며 플렉서블 디스플레이 장치의 앞면 및 뒷면에 배치된 터치 센서들에서 각각 터치가 감지되면, 플렉서블 디스플레이 장치가 롤링된 것으로 판단될 수 있다. 또한, 플렉서블 디스플레이 장치는 터치 센서 대신 마그네틱과 자기장 센서, 광센서 또는 근접 센서 등을 이용하여 플렉서블 디스플레이 장치가 구부러져 플렉서블 디스플레이 장치의 일부 영역들 간의 접촉 또는 근접하게 되었는지 여부를 판단할 수도 있다.
도 6(b) 및 도 6(c)는 본 발명의 일 실시 예에서 롤링 영역을 정의하는 방법을 설명하기 위한 도면이다.
롤링 영역은 플렉서블 디스플레이 장치가 벤딩되어 롤링 상태가 되는 영역 전체를 의미한다. 롤링 영역도, 일반 벤딩 및 폴딩의 경우와 같이 원 상태에서와 다른 저항값을 출력하는 벤드 센서의 모든 지점을 포함하는 하나 또는 둘 이상의 영역으로 정의될 수 있다. 롤링 영역을 정의 및 구분하는 방식은 벤딩 및 폴딩 영역에서와 동일하다는 점에서, 중복 설명은 생략하기로 한다.
도 6(b)와 같이, 플렉서블 디스플레이 장치(50)가 전체적으로 롤링되면 플렉서블 디스플레이 장치의 전체 영역(51)이 롤링 영역으로 정의될 수 있고, 도 13과 같이, 플렉서블 디스플레이 장치(100)가 부분적으로 롤링되고 원 상태에서와 다른 저항값을 출력하는 지점이 기설정된 거리만큼 이격된 경우이면, 플렉서블 디스플레이 장치의 일부 영역(52, 53)이 서로 다른 롤링 영역으로 정의될 수 있다.
이상과 같이, 플렉서블 디스플레이 장치(100)는 다양한 형태로 벤딩될 수 있으며, 플렉서블 디스플레이 장치는 감지부(미도시)의 감지 결과에 기초하여 각 벤딩 형태를 감지할 수 있다. 또한, 플렉서블 디스플레이 장치는 감지부(미도시)의 감지 결과에 기초하여 벤딩이 어느 정도 이루어졌는지, 즉, 벤딩 각도도 검출할 수 있다.
한편, 도면에는 도시되지 않았지만, 플렉서블 디스플레이 장치(100)는 벤드 센서에서 일정한 간격마다 출력되는 저항값의 크기 변화를 이용하여, 플렉서블 디스플레이 장치가 벤딩된 정도를 판단한다. 구체적으로, 벤드 센서에서 가장 큰 저항값을 출력하는 지점의 저항값과 그 지점에서 소정 거리만큼 이격된 지점에서 출력된 저항값 사이의 차이를 산출한다.
그리고, 산출된 저항값 차이를 이용하여 벤딩된 정도를 판단할 수 있다. 구체적으로, 플렉서블 디스플레이 장치는 벤딩된 정도를 복수의 레벨로 구분하고, 각 레벨마다 일정한 범위를 갖는 저항값을 매칭시켜 저장할 수 있다.
이에 따라, 플렉서블 디스플레이 장치는 산출된 저항값 차이가 벤딩된 정도에 따라 구분된 복수의 레벨 중에서 속하는 레벨에 따라 플렉서블 디스플레이 장치의 벤딩 정도를 판단할 수 있다.
한편, 플렉서블 디스플레이 장치는 벤딩 정도에 따라 적절한 동작을 수행할 수 있다. 가령, 채널 재핑(zapping) 동작을 수행하는 경우 벤딩 정도가 크다면 채널 재핑 속도를 빠르게 하거나, 채널 재핑 범위를 더 크게 할 수 있다. 반면, 벤딩 정도가 낮다면 더 느리게, 더 작은 채널 개수 단위로 채널 재핑을 수행할 수 있다. 볼륨 조절이나 컨텐츠 전환 등의 동작 시에도 벤딩 정도에 따라 상이하게 동작을 수행할 수 있다.
한편, 상술한 바와 같이, 플렉서블 디스플레이 장치(100)의 벤딩 방향은 Z+ 방향 또는 Z- 방향과 같이 달라질 수 있다.
벤딩 방향 역시 다양한 방식으로 센싱될 수 있다. 일 예로는, 벤드 센서를 두 개로 중첩시켜 배치하여, 각 벤드 센서의 저항값의 크기 변화의 차이에 따라 벤딩 방향을 판단할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 중첩된 벤드 센서를 이용하여 벤딩 방향을 감지하는 방법에 대하여 설명한다.
설명의 편의를 위해, 도 7(a) 내지 도 7(c)에서는, 일반 벤딩의 경우를 예를 들어 설명한다. 하지만, 폴딩 및 롤링의 경우에도 벤딩과 마찬가지로 적용될 수 있음은 물론이다.
도 7(a)에 따르면, 디스플레이부(110)의 일 측에는 두 개의 벤드 센서(71, 72)가 서로 중첩되어 마련될 수 있다. 이 경우, 한쪽 방향으로 벤딩이 이루어지게 되면, 벤딩이 이루어진 지점에서 상위 벤드 센서(71) 및 하위 벤드 센서(72)의 저항 값이 다르게 검출된다. 따라서, 동일 지점에서의 두 벤드 센서(71, 72)의 저항 값을 비교하면, 벤딩 방향을 알 수 있다.
구체적으로, 도 7(a)와 같이 플렉서블 디스플레이 장치(100)가 Z+ 방향으로 벤딩되면, 벤딩 라인에 해당하는 A 지점에서, 위쪽 벤드 센서(71)보다 아래쪽 벤드 센서(72)에 더 큰 세기의 장력이 가해지게 된다.
이와 반대로, 도 7(b)과 같이 플렉서블 디스플레이 장치(100)가 뒷면 방향으로 벤딩되면, 위쪽 벤드 센서(71)에서 아래쪽 벤드 센서(72)보다 더 큰 세기의 장력이 가해지게 된다.
따라서, 플렉서블 디스플레이 장치는 두 벤드 센서(71, 72)에서 A 지점에 해당하는 저항값을 비교하여, 벤딩 방향을 감지할 수 있다.
도 7(a) 내지 도 7(c)에서는 두 벤드 센서가 디스플레이부(110)의 일측에서 서로 중첩되어 배치된 상태를 도시하였으나, 벤드 센서는 디스플레이부(110)의 양면에 배치될 수도 있다.
도 7(d)는 두 벤드 센서(71, 72)가 디스플레이부(110)의 양면에 배치된 상태를 나타낸다.
이에 따라, 플렉서블 디스플레이 장치(100)가 화면으로부터 수직한 제1 방향(이하, Z+ 방향)으로 벤딩될 때는, 디스플레이부(110)의 양면 중에서 제1 면에 배치된 벤드 센서는 압축력을 받게 되는 반면, 제2 면에 배치된 벤드 센서는 장력을 받게 된다. 반면, 제1 방향의 반대인 제2 방향(이하, Z- 방향이라 함)으로 벤딩될 때는 제2 면에 배치된 벤드 센서는 압축력을 받게 되는 반면, 제1 면에 배치된 벤드 센서는 장력을 받게 된다. 이와 같이, 벤딩 방향에 따라 두 벤드 센서에서 감지되는 값은 서로 다르게 검출되며, 플렉서블 디스플레이 장치는 그 값의 검출 특성에 따라 벤딩 방향을 구분할 수 있다.
한편, 도 7(a) 내지 도 7(d)에서는 두 개의 벤드 센서를 이용하여 벤딩 방향을 감지하는 것으로 설명하였으나, 디스플레이부(110)의 일 면에 배치된 스트레임 게이지 만으로도 벤딩 방향을 구분할 수도 있다. 즉, 일 면에 배치된 스트레인 게이지는 그 벤딩 방향에 따라 압축력 또는 인장력이 가해지므로, 그 출력 값의 특성을 확인하면 벤딩 방향을 알 수 있게 된다.
도 8은 본 발명의 다른 실시 예에 따른 벤딩 방향 감지 방법을 설명하기 위한 도면이다.
도 8(a) 및 도 8(b)는 이러한 센서들의 일 예로 가속도 센서를 이용하여 벤딩 방향을 감지하는 방법을 설명하기 위한 도면이다. 도 24 및 도 25에 따르면, 플렉서블 디스플레이 장치(100)는 복수의 가속도 센서(81-1, 81-2)를 포함한다.
가속도 센서(81-1, 81-2)는 움직임 발생시 가속도 및 가속도의 방향을 측정할 수 있는 센서이다. 구체적으로는, 가속도 센서(81-1, 81-2)는 그 센서가 부착된 장치의 기울기에 따라 변화되는 중력 가속도에 대응되는 센싱 값을 출력한다. 따라서, 플렉서블 디스플레이 장치의 양측 가장 자리 영역에 가속도 센서(81-1, 81-2)를 각각 배치하면, 플렉서블 디스플레이 장치가 벤딩될 때 각 가속도 센서(81-1, 81-2)에서 센싱되는 출력값이 변화된다. 플렉서블 디스플레이 장치는 각 가속도 센서(81-1, 81-2)에서 센싱되는 출력값을 이용하여 피치각(pitch angle) 및 롤각(role angle)을 연산한다. 이에 따라, 각 가속도 센서(81-1, 81-2)에서 감지된 피치각 및 롤각의 변화 정도에 기초하여 벤딩 방향을 판단할 수 있다.
한편, 도 8(a)에서는 플렉서블 디스플레이 장치(100)가 앞면을 기준으로 가로 방향의 양 측 가장자리에 가속도 센서(81-1, 81-2)가 배치된 상태를 도시하였으나, 도 25에서와 같이 세로 방향으로 배치될 수도 있다. 이 경우, 플렉서블 디스플레이 장치(100)가 세로 방향으로 벤딩되면, 세로 방향의 각 가속도 센서(81-3, 81-4)에서 감지한 측정값에 따라 벤딩 방향을 감지할 수 있다.
도 8(a) 및 도 8(b)는 플렉서블 디스플레이 장치(100)의 좌우측 가장자리 또는 상하측 가장자리에 가속도 센서가 배치된 상태를 도시하였으나, 가속도 센서는 상하좌우측 가장자리 모두에 배치될 수도 있고, 모서리 영역에 배치될 수도 있다.
상술한 바와 같이 가속도 센서 이외에 자이로 센서나 지자기 센서를 이용하여 벤딩 방향을 감지할 수도 있다. 자이로 센서는 회전 운동이 일어나면, 그 속도 방향으로 작용하는 코리올리의 힘을 측정하여, 각속도를 검출하는 센서이다. 자이로 센서의 측정 값에 따르면, 어느 방향으로 회전되었는지를 검출할 수 있게 되므로, 벤딩 방향을 감지할 수 있다. 지자기 센서는 2축 또는 3축 플럭스게이트를 이용하여 방위각을 감지하는 센서이다. 지자기 센서로 구현된 경우, 플렉서블 디스플레이 장치(100)의 각 가장 자리 부분에 배치된 지자기 센서는 그 가장자리 부분이 벤딩되면 위치 이동이 이루어지게 되어, 그로 인한 지자기 변화에 대응되는 전기 신호를 출력한다. 플렉서블 디스플레이 장치는 지자기 센서로부터 출력되는 값을 이용하여 요우 각(yaw angle)을 산출할 수 있다. 이에 따라, 산출된 요우각의 변화에 따라 벤딩 영역 및 벤딩 방향 등과 같은 다양한 벤딩 특성을 판단할 수 있다.
이상과 같이 플렉서블 디스플레이 장치는 다양한 유형의 센서를 이용하여 벤딩을 감지할 수 있다. 상술한 센서의 구성 및 센싱 방법은 개별적으로 플렉서블 디스플레이 장치(100)에 적용될 수도 있고, 서로 조합되어 적용될 수도 있다.
한편, 감지부(미도시)는 벤딩 이외에 사용자가 디스플레이부(110)의 화면을 터치하는 조작도 감지할 수 있다.
가령, 감지부(미도시)는 디스플레이부(110) 내의 기판(111) 상에 증착된 ITO(indium-tin oxide)와 같은 투명 전도막 및 그 상측에 형성된 필름을 포함할 수 있다. 이에 따라, 사용자가 화면을 터치하면 터치된 지점의 상하판이 접촉되어 전기 신호가 제어부(130)로 전달된다. 제어부(130)는 전기 신호가 전달된 전극의 좌표를 이용하여, 터치 지점을 인식한다. 터치 감지 방식에 대해서는 다양한 선행 문헌에서 공지된 바 있으므로 더 이상의 구체적인 설명은 생략한다.
플렉서블 디스플레이 장치는 터치나 벤딩 등이 감지되었을 경우, 그 터치나 벤딩과 같은 사용자 조작이 의도된 것인지 여부를 판단한다. 이하에서는, 본 발명의 다양한 실시 예에 따라 사용자 조작 의도를 판단하는 방법에 대하여 구체적으로 설명한다.
도 9는 본 발명의 다양한 실시 예에 따른 제어 시스템의 구현 예를 설명하기 위한 도면들이다.
본 발명의 다양한 실시 예에 따라 제어 시스템은 플렉서블 디스플레이 장치(100), 전자 장치(200), 및 서버(300)를 포함할 수 있으며, 이하에서는 각 실시 예를 구분하여 설명하도록 한다.
제1 실시 예( 플렉서블 디스플레이 장치 및 피제어 기기)
도 9(a)에 도시된 바와 같이 본 발명의 일 실시 예에 따른 제어 시스템은 플렉서블 디스플레이 장치(100) 및 전자 장치(200)를 포함할 수 있다.
플렉서블 디스플레이 장치(100)는 기설정된 이벤트가 발생하면, 전자 장치(200)와 다양한 통신 방식을 통해 연동되어 전자 장치(200)를 제어하는 기능을 한다. 여기서, 기설정된 이벤트는 플렉서블 디스플레이 장치(100) 또는 전자 장치(200) 상에서 발생된 이벤트가 될 수 있다. 예를 들어, 플렉서블 디스플레이 장치(100)에서 전자 장치(200)를 피제어 기기로 선택하기 위한 사용자 명령이 수신된 경우가 될 수 있다.
여기서, 플렉서블 디스플레이 장치(100)는 휴대폰, 테블릿(tablet), PDA(Personal Digital Assitant), MP3 플레이어, e-Book, 초소형 PC, 스마트 카드, 전자 수첩 등과 같이 휴대 가능하며 디스플레이 기능을 갖춘 다양한 유형의 소형 기기로 구현될 수 있다. 다만, 경우에 따라서는 노트북, 모니터, TV 등 중/대형 화면을 구비한 기기로도 구현가능하다.
플렉서블 디스플레이 장치(100)는 외부 압력에 따라 형태가 변형될 수 있다. 예를 들어, 사용자의 손에 의해 가해지는 힘에 따라 형태가 변형될 수 있다. 다만, 경우에 따라서는 내부에서 인가되는 전압에 의해 형태가 자동으로 변경되는 것도 가능하다. 형태 변형과 관련된 구체적인 예에 대해서는 후술하도록 한다.
또한, 플렉서블 디스플레이 장치(100)는 전자 장치(200)를 제어, 특히 원격 제어하기 위한 적어도 하나의 제어 모드에 대응되는 UI(이하, 제어 모드 UI라 함)를 포함하는 사용자 인터페이스를 제공할 수 있다.
구체적으로, 플렉서블 디스플레이 장치(100)는 전자 장치(200)를 제어하기 위한 다양한 제어 모드 중 형태 변형에 대응되는 제어 모드 UI를 제공할 수 있다. 예를 들어, 제어 모드 UI는 리모콘 모드 UI가 될 수 있으며, 이에 대한 자세한 설명은 후술하도록 한다.
한편, 전자 장치(200)는 플렉서블 디스플레이 장치(100)에 의해 제어되는 피제어 기기로서, 디지털 TV, PC, DVD, 네비게이션 장치 등 디스플레이 기기로 구현가능하지만, 이에 한정되는 것은 아니다. 예를 들어, 에어컨, 냉장고, 현관 도어 등 다양한 홈 기기로 구현가능할 수 있다.
한편, 플렉서블 디스플레이 장치(100) 및 전자 장치(200)는 다양한 통신 방식을 통해 통신을 수행할 수 있다. 예를 들어, WI-FI(Wireless Fiedlity), BT(Blur Tooth), LAN, PAN, WAN, Wired I/O, 이더넷, TCP/IP, IPX, 파이어와이어, IEEE 1394, iLink, CDMA, TDMA, BT(BlueTooth), HDMI-CEC(High Definition Multimedia Interface), Wireless HDMI-CEC, RF(Radio Frequency), NFC Interface 등 다양한 통신 방식이 이용될 수 있다.
예를 들어, 플렉서블 디스플레이 장치(100)는 전자 장치(200)와 동일한 공유기에 연결되어 있으면, 사용자 명령 또는 기설정된 이벤트에 따라 전자 장치(200)를 탐색하고 전자 장치(200)에 액세스하여 전자 장치(200)에 대한 원격 제어 기능을 수행할 수 있다.
제2 실시 예( 플렉서블 디스플레이 장치, 피제어 기기 및 서버)
도 9(b)에 도시된 바와 같이 본 발명의 다른 실시 예에 따른 제어 시스템은 플렉서블 디스플레이 장치(100), 전자 장치(200) 및 서버(300)를 포함할 수 있다.
플렉서블 디스플레이 장치(100) 및 전자 장치(200)에 관한 설명은 도 9(a)에 도시된 제1 실시 예에서의 설명과 동일하므로 자세한 설명은 생략하도록 한다.
서버(300)는 디스플레이 장치(100) 및 전자 장치(200) 중 적어도 하나와 통신을 수행하는 기능을 한다.
구체적으로, 서버(300)는 WI-FI(Wireless Fiedlity), 인터넷, LAN, PAN, WAN, Wired I/O, 이더넷, TCP/IP, IPX, 파이어와이어, IEEE 1394, iLink, CDMA, TDMA, HDMI-CEC(High Definition Multimedia Interface), Wireless HDMI-CEC 등의 다양한 통신 방식을 이용하여 디스플레이 장치(100) 및 전자 장치(200) 중 적어도 하나와 통신을 수행할 수 있다.
서버(300)는 플렉서블 디스플레이 장치(100) 및 전자 장치(200) 중 적어도 하나의 요청에 따라 플렉서블 디스플레이 장치(100)에 형태 변형에 대응하는 사용자 인터페이스를 구성하기 위한 UI 정보 및 대응되는 제어 정보를 제공할 수 있다. 여기서, 서버(300)는 클라우드 컴퓨팅 기술을 이용하는 클라우드 서버로 구현가능하지만, 이에 한정되는 것은 아니다. 여기서, 클라우드 컴퓨팅(cloud computing)은 클라우드 기반의 컴퓨팅(computing) 기술을 의미하는 것으로, 예를 들어, 인터넷 상의 유틸리티 데이터 서버에 프로그램을 두고 그때 그때 컴퓨터나 휴대폰 등에 불러와서 사용하는 웹에 기반한 소프트웨어 서비스이다.
또한, 서버(300)는 다양한 UI 정보 및 이에 대응되는 제어 정보(예를 들어, 코드 정보)를 해당 서비스 제공자를 통해 업데이트할 수 있다. 예를 들어, 리모콘 UI의 경우, 제어 정보는 이진 코드 형태의 적외선 리모콘 코드가 될 수 있다. 또한, 키보드 코드의 경우, 제어 정보는 자바 스크립트 모드 형태가 될 수 있다.
한편, 서버(300)는 물리적 구현 형태에 따라 외부 서버로 구현되거나, 플렉서블 디스플레이 장치(100) 내 또는 전자 장치(200) 내에 구비되는 임베디드 서버로 구현될 수도 있다. 서버(300)가 전자 장치(200) 내의 임베디드 서버로 구현되는 경우 전자 장치(200)가 상술한 UI 정보 및 대응되는 제어 정보를 제공할 수 있다.
도 10 내지 12는 본 발명의 다양한 실시 예에 따른 제어 시스템의 동작을 설명하기 위한 도면들이다.
도 10(a)는 본 발명의 일 실시 예에 따른 제어 시스템의 동작을 설명하기 위한 타이밍도이다.
도 10(a)에 도시된 바에 따르면, 우선 기설정된 이벤트가 발생하면, 플렉서블 디스플레이 장치(100)와 전자 장치(200)가 기정의된 통신 방식에 따라 통신을 수행하여 연동 상태가 된다(S1011). 여기서, 연동은 플렉서블 디스플레이 장치(100)와 전자 장치(200) 간에 통신이 초기화되는 동작, 네트워크가 형성되는 동작, 기기 페어링이 수행되는 동작 등 통신이 가능한 상태가 되는 모든 상태를 의미할 수 있다. 예를 들어, 플렉서블 디스플레이 장치(100)의 기기 식별 정보가 전자 장치(200)로 제공되고, 그에 따라 양 기기 간의 페어링 절차가 수행될 수 있다. 예를 들어, 플렉서블 디스플레이 장치(100)에서 기설정된 이벤트가 발생하면, DLNA(Digital Living Network Alliance) 기술을 통해 주변 기기를 탐색하고 탐색된 기기와 페어링을 수행하여 연동 상태가 될 수 있다.
여기서, 기설정된 이벤트는 플렉서블 디스플레이 장치(100)와 전자 장치(200) 중 적어도 하나에서 발생될 수 있다. 예를 들어, 플렉서블 디스플레이 장치(100)에서 전자 장치(200)를 피 제어 기기로 선택하는 사용자 명령이 입력되거나, 전자 장치(200)이 전원이 ON되는 경우가 이에 해당될 수 있다.
이어서, 플렉서블 디스플레이 장치(100)는 형태 변형이 감지되면(S1012), 플렉서블 디스플레이 장치(100)는 변형된 형태에 대응되는 UI를 제공한다(S1013). 여기서, UI는 전자 장치(200)를 제어하기 위한 제어 모드 UI로써, 플렉서블 디스플레이 장치(100)에 기 저장되어 있는 형태가 될 수 있다. 구체적으로, 플렉서블 디스플레이 장치(100)는 형태 변형으로 인한 디스플레이 가능한 면의 모양, 크기 정보 등을 분석하고, 변형된 형태에 대응되는 UI를 검색 또는 생성하거나 기 저장된 UI 정보를 재구성하여 제공할 수 있다. 예를 들어, 플렉서블 디스플레이 장치(100)는 내부 메모리 또는 외부 메모리 또는 외부 데이터 서버를 통해 대응되는 UI 정보를 검색하고, 검색된 정보를 재구성하여 변형된 형태에 대응되는 UI를 제공할 수 있다.
한편, 제어 모드는 사용자에 의해 선택되거나, 전자 장치(200)로부터 수신하는 것도 가능하다. 예를 들어 사용자가 UI가 표시되기를 원하는 제어 모드, "예를 들어 리모컨 모드"를 선택하거나, 전자 장치(200)로부터 요구되는 제어 모드 "예를 들어 리모컨 모드"를 수신할 수 있다.
이어서, 제공된 UI를 통해 입력된 사용자 명령이 수신되면(S1014), 플렉서블 디스플레이 장치(100)는 입력된 사용자 명령에 대응되는 제어 신호를 전자 장치(200)로 전송한다(S1015). 이 경우, 제공된 UI에 대응되는 전자 장치(200)를 제어하기 위한 제어 정보(예를 들어, 코드 정보)는 플렉서블 디스플레이 장치(100)에 기저장되어 있을 수 있다.
이에 따라 전자 장치(200)에서는 수신된 제어 신호에 대응되는 형태의 제어 동작이 수행될 수 있다.
한편, 본 실시 예에서는 플렉서블 디스플레이 장치(100)와 전자 장치(200)가 연동된 이후에 플렉서블 디스플레이 장치(100)의 형태 변형이 있는 것으로 설명하였지만, 이는 일 실시 예에 불과하며 S1011 및 S1012 단계의 순서는 변경될 수 있다.
도 10(b)는 본 발명의 다른 실시 예에 따른 제어 시스템의 동작을 설명하기 위한 타이밍도이다. 도 10(b)에 도시된 각 단계 중 도 10(a)에 도시된 단계와 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
도 10(b)에 도시된 바에 따르면, 우선 기설정된 이벤트가 발생하면 플렉서블 디스플레이 장치(100)와 전자 장치(200)가 기정의된 통신 방식에 따라 통신을 수행하여 연동 상태가 된다(S1021).
이어서, 전자 장치(200)에서 플렉서블 디스플레이 장치(100)의 제어 모드 전환을 위한 기설정된 이벤트가 발생하면(S1022), 전자 장치(200)는 해당 이벤트 발생 신호를 플렉서블 디스플레이 장치(100)로 전송한다(S1023).
이어서, 이벤트 발생 신호에 따라 플렉서블 디스플레이 장치(100)의 형태가 자동으로 변형되고(S1024), 플렉서블 디스플레이 장치(100)는 변형된 형태에 대응하는 UI를 제공한다(S1025). 여기서, UI는 전자 장치(200)를 제어하기 위한 제어 모드 UI가 될 수 있다. 예를 들어, 플렉서블 디스플레이 장치(100)에서 발생된 이벤트가 문자 입력을 필요로 하는 이벤트인 경우 해당 이벤트에 대응되는 제어 모드, 예를 들어 키보드 모드를 제공하도록 플렉서블 디스플레이 장치(100)의 형태가 자동으로 변형될 수 있다.
이어서, 플렉서블 디스플레이 장치(100)에서 제공된 UI를 통해 입력된 사용자 명령이 수신되면(S1026), 플렉서블 디스플레이 장치(100)는 수신된 사용자 명령에 대응되는 제어 신호를 전자 장치(200)로 전송한다(S1027). 이에 따라 전자 장치(200)에서는 수신된 제어 신호에 대응되는 형태의 제어 동작이 수행될 수 있다.
한편, 본 실시 예에서는 플렉서블 디스플레이 장치(100)와 전자 장치(200)가 연동된 이후에 전자 장치(200)에서 플렉서블 디스플레이 장치(100)의 제어 모드 전환을 위한 기설정된 이벤트가 발생하는 것으로 설명하였지만, 이는 일 실시 예에 불과하며 S1021 및 S1022 단계의 순서는 변경될 수 있다.
도 11은 본 발명의 또 다른 실시 예에 따른 제어 시스템의 동작을 설명하기 위한 타이밍도이다. 도 11에 도시된 각 단계 중 도 10에 도시된 단계와 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
도 11에 도시된 바에 따르면, 우선 기설정된 이벤트가 발생하면, 플렉서블 디스플레이 장치(100)와 전자 장치(200)가 기정의된 통신 방식에 따라 통신을 수행하여 연동 상태가 된다(S1111).
이어서, 플렉서블 디스플레이 장치(100)의 형태가 변형되면(S1112), 플렉서블 디스플레이 장치(100)는 변형된 형태에 대응되는 신호(이하에서, 형태 변형 정보라 함)를 전자 장치(200)로 전송한다(S1113). 또한 경우에 따라서는 기기 정보 및 사용하고자 하는 제어 모드 정보를 함께 전송할 수 있다. 여기서, 형태 변형 정보는 형태 변형으로 인한 디스플레이 가능한 면의 모양, 크기 정보 등이 될 수 있다.
이 경우, 전자 장치(200)는 플렉서블 디스플레이 장치(100)로부터 수신된 형태 변형 정보에 대응되는 UI 정보를 판단한다(S1114). 구체적으로, 전자 장치(200)는 기기 정보 및 화면 표시 정보를 이용하여 플렉서블 디스플레이 장치(100)의 화면에 표시할 제어 모드 UI의 크기 및 각 구성 배치를 결정할 수 있다.
한편, 전자 장치(200)는 현재 전자 장치(200)에서 제공하는 컨텐츠 특성을 고려하여 수신된 형태 변형 정보에 대응되는 UI 정보를 판단할 수 있다. 예를 들어, 형태 변형 정보가 "세로축 두번 폴딩 형태"에 관한 정보이며, 전자 장치(200)의 화면에서 제공하는 컨텐츠가 방송 채널에서 제공하는 방송 컨텐츠인 경우 전자 장치(200)는 방송 채널을 제어하기 위한 리모콘 모드 UI를 검색 또는 생성하거나, 기저장된 정보를 이용하여 재조합할 수 있다.
전자 장치(200)는 검색된 UI 정보를 플렉서블 디스플레이 장치(100)에 제공한다(S1115). 이 경우, 전자 장치(200)는 플렉서블 디스플레이 장치(100)에 대응되는 기기 드라이버 및 제어 정보를 함께 제공할 수 있다. 또한, 전자 장치(200)는 인터넷 등의 네트워크 통신을 통해 기기 드라이버 및 제어 정보를 업데이트할 수도 있다.
이어서, 플렉서블 디스플레이 장치(100)는 수신된 UI 정보를 기초로 변형된 형태에 대응되는 UI를 제공한다(S1116). 여기서, UI 정보는 각 제어 모드에 대응되는 UI에 포함되는 다양한 입력 도구 영역 크기 및 배치 정보가 될 수 있다. 예를 들어, 키보드 모드인 경우 한/영 자판의 배치 영역 크기, 숫자 자판의 배치 영역 크기 및 배치 위치 등이 UI 정보에 포함될 수 있다.
한편, 플렉서블 디스플레이 장치(100)는 전자 장치(200) 제어를 위한 기기 드라이버를 설치하고, 수신된 UI 정보를 기초로 UI를 표시할 수 있다.
이어서, 제공된 UI를 통해 입력된 사용자 명령이 수신되면(S1117), 플렉서블 디스플레이 장치(100)는 수신된 사용자 명령에 대응되는 제어 신호(또는 제어 정보)를 전자 장치(200)로 전송한다(S1118). 이에 따라 전자 장치(200)에서는 수신된 제어 신호에 대응되는 형태의 제어 동작이 수행될 수 있다.
도 12는 본 발명의 또 다른 실시 예에 따른 제어 시스템의 동작을 설명하기 위한 타이밍도이다. 도 12에 도시된 각 단계 중 도 10, 도 11에 도시된 단계와 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
도 12에 도시된 바에 따르면, 우선 기설정된 이벤트가 발생하면, 플렉서블 디스플레이 장치(100)와 전자 장치(200)가 기정의된 통신 방식에 따라 통신을 수행하여 연동 상태가 된다(S1211).
이어서, 플렉서블 디스플레이 장치(100)의 형태가 변형되면(S1212), 플렉서블 디스플레이 장치(100)는 변형된 형태에 대응되는 형태 변형 정보를 서버(300)로 전송한다(S1213). 그 밖에, 플렉서블 디스플레이 장치(100)는 기기 정보, 피제어 기기 정보, 사용하고자 하는 제어 모드 정보 중 적어도 하나를 더 전송할 수 있다. 플렉서블 디스플레이 장치(100)가 서버(300)로 피제어 기기 정보 즉, 전자 장치(200)의 정보를 전송하는 경우에는 전자 장치(200)로부터 기기 정보를 제공받아 서버(300)에 제공할 수 있다. 한편, 사용하고자 하는 제어 모드 정보는 플렉서블 디스플레이 장치(100) 장치를 통해 사용자에 의해 입력될 수도 있으나, 전자 장치(200)에서 현재 제공되는 컨텐츠 특성에 따라 전자 장치(200)를 통해 제공될 수도 있다.
이 경우, 서버(300)는 수신된 형태 변형 정보에 대응되는 UI 정보를 판단하고(S1214), 검색된 UI 정보를 플렉서블 디스플레이 장치(100)에 제공한다(S1215). 이 경우에도 마찬가지로 UI 정보 검색시 전자 장치(200)에서 제공되는 컨텐츠 특성이 고려될 수 있다.
또한, 서버(300)는 플렉서블 디스플레이 장치(100) 및 전자 장치(200) 간 제어 정보를 UI 정보와 함께 플렉서블 디스플레이 장치(100)에 전송할 수 있다. 한편, 서버(300)는 해당 업체 서버를 통해 제어 정보를 업데이트할 수 있다.
이어서, 플렉서블 디스플레이 장치(100)는 수신된 UI 정보를 기초로 변형된 형태에 대응되는 UI를 제공한다(S1216). 이 경우, 플렉서블 디스플레이 장치(100)는 전자 장치(200) 또는 서버(300)로부터 수신한 전자 장치(200) 제어를 위한 기기 드라이버를 설치할 수 있다.
이어서, 제공된 UI를 통해 입력된 사용자 명령이 수신되면(S1217), 플렉서블 디스플레이 장치(100)는 수신된 사용자 명령에 대응되는 제어 신호를 전자 장치(200)로 전송한다(S1218). 이에 따라 전자 장치(200)에서는 수신된 제어 신호에 대응되는 형태의 제어 동작이 수행될 수 있다.
도 13은 본 발명의 또 다른 실시 예에 따른 제어 시스템의 동작을 설명하기 위한 타이밍도이다. 도 13에 도시된 각 단계 중 도 10 내지 도 11에 도시된 단계와 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
도 13에 도시된 바에 따르면, 우선 기설정된 이벤트가 발생하면, 플렉서블 디스플레이 장치(100)와 전자 장치(200)가 기정의된 통신 방식에 따라 통신을 수행하여 연동 상태가 된다(S1311).
이어서, 플렉서블 디스플레이 장치(100)의 형태 변형이 감지되면(S1312), 플렉서블 디스플레이 장치(100)는 변형된 형태에 대응되는 형태 변형 정보를 전자 장치(200)로 전송한다(S1313). 그 밖에, 플렉서블 디스플레이 장치(100)는 기기 정보, 사용자고자 하는 제어 모드 정보 중 적어도 하나를 더 전송할 수 있다.
전자 장치(200)는 수신된 형태 변형 정보를 서버(300)로 전송한다(S1314). 여기서, 전자 장치(200)는 플렉서블 디스플레이 장치(100)로부터 수신된 정보에 더하여 자신의 기기 정보 및 필요로 하는 제어 모드 정보를 함께 서버(300)로 전송할 수 있다. 여기서, 제어 모드 정보는 전자 장치(200)에서 제공되는 컨텐츠 특성에 따라 결정될 수 있다.
서버(300)는 수신된 형태 변형 정보에 대응되는 UI 정보를 판단하고(S1315), 판단된 UI 정보를 전자 장치(200)에 제공한다(S1316). 이 경우, 서버(300)는 전자 장치(200)에 UI 정보에 대응되는 제어 정보를 함께 제공할 수 있다. 여기서, 서버(300)는 네트워크를 통해 인터넷 등과 연결되어 플렉서블 디스플레이 장치(100) 및 전자 장치(200)에 관한 정보를 업데이트할 수 있다. 예를 들어, 기기 드라이버 정보, 제어 정보, UI 정보 등을 업데이트 할 수 있다.
전자 장치(200)는 수신된 UI 정보 및 제어 정보를 플렉서블 디스플레이 장치(100)로 전송한다(S1317). 이에 따라, 플렉서블 디스플레이 장치(200)는 수신된 UI 정보를 기초로 변형된 형태에 대응되는 UI를 제공한다(S1318).
이어서, 제공된 UI를 통해 사용자 명령이 입력되면(S1319), 플렉서블 디스플레이 장치(100)는 입력된 사용자 명령에 대응되는 제어 신호를 전자 장치(200)로 전송한다(S1320). 이에 따라 전자 장치(200)에서는 수신된 제어 신호에 대응되는 형태의 제어 동작이 수행될 수 있다.
도 14는 본 발명의 다양한 실시 예에 따른 플렉서블 디스플레이 장치의 구성을 설명하기 위한 블록도이다.
도 14(a)에 도시된 본 발명의 일 실시 예에 따른 플렉서블 디스플레이 장치(100)는 디스플레이부(110), 감지부(120) 및 제어부(130)를 포함한다.
플렉서블 디스플레이 장치(100)는 상술한 바와 같이 종이처럼 구부릴 수 있다(Curved, Bendable). 예를 들어, 플렉서블 디스플레이 장치(100)는 디스플레이부(110)의 화면이 외부를 향햐도록 폴딩(folding)될 수 있다. 여기서 폴딩(folding)이란 평면 형상의 디스플레이부(110)가 종이처럼 접혀진 상태를 의미한다.
또한, 플렉서블 디스플레이 장치(100)는 두루마리 형태로 롤링(rolling)이 가능하다. 예를 들어, 디스플레이부(110)의 화면이 외벽을 이루는 기둥 형상이 되도록 롤링 가능하도록 구현될 수 있다. 여기서 롤링(rolling)이란 평면 형상의 디스플레이부(110)가 기둥 형상으로 둥글게 말아진 형태를 의미한다.
디스플레이부(110)는 다양한 형태의 사용자 인터페이스를 제공할 수 있다.
또한, 디스플레이부(100)는 플렉서블 디스플레이 장치(100) 본연의 기능에 따라 다양한 객체를 디스플레이할 수 있으며, 여기서 객체는 컨텐츠, 기능 메뉴, 아이콘, 사진, 이미지, 텍스트, 위젯 영역 등 다양한 형태가 될 수 있다.
한편, 디스플레이부(110)의 구성에 대해서는 도 1의 디스플레이부(10)의 구성에서 자세히 설명하였으므로 더 이상의 설명은 생략하도록 한다.
감지부(120)는 디스플레이부(110)의 형태 변형을 감지하는 기능을 한다.
구체적으로, 감지부(120)는 디스플레이 장치(100)의 폴딩 상태, 롤링 상태 등을 감지할 수 있다. 또한, 디스플레이 장치(100)가 폴딩, 롤링된 상태에서의 터치 상태, 회전 상태 등을 감지할 수 있다.
여기서, 폴딩 상태는 디스플레이부(110)의 폴딩 정도, 폴딩 영역, 폴딩 방향, 폴딩 지속 시간 등이 될 수 있으며, 롤링 상태는 롤링 강도, 롤링 영역, 롤링 방향, 롤링 지속 시간 등이 될 수 있다. 또한, 터치 상태는 디스플레이부(110)가 폴딩 또는 롤링된 상태에서 터치 조작 타입(예를 들어, 탭(tap), 드래그(drag), 플릭(flick) 등), 터치 압력, 터치 방향, 터치 지속 시간 등이 될 수 있다. 또한, 회전 상태는 디스플레이부(110)가 폴딩 또는 롤링된 상태에서의 회전 방향, 회전 속도, 회전 시간 등이 될 수 있다. 이는 다양한 종류의 센서를 통해 가능할 수 있으며, 예를 들어, 감지부(120)는 밴드 센서, 터치 센서, 압력 센서, 움직임 센서, 기울기 센서 중 적어도 하나를 구비할 수 있다.
또한, 감지부(120)는 디스플레이부(110) 전면에 배치된 터치 센서를 이용하여 사용자의 신체(예를 들어, 손가락)이나 스타일러스 펜 등으로부터 입력되는 터치를 인식하고, 입력된 터치 정보를 후술할 제어부(130)로 전달할 수 있다.
한편, 경우에 따라 감지부(120)는 움직임 및 움직임 발생시 가속도를 측정할 수 있는 움직임 센서, 디스플레이부(110)에 가해지는 압력을 감지하는 압력 센서, 중력 방향으로 기준으로 기울기를 감지할 수 있는 기울기 센서 등과 같은 다양한 센서를 이용하여 디스플레이부(110)가 휘어지는 영역, 방향 및 정도를 감지할 수 있다.
제어부(130)는 감지부(120)의 감지 결과에 따라, 감지된 형태 변형에 대응하는 사용자 인터페이스가 표시되도록 디스플레이부(110)를 제어할 수 있다. 이 경우, 사용자 인터페이스를 표시하기 위한 UI 정보는 기저장되어 있거나, 외부로부터 수신될 수 있다. 이에 대한 자세한 설명은 후술하도록 한다.
여기서, 형태 변형은 폴딩, 롤링 등과 같은 형태 변형을 포함할 수 있으나, 이에 한정되는 것인 아니다. 한편, 폴딩의 경우, 폴딩 방향, 폴딩 영역 등에 따라 서로 다른 폴딩 상태가 될 수 있으며, 롤링의 경우 롤링 방향, 롤링 영역, 롤링 강도 등에 따라 서로 다른 롤링 상태가 될 수 있다.
또한, 변형된 형태에 대응되는 사용자 인터페이스는 타 기기(미도시)와 연동되어 타 기기를 제어할 수 있는 적어도 하나의 제어 모드 UI를 포함하는 형태가 될 수 있다. 여기서, 제어 모드에는, 문자 입력 모드, 원격 제어 모드, 터치 모드, 포인터 모드, 음성 인식 모드 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 다만, 이하에서는 설명의 편의를 위하여 플렉서블 디스플레이 장치가 키보드 모드, 리모컨 모드, 터치 모드의 제어 모드를 제공하는 것으로 상정하여 설명하도록 한다.
[ 사용자 인터페이스 형태 ]
한편, 각 변형 형태에 대응되는 사용자 인터페이스 형태는 아래의 표 1과 같이 정의될 수 있다. 하지만, 이 또한 일 실시 예에 불과하며 인터페이스 형태는 다양하게 변경될 수 있다.
변형 형태 제공되는 사용자 인터페이스 형태
평면 형태(폴딩하지 않은 경우)
 키보드 모드 UI,
리모컨 모드 UI,
터치 모드 UI,
키보드 일부 영역 UI(우측에 배치된 방향키 및 숫자 영역 제외한 영역) + 터치 모드 UI
키보드 일부 영역 UI(우측에 배치된 방향키 및 숫자 영역 제외한 영역) + 리모컨 모드 UI
키보드 일부 영역 UI(우측에 배치된 방향키 및 숫자 영역 제외한 영역) + 터치 모드 UI + 리모컨 모드 UI
터치 모드 UI + 리모컨 모드 UI
키보드 모드 UI + 리모컨 모드 UI + 터치 모드 UI
한번 폴딩
 가로축 또는 세로축 폴딩 키보드 일부 영역 UI(우측에 배치된 방향키 및 숫자 영역 제외한 영역)
리모컨 모드 UI,
터치 모드 UI,
키보드 일부 영역 UI(우측에 배치된 방향키 및 숫자 영역 제외한 영역) + 터치 모드 UI
키보드 일부 영역 UI(우측에 배치된 방향키 및 숫자 영역 제외한 영역) + 리모컨 모드 UI
약식 키보드 UI(한글 모음 자음 수준) + 터치 모드 UI + 리모컨 모드 UI
두번 폴딩 동일 방향 폴딩 약식 키보드 UI(한글 모음 자음 수준)
키보드 일부 영역 UI(우측에 배치된 방향키 및 숫자 영역 제외한 영역)
리모컨 모드 UI
터치 모드 UI
서로 다른 방향 폴딩 약식 키보드 UI(한글 모음 자음 수준)
리모컨 모드 UI
터치 모드 UI
포인터 모드(마우스 기능을 대신하거나, 프리젠이션에서 설명 지점 표시)
위저드 모드(공간상 자세나 회전 또는 병진 운동 감지)
특정 영역 폴딩 리지드(Rigid) + 플렉서블 영역이 동시에 존재하는 경우 플렉서블 영역에 대한 폴딩 수행
리지드 영역, 즉 폴딩 금지 영역(제품 테두리 또는 일부 액정)에 색, 기호 등으로 식별 표시
부분 롤링 가로축 또는 세로축 롤링 롤링 또는 롤링되지 않은 면적에 따라 대응되는 UI,
롤링 해제 조작(한쪽 면을 잡아당기는 조작)을 통해 면적 조정 가능
전체 롤링 가로축 또는 세로축 롤링 포인터 모드,위저도 모드, 게임 도구 모드, 마이크 모드
또한, 각 변형 형태에 대응되는 사용자 인터페이스 형태는 표 1에 기재된 바와 같이 기정의되어 있을 수도 있으나, 사용자에 의해 설정되는 것도 물론 가능하다.
[ 각 제어 모드가 요구되는 이벤트 ]
또한, 각 제어 모드 UI 가 요구되는 이벤트는 예를 들면 다음과 같은 경우가 있을 수 있다.
제어 모드 제어 모드 요구 상황
키보드 모드
 피제어 기기에서 웹브라우저 검색창을 선택한 경우, 아이디 비밀 번호 등 로그인 입력창을 선택한 경우와 같이 문자, 숫자 등의 입력이 필요한 상황
피제어 기기에서 문자, 숫자 등을 입력하기 위한 프로그램, 예를 들어 워드, 한글, 훈민정음, 메모장 등이 실행된 경우
리모컨 모드 피제어 기기에서 사용자가 방송 채널 선택과 같은 TV 시청 기능이 실행된 경우
터치 모드 피제어 기기에서 어플리케이션 화면과 같이 포인팅을 통한 선택 동작을 요하는 화면이 디스플레이된 경우, 마우스 기능이 필요한 경우
포인터 모드 피제어 기기에서 슬라이드 쇼와 같은 포인터 기능을 요하는 프리젠테이션 화면이 디스플레이된 경우
게임용 입력 모드 게임이 실행된 경우


기타
 음성 인식 모드 음성 명령 등을 통해 피제어 기기를 제어할 수 있음
펜 모드 피제어 기기가 예를 들어 대형 디스플레이로 구현되는 경우, 펜 모드를 통해 터치, 어플 수행, 글자 입력 등을 수행함으로써 피 제어 기기를 제어할 수 있음
한편, 피제어 기기의 일부 영역에 TV 화면이 디스플레이되고, 나머지 영역에 문자 또는 숫자의 입력을 요하는 화면이 디스플레이된 경우 등과 같이 제어 모드 요구 상황이 화나의 화면에 함께 발생되는 경우에는 리모컨 모드 + 키보드 모드 형태의 UI 가 요구됨은 당연하다.
다만, 표 2에 도시된 실시 예는 일 예에 불과하며, 이외에도 다양한 경우가 있을 수 있다.
[ 기기 변형 형태 판단 ]
제어부(130)는 감지부(120)에서 감지된 감지 결과에 따라 기기의 변형 형태를 판단할 수 있다.
예를 들어, 제어부(130)는 벤드 센서의 출력값을 통해 구부러진 경계선을 인식하고, 폴딩시 생성되는 직선의 두 끝 좌표값을 계산함으로 폴딩시 기기 형태를 판단할 수 있다. 또한, 제어부(130)는 활성화된 디스플레이 영역을 둘러싼 다각형의 꼭지점을 계산하여 형태를 파악할 수도 있다. 이 경우 폴딩시 디스플레이부(110) 테두리도 직선이 된다고 가정할 수 있다.
한편 제어부(130)는 롤러(미도시)의 회전각을 이용하여 롤링 정보를 판단할 수 있다.
[ 기기 변형에 따른 UI 제공을 위한 디스플레이면 판단 ]
1) 터치를 통한 디스플레이 면 판단
제어부(130)는 폴딩으로 인해 구분된 복수의 화면 중 사용자의 터치 입력을 받은 화면을 디스플레이면으로 판단하여 활성화시킬 수 있다. 경우에 따라서는 사용자의 터치가 용이하게 이루어지도록 폴딩으로 구분된 복수의 화면 각각에 사용자가 터치할 수 있는 아이콘을 제공할 수 있다.
2) 얼굴 인식을 통한 디스플레이 면 판단
또한, 제어부(130)는 카메라(미도시)를 통한 얼굴 인식을 통해 디스플레이면을 판단할 수 있다. 예를 들어, 폴딩으로 인해 구분된 복수의 화면에 설치된 카메라(미도시)를 이용하여 얼굴을 인식하고, 얼굴이 인식된 카메라가 설치된 화면을 디스플레이면으로 판단할 수 있다. 얼굴 인식의 경우 명확한 얼굴 형태를 인식하지 않더라도 얼굴 모양, 눈썹, 눈, 코, 입, 머리카락 등 적어도 하나의 얼굴 특징 부위를 인식함으로써 사용자가 바라보는 화면을 판단할 수 있다.
3) 가속도계를 이용한 디스플레이 면 판단
또한, 제어부(130)는 벤딩 라인 및 가속도계 등을 이용한 감지부(120)의 감지 결과에 따라 디스플레이면을 판단할 수 있다. 다만, 이 경우 플렉서블 디스플레이 장치(100)의 디스플레이면은 중력 가속도 반향과 반대 방향, 즉 사용자는 플렉서블 디스플레이 장치(100)의 위에서 아래 방향으로 보며 조작을 한다고 가정하도록 한다.
구체적으로, 제어부(130)는 감지부(120)에서 감지된 벤딩 라인을 통해 플렉서블 디스플레이 장치(100)가 폴딩된 상태를 판단할 수 있다. 예를 들어, 가로축 + 세로축 벤딩인 경우 폴딩으로 구분된 4개의 화면 중 디스플레이가 가능한 두 개의 화면을 선별할 수 있다.
이어서, 제어부(130)는 가속도계 감지 결과를 이용하여 플렉서블 디스플레이 장치(100)의 자세를 판단할 수 있다. 예를 들어, 가속도계에서 감지된 중력 가속도 결과를 이용하여 가속도계가 설치된 화면의 자세를 판단할 수 있으며, 벤딩 형태에 따라 나머지 화면의 자세를 판단할 수 있다.
이 후, 제어부(130)는 디스플레이 가능한 두 개의 화면 중 중력 가속도 방향과 반대 방향의 화면을 디스플레이면으로 판단할 수 있다.
4) 사용자의 파지 동작에 따른 디스플레이 면 판단
양손 파지 동작이 있는 경우, 제어부(130)는 두 엄지 손가락 및 나머지 네 손가락이 터치된 영역에서 압력센서나 터치 센서 등에서 두 엄지 손가락이 접지된 면을 디스플레이 면으로 판단한다.
한편, 한손 파지 동작이 있는 경우, 제어부(130)는 엄지 손가락 및 나머지 네 손가락이 터치된 영역에서 압력센서나 터치 센서 등에서 엄지 손가락이 접지된 면을 디스플레이 면으로 판단한다. 이 경우, 전면 및 후면의 손가락 접지면에 센싱된 손가락 개수나 접지된 면의 형태로 디스플레이 면을 판단할 수도 있다.
5) 일면이 특정 객체와 기설정된 거리 범위 내에 있는 경우의 디스플레이 면 판단
제어부(130)는 폴딩으로 인해 구분된 화면 중 일면이 장애물에 근접하여 있거나, 맞닿아 있는 경우와 같은 상황에서 해당 면을 디스플레이 면에서 제외시킬 수 있다.
한편, 상술한 실시 예에서는 가로축 + 세로축 폴딩의 경우를 예를 들어 설명하였지만, 동일 방향의 한번 폴딩, 두번 폴딩, 롤링의 경우에도 유사한 방식이 적용될 수 있으므로 자세한 설명은 생략하도록 한다.
다만, 전체 롤링의 경우에는 손으로 파지할 수 있는 영역을 고려하여 디스플레이 영역을 미리 설정할 수 있다. 이에 따라 사용자에게 파지 영역에 대한 가이드를 제공할 수도 있다.
한편, 도면에는 도시되지 않았지만, 입력부(미도시)는 디스플레이부(110)를 통해 제공되는 사용자 인터페이스에 대응하는 면에 대한 선택을 사용자로부터 입력받는 기능을 한다. 예를 들어, 플렉서블 디스플레이 장치(100)가 폴딩된 경우 사용자는 입력부(미도시)를 통해 폴딩된 양 면 중 하나의 면을 선택할 수 있다. 또한, 사용자는 입력부(미도시)를 통해 사용자 인터페이스를 표시할 영역을 지정하는 것도 가능하다.
여기서, 입력부(미도시)는 디스플레이부(110)가 터치패드와 상호 레이어 구조를 이루는 터치 스크린 형태로 구현되는 경우, 디스플레이부(110)와 일체의 구성으로 구현될 수 있다. 이 경우, 터치스크린은 터치 입력 위치 및 면적 뿐만 아니라 터치 입력 압력까지도 검출할 수 있도록 구성될 수 있다.
또한, 입력부(미도시)는 디스플레이부(110)를 통해 제공되는 사용자 인터페이스를 통해 전자 장치(200)를 제어하기 위한 사용자 명령을 입력받을 수 있다.
UI 처리부(미도시)는 다양한 UI를 2D 또는 3D 형태로 처리/생성하는 기능을 한다. 여기서, UI는 상술한 바와 같이 플렉서블 디스플레이 장치(100)의 형태 변형에 대응되는 다양한 형태의 제어 모드 UI가 될 수 있다. 또한, UI 처리부(170)는 UI 요소의 2D/3D 전환, 투명도, 색상, 크기, 형태 및 위치 조정, 하이라이트, 애니메이션 효과 등의 작업을 수행할 수 있다.
도 14(b)는 본 발명의 다른 실시 예에 따른 플렉서블 디스플레이 장치의 구성을 설명하기 위한 블록도이다.
도 14(b)에 따르면, 플렉서블 디스플레이 장치(300)는 디스플레이부(410), 감지부(420), 통신부(430) 및 제어부(430)를 포함한다. 도 14(b)에 도시된 구성 요소들 중 도 14(a)에 도시된 구성요소들의 설명과 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
디스플레이부(410)는 다양한 형태의 사용자 인터페이스를 제공할 수 있다. 여기서, 사용자 인터페이스는 전자 장치(200)와 같은 타 기기를 제어할 수 있는 적어도 하나의 제어 모드 UI를 포함할 수 있다. 여기서, 제어 모드는, 키보드 모드, 리모컨 모드, 터치 모드 중 적어도 하나의 형태로 구현될 수 있다.
감지부(420)는 디스플레이부(410)의 형태 변형을 감지하는 기능을 한다.
통신부(430)는 전자 장치(200)와 통신을 수행하는 기능을 한다.
통신부(430)는 제어부(440)의 제어에 따라 감지부(420)에서 감지된 형태 변형에 대응하는 제1 정보를 전자 장치(200)로 전송하고, 전송된 제1 정보에 대한 응답으로 전자 장치(200)로부터 제2 정보를 수신할 수 있다.
여기서, 제1 정보는 감지된 형태 변형에 대응되는 신호 및 감지된 형태 변형에 대응되는 제어 모드에 대응되는 신호 중 적어도 하나가 될 수 있다.
제1 정보가 감지된 형태 변형에 대응되는 신호인 경우 제1 정보는 감지된 형태 변형에 대응되는 디스플레이부(110)의 크기 정보를 포함할 수 있다.
또한, 디스플레이부(110)의 형태가 변형된 상태에서 사용자의 영역 설정 조작이 있는 경우 설정된 영역에 대한 정보가 제1 정보에 포함될 수도 있다. 여기서, 설정된 영역에 대한 정보는, 영역 위치, 영역 크기, 영역 개수 등이 될 수 있다. 이에 대한 자세한 설명은 도 23을 참조하여 후술하도록 한다.
또한, 제2 정보는 감지된 형태 변형에 대응되는 UI 정보가 될 수 있다.
한편, 통신부(430)는 경우에 따라 전자 장치(200)에 기기 정보를 전송할 수 있다.
제어부(440)는 통신부(430)를 통해 수신된 제2 정보를 기초로 사용자 인터페이스가 표시되도록 제어할 수 있다.
구체적으로, 제어부(440)는 감지된 형태 변형에 대응되는 UI 정보에 따라 사용자 인터페이스를 구성하여 표시하도록 제어할 수 있다.
경우에 따라서 제어부(440)는 서버(300)로부터 수신된 UI 정보를 기초로 사용자 인터페이스를 구성하여 표시하도록 제어할 수 있다.
도 15는 도 14(a)에 도시된 따른 플렉서블 디스플레이 장치의 세부 구성을 나타내는 블럭도이다.
도 15에 따르면, 플렉서블 디스플레이 장치(100)는 디스플레이부(110), 감지부(120), 제어부(130), 저장부(140), 통신부(150), 음성 인식부(160), 모션 인식부(170), 스피커(180), 외부 입력 포트(190-1 ~ 190-n), 전원부(500)를 포함한다.
디스플레이부(110)는 플렉서블한 특성을 가진다. 디스플레이부(110)의 세부 구성 및 동작에 대해서는 상술한 부분에서 구체적으로 설명하였으므로, 중복 설명은 생략한다.
저장부(140)에는 플렉서블 디스플레이 장치(100)의 동작과 관련된 각종 프로그램이나 데이터, 사용자가 설정한 설정 정보, 시스템 구동 소프트웨어(Operating Software), 각종 어플리케이션 프로그램, 사용자 조작 내용에 대응되는 동작에 대한 정보 등이 저장될 수 있다.
감지부(120)는 디스플레이부(110)를 비롯한 플렉서블 디스플레이 장치(100) 전체의 벤딩 상태 및 터치 상태를 감지한다. 도 26에 따르면, 감지부(120)는 터치 센서(121), 지자기 센서(122), 가속도 센서(123), 벤드 센서(124), 압력 센서(125), 근접 센서(126), 그립 센서(127) 등과 같은 다양한 유형의 센서를 포함할 수 있다.
터치 센서(121)는 정전식 또는 감압식으로 구현될 수 있다. 정전식은 디스플레이부(110) 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 디스플레이부(110) 표면에 터치되었을 때 사용자의 인체로 여기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다. 이상과 같이 터치 센서(121)는 다양한 형태로 구현될 수 있다.
지자기 센서(122)는 플렉서블 디스플레이 장치(100)의 회전 상태 및 이동 방향 등을 감지하기 위한 센서이고, 가속도 센서(123)는 플렉서블 디스플레이 장치(100)의 기울어진 정도를 감지하기 위한 센서이다. 상술한 바와 같이, 지자기 센서(122) 및 가속도 센서(123)는 각각 플렉서블 디스플레이 장치(100)의 벤딩 방향이나 벤딩 영역 등과 같은 벤딩 특성을 검출하기 위한 용도로 사용될 수도 있지만, 이와 별도로, 플렉서블 디스플레이 장치(100)의 회전 상태 또는 기울기 상태 등을 검출하기 위한 용도로 사용될 수도 있다.
벤드 센서(124)는 상술한 바와 같이 다양한 형태 및 개수로 구현되어, 플렉서블 디스플레이 장치(100)의 벤딩 상태를 감지할 수 있다. 벤드 센서(124)의 구성 및 동작에 대한 다양한 예는 상술한 바 있으므로, 중복 설명은 생략한다.
압력 센서(125)는 사용자가 터치 또는 벤딩 조작을 할 때 플렉서블 디스플레이 장치(100)에 가해지는 압력의 크기를 감지하여 제어부(130)로 제공한다. 압력 센서(125)는 디스플레이부(110)에 내장되어 압력의 크기에 대응되는 전기 신호를 출력하는 압전 필름(piezo film)을 포함할 수 있다. 도 26에서는 압력 센서(125)가 터치 센서(121)와 별개인 것으로 도시하였으나, 터치 센서(121)가 감압식 터치 센서로 구현된 경우, 그 감압식 터치 센서가 압력 센서(150)의 역할도 함께 할 수도 있다.
근접 센서(126)는 디스플레이 표면에 직접 접촉되지 않고 접근하는 모션을 감지하기 위한 센서이다. 근접 센서(126)는 고주파 자계를 형성하여, 물체 접근 시에 변화되는 자계 특성에 의해 유도되는 전류를 감지하는 고주파 발진 형, 자석을 이용하는 자기 형, 대상체의 접근으로 인해 변화되는 정전 용량을 감지하는 정전 용량 형과 같은 다양한 형태의 센서로 구현될 수 있다.
그립 센서(127)는 압력 센서(125)와 별개로 플렉서블 디스플레이 장치(100)의 테두리나 손잡이 부분에서 배치되어, 사용자의 그립(grip)을 감지하는 센서이다. 그립 센서(127)는 압력 센서나 터치 센서로 구현될 수 있다.
제어부(130)는 감지부(120)에서 감지된 각종 감지 신호를 분석하여, 사용자의 의도를 파악하고, 그 의도에 부합되는 동작을 수행한다. 제어부(130)에서 수행되는 동작의 일 예로는 외부 기기와의 통신을 통해 획득한 데이터 또는, 저장부(140)에 저장된 데이터를 처리하여 디스플레이부(110) 및 스피커(180) 등을 통해 출력하는 동작을 수행할 수 있다. 이 경우, 제어부(130)는 통신부(150)를 이용하여 외부 기기와 통신을 수행할 수 있다.
통신부(150)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(150)는 방송 수신 모듈(151), 근거리 무선 통신 모듈(152), GPS 모듈(153), 무선 통신 모듈(154) 등과 같은 다양한 통신 모듈을 포함할 수 있다. 여기서, 방송 수신 모듈(151)이란 지상파 방송 신호를 수신하기 위한 안테나, 복조기, 등화기 등을 포함하는 지상파 방송 수신 모듈(미도시), DMB 방송 신호를 수신하여 처리하기 위한 DMB 모듈 등을 포함할 수 있다. 근거리 무선 통신 모듈(152)이란 NFC(Near Field Communication)나 블루투스, 지그비 방식 등과 같은 근거리 무선 통신 방식에 따라, 근거리에 위치한 외부 기기와 통신을 수행하기 위한 모듈이다. GPS 모듈(153)이란 GPS 위성으로부터 GPS 신호를 수신하여, 플렉서블 디스플레이 장치(100)의 현재 위치를 검출하기 위한 모듈이다. 무선 통신 모듈(154)이란 WiFi, IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 통신 모듈(152)은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.
제어부(130)는 상술한 통신부(150)의 각 구성 요소 중 사용자가 의도한 동작 수행에 필요한 구성 요소들을 선택적으로 활성화시켜, 동작을 수행할 수 있다.
한편, 제어부(130)는 벤딩 조작이나 터치 조작 이외에 음성 입력이나 모션 입력을 인식하여, 그 입력에 대응되는 동작을 수행할 수도 있다. 이 경우, 음성 인식부(160) 또는 모션 인식부(170)를 활성화시킬 수 있다.
음성 인식부(160)는 마이크(미도시)와 같은 음성 취득 수단을 이용하여 사용자의 음성이나 외부 음향을 수집한 후, 제어부(130)로 전달한다. 제어부(130)는 음성 제어 모드로 동작하는 경우, 사용자의 음성이 기 설정된 음성 코맨드와 일치하면, 사용자의 음성에 대응되는 태스크(task)를 수행할 수 있다. 음성을 이용하여 제어 가능한 태스크로는, 볼륨 조절, 채널 선택, 채널 재핑, 표시 속성 조절, 재생, 일시 정지, 되감기, 빨리 감기, 어플리케이션 실행, 메뉴 선택, 장치 턴온, 턴오프 등과 같이 다양한 태스크가 있을 수 있다.
한편, 모션 인식부(170)는 카메라와 같은 이미지 촬상 수단(미도시)을 이용하여 사용자의 이미지를 획득한 후, 제어부(130)로 제공한다. 모션 제어 모드로 동작하는 경우, 제어부(130)는 사용자의 이미지를 분석하여 사용자가 기 설정된 모션 코맨드에 대응되는 모션 제스쳐를 취한 것으로 판단되면, 그 모션 제스쳐에 대응되는 동작을 수행한다. 일 예로, 채널 재핑, 장치 턴온, 턴오프, 일시 정지, 재생, 정지, 되감기, 빨리 감기, 음소거 등과 같은 다양한 태스크가 모션에 의해 제어될 수 있다. 음성으로 제어 가능한 태스크, 모션으로 제어 가능한 태스크 등에 대한 상술한 예들은 예에 불과하므로, 이에 한정되지는 않는다.
그 밖에, 외부 입력 포트 1, 2 ~ n(190-1 ~ 190-n)들은 각각 다양한 유형의 외부 기기와 연결되어 각종 데이터나 프로그램, 제어 명령 등을 수신할 수 있다. 구체적으로는 USB 포트, 헤드셋 포트, 마우스 포트, LAN 포트 등을 포함할 수 있다.전원부(500)는 플렉서블 디스플레이 장치(100)의 각 구성요소들로 전원을 공급하는 구성요소이다. 전원부(500)는 양극 집전체, 양극 전극, 전해질부, 음극 전극, 음극 집전체 및 이를 감싸는 피복부를 포함하는 형태로 구현될 수 있다. 전원부(500)는 충방전이 가능한 2차 전지로 구현된다. 전원부(500)는 플렉서블 디스플레이 장치(100)와 함께 벤딩될 수 있도록 플렉서블한 형태로 구현될 수 있다. 이 경우, 집전체, 전극, 전해질, 피복 등은 유연한 특성을 가지는 재질로 이루어질 수 있다. 전원부(500)의 구체적인 형상 및 재질에 대해서는 후술하는 부분에서 별도로 설명한다.
도 15에서는 플렉서블 디스플레이 장치(100)에 포함될 수 있는 다양한 구성요소에 대하여 도시하였으나, 플렉서블 디스플레이 장치(100)가 반드시 전체 구성요소들을 포함하여야 하는 것은 아니며, 이들 구성요소만을 가지는 것으로 한정되는 것도 아니다. 즉, 플렉서블 디스플레이 장치(100)의 제품 종류에 따라 구성요소들 일부가 생략되거나 추가될 수 있고, 또는, 타 구성요소들로 대체될 수도 있음은 물론이다.
제어부(130)는 상술한 감지부(120), 음성 인식부(160), 모션 인식부(170) 등을 통해 인식되는 사용자 조작에 따라 각 구성 요소들을 제어하여, 각종 동작을 수행한다.
또한 제어부(130)는 수신된 UI 정보에 대응되는 제어 모드 UI를 제공하기 위해 디스플레이부(110)가 자동으로 형태 변형되도록 액츄에이터부(미도시)를 제어할 수 있다.
제어부(130)는 상술한 감지부(120), 음성 인식부(160), 모션 인식부(170) 등을 통해 인식되는 사용자 조작에 따라 각 구성 요소들을 제어하여, 각종 동작을 수행한다.
도 16은 제어부(130)의 세부 구성을 설명하기 위한 도면이다.
도 16에 따르면, 제어부(130)는 시스템 메모리(131), 메인 CPU(132), 이미지 프로세서(133), 네트워크 인터페이스(134), 저장부 인터페이스(135), 제1 내지 n 인터페이스(136-1 ~ 136-n), 오디오 처리부(137), 시스템 버스(140)를 포함한다.
시스템 메모리(131), 메인 CPU(132), 이미지 프로세서(133), 네트워크 인터페이스(134), 저장부 인터페이스(135), 제1 내지 n 인터페이스(136-1 ~ 136-n), 오디오 처리부(137)들은 시스템 버스(140)를 통해 서로 연결되어, 각종 데이터나 신호 등을 송수신할 수 있다.
제1 내지 n 인터페이스(136-1 ~ 136-n)는 감지부(120)를 비롯한 다양한 구성요소들과 제어부(130) 내의 각 구성요소들 간의 인터페이싱을 지원한다. 도 27에서는 감지부(120)가 제1 인터페이스(136-1)로만 연결된 것으로 도시하였으나, 도 26에 도시된 바와 같이 감지부(120)가 다양한 유형의 복수의 센서들을 포함하는 경우에는 각 센서마다 인터페이스를 통해 연결될 수 있다. 또한, 제1 내지 n 인터페이스(136-1 ~ 136-n) 중 적어도 하나는 플렉서블 디스플레이 장치(100)의 바디 부분에 마련된 버튼이나, 외부 입력 포트 1 내지 n을 통해 연결된 외부 장치로부터 각종 신호를 수신하는 입력 인터페이스로 구현될 수도 있다.
시스템 메모리(131)는 ROM(131-1) 및 RAM(131-2)을 포함한다. ROM(131-1)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(132)는 ROM(131-1)에 저장된 명령어에 따라 저장부(140)에 저장된 O/S를 RAM(131-2)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(132)는 저장부(140)에 저장된 각종 어플리케이션 프로그램을 RAM(131-2)에 복사하고, RAM(131-2)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
이상과 같이, 메인 CPU(132)는 저장부(140)에 저장된 어플리케이션 프로그램의 실행에 따라 다양한 동작을 수행할 수 있다.
저장부 인터페이스(135)는 저장부(140)와 연결되어 각종 프로그램, 컨텐츠, 데이터 등을 송수신한다.
일 예로, 사용자가 저장부(140)에 저장된 컨텐츠를 재생하여 디스플레이하기 위한 재생 명령에 대응되는 터치 조작이나 벤딩 조작을 수행하면, 메인 CPU(132)는 저장부 인터페이스(135)를 통해 저장부(140)에 액세스하여, 저장된 컨텐츠에 대한 리스트를 생성한 후, 그 리스트를 디스플레이부(110) 상에 디스플레이한다. 이러한 상태에서 사용자가 하나의 컨텐츠를 선택하기 위한 터치 조작 또는 벤딩 조작을 수행하면, 메인 CPU(132)는 저장부(140)에 저장된 컨텐츠 재생 프로그램을 실행시킨다. 컨텐츠 재생 프로그램에 포함된 명령어에 따라 메인 CPU(132)는 이미지 처리부(133)를 제어하여 컨텐츠 재생 화면을 구성한다.
이미지 처리부(133)는 디코더, 렌더러, 스케일러 등을 포함할 수 있다. 이에 따라, 저장된 컨텐츠를 디코딩하고, 디코딩된 컨텐츠 데이터를 렌더링하여 프레임을 구성하고, 구성된 프레임의 사이즈를 디스플레이부(110)의 화면 크기에 맞게 스케일링한다. 이미지 처리부(133)는 처리된 프레임을 디스플레이부(110)로 제공하여, 디스플레이한다.
그 밖에, 오디오 처리부(137)는 오디오 데이터를 처리하여 스피커(180)와 같은 음향 출력 수단으로 제공하는 구성요소를 의미한다. 오디오 처리부(137)는 저장부(140)에 저장된 오디오 데이터나 통신부(150)를 통해 수신된 오디오 데이터를 디코딩하고, 노이즈 필터링한 후, 적정 데시벨로 증폭하는 등의 오디오 신호 처리를 수행할 수 있다. 상술한 예에서, 재생되는 컨텐츠가 동영상 컨텐츠인 경우, 오디오 처리부(137)는 동영상 컨텐츠로부터 디먹싱된 오디오 데이터를 처리하여 이미지 처리부(133)와 동기시켜 출력할 수 있도록 스피커(180)로 제공할 수 있다.
네트워크 인터페이스(134)는 네트워크를 통해 외부 장치들과 연결되는 부분이다. 가령, 메인 CPU(132)는 웹 브라우저 프로그램이 실행되면, 네트워크 인터페이스(134)를 통해서 웹 서버에 액세스한다. 웹 서버로부터 웹 페이지 데이터가 수신되면, 메인 CPU(132)는 이미지 처리부(133)를 제어하여 웹 페이지 화면을 구성하고, 구성된 웹 페이지 화면을 디스플레이부(110)에 디스플레이한다.
상술한 바와 같이, 플렉서블 디스플레이 장치(100)에서 벤딩이나, 터치 및 기타 사용자 조작이 감지되면, 제어부(130)는 사용자 조작이 의도된 것인지 여부를 판단할 수 있다. 판단 결과 의도된 사용자 조작이라고 판단되면, 그 사용자 조작에 대응되는 동작에 대한 정보를 저장부(140)로부터 독출한 후, 그 정보에 대응되는 동작을 수행한다. 이상과 같은 제어부(130)의 동작은 저장부(140)에 저장된 각종 프로그램의 실행에 의해 구현될 수 있다.
도 17은 상술한 다양한 실시 예에 따른 제어부(130)의 동작을 지원하기 위한 저장부(140)의 소프트웨어 구조를 나타내는 도면이다. 도 17에 따르면, 저장부(140)에는 베이스 모듈(3810), 디바이스 관리 모듈(3820), 통신 모듈(3830), 프리젠테이션 모듈(3840), 웹 브라우저 모듈(3850), 서비스 모듈(3860)을 포함한다.
베이스 모듈(3810)이란 플렉서블 디스플레이 장치(100)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈을 의미한다.
베이스 모듈(3810)은 스토리지 모듈(3811), 위치 기반 모듈(3812), 보안 모듈(3813), 네트워크 모듈(3814) 등을 포함한다.
스토리지 모듈(3811)이란 데이터베이스(DB)나 레지스트리를 관리하는 프로그램 모듈이다. 위치 기반 모듈(3812)이란 GPS 칩과 같은 하드웨어와 연동하여 위치 기반 서비스를 지원하는 프로그램 모듈이다. 보안 모듈(3813)이란 하드웨어에 대한 인증(Certification), 요청 허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 프로그램 모듈이고, 네트워크 모듈(3814)이란 네트워크 연결을 지원하기 위한 모듈로 DNET 모듈, UPnP 모듈 등을 포함한다.
디바이스 관리 모듈(3820)은 외부 입력 및 외부 디바이스에 대한 정보를 관리하고, 이를 이용하기 위한 모듈이다. 디바이스 관리 모듈(3820)은 센싱 모듈(3821), 디바이스 정보관리 모듈(3822), 원격 제어 모듈(3823)등을 포함할 수 있다. 예를 들어, 디바이스 관리 모듈(3820)은 전자 장치(200)의 정보를 관리하고 이용할 수 있다.
센싱 모듈(3821)은 감지부(120) 내의 각종 센서들로부터 제공되는 센서 데이터를 분석하는 모듈이다. 구체적으로는, 물체의 위치나 사용자의 위치, 색상, 형태, 크기 및 기타 프로필을 검출하는 동작을 수행하는 프로그램 모듈이다. 센싱 모듈(2821)은 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수 있다. 디바이스 정보 관리 모듈(3822)은 각종 디바이스에 대한 정보를 제공하는 모듈이며, 원격 제어 모듈(3823)은 전화기나 TV, 프린터, 카메라, 에어컨 등과 같은 주변 디바이스를 원격적으로 제어하는 동작을 수행하는 프로그램 모듈이다. 예를 들어, 센싱 모듈(3821)은 플렉서블 디스플레이 장치(100)의 디스플레이면을 판단하기 위해 얼굴을 인식하는데 이용될 수 있다.
통신 모듈(3830)은 외부와 통신을 수행하기 위한 모듈이다. 통신 모듈(3830)은 메신저 프로그램, SMS(Short Message Service) & MMS(Multimedia Message Service) 프로그램, 이메일 프로그램 등과 같은 메시징 모듈(3831), 전화 정보 수집기(Call Info Aggregator) 프로그램 모듈, VoIP 모듈 등을 포함하는 전화 모듈(3832)을 포함할 수 있다.
프리젠테이션 모듈(3840)은 디스플레이 화면을 구성하기 위한 모듈이다. 프리젠테이션 모듈(3840)은 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈(3841), UI 및 그래픽 처리를 수행하는 UI & 그래픽 모듈(3842)을 포함한다. 멀티미디어 모듈(3841)은 플레이어 모듈, 캠코더 모듈, 사운드 처리 모듈 등을 포함할 수 있다. 이에 따라, 각종 멀티미디어 컨텐츠를 재생하여 화면 및 음향을 생성하여 재생하는 동작을 수행한다. UI & 그래픽 모듈(3842)은 이미지를 조합하는 이미지 합성기(Image Compositor module)(3842-1), 이미지를 디스플레이할 화면 상의 좌표를 조합하여 생성하는 좌표 조합 모듈(3842-2), 하드웨어로부터 각종 이벤트를 수신하는 X11 모듈(3842-3), 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷(3842-4) 등을 포함할 수 있다. 예를 들어 본 발명에 따른 다양한 제어 모드 UI를 처리하는데 이용될 수 있다.
웹 브라우저 모듈(3850)은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 웹 브라우저 모듈(3850)은 웹 페이지를 구성하는 웹 뷰(web view) 모듈, 다운로드를 수행하는 다운로드 에이전트 모듈, 북마크 모듈, 웹킷(Webkit) 모듈 등과 같은 다양한 모듈을 포함할 수 있다.
그 밖에, 서비스 모듈(3860)은 다양한 서비스를 제공하기 위한 어플리케이션 모듈을 의미한다. 예를 들면, 서비스 모듈(3860)은 지도나 현재 위치, 랜드 마크, 경로 정보 등을 제공하는 네비게이션 서비스 모듈, 게임 모듈, 광고 어플리케이션 모듈 등과 같은 다양한 모듈을 포함할 수 있다.
제어부(130) 내의 메인 CPU(132)는 저장부 인터페이스(135)를 통해서 저장부(140)에 액세스하여, 저장부(140)에 저장된 각종 모듈들을 RAM(131-2)에 복사하고, 복사된 모듈의 동작에 따라 동작을 수행한다.
구체적으로는 메인 CPU(132)는 센싱 모듈(3821)을 이용하여 감지부(120) 내의 각종 센서들의 출력값을 분석하여, 벤딩 영역, 벤딩 라인, 벤딩 방향, 벤딩 횟수, 벤딩 각도, 벤딩 속도, 터치 영역, 터치 횟수, 터치 강도, 압력 크기, 근접 정도, 사용자 그립 강도 등을 확인한 후, 확인 결과에 기초하여 사용자 조작이 의도된 것인지 여부를 판단한다. 메인 CPU(132)는 사용자 조작이 의도된 것으로 판단되면 스토리지 모듈(2810)의 데이터베이스(DB)로부터 사용자 조작에 대응되는 동작에 대한 정보를 검출한다. 그리고, 검출된 정보에 대응되는 모듈을 구동시켜, 동작을 수행한다.
일 예로, GUI(Graphic User Interface) 표시 동작인 경우라면, 메인 CPU(132)는 프리젠테이션 모듈(3840) 내의 이미지 조합 모듈(3842-1)을 이용하여, GUI 화면을 구성한다. 그리고, 좌표 조합 모듈(3842-2)을 이용하여, GUI 화면의 표시 위치를 결정하고, 그 위치에 GUI 화면을 표시하도록 디스플레이부(110)를 제어한다.
또는 메시지 수신 동작에 대응되는 사용자 조작이 이루어진 경우에는, 메인 CPU(132)는 메시징 모듈(3841)을 실행시켜, 메시지 관리 서버로 액세스한 후, 사용자 계정에 저장된 메시지를 수신한다. 그리고, 메인 CPU(132)는 프리젠테이션 모듈(3840)을 이용하여, 수신된 메시지에 대응되는 화면을 구성한 후, 디스플레이부(140)에 표시된다.
이 밖에, 전화 통화 동작을 수행하는 경우에는 메인 CPU(132)는 전화 모듈(3832)을 구동시킬 수도 있다.
이상과 같이 저장부(140)에는 다양한 구조의 프로그램이 저장되어 있을 수 있으며, 제어부(130)는 저장부(140)에 저장된 각종 프로그램을 이용하여 상술한 다양한 실시 예에 따른 동작을 수행할 수 있다.
도 18 및 도 19는 본 발명의 일 실시 예에 따른 사용자 인터페이스 제공 방법을 설명하기 위한 도면들이다.
도 18(a)에 도시된 바와 같이 전자 장치(200), 예를 들어 디지털 TV의 화면에 웹 페이지가 디스플레이되고 있고, 전자 장치(200)는 제어하는 사용자 단말 장치(100)는 웹 페이지를 제어하기 위한 키보드 모드 UI(111) + 터치 모드 UI(113) 를 포함하는 사용자 인터페이스를 제공하고 있다.
이어서, 전자 장치(200)의 화면에 방송 채널에서 제공하는 방송 컨텐츠가 디스플레이되고, 사용자가 방송 화면을 제어하기 위해 플렉서블 디스플레이 장치(200)를 세로 방향으로 두번 폴딩한 경우를 가정한다.
이 경우, 플렉서블 디스플레이 장치(100)는 형태 변형 정보를 전자 장치(200)로 전송한다.
이 경우, 전자 장치(200)에서는 화면이 디스플레이된 컨텐츠가 필요로 하는 제어 모드를 판단할 수 있다. 예를 들어, 도시된 바와 같이 화면에 방송 채널로부터 수신된 방송 컨텐츠가 디스플레이된 경우 전자 장치(200)에서 채널 제어 모드인, 리모콘 모드가 필요한 것으로 판단하고, 리모콘 모드에 대한 UI 정보를 플렉서블 디스플레이 장치(100)로 전송할 수 있다.
전자 장치(200)로부터 리모콘 모드에 대한 UI 정보를 수신한 플렉서블 디스플레이 장치(100)는 형태가 변형된 디스플레이 면에 리모콘 모드 UI(112)를 표시할 수 있다.
한편, 도 18(b)에 도시된 바와 같이 전자 장치(200), 예를 들어 디지털 TV의 메인 화면에 웹 페이지가 디스플레이되고 있고, 서브 화면에는 방송 컨텐츠가 디스플레이되고 있으며, 전자 장치(200)는 제어하는 사용자 단말 장치(100)는 웹 페이지를 디스플레이하는 메인 화면 및 방송 컨텐츠를 디스플레이하는 서브 화면을 제어하기 위한 키보드 모드 UI(111) + 터치 모드 UI(113) + 리모콘 모드 UI(112)를 포함하는 사용자 인터페이스를 제공하고 있다.
이어서, 전자 장치(200)의 전체 화면에 방송 채널에서 제공하는 방송 컨텐츠가 디스플레이되고, 사용자가 방송 화면을 제어하기 위해 플렉서블 디스플레이 장치(200)를 세로 방향으로 두번 폴딩한 경우를 가정한다.
이 경우, 플렉서블 디스플레이 장치(100)는 형태 변형 정보를 전자 장치(200)로 전송한다.
이 경우, 전자 장치(200)에서는 화면이 디스플레이된 컨텐츠가 필요로 하는 제어 모드를 판단할 수 있다. 예를 들어, 도시된 바와 같이 화면에 방송 채널로부터 수신된 방송 컨텐츠가 디스플레이된 경우 전자 장치(200)에서 채널 제어 모드인, 리모콘 모드가 필요한 것으로 판단하고, 리모콘 모드에 대한 UI 정보를 플렉서블 디스플레이 장치(100)로 전송할 수 있다.
전자 장치(200)로부터 리모콘 모드에 대한 UI 정보를 수신한 플렉서블 디스플레이 장치(100)는 형태가 변형된 디스플레이 면에 리모콘 모드 UI(112)를 표시할 수 있다.
도 19에 도시된 바와 같이 전자 장치(200)의 화면에 방송 컨텐츠가 디스플레이되고 있으며, 전자 장치(200)는 제어하는 사용자 단말 장치(100)는 방송 컨텐츠를 제어하기 위한 리모콘 모드 UI(112)를 포함하는 사용자 인터페이스를 제공하고 있다.
이어서, 전자 장치(200)의 메인 화면(212)에는 인터넷 웹 페이지가 디스플레이된 상태에서 커서가 포인팅 모드로 동작하고 있다면, 커서의 동작을 제어하기 위한 터치 모드가 필요하다고 판단할 수 있다. 또한, 서브 화면(213)에 방송 채널로부터 수신된 방송 컨텐츠가 디스플레이된 경우 채널 제어 모드인, 리모콘 모드가 필요한 것으로 판단할 수 있다. 이에 따라 전자 장치(200)는 터치 모드 + 리모콘 모드에 대한 UI 정보를 플렉서블 디스플레이 장치(100)로 전송할 수 있다.
전자 장치(200)로부터 터치 모드 + 리모콘 모드에 대한 UI 정보를 수신한 플렉서블 디스플레이 장치(100)는 디스플레이 면에 터치 모드 UI(113) + 리모콘 모드 UI(112)를 표시할 수 있다.
한편, 상술한 실시 예에서는 전자 장치(200)의 제어에 필요한 제어 모드의 UI 정보를 전자 장치(200)가 전송하는 것으로 설명하였지만, 이는 일 실시 예에 불과하며 서버(300)가 제어 모드를 판단하고, 해당 제어 모드 UI 정보를 플렉서블 디스플레이 장치(100)에 제공하도록 구현하는 것도 가능하다.
도 20 내지 도 22는 본 발명의 다른 실시 예에 따른 가이드 정보 제공 방법을 설명하기 위한 도면들이다.
도 20 내지 도 22에 도시된 바와 같이 전자 장치(200)에서 발생되는 이벤트에 따라 플렉서블 디스플레이 장치(100)에 해당 이벤트에 대응되는 가이드 정보가 제공될 수 있다. 이하에서는 설명의 편의를 위하여 전자 장치(200)가 디지털 TV로 구현되는 경우로 상정하여 설명하도록 한다.
도 20에 도시된 바와 같이 전자 장치(200)에서 방송 채널에서 제공하는 방송 컨텐츠가 디스플레이되고 있으며, 전자 장치(200)를 제어하기 위한 제어 모드로 동작하는 플렉서블 디스플레이 장치(100)는 리모컨 모드 UI(112)를 제공하고 있다.
이 후, 사용자 명령에 따라 전자 장치(200)에서 웹페이지가 디스플레이되면, 플렉서블 디스플레이 장치(100)는 웹페이지를 제어하기 위한 키보드 모드 및 터치 모드(즉, 마우스 모드)로 동작할 필요가 있다. 이에 따라 플렉서블 디스플레이 장치에서는 키보드 모드 UI + 마우스 모드 UI를 제공하기 위한 형태 변형에 대한 가이드(127, 137)를 제공할 수 있다.
이어서, 제공된 가이드(127, 137)에 따라 사용자가 플렉서블 디스플레이 자치(100)의 말린 부분을 펴는 조작을 하는 경우 디스플레이 면에는 키보드 모드 UI(111) 및 터치 모드 UI(113)가 디스플레이될 수 있다.
도 21에 도시된 바와 같이 전자 장치(200)에서 웹페이지가 디스플레이되고 있으며, 전자 장치(200)를 제어하기 위한 제어 모드로 동작하는 플렉서블 디스플레이 장치(100)는 키보드 모드 UI(111) + 터치 모드 UI(113)를 제공하고 있다.
이 후, 전자 장치(200)에서 사용자 명령에 따라 방송 채널에서 제공하는 방송 컨텐츠가 디스플레이되면, 플렉서블 디스플레이 장치(100)는 채널 선택, 볼륨 조절 등을 위한 리모컨 모드로 동작할 필요가 있다. 이에 따라 플렉서블 디스플레이 장치에서는 리모컨 모드 UI를 제공하기 위한 형태 변형에 대한 가이드(128-1, 128-2, 138)를 제공할 수 있다.
이어서, 사용자가 제공된 가이드(128-1, 128-2, 138)에 따라 플렉서블 디스플레이 장치(100)의 형태를 변형시키면 디스플레이면에 리모콘 모드 UI(112)가 디스플레이될 수 있다.
도 22에 도시된 바와 같이 전자 장치(200)에서 웹페이지가 디스플레이되고 있으며, 전자 장치(200)를 제어하기 위한 제어 모드로 동작하는 플렉서블 디스플레이 장치(100)는 키보드 모드 UI(111) + 터치 모드 UI(113)를 제공하고 있다.
이 후, 전자 장치(200)에서 사용자 명령에 따라 방송 채널에서 제공하는 방송 컨텐츠가 디스플레이되면, 플렉서블 디스플레이 장치(100)는 채널 선택, 볼륨 조절 등을 위한 리모컨 모드로 동작할 필요가 있다. 이에 따라 플렉서블 디스플레이 장치에서는 리모컨 모드 UI를 제공하기 위한 형태 변형에 대한 가이드(128-1, 128-2, 138)를 제공할 수 있다.
도 23 내지 도 26는 본 발명의 일 실시 예에 따른 사용자 인터페이스 화면을 설명하기 위한 도면이다.
도 23 내지 도 26에 도시된 바와 같이 플렉서블 디스플레이 장치(100)의 폴딩 형태에 따라 서로 다른 사용자 인터페이스가 제공될 수 있다.
도 23(a)에 도시된 바와 같이 플렉서블 디스플레이 장치(100)가 평평한 평면 상태인 경우 디스플레이 화면에는 제공 가능한 모든 제어 모드 UI를 포함하는 사용자 인터페이스가 표시될 수 있다. 예를 들어, 도시된 바와 같이 키보드 모드 UI(111), 리모컨 모드 UI(112), 터치 모드 UI(113)를 포함하는 사용자 인터페이스가 화면 상에 디스플레이될 수 있다. 여기서, 각 제어 모드에 대응되는 UI는 기정의된 영역에 디스플레이될 수 있으나, 경우에 따라서는 사용자가 설정한 영역에 디스플레이될 수도 있다. 또한, 도시된 바와 같이 사용자 인터페이스는 2차원 평면 형태로 제공될 수도 있으나, 플렉서블 디스플레이 장치(100)의 플렉서블한 특성에 따라 오목하거나 볼록한 형태와 같이 3차원 형태로 제공될 수 있다.
도 23(b) 및 도 23(c)에 도시된 바와 같이 플렉서블 디스플레이 장치(100)에 대한 폴딩 조작이 있는 경우 디스플레이부(110)에는 제공 가능한 모든 제어 모드 중 일부 모드에 대한 UI를 포함하는 사용자 인터페이스가 표시될 수 있다.
예를 들어, 도 23(b)에 도시된 바와 같이 플렉서블 디스플레이 장치(100)가 세로 방향으로 한번 폴딩되는 경우 폴딩된 형태에 부합하는 키보드 모드 UI(111) 및 터치 모드 UI(113)를 포함하는 사용자 인터페이스가 표시될 수 있다.
또한, 도 23(c)에 도시된 바와 같이 플렉서블 디스플레이 장치(100)가 가로 방향으로 한번 폴딩되는 경우 폴딩된 형태에 부합하는 키보드 모드 UI(111) 및 리모컨 모드 UI(113)를 포함하는 사용자 인터페이스가 표시될 수 있다.
다만, 이는 일 실시 예에 불과하며 폴딩 형태에 따라 각 제어 모드는 다양한 형태로 조합되어 디스플레이될 수 있다.
도 24(a)에 도시된 바와 같이 플렉서블 디스플레이 장치(100)가 세로 방향으로 두번 폴딩되는 경우 폴딩된 형태에 부합하는 리모컨 모드 UI를 포함하는 사용자 인터페이스가 표시될 수 있다.
또는, 도 24(b) 및 도 24(c)에 도시된 바와 같이 플렉서블 디스플레이 장치(100)가 가로 방향으로 두번 폴딩되는 경우 폴딩된 형태에 부합하는 키보드 모드 UI를 포함하는 사용자 인터페이스 또는 터치 모드 UI를 포함하는 사용자 인터페이스가 표시될 수 있다.
또는, 도 24(d)에 도시된 바와 같이 플렉서블 디스플레이 장치(100)가 가로 방향으로 한번, 세로 방향으로 한번 폴딩되는 경우 폴딩된 형태에 부합하는 키보드 모드 UI 또는 리모컨 모드 UI 또는 터치 모드 UI를 포함하는 사용자 인터페이스가 표시될 수 있다.
즉, 도 23 및 도 24에 도시된 바와 같이 폴딩으로 인한 디스플레이 화면의 면적에 따라 표시되는 제어 모드의 개수가 달라질 수 있다. 이하에서는 설명의 편의를 위하여 한번 폴딩으로 하나의 제어 모드를 포함하는 사용자 인터페이스가 제공되는 경우를 상정하여 설명하도록 한다.
도 25에 도시된 바와 같이 플렉서블 디스플레이 장치(100)의 폴딩 방향에 따라 서로 다른 사용자 인터페이스가 제공될 수 있다.
도 25에 도시된 바와 같이 플렉서블 디스플레이 장치(100)가 우측 방향으로 폴딩되는 경우 키보드 모드 UI(111)를 포함하는 사용자 인터페이스가 표시(좌측 하부)되고, 상측 방향으로 폴딩되는 경우 리모컨 모드 UI(112)를 포함하는 사용자 인터페이스가 표시(우측 하부)되고, 좌측 방향으로 폴딩되는 경우 터치 모드 UI(113)를 포함하는 사용자 인터페이스가 표시(우측 상부)될 수 있다.
도 26에 도시된 바와 같이 플렉서블 디스플레이 장치(100)의 롤링 형태에 따라 서로 다른 사용자 인터페이스가 제공될 수 있다.
도 26(a)에 도시된 바와 같이 플렉서블 디스플레이 장치(100) 전체 면이 롤링되는 경우 롤링된 형태의 플렉서블 디스플레이 장치(100)는 포인팅 기능을 제공할 수 있다.
또한, 도 26(b) 및 도 26(c)에 도시된 바와 같이 플렉서블 디스플레이 장치(100) 일부 영역이 롤링되는 경우 롤링되지 않은 영역에 대응되는 형태의 사용자 인터페이스가 표시될 수 있다.
예를 들어, 도 26(b)에 도시된 바와 같이 롤링되지 않은 영역이 기설정된 면적 미만인 경우 리모컨 모드 UI(112)를 포함하는 사용자 인터페이스가 표시될 수 있으며, 도 26(c)에 도시된 바와 같이 롤링되지 않은 영역이 기설정된 면적을 초과하는 경우 키보드 모드 UI(111)를 포함하는 사용자 인터페이스가 표시될 수 있다.
다만, 이는 일 실시 예에 불과하며 경우에 따라서는 롤링되지 않은 영역이 기설정된 면적을 초과하는 경우 두 개의 제어 모드 UI를 포함하는 형태의 사용자 인터페이스가 표시될 수도 있다.
한편, 상술한 실시 예에서는 폴딩 및 롤링이 함께 수행되는 경우에 대해서는 도시하지 않았지만, 경우에 따라서는 플렉서블 디스플레이 장치(100)의 일부 영역은 폴딩되고, 나머지 영역은 롤링되는 형태로 변형될 수도 있으며 이 경우에도 해당 형태 변형에 부합하는 형태의 제어 모드 UI가 제공될 수 있다.
한편, 도면에는 도시되지 않았지만, 플렉서블 디스플레이 장치(100)가 롤링된 상태에서도 키보드 모드 UI를 디스플레이할 수 있으며, 롤링이 더 많이 이루어지면 화면에 표시된 제어 모드 UI가 리모컨 모드 UI로 변경될 수 있다. 즉, 플렉서블 디스플레이 장치(100)는 롤링 강도에 따라 서로 다른 사용자 인터페이스를 제공할 수도 있다.
도 26(d)에 도시된 바와 같이 플렉서블 디스플레이 장치(100)가 롤링된 상태에서 특정 영역을 기설정된 압력으로 누르는 동작에 의해 플렉서블 디스플레이 장치(100)가 평면 형태로 변경될 수 있다. 이 경우, 평면 형태로 변경된 화면에는 변경된 형태에 대응되는 제어 모드 UI가 디스플레이될 수 있다. 예를 들어, 도시된 바와 같이 리모컨 모드 UI(112)가 디스플레이될 수 있다. 한편, 도시된 예에서 전체 화면이 롤링된 상측 도면에서와 같은 형태에서는 포인팅 기능을 수행하는 포인팅 모드로 동작할 수 있다.
도 27은 본 발명의 다른 실시 예에 따른 사용자 인터페이스 제공 방법을 설명하기 위한 도면이다.
도시된 바와 같이 플렉서블 디스플레이 장치(100)의 폴딩 상태가 다른 경우에도 동일한 제어 모드 UI를 제공할 수 있으나, 그 표시 형태가 디스플레이면에 부합하도록 변경될 수 있다.
예를 들어 도 27(a)에 도시된 바와 같이 플렉서블 디스플레이 장치(100)의 폴딩이 이루어지지 않은 상태에서는 키보드 전체 영역이 디스플레이될 수 있고, 도 27(b)에 도시된 바와 같이 플렉서블 디스플레이 장치(100)가 반으로 한번 폴딩된 상태에서는 키보드 일부 영역이 디스플레이될 수 있으며, 도 27(c)에 도시된 바와 같이 플렉서블 디스플레이 장치(100)가 두번 폴딩된 상태에서는 키보드 약식 형태가 디스플레이될 수 있다.
도 27(d)에 도시된 바와 같이, 사용자에게 플렉서블 디스플레이 장치(100)의 변형 형태를 가이드하는 가이드 정보가 디스플레이될 수 있다. 예를 들어, 도시된 바와 같이 가이드 정보는 가이드 라인(126-1, 126-2), 형태 변형을 위한 가이드 메시지 및 형태 변형 후의 제어 모드에 대한 가이드(136)를 제공할 수 있다.
다만, 경우에 따라서 플렉서블 디스플레이 장치(100)의 일부 영역이 리지드(rigid) 영역으로 구현되는 경우에는 해당 부분에 대한 가이드 메시지를 제공하여 기기 파손을 방지할 수 있다.
상술한 실시 예에서는 가이드 정보가 화면 상에 2차원 정보 형태로 표시되는 것으로 설명하였지만, 이는 일 실시 예에 불과하며 경우에 따라서는 플렉서블 디스플레이 장치(100)의 특성을 이용하여 가이드 라인이 오목 또는 볼록한 3차원 형태가 되도록 가이드를 해주는 방식도 적용될 수 있다.
도 28은 본 발명의 일 실시 예에 따른 사용자 인터페이스 표시 영역 설정 방법을 설명하기 위한 도면들이다.
도 28(a)에 도시된 바와 같이 사용자는 터치 앤 드래그(touch and drag) 동작을 통해 복수의 제어 모드 UI 각각을 제공할 영역을 설정할 수 있다.
또한, 도 28(b) 및 28(c)에 도시된 바와 같이 영역 설정을 통해 화면에 표시되는 제어 모드 UI의 개수까지 설정하는 것도 가능하다.
예를 들어, 도 28(b)에 도시된 바와 같은 폴딩 면 전체를 하나의 영역으로 설정함으로써, 플렉서블 디스플레이 장치(100)가 폴딩된 상태에서 폴딩 면 전체에서 하나의 제어 모드를 제공하도록 선택할 수 있고, 도 28(c)에 도시된 바와 같은 폴딩 면을 두 개의 영역으로 분리하여 설정함으로써 플렉서블 디스플레이 장치(100)가 폴딩된 상태에서 폴딩 면 전체에서 두 개의 제어 모드를 제공하도록 선택할 수 있다.
이 경우, 도시된 바와 같이 사용자의 터치 궤적이 하이라이트 되도록 표시하여 사용자에게 영역 설정에 대한 피드백을 제공할 수 있다.
도 29는 본 발명의 일 실시 예에 따른 제어 모드 UI 선택 방법을 설명하기 위한 도면이다.
도 29에 도시된 바와 같이 플렉서블 디스플레이 장치(100)에 대한 폴딩 조작이 없는 경우 디스플레이부(110)에는 제공 가능한 모든 제어 모드 UI를 포함하는 사용자 인터페이스가 표시될 수 있다. 예를 들어, 도시된 바와 같이 키보드 모드 UI(111), 리모컨 모드 UI(112), 터치 모드 UI(113)를 포함하는 사용자 인터페이스가 화면 상에 디스플레이될 수 있다.
또한, 각 모드 영역에는 해당 모드 UI를 사용자 인터페이스에서 제외시키기 위한 선택 메뉴(111-1, 112-1, 113-1)가 디스플레이될 수 있다.
한편, 사용자 인터페이스 상에 포함된 복수의 제어 모드 UI 중 리모컨 모드 UI(112)를 제외시키기 위한 사용자 명령이 입력된 후, 플렉서블 디스플레이 장치(100)의 폴딩 조작이 있는 경우, 리모컨 모드 UI(112)를 제외한 키보드 모드 UI(111) 및 터치 모드 UI(113)가 폴딩된 화면 상에 디스플레이될 수 있다.
도 30은 본 발명의 일 실시 예에 사용자 파지 동작에 따른 사용자 인터페이스 변경 방법을 설명하기 위한 도면이다.
도 30에 도시된 바와 같이 플렉서블 디스플레이 장치(100)가 폴딩된 상태에서 리모컨 모드 UI(112) 및 터치 모드 UI(113)를 포함하는 사용자 인터페이스가 디스플레이된 상태(상측 도면)에서 사용자의 파지 동작이 있는 경우 사용자의 파지 동작이 있는 영역을 제외한 영역의 크기에 맞게 리모컨 모드 UI(112) 및 터치 모드 UI(113)의 형태가 변형되어 디스플레이될 수 있다(하측 도면). 여기서, UI 형태는 UI 크기, 가로 세로 비율 등이 될 수 있다.
도 31 및 도 32는 본 발명의 다양한 실시 예에 따른 메뉴 UI 제공 방법을 설명하기 위한 도면들이다.
도 31에 도시된 바와 같이 플렉서블 디스플레이 장치(100)가 평평한 평면 상태에서 제어 모드 선택을 위한 메뉴 UI(141)가 디스플레이되고, 그 중 하나의 모드, 예를 들어, 리모컨 모드가 선택되면 리모컨 모드 UI를 제공하기 위한 형태 변형에 대한 가이드 정보를 제공할 수 있다. 본 실시 예에서 가이드 정보는 가이드 정보의 일 제공 형태인 가이드 라인(142-1, 142-2) 및 가이드 메시지(143)를 제공하는 것으로 도시하였다.
다만, 플렉서블 디스플레이 장치(100)가 평평한 평면 상태에서 메뉴 UI가 제공되는 것은 일 실시 예에 불과하며, 플렉서블 디스플레이 장치(100)가 폴딩된 상태나 롤링된 상태에서 메뉴 UI를 제공하는 것도 가능하다.
도 32에 도시된 바와 같이 플렉서블 디스플레이 장치(100)가 롤링된 상태에서 제어 모드를 선택하기 위한 메뉴 UI(141)를 제공할 수 있다. 예를 들어, 플렉서블 디스플레이 장치(100)에서 제공가능한 제어 모드가 바(BAR) 형태의 메뉴로 디스플레이될 수 있다(상부 도면).
도시된 바(BAR) 형태의 메뉴에서 사용자가 키보드 모드를 선택하는 경우, 선택된 키보드 모드에 대응하는 키보드 모드 UI(111)가 디스플레이될 수 있다(중간 도면). 이 경우, 선택은 터치 앤 홀드(touch and hold) 조작, 터치 앤 플릭(touch and flick), 더블 터치(double touch) 조작 등으로 구현될 수 있다.
또한, 사용자가 플렉서블 디스플레이 장치(100)의 특정 영역을 잡고 회전시키면, 회전 정도에 따라 디스플레이된 키보드 모드 UI(111)에 포함된 객체들도 함께 회전되어 디스플레이될 수 있다(하부 도면). 다만, 다른 실시 예에 따르면, 플렉서블 디스플레이 장치(100)의 키보드 영역을 드래그함으로써 디스플레이되지 않은 키보드 모드 UI(111)에 포함된 객체들이 디스플레이되도록 구현할 수도 있다.
한편, 상술한 바와 같이 롤링 강도를 세게 하는 경우 다른 제어 모드를 포함하는 사용자 인터페이스가 제공될 수 있다.
도 33 내지 도 35는 본 발명의 또 다른 실시 예에 따른 UI 제공 방법을 설명하기 위한 도면들이다.
도 33에 도시된 바와 같이 플렉서블 디스플레이 장치(100)가 차량(400)의 센터페시아 부분에 부착되는 경우 그 변형 형태에 따라 차량 제어와 관련된 다양한 UI 화면을 제공할 수 있다.
예를 들어, 도시된 바와 같이 플렉서블 디스플레이 장치(100)가 한 번 폴딩되어 차량(400)의 센터페시아 부분에 부착되면 센터페시아 부분을 통해 제공되는 다양한 기능을 제어할 수 있는 UI를 제공할 수 있다.
예를 들어, 네비게이션 모드 UI를 제공할 수 있다. 또한, 두번 폴딩되어 부착되는 경우에는 블랙박스 기능 UI를 제공하도록 구현될 수 있다.
또한, 도면에는 도시되지 않았지만, 차량(400)의 특정 부위에 장착하고 해당 차량 정보를 입력하면 해당 업체로부터 네트워크를 통해 화면 제어정보를 수신하여 디스플레이하는 기능도 수행할 수 있다. 예를 들어, 엔진 오일, 냉각수, 엔진 상태 (엔진소리, 차량 진동), 타이어 상태, 타이밍벨트 상태, 휠밸런스, 브레이크 페달 마모상태, 에어컨 가스, 부동액 상태 등과 같이 차량 계기판에 표시되지 않는 항목들에 대한 제어 UI를 제공할 수 있다. 이에 따라 일정 기간마다 받는 차량 점검 항목을 크게 줄일 수 있다는 효과가 있을 수 있다.
또한, 도 34에 도시된 바와 같이 플렉서블 디스플레이 장치(100)가 차량(400)의 뒷좌석에서 볼 수 있는 위치에 부착되는 경우, TV, 영화 시청 등 다양한 디스플레이 기능을 제공할 수도 있다.
한편, 도 34에 도시된 실시 예의 경우에도 플렉서블 디스플레이 장치(100)의 장치의 형태가 변경되면 형태 변형 정보가 서버(300), 예를 들어, 차량 관리 서버 등로 전송되고, 서버(300)로부터 변형된 형태에 대응되는 디스플레이 화면 데이터를 수신할 수 있다.
또한, 도 35에 도시된 바와 같이 플렉서블 디스플레이 장치(100)는 디스플레이 기능이 없는 전자 장치, 예를 들어 냉장고(500) 등에 부착되어 냉장고(500) 기능을 제어하기 위한 제어 UI를 제공할 수 있다. 예를 들어 "온도 조정", "파워 조정" 등의 메뉴 항목을 포함하는 사용자 인터페이스를 제공할 수 있다.
한편, 도 35에 도시된 실시 예의 경우에도 플렉서블 디스플레이 장치(100)의 장치의 형태가 변경되면 형태 변형 정보가 서버(300), 예를 들어, 홈 네트워크 서버 등로 전송되고, 서버(300)로부터 변형된 형태에 대응되는 디스플레이 화면 데이터를 수신할 수 있다.
도 34, 35에 도시된 실시 예에서도 플렉서블 디스플레이 장치(100), 서버(300), 차량(400), 냉장고(500) 간의 데이터 송수신 흐름은 상술한 기본 실시 예들의 경우와 유사하므로 자세한 설명은 생략하도록 한다.
도 36은 본 발명의 또 다른 실시 예에 따른 메뉴 UI 제공 방법을 설명하기 위한 도면이다.
도 36(a)에 도시된 바와 같이 플렉서블 디스플레이 장치(100)에 의해 제어되는 피제어 기기는 다양한 기기가 될 수 있다. 예를 들어, 홈 네트워크 내의 다양한 기기들이 플렉서블 디스플레이 장치(100)에 의해 제어될 수 있다.
이에 따라 도 36(b)에 도시된 바와 같이 플렉서블 디스플레이 장치(100)에서 피제어 기기를 선택하기 위한 메뉴 UI가 제공될 수 있다.
도 37은 본 발명의 또 다른 실시 예에 따른 사용자 인터페이스 제공 방법을 설명하기 위한 도면이다.
도 37에 도시된 바와 같이 플렉서블 디스플레이 장치(100)가 두번 폴딩된 상태에서 리모컨 모드 UI(112)가 제공되고 있으며, 리모컨 모드 UI(112) 일측에는 피제어 기기 표시 메뉴(115) 및 피제어 기기 변경 메뉴(114)가 제공되고 있다(상부 도면).
피제어 기기 변경 버튼(114)이 선택되면, 피제어 기기 표시 메뉴(115)에 표시된 피제어 기기가 변경되고, 리모컨 모드 UI(112)가 제공되던 영역에는 변경된 피제어 기기 즉, PC를 제어하기 위한 제어 모드, 예를 들어 키보드 모드 및 터치 모드에 대응되는 UI를 제공하기 위한 형태 변형 가이드(116)가 표시될 수 있다(중간 도면).
사용자가 형태 변형 가이드(116)에 따라 플렉서블 디스플레이 장치(100)의 형태를 변형시키면 키보드 모드 UI 및 터치 모드 UI가 제공될 수 있다(하부 도면).
도 38 및 도 39는 본 발명의 다른 실시 예에 따른 UI 제공 방법을 설명하기 위한 도면이다.
도 38에 도시된 바와 같이 사용자 모션을 통해 디스플레이 면에 표시된 제어 모드 UI를 변경하는 것도 가능할 수 있다.
예를 들어, 도 38에 도시된 바와 같이 플렉서블 디스플레이 장치(100)가 두 번 폴딩되어 한 화면에 복수의 제어 모드를 동시에 넣을 수 없는 경우 등에는 사용자 모션, 예를 들어 디스플레이 면을 터치한 상태에서 기기를 회전시키는 모션을 통해 제어 모드 UI를 변경할 수 있다. 이 경우 회전하는 방향에 따라 나타나는 순서가 변경될 수 있다.
다만, 이는 일 실시 예에 불과하며, 디스플레이 면을 터치한 상태에서 트위스트하거나, 투 터치, 트리플 터치 등의 조작을 통해서도 제어 모드 UI를 변경할 수 있다.
도 39에 도시된 바와 같이 지정된 영역을 터치하여 표시된 제어 모드 UI를 변경하는 것도 가능하다.
예를 들어, 도시된 바와 같이 플렉서블 디스플레이 장치(100)의 상단에 숨겨져 있던 메뉴를 아래 방향으로 드래그하여 디스플레할 수 있으며, 해당 메뉴에서 변경하고자 하는 제어 모드 UI를 선택할 수 있다.
도 40은 본체에 내장된 플렉서블 디스플레이 장치의 형태의 일 예를 나타내는 도면이다.
도 40에 따르면, 플렉서블 디스플레이 장치(100)는 본체(5700), 디스플레이부(110), 그립부(5710)를 포함할 수 있다.
본체(5700)는 디스플레이부(110)를 담는 일종의 케이스 역할을 한다. 플렉서블 디스플레이 장치(100)가 도 26과 같이 다양한 구성요소를 포함하는 경우, 디스플레이부(110) 및 일부 센서들을 제외한 나머지 구성요소들은 본체(5700)에 탑재될 수 있다. 본체(5700)는 디스플레이부(110)를 롤링시키는 회전롤러를 포함한다. 이에 따라, 미사용시에는 디스플레이부(110)는 회전 롤러를 중심으로 롤링되어 본체(5700) 내부에 내장될 수 있다.
사용자가 그립부(5710)를 파지하여 잡아 당기게 되면, 회전 롤러가 롤링 반대 방향으로 회전하면서 롤링이 해제되고, 디스플레이부(110)가 본체(5700) 외부로 나오게 된다. 회전 롤러에는 스토퍼가 마련될 수 있다. 이에 따라, 사용자가 그립부(5710)를 일정 거리 이상으로 당기면, 스토퍼에 의해 회전 롤러의 회전이 정지되고, 디스플레이부(110)가 고정될 수 있다. 이에 따라, 사용자는 외부로 노출된 디스플레이부(110)를 이용하여 각종 기능을 실행시킬 수 있다. 한편, 사용자가 스토퍼를 해제하기 위한 버튼을 누르면, 스토퍼가 해제되면서 회전 롤러가 역 방향으로 회전하고, 결과적으로 디스플레이부(110)가 본체(5100) 내로 다시 롤링될 수 있다. 스토퍼는 회전 롤러를 회전시키기 위한 기어의 동작을 정지시키는 스위치 형상이 될 수 있다. 회전 롤러 및 스토퍼에 대해서는 통상의 롤링 구조체에서 사용되는 구조가 그대로 이용될 수 있으므로, 이에 대한 구체적인 도시 및 설명은 생략한다.
한편, 본체(5700)에는 전원부(500)가 포함된다. 전원부(500)는 1회용 배터리가 장착되는 배터리 연결부, 사용자가 복수 횟수 충전하여 사용할 수 있는 2차 전지, 태양 열을 이용하여 발전을 수행하는 태양 전지 등과 같이 다양한 형태로 구현될 수 있다. 2차 전지로 구현되는 경우, 사용자는 본체(5700)와 외부 전원을 유선으로 연결하여 전원부(500)를 충전시킬 수 있다.
도 40에서는 원통형 구조의 본체(5700)가 도시되었으나, 본체(5700)의 형상은 사각형이나 기타 다각형과 같이 구현될 수도 있다. 또한, 디스플레이부(110)가 본체(5700)로부터 내장된 상태에서 풀링(pulling)에 의해 외부로 노출되는 형태가 아니라, 본체 외부를 감싸는 형태나 그 밖의 다양한 형태로 구현될 수 있음도 물론이다.
도 41은 전원부(500)가 탈부착될 수 있는 형태의 플렉서블 디스플레이 장치를 나타내는 도면이다. 도 58에 따르면, 전원부(500)는 플렉서블 디스플레이 장치의 일측 가장자리에 마련되어, 탈부착될 수 있다.
전원부(500)는 플렉서블한 재질로 구현되어, 디스플레이부(110)와 함께 벤딩될 수 있다. 구체적으로는, 전원부(500)는 음극 집전체, 음극 전극, 전해질부, 양극 전극, 양극 집전체 및 이들을 덮는 피복부를 포함할 수 있다.
일 예로, 집전체는 탄성 특성이 좋은 TiNi계와 같은 합금류, 구리 알루미늄 등과 같은 순금속류, 탄소가 코팅된 순금속, 탄소, 탄소 섬유 등과 같은 도전성 물질, 폴리피롤과 같은 전도성 고분자 등으로 구현될 수 있다.
음극 전극은 리튬, 나트륨, 아연, 마그네슘, 카드늄, 수소저장합금, 납 등의 금속류와 탄소 등의 비금속류 그리고 유기황과 같은 고분자 전극 물질과 같은 음 전극 물질로 제작될 수 있다.
양극 전극은 황 및 금속 황화물, LiCoO2 등 리튬천이금속산화물, SOCl2, MnO2, Ag2O, Cl2, NiCl2, NiOOH, 고분자 전극 등의 양 전극 물질로 제작될 수 있다. 전해질부는 PEO, PVdF, PMMA, PVAC 등을 이용한 겔(gel) 형으로 구현될 수 있다.
피복부는 통상의 고분자 수지를 사용할 수 있다. 예를 들어, PVC, HDPE나 에폭시 수지 등이 사용될 수 있다. 그 밖에, 실 형태 전지의 파손을 방지하면서, 자유롭게 휘거나 구부러질 수 있는 재질이라면, 피복부로 사용될 수 있다.
전원부(500) 내의 양극 전극 및 음극 전극은 각각 외부와 전기적으로 연결되기 위한 커넥터를 포함할 수 있다.
도 41에 따르면, 커넥터가 전원부(500)로부터 돌출된 형태로 형성되고, 디스플레이부(110)에는 커넥터의 위치, 크기, 형상에 대응되는 홈이 형성된다. 이에 따라, 커넥터 및 홈의 결합에 의해 전원부(500)가 디스플레이부(110)와 결합될 수 있다. 전원부(500)의 커넥터는 플렉서블 디스플레이 장치(100) 내부의 전원 연결 패드(미도시)와 연결되어 전원을 공급할 수 있다.
도 41에서는 전원부(500)가 플렉서블 디스플레이 장치(100)의 일 측 가장자리에서 탈부착될 수 있는 형태로 도시하였으나, 이는 일 예에 불과하며, 전원부(500)의 위치 및 형태는 제품 특성에 따라 다양하게 달라질 수 있다. 가령, 플렉서블 디스플레이 장치(100)가 어느 정도 두께를 가지는 제품인 경우에는, 플렉서블 디스플레이 장치(100)의 후면에 전원부(500)가 장착될 수도 있다.
한편, 상술한 다양한 실시 예들에서는 벤딩이나 터치 등과 같은 사용자 조작이 이루어진 이후에 그 조작이 정확한 것인지 여부에 따라 동작이 이루어진다.
하지만, 상술한 다양한 실시 예들의 플렉서블 디스플레이 장치(100)에서는 사용자 조작이 이루어지기 이전에, 사용자가 적절한 벤딩을 수행할 수 있도록 가이드를 제시하여 줄 수도 있다.
도 42는 본 발명의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블럭도이다.
도 42에 따르면, 전자 장치(200)는 통신부(210), 저장부(220), 디스플레이부(230) 및 제어부(240)를 포함한다.
전자 장치(200)는 플렉서블 디스플레이 장치(100)에 의해 제어되는 다양한 종류의 디바이스로 구현가능하며, 예를 들어, 디지털 TV, PC, DVD, 에어컨, 냉장고, 네비게이션 장치 등 다양한 형태로 구현 가능하다. 다만, 이하에서는 설명의 편의를 위하여 전자 장치(200)가 디지털 TV로 구현되는 경우를 상정하여 설명하도록 한다.
통신부(210)는 플렉서블 디스플레이 장치(100, 400) 및 서버(300) 중 적어도 하나와 통신을 수행하는 기능을 한다. 통신부(210)는 인터넷, 랜(LAN), WI-FI(Wireless Fiedlity), 이더넷, TCP/IP, IPX, 파이어와이어, IEEE 1394, iLink, CDMA, TDMA, HDMI-CEC(High Definition Multimedia Interface), Wireless HDMI-CEC, BT(BlueTooth) 등의 통신 방식을 이용할 수 있다.
통신부(210)는 플렉서블 디스플레이 장치(100)로부터 형태 변형 정보를 수신할 수 있다. 여기서, 형태 변형 정보는 변형된 디스플레이 형태 정보, UI 제공을 위해 선택된 디스플레이 면 정보 등이 될 수 있다. 이 경우, 디스플레이 형태 정보는, 예를 들어, 직사각형의 경우 가로 세로 길이, 다각형의 경우 꼭지점 정보, 가로 세로 길이를 나타내는 테이블의 index, 디스플레이면 크기 등과 같은 화면 정보가 될 수 있다. 또한, 통신부(210)는 형태 변형 정보 외에 플렉서블 디스플레이 장치(100)의 기기 정보, 사용자고자 하는 제어 모드 정보 중 적어도 하나를 더 수신할 수 있다. 또한, 플렉서블 디스플레이 장치(100)에서 사용자가 원하는 제어 모드를 수동으로 선택한 경우 해당 정보까지 수신할 수 있다.
저장부(220)는 전자 장치(200)을 동작시키기 위해 필요한 각종 프로그램 등이 저장되는 저장매체로서, 메모리, HDD(Hard Disk Drive) 등으로 구현가능하다.
특히, 저장부(220)는 플렉서블 디스플레이 장치(100)로부터의 제어 신호를 인식하기 위한 기기 드라이버 등을 저장할 수 있다.
또한, 저장부(220)는 플렉서블 디스플레이 장치(100)에 관한 다양한 UI 정보를 저장하고 있을 수 있다. 구체적으로, 저장부(220)는 각 제어 모드에 대응되는 UI 정보를 포함하고 있을 수 있다. 여기서, UI 정보는, 각 제어 모드에 대응되는 UI에 포함되는 다양한 입력 도구 영역 및 배치 정보가 될 수 있다.
디스플레이부(230)는 전자 장치(200)의 기능과 관련된 다양한 디스플레이 화면을 제공할 수 있다.
여기서, 디스플레이부(230)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나로 구현될 수 있다.
특히, 디스플레이부(230)는 제어부(240)의 제어에 따라 플렉서블 디스플레이 장치(100)로부터 수신된 제어 명령에 대응되는 다양한 디스플레이 화면을 제공할 수 있다.
제어부(240)는 전자 장치(200)의 전반적인 동작을 제어하는 기능을 한다.
제어부(240)는 통신부(210)를 통해 수신된 형태 변형 정보, 기기 정보 등을 기초로 플렉서블 디스플레이 장치(100)에 제공할 UI 정보를 결정할 수 있다.
또한, 제어부(240)는 현재 전자 장치(200)에서 제공하는 화면 정보를 고려하여 UI 정보를 결정할 수 있다.
예를 들어, 플렉서블 디스플레이 장치(100)로부터 수신된 형태 변형 정보가 "가로축 두번 폴딩"에 관한 정보이며, 해당 정보에 대응되는 제어 모드 UI 가 키보드 모드 UI 또는 리모콘 모드로 저장부(220)에 저장되어 있는 경우를 설명하도록 한다. 이 경우, 전자 장치(200)의 디스플레이부(230)를 통해 방송 채널에서 제공하는 방송 컨텐츠가 디스플레이되고 있는 경우라면, 제어부(240)는 해당 화면의 제어에 필요한 리모콘 모드 UI를 제공할 수 있다. 이에 따라 사용자의 의도가 반영된 UI를 제공할 수 있게 된다.
또한, 제어부(240)는 제공할 제어 모드 UI가 결정되면, 형태 변형 정보를 기초로 벤딩으로 분할된 면 중 UI를 디스플레할 디스플레이 면을 판단한다.
또한, 제어부(240)는 형태 변형 정보를 기초로 디스플레이 면 크기 및 모양 등 디스플레이 영역을 결정한다.
또한, 제어부(240)는 결정된 디스플레이 영역을 기초로 해당 제어 모드 UI에 포함된 입력 도구의 크기 및 배치 형태를 결정할 수 있다.
이 경우, 후술하는 표 3에 기재된 내용을 기초로 해당 제어 모드 UI에 포함된 입력 도구의 크기 및 배치 형태를 결정할 수 있으며, 이에 대한 자세한 설명은 후술하도록 한다.
한편, 통신부(210)를 통해 사용자가 원하는 제어 모드를 수신한 경우에는 해당 제어 모드에 대응되는 UI 정보를 제공할 수도 있다.
도 43은 본 발명의 일 실시 예에 따른 서버의 구성을 설명하기 위한 블럭도이다.
도 43에 따르면, 서버(300)는 통신부(310), 저장부(320) 및 제어부(330)를 포함한다.
통신부(310)는 플렉서블 디스플레이 장치(100) 및 플렉서블 디스플레이 장치(100)의 피제어 기기인 전자 장치(200) 중 적어도 하나와 통신을 수행하는 기능을 한다.
여기서, 통신부(310)는 인터넷, 랜(LAN), WI-FI(Wireless Fiedlity), 이더넷, TCP/IP, IPX, 파이어와이어, IEEE 1394, iLink, CDMA, TDMA, HDMI-CEC(High Definition Multimedia Interface), Wireless HDMI-CEC, BT(BlueTooth) 등의 통신 방식을 이용할 수 있다.
통신부(310)는 플렉서블 디스플레이 장치(100) 및 플렉서블 디스플레이 장치(100)의 피제어 기기인 전자 장치(200)로부터 플렉서블 디스플레이 장치(100)의 형태 변형 정보를 수신할 수 있다. 여기서, 형태 변형 정보는 변형된 디스플레이 형태 정보, UI 제공을 위해 선택된 디스플레이 면 정보 등이 될 수 있다. 이 경우, 디스플레이 형태 정보는, 예를 들어, 직사각형의 경우 가로 세로 길이, 다각형의 경우 꼭지점 정보, 가로 세로 길이를 나타내는 테이블의 index, 디스플레이 면 크기 등과 같은 화면 정보가 될 수 있다.
한편, 전자 장치(200)로부터 플렉서블 디스플레이 장치(100)의 형태 변형 정보를 수신하는 경우에는 플렉서블 디스플레이 장치(100)에서 전자 장치(200)로 자신의 형태 변형 정보를 전송한 경우가 될 수 있다.
또한, 통신부(310)는 형태 변형 정보 외에 플렉서블 디스플레이 장치(100)의 기기 정보, 사용자고자 하는 제어 모드 정보, 전자 장치(200)의 기기 정보 중 적어도 하나를 더 수신할 수 있다.
또한, 플렉서블 디스플레이 장치(100)에서 사용자가 원하는 제어 모드를 수동으로 선택한 경우 해당 정보까지 수신할 수 있다.
저장부(320)는 플렉서블 디스플레이 장치(100)에 관한 다양한 UI 정보를 저장하고 있을 수 있다. 구체적으로, 저장부(320)는 각 제어 모드에 대응되는 UI 정보를 포함하고 있을 수 있다. 여기서, UI 정보는, 각 제어 모드에 대응되는 UI에 포함되는 다양한 입력 도구 영역 및 배치 정보가 될 수 있다.
제어부(330)는 서버(300)의 전반적인 동작을 제어하는 기능을 한다.
제어부(330)는 통신부(310)를 통해 수신된 형태 변형 정보, 기기 정보 등을 기초로 플렉서블 디스플레이 장치(100)에 제공할 UI 정보를 결정할 수 있다.
또한, 제어부(330)는 현재 전자 장치(200)에서 제공하는 화면 정보를 고려하여 UI 정보를 결정할 수 있다.
예를 들어, 플렉서블 디스플레이 장치(100)로부터 수신된 형태 변형 정보가 "가로축 두번 폴딩"에 관한 정보이며, 해당 정보에 대응되는 제어 모드 UI 가 키보드 모드 UI 또는 리모콘 모드로 저장부(320)에 저장되어 있는 경우를 설명하도록 한다. 이 경우, 전자 장치(200)의 디스플레이부(230)를 통해 방송 채널에서 제공하는 방송 컨텐츠가 디스플레이되고 있는 경우라면, 제어부(330)는 해당 정보를 전자 장치(220)로부터 수신하여 해당 디스플레이 화면의 제어에 필요한 리모콘 모드 UI 정보를 플렉서블 디스플레이 장치(110)에 제공할 수 있다. 이에 따라 사용자의 의도가 반영된 UI를 제공할 수 있게 된다. 다만, 전자 장치(200)의 디스플레이부(230)를 통해 제공되는 화면 정보는 경우에 따라 플렉서블 디스플레이 장치(100)로부터 수신하는 것도 가능하다.
또한, 제어부(330)는 제공할 제어 모드 UI가 결정되면, 형태 변형 정보를 기초로 벤딩으로 분할된 면 중 UI를 디스플레할 디스플레이 면을 판단한다.
또한, 제어부(330)는 형태 변형 정보를 기초로 디스플레이 면 크기 및 모양 등 디스플레이 영역을 결정한다.
또한, 제어부(330)는 결정된 디스플레이 영역을 기초로 해당 제어 모드 UI에 포함된 입력 도구의 크기 및 배치 형태를 결정할 수 있다.
이하에서는 플렉서블 디스플레이 장치(100)의 형태 변형에 따른 디스플레이 영역 지정 방법을 표를 통해 설명하도록 한다.
전체 화면 플렉서블 디스플레이 장치의 디스플레이 전체면
한번 접는 경우 1) 앞 뒤 면 중 디스플레이 면 판단
2) 벤딩 센서의 출력을 바탕으로 벤딩라인 판단
3) 단말의 디스플레이면 상에서 디스플레이 경계로 이루어진 세 변 중 두 변을 포함하면서 직사각형의 면적을 최대화 할 수 있는 직사각형을 실제 디스플레이 면으로 지정 (세 변중 한 변은 제거됨)
4) 디스플레이 영역이 2개 또는 3개의 입력 모드로 나뉠 경우 위 3)에서 지정한 직사각형 영역에 대해서 다중 입력 모드에 맞도록 2개 또는 3개의 직사각형 영역으로 나눔
5) 디스플레이 영역이 2개 또는 3개의 입력에 의해 나뉠 경우 1), 2)에서 구한 디스플레이 면에 대해서 각 입력 영역에 대해 직사각형을 배치하고 남는 영역을 최소화 하도록 디스플레이 영역을 지정
두번 접는 경우 (같은 방향) 1) 앞 뒤 면중 디스플레이 면 판단
2) 벤딩 센서의 출력을 바탕으로 벤딩라인 판단
3) 단말의 디스플레이면 상에서 단말의 디스플레이 경계가 3개 포함된 경우 세 변 중 두 변을 포함하면서 직사각형의 면적을 최대화 할 수 있는 직사각형을 실제 디스플레이 면으로 지정 (세 변중 한 변은 제거됨)
4) 단말의 디스플레이면 위에서 단말의 디스플레이 경계가 3개 포함된 경우 디스플레이 영역이 2개 또는 3개의 입력 모드로 나뉘면 위 3)에서 지정한 직사각형 영역에 대해서 다중 입력 모드에 맞도록 2개 또는 3개의 직사각형 영역으로 나눔
5) 단말의 디스플레이면 위에서 단말의 디스플레이 경계가 3개 포함된 경우 디스플레이 영역이 2개 또는 3개의 입력에 의해 나뉘면 1), 2)에서 구한 디스플레이 면에 대해서 각 입력 영역에 대해 직사각형을 배치하고 남는 영역을 최소화 하도록 디스플레이 영역을 지정
6) 단말의 디스플레이면 위에서 단말의 디스플레이 경계가 2개 포함된 경우 두 경계로부터 구성되는 직사각형의 최대 영역을 실제 디스플레이 면으로 지정
7) 단말의 디스플레이면 상에서 디스플레이 경계가 2개 포함된 경우 디스플레이 영역이 2개 또는 3개의 입력에 의해 나뉘면 1), 2)에서 구한 디스플레이 면에 대해서 각 입력 영역에 대해 직사각형을 배치하고 남는 영역을 최소화 하도록 디스플레이 영역을 지정
두번 접는 경우 (가로축 + 세로축) 1) 앞 뒤 면중 디스플레이 면 판단
2) 벤딩 센서의 출력을 바탕으로 벤딩라인 판단
3) 단말의 디스플레이면 상에서 단말의 디스플레이 경계 및 벤딩라인으로 구성된 다각형 중 변의 길이가 가장 긴 변을 포함하는 직사각형의 최대 영역을 디스플레이 영역으로 지정
4) 단말의 디스플레이면 위에서 단말의 두 디스플레이 경계를 이웃하는 두 변으로 구성하는 직사각형들 중 넓이가 최대가 되는 영역을 디스플레이 영역으로 지정
5) 단말의 디스플레이면 상에서 디스플레이 영역이 2개 또는 3개의 입력에 의해 나뉘면 1), 2)에서 구한 디스플레이 면에 대해서 각 입력 영역에 대해 직사각형을 배치하고 남는 영역을 최소화 하도록 디스플레이 영역을 지정
한편, 통신부(310)를 통해 사용자가 원하는 제어 모드를 수신한 경우에는 해당 제어 모드에 대응되는 UI 정보를 디스플레이 면에 부합하도록 생성 또는 재구성하여 제공할 수도 있다.
도 44는 본 발명의 일 실시 예에 따른 플렉서블 디스플레이 장치의 UI 제공 방법을 설명하기 위한 흐름도이다.
도 44에 도시된 플렉서블 디스플레이 장치의 UI 제공 방법은, 우선 디스플레이부의 형태 변형을 감지한다(S4410). 여기서, 형태 변형은, 롤링 형태 및 폴딩 형태 중 적어도 하나가 될 수 있다.
이어서, 감지된 형태 변형에 대응하는 사용자 인터페이스를 표시한다(S4420). 여기서, 사용자 인터페이스는, 타 기기와 연동되어 상기 타 기기를 제어할 수 있는 형태가 될 수 있다.
구체적으로, 사용자 인터페이스는, 타 기기를 제어할 수 있는 적어도 하나의 제어 모드를 포함할 수 있다. 예를 들어, 제어 모드는, 키보드 모드, 리모컨 모드 및 터치 모드 중 적어도 하나를 포함할 수 있다.
또한, 사용자 인터페이스를 표시하는 단계는, 복수의 제어 모드 각각에 대응되는 UI 정보를 이용하여 감지된 형태 변형에 대응되는 사용자 인터페이스를 표시할 수 있다.
또한, 사용자 인터페이스를 표시하는 단계는, 타 기기로부터 수신된 UI 정보를 이용하여 사용자 인터페이스를 표시할 수 있다.
또한, 감지된 형태 변형에 대응되는 신호를 타 기기로 전송하고, 타 기기로부터 타 기기에서 발생된 이벤트에 기초한 형태 변형에 대응되는 UI 정보를 수신할 수 있다.
또한, 서버로부터 수신된 상기 형태 변형에 대응되는 UI 정보를 이용하여 사용자 인터페이스를 표시할 수 있다.
또한, 감지된 형태 변형에 대응되는 신호를 서버로 전송하고, 서버로부터 형태 변형에 대응되는 UI 정보를 수신할 수 있다.
또한, 감지된 형태 변형에 대응되는 신호는, 형태 변형에 따라 노출되는 디스플레이 영역에 대한 정보를 포함할 수 있다.
또한, 사용자 인터페이스는, 타 기기를 변경하기 위한 기기 선택 영역을 포함할 수 있다.
도 45는 본 발명의 다른 실시 예에 따른 플렉서블 디스플레이 장치의 UI 제공 방법을 설명하기 위한 흐름도이다.
도 45에 도시된 플렉서블 디스플레이 장치의 제어 방법은, 우선 디스플레이부의 형태 변형을 감지한다(S4510).
이어서, 감지된 형태 변형에 대응하는 제1 정보를 타 기기로 전송하고, 전송된 제1 정보에 대한 응답으로 상기 타 기기로부터 제2 정보를 수신한다(S4520).
이 후, 제2 정보를 기초로 사용자 인터페이스를 표시한다(S4530). 여기서, 사용자 인터페이스는, 타 기기와 연동되어 타 기기를 제어할 수 있는 형태가 될 수 있다. 구체적으로, 사용자 인터페이스는, 타 기기를 제어할 수 있는 적어도 하나의 제어 모드를 포함할 수 있다.
여기서, 제1 정보는 감지된 형태 변형에 대응되는 신호이고, 제2 정보는 형태 변형에 대응되는 UI 정보가 될 수 있다.
또한, 제1 정보는, 감지된 형태 변형에 대응하는 디스플레이부의 크기 정보를 포함할 수 있다.
또한, 사용자로부터 형태가 변형된 상태에서 사용자 인터페이스에 대응하는 면에 대한 선택을 입력받을 수 있다.
상술한 다양한 실시 예에서 설명한 바와 같이, 플렉서블 디스플레이 장치의 형태 변형에 대응되는 타기기 제어용 사용자 인터페이스를 제공할 수 있게 된다. 또한, 피 제어 기기에서 제공하는 컨텐츠 특성에 따라 대응되는 형태의 UI를 제공할 수 있게 된다. 이러한 방법은 어플리케이션으로 구현될 수 있다.
구체적으로는, 본 발명의 일 실시 예에 따르면, 플렉서블 디스플레이 장치에 구비된 디스플레이부의 형태 변형을 감지하는 단계 및 감지된 형태 변형에 대응하는 사용자 인터페이스를 표시하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
또는 본 발명의 다른 실시 예에 따르면, 플렉서블 디스플레이 장치에 구비된 디스플레이부의 형태 변형을 감지하는 단계, 감지된 형태 변형에 대응하는 제1 정보를 타 기기로 전송하고, 전송된 제1 정보에 대한 응답으로 타 기기로부터 제2 정보를 수신하는 단계, 및 제2 정보를 기초로 사용자 인터페이스를 표시하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체가 제공될 수도 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100, 400: 플렉서블 디스플레이 장치 200: 전자 장치
300: 서버 110: 디스플레부
120: 감지부 130: 제어부

Claims (32)

  1. 플렉서블 디스플레이 장치에 있어서,
    디스플레이부;
    상기 디스플레이부가 변형되는 형태를 감지하는 감지부; 및
    상기 감지부에 의해 감지된 상기 디스플레이부의 제1 형태에 대응하는 피제어 기기를 제어하기 위한 제1 사용자 인터페이스를 표시하고, 사용자 조작에 의해 변형된 상기 디스플레이부의 제2 형태가 감지되면, 상기 제2 형태에 대응하는 피제어 기기를 제어하기 위한 제2 사용자 인터페이스를 표시하도록 상기 디스플레이부를 제어하는 제어부;를 포함하는 플렉서블 디스플레이 장치.
  2. 제1항에 있어서,
    상기 사용자 인터페이스는,
    상기 피제어 기기를 제어할 수 있는 적어도 하나의 제어 모드를 포함하는 것을 특징으로 하는 플렉서블 디스플레이 장치.
  3. 제2항에 있어서,
    상기 제어 모드는,
    키보드 모드, 리모컨 모드 및 터치 모드 중 적어도 하나를 포함하는 것을 특징으로 하는 플렉서블 디스플레이 장치.
  4. 제2항에 있어서,
    복수의 제어 모드 각각에 대응되는 UI 정보를 저장하는 저장부;를 더 포함하며,
    상기 제어부는,
    상기 UI 정보를 이용하여 상기 감지된 형태 변형에 대응되는 사용자 인터페이스를 표시하도록 제어하는 것을 특징으로 하는 플렉서블 디스플레이 장치.
  5. 제1항에 있어서,
    상기 피제어 기기와 통신하는 통신부;를 더 포함하며,
    상기 제어부는,
    상기 피제어 기기로부터 수신된 UI 정보를 이용하여 사용자 인터페이스를 표시하도록 제어하는 것을 특징으로 하는 플렉서블 디스플레이 장치.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 감지된 형태 변형에 대응되는 신호를 상기 피제어 기기로 전송하고, 상기 피제어 기기로부터 상기 피제어 기기에서 발생된 이벤트에 기초하여 변형된 상기 디스플레이부의 형태에 대응되는 피제어 기기를 제어하기 위한 UI 정보를 수신하는 것을 특징으로 하는 플렉서블 디스플레이 장치.
  7. 제1항에 있어서,
    서버와 통신하는 통신부;를 더 포함하며,
    상기 제어부는,
    상기 서버로부터 수신된 UI 정보를 이용하여 사용자 인터페이스를 표시하도록 제어하는 것을 특징으로 하는 플렉서블 디스플레이 장치.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 감지된 상기 디스플레이부의 형태에 대응되는 신호를 상기 서버로 전송하고, 상기 서버로부터 상기 디스플레이부의 형태에 대응되는 UI 정보를 수신하는 것을 특징으로 하는 플렉서블 디스플레이 장치.
  9. 제8항에 있어서,
    상기 감지된 형태에 대응되는 신호는,
    상기 형태에 따라 노출되는 디스플레이 영역에 대한 정보를 포함하는 것을 특징으로 하는 플렉서블 디스플레이 장치.
  10. 제1항에 있어서,
    상기 사용자 인터페이스는,
    상기 피제어 기기를 변경하기 위한 기기 선택 영역을 포함하는 것을 특징으로 하는 플렉서블 디스플레이 장치.
  11. 제1항에 있어서,
    상기 디스플레이부가 변형되는 형태는,
    롤링 형태 및 폴딩 형태 중 적어도 하나를 포함하는 것을 특징으로 하는 플렉서블 디스플레이 장치.
  12. 플렉서블 디스플레이 장치에 있어서,
    디스플레이부;
    상기 디스플레이부가 변형되는 형태를 감지하는 감지부;
    상기 감지부에 의해 감지된 상기 디스플레이부의 제1 형태에 대응하는 제1 정보를 타 기기로 전송하고, 상기 전송된 제1 정보에 대한 응답으로 상기 타 기기로부터 상기 제1 형태에 대응하는 제2 정보를 수신하는 통신부; 및
    상기 수신된 제2 정보를 기초로 상기 제1 형태에 대응하는 피제어 기기를 제어하기 위한 제1 사용자 인터페이스를 생성하고, 상기 생성된 제1 사용자 인터페이스를 표시하도록 상기 디스플레이부를 제어하는 제어부;를 포함하고,
    상기 통신부는,
    사용자 조작에 의해 변형된 상기 디스플레이부의 제2 형태가 감지되면, 상기 제2 형태에 대응하는 제3 정보를 상기 타 기기로 전송하고, 상기 전송된 제3 정보에 대한 응답으로 상기 타 기기로부터 상기 제2 형태에 대응하는 제4 정보를 수신하고,
    상기 제어부는,
    상기 수신된 제4 정보에 기초하여 상기 제2 형태에 대응하는 피제어 기기를 제어하기 위한 제2 사용자 인터페이스를 생성하고, 상기 생성된 제2 사용자 인터페이스를 표시하도록 상기 디스플레이부를 제어하는 플렉서블 디스플레이 장치.
  13. 제12항에 있어서,
    상기 사용자 인터페이스는,
    상기 피제어 기기를 제어할 수 있는 적어도 하나의 제어 모드를 포함하는 것을 특징으로 하는 플렉서블 디스플레이 장치.
  14. 제12항에 있어서,
    상기 제1 정보는 상기 감지된 형태에 대응되는 신호이고,
    상기 제2 정보는 상기 형태에 대응되는 UI 정보인 것을 특징으로 하는 플렉서블 디스플레이 장치.
  15. 제14항에 있어서,
    상기 제1 정보는,
    상기 감지된 형태에 대응하는 상기 디스플레이부의 크기 정보를 포함하는 것을 특징으로 하는 플렉서블 디스플레이 장치.
  16. 제12항에 있어서,
    사용자로부터 상기 사용자 인터페이스에 대응하는 면에 대한 선택을 입력받는 입력부;를 더 포함하는 플렉서블 디스플레이 장치.
  17. 플렉서블 디스플레이 장치의 UI 제공 방법에 있어서,
    디스플레이부의 형태를 감지하는 단계;
    상기 감지된 상기 디스플레이부의 제1 형태에 대응하는 피제어 기기를 제어하기 위한 제1 사용자 인터페이스를 표시하는 단계; 및
    사용자 조작에 의해 변형된 상기 디스플레이부의 제2 형태가 감지되면, 상기 제2 형태에 대응하는 피제어 기기를 제어하기 위한 제2 사용자 인터페이스를 표시하는 단계;를 포함하는 UI 제공 방법.
  18. 제17항에 있어서,
    상기 제1 사용자 인터페이스는,
    상기 제1 형태 및 제2 형태에 대응하는 피제어 기기를 제어할 수 있는 적어도 하나의 제어 모드를 포함하는 것을 특징으로 하는 UI 제공 방법.
  19. 제18항에 있어서,
    상기 제어 모드는,
    키보드 모드, 리모컨 모드 및 터치 모드 중 적어도 하나를 포함하는 것을 특징으로 하는 UI 제공 방법.
  20. 제18항에 있어서,
    상기 제1 사용자 인터페이스를 표시하는 단계는,
    복수의 제어 모드 각각에 대응되는 UI 정보를 이용하여 상기 감지된 제1 형태에 대응되는 상기 제1 사용자 인터페이스를 표시하는 것을 특징으로 하는 UI 제공 방법.
  21. 제17항에 있어서,
    상기 제1 사용자 인터페이스를 표시하는 단계는,
    상기 피제어 기기로부터 수신된 UI 정보를 이용하여 상기 제1 사용자 인터페이스를 표시하는 것을 특징으로 하는 UI 제공 방법.
  22. 제21항에 있어서,
    상기 감지된 형태에 대응되는 신호를 상기 피제어 기기로 전송하는 단계; 및
    상기 피제어 기기로부터 상기 피제어 기기에서 발생된 이벤트에 기초하여 변형된 상기 디스플레이부의 형태에 대응되는 피제어 기기를 제어하기 위한 상기 UI 정보를 수신하는 단계;를 더 포함하는 것을 특징으로 하는 UI 제공 방법.
  23. 삭제
  24. 제17항에 있어서,
    상기 감지된 형태에 대응되는 신호를 서버로 전송하는 단계; 및
    상기 서버로부터 상기 감지된 형태에 대응되는 UI 정보를 수신하는 단계;를 더 포함하고,
    상기 제1 사용자 인터페이스를 표시하는 단계는,
    상기 수신된 UI 정보를 이용하여 상기 제1 사용자 인터페이스를 표시하는 것을 특징으로 하는 UI 제공 방법.
  25. 제24항에 있어서,
    상기 감지된 형태에 대응되는 신호는,
    상기 형태에 따라 노출되는 디스플레이 영역에 대한 정보를 포함하는 것을 특징으로 하는 UI 제공 방법.
  26. 제17항에 있어서,
    상기 제1 사용자 인터페이스는,
    상기 제1 형태에 대응하는 피제어 기기를 변경하기 위한 기기 선택 영역을 포함하는 것을 특징으로 하는 UI 제공 방법.
  27. 제17항에 있어서,
    상기 디스플레이부가 변형되는 형태는,
    롤링 형태 및 폴딩 형태 중 적어도 하나를 포함하는 것을 특징으로 하는 UI 제공 방법.
  28. 플렉서블 디스플레이 장치의 제어 방법에 있어서,
    디스플레이부의 형태를 감지하는 단계;
    상기 감지된 상기 디스플레이부의 제1 형태에 대응하는 제1 정보를 타 기기로 전송하고, 상기 전송된 제1 정보에 대한 응답으로 상기 타 기기로부터 상기 제1 형태에 대응하는 제2 정보를 수신하는 단계; 및
    상기 제1 형태에 대응하는 제2 정보를 기초로 상기 제1 형태에 대응하는 피제어 기기를 제어하기 위한 제1 사용자 인터페이스를 생성 및 표시하는 단계;를 포함하고,
    사용자 조작에 의해 변형된 상기 디스플레이부의 제2 형태가 감지되면,
    상기 전송 및 수신하는 단계는,
    상기 변형된 제2 형태에 대응하는 제3 정보를 상기 타 기기로 전송하고, 상기 전송된 제3 정보에 대한 응답으로 상기 타 기기로부터 상기 제2 형태에 대응하는 제4 정보를 수신하고,
    상기 생성 및 표시하는 단계는,
    상기 수신된 제4 정보에 기초하여 상기 제2 형태에 대응하는 피제어 기기를 제어하기 위한 제2 사용자 인터페이스를 생성 및 표시하는 UI 제공 방법.
  29. 제28항에 있어서,
    상기 제1 및 제2 사용자 인터페이스는,
    상기 제1 형태 및 제2 형태에 대응하는 피제어 기기를 제어할 수 있는 적어도 하나의 제어 모드를 포함하는 것을 특징으로 하는 UI 제공 방법.
  30. 제28항에 있어서,
    상기 제1 정보는 상기 감지된 제1 형태에 대응되는 신호이고,
    상기 제2 정보는 상기 제1 형태에 대응되는 UI 정보인 것을 특징으로 하는 UI 제공 방법.
  31. 제30항에 있어서,
    상기 제1 정보는,
    상기 감지된 제1 형태에 대응하는 상기 디스플레이부의 크기 정보를 포함하는 것을 특징으로 하는 UI 제공 방법.
  32. 제28항에 있어서,
    사용자로부터 상기 사용자 인터페이스에 대응하는 면에 대한 선택을 입력받는 단계;를 더 포함하는 것을 특징으로 하는 UI 제공 방법.
KR1020120036467A 2012-04-08 2012-04-08 플렉서블 디스플레이 장치 및 그 ｕｉ 방법 Expired - Fee Related KR101661526B1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR1020120036467A KR101661526B1 (ko) 2012-04-08 2012-04-08 플렉서블 디스플레이 장치 및 그 ｕｉ 방법
BR102013008300A BR102013008300A2 (pt) 2012-04-08 2013-04-05 aparelho com tela flexível, e método para controlar um aparelho com tela flexível
RU2013115294/08A RU2013115294A (ru) 2012-04-08 2013-04-05 Гибкое устройство отображения и способ для предоставления его интерфейса пользователя
PCT/KR2013/002929 WO2013154317A1 (en) 2012-04-08 2013-04-08 Flexible display apparatus and method for providing ui thereof
AU2013203011A AU2013203011B2 (en) 2012-04-08 2013-04-08 Flexible display apparatus and method for providing ui thereof
JP2013080356A JP2013218696A (ja) 2012-04-08 2013-04-08 フレキシブルディスプレイ装置およびそのｕｉ方法
EP13162791.1A EP2648066B1 (en) 2012-04-08 2013-04-08 Flexible display apparatus and control method thereof
CN201310119763.3A CN103365594B (zh) 2012-04-08 2013-04-08 柔性显示设备和用于提供其ui的方法
US13/858,347 US10019052B2 (en) 2012-04-08 2013-04-08 Flexible display apparatus and method for providing UI thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120036467A KR101661526B1 (ko) 2012-04-08 2012-04-08 플렉서블 디스플레이 장치 및 그 ｕｉ 방법

Publications (2)

Publication Number Publication Date
KR20130113895A KR20130113895A (ko) 2013-10-16
KR101661526B1 true KR101661526B1 (ko) 2016-10-04

Family

ID=48050530

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120036467A Expired - Fee Related KR101661526B1 (ko) 2012-04-08 2012-04-08 플렉서블 디스플레이 장치 및 그 ｕｉ 방법

Country Status (9)

Country Link
US (1) US10019052B2 (ko)
EP (1) EP2648066B1 (ko)
JP (1) JP2013218696A (ko)
KR (1) KR101661526B1 (ko)
CN (1) CN103365594B (ko)
AU (1) AU2013203011B2 (ko)
BR (1) BR102013008300A2 (ko)
RU (1) RU2013115294A (ko)
WO (1) WO2013154317A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022108283A1 (ko) * 2020-11-17 2022-05-27 삼성전자 주식회사 확장 가능한 디스플레이 제어 방법 및 이를 지원하는 전자 장치
WO2024063421A1 (ko) * 2022-09-20 2024-03-28 삼성전자주식회사 폴더블 전자 장치와 통신하는 전자 장치 및 이의 제어 방법

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2979859B1 (fr) * 2011-09-13 2014-01-31 Delphi Tech Inc Module de controle integrant un dispositif d'aide a l'assemblage.
KR102104588B1 (ko) * 2012-07-11 2020-04-24 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 동작 방법
KR102079348B1 (ko) * 2012-07-30 2020-04-07 삼성전자주식회사 플렉서블 장치 및 그 동작 제어 방법
WO2015182701A1 (ja) 2014-05-30 2015-12-03 ソニー株式会社 携帯装着品及び通信システム
KR20140044227A (ko) * 2012-10-04 2014-04-14 삼성전자주식회사 플렉서블 디스플레이 장치 및 그의 제어 방법
KR102048922B1 (ko) * 2013-02-13 2020-01-09 삼성디스플레이 주식회사 플렉시블 디스플레이 장치
US9240158B2 (en) * 2013-05-28 2016-01-19 Nokia Technologies Oy Method and apparatus for program utilization of display area
US9356049B2 (en) * 2013-07-26 2016-05-31 Semiconductor Energy Laboratory Co., Ltd. Display device with a transistor on an outer side of a bent portion
KR102132780B1 (ko) * 2013-08-28 2020-07-13 삼성디스플레이 주식회사 표시 장치 및 그 제조 방법
US9818325B2 (en) * 2013-11-01 2017-11-14 Semiconductor Energy Laboratory Co., Ltd. Data processor and method for displaying data thereby
KR102153743B1 (ko) * 2013-11-01 2020-09-10 삼성디스플레이 주식회사 표시장치
US20150154730A1 (en) 2013-12-02 2015-06-04 Semiconductor Energy Laboratory Co., Ltd. Data processing device
JP2015118560A (ja) * 2013-12-18 2015-06-25 株式会社リコー 入力装置、入力方法およびプログラム
WO2015093665A1 (ko) 2013-12-19 2015-06-25 전자부품연구원 전자기기 및 전자기기의 제어방법
US10503276B2 (en) 2013-12-19 2019-12-10 Korea Electronics Technology Institute Electronic device and a control method thereof
KR101510021B1 (ko) 2013-12-19 2015-04-16 전자부품연구원 전자기기 및 전자기기의 제어방법
US9780339B2 (en) * 2013-12-27 2017-10-03 Joled Inc. Organic electroluminescent panel unit
KR101588294B1 (ko) 2013-12-30 2016-01-28 삼성전자주식회사 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법
KR102117526B1 (ko) * 2014-01-02 2020-06-09 삼성전자주식회사 디스플레이 시스템, 플렉서블 리모컨, 플렉서블 디스플레이 장치 및 그 제어 방법
US10067641B2 (en) 2014-02-10 2018-09-04 Samsung Electronics Co., Ltd. User terminal device and displaying method thereof
KR102561200B1 (ko) 2014-02-10 2023-07-28 삼성전자주식회사 사용자 단말 장치 및 이의 디스플레이 방법
KR102119843B1 (ko) 2014-02-10 2020-06-05 삼성전자주식회사 사용자 단말 장치 및 이의 디스플레이 방법
KR102300102B1 (ko) * 2014-02-10 2021-09-09 삼성전자주식회사 사용자 단말 장치 및 이의 디스플레이 방법
KR102331956B1 (ko) * 2014-02-10 2021-11-29 삼성전자주식회사 사용자 단말 장치 및 이의 디스플레이 방법
KR102255274B1 (ko) 2014-02-21 2021-05-24 삼성전자주식회사 사용자 인터페이스를 제공하는 방법 및 이를 수행하기 위한 플렉시블 디바이스
US9483997B2 (en) 2014-03-10 2016-11-01 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using infrared signaling
KR102384830B1 (ko) * 2014-03-12 2022-04-07 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치 및 정보 처리 장치
CN103957440B (zh) * 2014-04-01 2017-09-29 京东方科技集团股份有限公司 一种信号处理设备及其方法、显示系统
KR102511325B1 (ko) * 2014-04-18 2023-03-20 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치 및 그 동작 방법
FR3020476B1 (fr) * 2014-04-25 2016-04-15 Somfy Sas Dispositif et un systeme de commande et/ou de controle
DE112015002144T5 (de) 2014-05-06 2017-03-02 Semiconductor Energy Laboratory Co., Ltd. Elektronische Vorrichtung
US9696414B2 (en) 2014-05-15 2017-07-04 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using sonic signaling
US10070291B2 (en) 2014-05-19 2018-09-04 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using low energy bluetooth
JP1528138S (ko) * 2014-05-30 2017-12-25
USD767526S1 (en) * 2014-06-09 2016-09-27 Lg Electronics Inc. Cellular phone
USD788726S1 (en) * 2014-06-09 2017-06-06 Lg Electronics Inc. Cellular phone
KR20160001602A (ko) * 2014-06-26 2016-01-06 삼성전자주식회사 폴더블 전자 장치의 인터페이싱 방법 및 그 폴더블 전자 장치
CN104143319B (zh) * 2014-07-25 2016-05-04 京东方科技集团股份有限公司 曲面液晶电视及其显示方法
KR101600276B1 (ko) * 2014-07-31 2016-03-07 디케이 유아이엘 주식회사 웨어러블 스마트 밴드
USD772225S1 (en) * 2014-08-07 2016-11-22 Samsung Electronics Co., Ltd. Electronic device
CN104182141B (zh) * 2014-08-18 2018-06-01 联想(北京)有限公司 一种信息处理方法及电子设备
US9690381B2 (en) * 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
KR102255143B1 (ko) * 2014-09-02 2021-05-25 삼성전자주식회사 벤디드 디스플레이를 구비한 휴대 단말기의 제어 방법 및 장치
KR102338003B1 (ko) * 2014-10-07 2021-12-10 삼성전자 주식회사 플렉서블 디스플레이를 포함하는 전자 장치
KR102208299B1 (ko) * 2014-10-31 2021-01-27 삼성전자주식회사 디스플레이 장치 및 그의 디스플레이 벤딩 방법
KR102223680B1 (ko) * 2014-11-03 2021-03-08 삼성디스플레이 주식회사 신축성 디스플레이 장치 및 이의 표시 제어 방법 및 장치
US9727741B2 (en) 2014-11-11 2017-08-08 International Business Machines Corporation Confidential content display in flexible display devices
KR20160064978A (ko) * 2014-11-28 2016-06-08 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치, 모듈, 표시 시스템, 및 전자 기기
CN105761616B (zh) * 2014-12-17 2019-03-15 昆山工研院新型平板显示技术中心有限公司 柔性显示屏的控制方法
CN105761617A (zh) * 2014-12-17 2016-07-13 昆山工研院新型平板显示技术中心有限公司 柔性显示屏的变形控制方法和系统
CN104598139B (zh) * 2014-12-29 2018-08-10 联想(北京)有限公司 一种信息处理方法及电子设备
CN104503725B (zh) * 2014-12-29 2018-02-27 联想(北京)有限公司 一种信息处理方法及电子设备
CN104699194A (zh) * 2015-02-16 2015-06-10 三星电子（中国）研发中心 柔性电子设备及其弯曲方法
US9703472B2 (en) * 2015-03-18 2017-07-11 Alpine Electronics, Inc. Method and system for operating console with touch screen
US10031605B2 (en) 2015-04-13 2018-07-24 Microsoft Technology Licensing, Llc Display integrated pressure sensor
KR20160123620A (ko) 2015-04-16 2016-10-26 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법
CN104808923B (zh) * 2015-05-25 2018-07-06 联想(北京)有限公司 一种屏幕控制方法和电子设备
KR20160139320A (ko) * 2015-05-27 2016-12-07 엘지전자 주식회사 변형 가능한 디스플레이 장치 및 그의 동작 방법
KR102319684B1 (ko) * 2015-06-22 2021-11-02 엘지전자 주식회사 변형 가능한 디스플레이 장치 및 그의 동작 방법
USD789925S1 (en) * 2015-06-26 2017-06-20 Intel Corporation Electronic device with foldable display panels
KR102174740B1 (ko) * 2015-07-29 2020-11-06 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
US11284003B2 (en) 2015-07-29 2022-03-22 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
US9882179B2 (en) * 2015-07-29 2018-01-30 Semiconductor Energy Laboratory Co., Ltd. Secondary battery and electronic device including secondary battery
CN105138076B (zh) * 2015-08-03 2020-01-31 联想(北京)有限公司 一种电子设备的控制方法及电子设备
US10585456B2 (en) 2015-08-26 2020-03-10 Lg Display Co., Ltd. Flexible display device having bending sensing device
KR102396458B1 (ko) * 2015-08-26 2022-05-10 엘지디스플레이 주식회사 연성 표시장치
KR102359550B1 (ko) * 2015-08-26 2022-02-08 엘지전자 주식회사 플렉서블 디스플레이 장치 및 그의 동작 방법
KR102398552B1 (ko) * 2015-08-26 2022-05-17 엘지디스플레이 주식회사 벤딩 센싱 장치를 갖는 연성 표시장치
DE102015011403A1 (de) 2015-08-29 2017-03-16 Audi Ag Biegbare Anzeige zur Darstellung von Tiefeninformationen
KR102436553B1 (ko) * 2015-08-31 2022-08-25 엘지디스플레이 주식회사 연성 표시 장치
US20170083110A1 (en) * 2015-09-22 2017-03-23 International Business Machines Corporation Flexible display input device
KR102469625B1 (ko) * 2015-10-13 2022-11-22 엘지전자 주식회사 디스플레이 디바이스
US9756320B2 (en) 2015-10-15 2017-09-05 International Business Machines Corporation Multi-layer display of content on a flexible display
US10558265B2 (en) * 2015-12-11 2020-02-11 Semiconductor Energy Laboratory Co., Ltd. Input device and system of input device
CN106899913B (zh) * 2015-12-18 2020-11-20 联想(北京)有限公司 一种控制电子设备的方法及电子设备
KR102459831B1 (ko) * 2015-12-28 2022-10-28 삼성전자주식회사 플렉서블 디스플레이를 포함하는 전자 장치 및 그 동작 방법
KR102501142B1 (ko) * 2015-12-31 2023-02-17 엘지디스플레이 주식회사 폴더블 표시 장치
KR102516590B1 (ko) 2016-01-29 2023-04-03 삼성전자주식회사 전자 장치 및 전자 장치에서 디스플레이의 변형에 따라 기능을 실행하기 위한 방법
KR20170111827A (ko) * 2016-03-29 2017-10-12 삼성전자주식회사 디스플레이 및 카메라를 포함하는 전자 장치
JP6940974B2 (ja) * 2016-05-10 2021-09-29 株式会社半導体エネルギー研究所 移動体
DE102016007995A1 (de) * 2016-06-30 2018-01-04 Audi Ag Bedien- und Anzeigevorrichtung für ein Kraftfahrzeug, Verfahren zum Betreiben einer Bedien- und Anzeigevorrichtung für ein Kraftfahrzeug und Kraftfahrzeug mit einer Bedien- und Anzeigevorrichtung
CN107656666B (zh) * 2016-07-26 2020-09-25 北京小米移动软件有限公司 移动终端及滚动速度确定方法
KR102522424B1 (ko) 2016-08-19 2023-04-17 삼성전자주식회사 전자 장치에서의 표시를 위한 방법 및 장치
KR102485231B1 (ko) * 2016-09-01 2023-01-05 삼성디스플레이 주식회사 플렉서블 표시 장치 및 이의 구동 방법
TWI619103B (zh) 2016-09-23 2018-03-21 友達光電股份有限公司 可撓式顯示器
KR102654329B1 (ko) * 2016-10-19 2024-04-05 삼성디스플레이 주식회사 롤러블 표시 패널 및 이를 포함하는 롤러블 표시 장치
CN107995975A (zh) * 2016-12-26 2018-05-04 深圳市柔宇科技有限公司 一种显示屏的控制方法及装置
US10444912B2 (en) * 2016-12-30 2019-10-15 Industrial Technology Research Institute Sensing method of sensing device and stretchable sensor device
US10156911B2 (en) * 2017-01-03 2018-12-18 Facebook, Inc. Content display control with a deformable display screen
US11042262B2 (en) 2017-02-01 2021-06-22 Opentv, Inc. Menu modification based on controller manipulation data
KR102309412B1 (ko) * 2017-04-19 2021-10-06 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
CN112162656B (zh) * 2017-06-29 2025-06-13 上海耕岩智能科技有限公司 一种触点识别方法和装置
CN109391729A (zh) 2017-08-08 2019-02-26 中兴通讯股份有限公司 移动终端操作系统启动方法及装置
WO2019130217A1 (en) * 2017-12-29 2019-07-04 3M Innovative Properties Company Light control sheet
KR102501909B1 (ko) 2018-04-20 2023-02-20 엘지디스플레이 주식회사 디스플레이 장치
US10705573B2 (en) * 2018-05-21 2020-07-07 Wuhan China Star Optoelectronics Semiconductor Display Technology Co., Ltd. Active-matrix organic light emitting diode module operable in bendable states and displaying method thereof
US10884540B2 (en) * 2018-09-11 2021-01-05 Sharp Kabushiki Kaisha Display device with detection of fold by number and size of touch areas
US10635288B2 (en) * 2018-09-25 2020-04-28 Rovi Guides, Inc. Systems and methods for selecting a region of a flexible screen and controlling video playback
US10867535B2 (en) * 2018-09-25 2020-12-15 Rovi Guides, Inc. Systems and methods for selecting a region of a flexible screen and controlling video playback
US11561683B2 (en) 2018-09-25 2023-01-24 Rovi Guides, Inc. Systems and methods for selecting a region of a flexible screen and controlling video playback
KR102848756B1 (ko) * 2018-12-04 2025-08-22 삼성전자 주식회사 전자 장치의 상태 정보에 기반하여 동작을 수행하는 전자 장치 및 전자 장치의 동작 방법
KR20200100923A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 사용자 인터페이스를 제어하는 폴더블 전자 장치 및 그의 동작 방법
KR102664716B1 (ko) * 2019-03-19 2024-05-09 삼성전자 주식회사 변형가능한 디스플레이 패널 내의 화면의 표시를 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
CN110764478A (zh) * 2019-10-31 2020-02-07 雷宏生 一种多功能一体电器
KR102782078B1 (ko) * 2019-12-03 2025-03-19 엘지전자 주식회사 컨텐츠를 제공하는 전자 장치 및 그 제어 방법
KR102340786B1 (ko) * 2020-01-10 2021-12-17 엘지전자 주식회사 차량용 디스플레이 장치
DE102020101877B3 (de) * 2020-01-27 2021-05-06 Audi Aktiengesellschaft Anzeigevorrichtung, Kraftfahrzeug mit einer Anzeigevorrichtung, und Verfahren zum Betreiben einer Anzeigevorrichtung
JP2021119364A (ja) * 2020-01-30 2021-08-12 セイコーエプソン株式会社 表示装置、表示装置の制御方法およびプログラム
JP2021119431A (ja) * 2020-01-30 2021-08-12 セイコーエプソン株式会社 表示システム、コントローラー、表示システムの制御方法およびプログラム
US11262853B2 (en) * 2020-03-10 2022-03-01 Cirque Corporation Measuring capacitance
US11495648B2 (en) * 2020-03-27 2022-11-08 Wuhan China Star Optoelectronics Semiconductor Display Technology Co., Ltd. Pixel structure and foldable display panel
US11481035B2 (en) * 2020-05-15 2022-10-25 Huawei Technologies Co., Ltd. Method and system for processing gestures detected on a display screen of a foldable device
USD973711S1 (en) * 2020-09-22 2022-12-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Display screen with transitional graphical user interface
USD973710S1 (en) * 2020-09-22 2022-12-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Display screen with transitional graphical user interface
CN119937825A (zh) * 2020-10-30 2025-05-06 群创光电股份有限公司 电子装置及其在折叠状态的操作方法
KR20220078381A (ko) * 2020-12-03 2022-06-10 삼성전자주식회사 플렉서블 디스플레이를 갖는 전자 장치 및 그의 상태 변경에 따른 촬영 방법
KR20220115001A (ko) * 2021-02-09 2022-08-17 현대모비스 주식회사 스마트 디바이스 스위블을 이용한 차량 제어 장치 및 그 방법
CN115145428A (zh) * 2021-03-29 2022-10-04 北京小米移动软件有限公司 一种指向方法、装置、电子设备及存储介质
EP4278292A4 (en) * 2021-07-12 2024-07-10 Samsung Electronics Co., Ltd. METHOD AND ELECTRONIC DEVICE FOR SECURE DISPLAY OF CONFIDENTIAL CONTENT
US11893303B2 (en) * 2021-11-30 2024-02-06 Samsung Electronics Co., Ltd. Device and method for performing mirroring
DE102022100977A1 (de) 2022-01-17 2023-07-20 Audi Aktiengesellschaft Anzeigesystem
EP4502773A1 (en) * 2022-03-24 2025-02-05 Sony Interactive Entertainment Inc. Controller device and sensor
CN114582242B (zh) * 2022-03-25 2023-11-24 武汉天马微电子有限公司 显示装置及其驱动方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010211612A (ja) * 2009-03-11 2010-09-24 Autonetworks Technologies Ltd 入力装置及び車両機器
JP2013105312A (ja) 2011-11-14 2013-05-30 Sony Corp 情報処理装置、制御方法およびプログラム

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5410326A (en) * 1992-12-04 1995-04-25 Goldstein; Steven W. Programmable remote control device for interacting with a plurality of remotely controlled devices
US5956025A (en) * 1997-06-09 1999-09-21 Philips Electronics North America Corporation Remote with 3D organized GUI for a home entertainment system
US7046161B2 (en) * 1999-06-16 2006-05-16 Universal Electronics Inc. System and method for automatically setting up a universal remote control
JP2004536475A (ja) 2000-12-05 2004-12-02 イー−インク コーポレイション 追加の電子光学的ディスプレイ付ポータブル電子装置
US6950993B2 (en) * 2001-08-02 2005-09-27 Microsoft Corporation System and method for automatic and dynamic layout of resizable dialog type windows
US6988247B2 (en) * 2002-06-18 2006-01-17 Koninklijke Philips Electronics N.V. Graphic user interface having touch detectability
JP3863172B2 (ja) * 2004-03-09 2006-12-27 千三 小林 情報表示装置
US20100045705A1 (en) * 2006-03-30 2010-02-25 Roel Vertegaal Interaction techniques for flexible displays
WO2007148967A2 (en) 2006-06-22 2007-12-27 Polymer Vision Limited Auto-closable flexible display device
US9918039B2 (en) * 2006-10-13 2018-03-13 Koninklijke Philips N.V. Interface systems for portable digital media storage and playback devices
US9823833B2 (en) 2007-06-05 2017-11-21 Immersion Corporation Method and apparatus for haptic enabled flexible touch sensitive surface
EP2283636B1 (en) 2008-06-06 2014-10-01 Creator Technology B.V. Protection of flexible displays
US9519857B2 (en) 2008-06-30 2016-12-13 Nokia Technologies Oy Apparatus and method for sensing characterizing features of a deformable structure
US20100011291A1 (en) * 2008-07-10 2010-01-14 Nokia Corporation User interface, device and method for a physically flexible device
US9176637B2 (en) 2008-08-29 2015-11-03 Invention Science Fund I, Llc Display control based on bendable interface containing electronic device conformation sequence status
KR101472021B1 (ko) * 2008-09-02 2014-12-24 엘지전자 주식회사 플렉서블 디스플레이부를 구비한 휴대 단말기 및 그 제어방법
KR101517082B1 (ko) 2008-11-10 2015-04-30 엘지전자 주식회사 플렉서블 디스플레이를 이용하는 휴대 단말기 및 그 제어방법
KR20100065418A (ko) * 2008-12-08 2010-06-17 삼성전자주식회사 가요성 표시부를 가지는 단말기 및 그의 데이터 표시 방법
US8638311B2 (en) 2008-12-08 2014-01-28 Samsung Electronics Co., Ltd. Display device and data displaying method thereof
JP2010157060A (ja) 2008-12-26 2010-07-15 Sony Corp 表示装置
JP2010200203A (ja) * 2009-02-27 2010-09-09 Sony Corp リモートコントロール方法およびリモートコントローラ
US20100225578A1 (en) * 2009-03-03 2010-09-09 Chueh-Pin Ko Method for Switching Multi-Functional Modes of Flexible Panel and Calibrating the Same
US8803798B2 (en) 2009-05-07 2014-08-12 Immersion Corporation System and method for shape deformation and force display of devices
JP5658235B2 (ja) * 2009-05-07 2015-01-21 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚フィードバックによる形状変化ディスプレイの形成方法及び装置
US20100302190A1 (en) * 2009-06-02 2010-12-02 Elan Microelectronics Corporation Multi-functional touchpad remote controller
KR20110072970A (ko) * 2009-12-23 2011-06-29 엘지전자 주식회사 영상표시장치 및 그 동작 방법
US8302346B2 (en) 2010-01-26 2012-11-06 University Of Georgia Research Foundation, Inc. Biological optimization systems for enhancing photosynthetic efficiency and methods of use
KR101067587B1 (ko) 2010-01-29 2011-09-27 주식회사 팬택 형태 변환 특성이 있는 플렉서블 단말기, 그 형태 변환 방법 및 형태 변환장치
KR101644086B1 (ko) * 2010-02-05 2016-08-01 삼성전자주식회사 해상도 변경방법, 그리고, 이를 이용한 디스플레이 장치 및 시스템
US8194399B2 (en) * 2010-07-16 2012-06-05 Hewlett-Packard Development Company, L.P. Altering the flexibility of a display device
US8963847B2 (en) * 2010-12-06 2015-02-24 Netflix, Inc. User interface for a remote control device
US9176530B2 (en) 2011-08-17 2015-11-03 Apple Inc. Bi-stable spring with flexible display
US20140229847A1 (en) * 2011-10-13 2014-08-14 Lg Electronics Inc. Input interface controlling apparatus and method thereof
US9007300B2 (en) * 2011-10-14 2015-04-14 Blackberry Limited Method and system to control a process with bend movements
US8610663B2 (en) * 2012-02-06 2013-12-17 Lg Electronics Inc. Portable device and method for controlling the same
KR20140044237A (ko) * 2012-10-04 2014-04-14 삼성전자주식회사 플렉서블 장치 및 그의 제어 방법
CN105100848B (zh) * 2014-04-21 2020-05-22 索尼公司 智能设备、智能设备控制系统及其实现方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010211612A (ja) * 2009-03-11 2010-09-24 Autonetworks Technologies Ltd 入力装置及び車両機器
JP2013105312A (ja) 2011-11-14 2013-05-30 Sony Corp 情報処理装置、制御方法およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022108283A1 (ko) * 2020-11-17 2022-05-27 삼성전자 주식회사 확장 가능한 디스플레이 제어 방법 및 이를 지원하는 전자 장치
US12045535B2 (en) 2020-11-17 2024-07-23 Samsung Electronics Co., Ltd. Expandable display control method and electronic device supporting same
WO2024063421A1 (ko) * 2022-09-20 2024-03-28 삼성전자주식회사 폴더블 전자 장치와 통신하는 전자 장치 및 이의 제어 방법

Also Published As

Publication number Publication date
BR102013008300A2 (pt) 2016-08-02
CN103365594A (zh) 2013-10-23
AU2013203011B2 (en) 2015-07-16
CN103365594B (zh) 2018-07-31
AU2013203011A1 (en) 2013-10-24
EP2648066A3 (en) 2015-01-21
JP2013218696A (ja) 2013-10-24
EP2648066B1 (en) 2017-08-23
KR20130113895A (ko) 2013-10-16
EP2648066A2 (en) 2013-10-09
RU2013115294A (ru) 2014-10-10
US20130265221A1 (en) 2013-10-10
US10019052B2 (en) 2018-07-10
WO2013154317A1 (en) 2013-10-17

Similar Documents

Publication Publication Date Title
KR101661526B1 (ko) 플렉서블 디스플레이 장치 및 그 ｕｉ 방법
AU2013297228B2 (en) Flexible device for providing bending interaction guide and control method thereof
KR101692252B1 (ko) 플렉서블 디스플레이 장치 및 제어 방법
KR102043810B1 (ko) 플렉서블 디스플레이 장치 및 그 제어 방법
KR102163740B1 (ko) 플렉서블 디스플레이 장치 및 플렉서블 디스플레이 장치의 제어 방법
CN104737100B (zh) 柔性显示设备及其控制方法
CN104798011B (zh) 柔性显示装置及其控制方法
KR101948665B1 (ko) 플렉서블 장치 및 그 제어 방법
JP2015535974A (ja) フレキシブルディスプレイ装置及びそのディスプレイ方法
KR20140025926A (ko) 플렉서블 및 그 제어 방법
CN104823133A (zh) 柔性装置及其控制方法
KR101971162B1 (ko) 플렉서블 디스플레이 장치 및 제어 방법
KR102108533B1 (ko) 플렉서블 디스플레이 장치 및 제어 방법
KR101763898B1 (ko) 플렉서블 디스플레이 장치 및 제어 방법
KR102237296B1 (ko) 플렉서블 디스플레이 장치 및 제어 방법
KR102327837B1 (ko) 플렉서블 디스플레이 장치 및 그의 디스플레이 방법

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R15-X000 Change to inventor requested

St.27 status event code: A-3-3-R10-R15-oth-X000

R16-X000 Change to inventor recorded

St.27 status event code: A-3-3-R10-R16-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20190829

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20200927

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20200927