KR101918040B1

KR101918040B1 - 스크린 미러링 방법 및 그 장치

Info

Publication number: KR101918040B1
Application number: KR1020120017021A
Authority: KR
Inventors: 한세희; 박호연
Original assignee: 삼성전자주식회사
Priority date: 2012-02-20
Filing date: 2012-02-20
Publication date: 2019-01-29
Anticipated expiration: 2032-02-20
Also published as: EP2817973A4; CN104126310A; EP2817973A1; EP2817973B1; US11019124B2; KR20130095519A; WO2013125829A1; CN104126310B; CN108874337B; CN108874337A; EP3537722B1; US20130219072A1; EP3537722A1

Abstract

본 발명은 스크린 미러링 방법에 있어서, 소스 장치에서, 스크린 미러링 동작 수행시에 미디어 컨텐츠 재생 동작이 요구되는지 확인하는 과정과; 상기 스크린 미러링 동작 수행 중에 미디어 컨텐츠 재생 동작의 요구시에, 상기 미디어 컨텐츠를 싱크 장치로 스트리밍하며 상기 미디어 컨텐츠의 재생 동작을 중단하는 과정을 수행한다.

Description

스크린 미러링 방법 및 그 장치{SCREEN MIRRORING METHOD AND APPARATUS THEREOF}

본 발명은 디지털 영상 디스플레이에 관한 기술로서, 특히 디지털 영상 디스플레이 기능을 구비한 두 장치간의 연동 기술인 스크린 미러링 방법 및 그 장치에 관한 것이다.

스크린 미러링(screen mirroring) 기술은 영상 디스플레이 기능을 구비한 두 장치에서 하나의 장치(소스 장치)에서 현재 스크린에 표시되는 영상을 그대로 다른 장치(싱크 장치)로 전송하는 기술이다. 예를 들어, 도 1에 도시된 바와 같이, 모바일 폰이나 태블릿과 같은 소스 장치(1) 상에 표시되는 영상을 그대로 TV나 PC 등의 싱크 장치(2)로 전송하여, 해당 TV 등의 싱크 장치(2)에서 이를 표시하는 기술을 말한다.

이러한 스크린 미러링 기술은 통상 휴대용 단말기와 같은 비교적 작은 화면을 가지는 단말에서 표시되는 게임이나 웹페이지 영상 등을 보다 큰 화면에 출력하고자 할 때 사용되며, 사용상 보다 편리함과 특히, 휴대용 단말기의 활용성을 크게 확장시킬 수 있게 된다.

따라서, 최근 "Wi-Fi Display"나, "Mirroring AirPlay" 등과 같은 스크린 미러링 기술을 탑재한 휴대용 단말기가 증가하고 있다.

그런데, 휴대용 단말기는 그 특성상 배터리 소모 및 프로세싱 부담을 고려하지 않을 수 없는데, 스크린 미러링 동작을 수행하는 중에 미디어 컨텐츠의 재생을 동시에 수행할 경우에, 배터리 소모 및 프로세싱 부담이 심각하게 증가하게 된다.

특허문헌1: 국내 특허 출원번호 제10-2010-0101872호(명칭: AV 시스템에서 사용자 입력 백 채널을 제공하는 방법 및 기기, 출원인: 삼성전자, 출원일: 2010년10월19일, 발명자: 이재민 외 1명) 특허문헌2: 국내 특허 출원번호 제10-2010-0108387호(명칭: WiFI Direct 네트워크에서의 서비스 탐색 방법 및 장치, 출원인: 삼성전자, 출원일: 2010년11월02일, 발명자: 베르마 로찬 외 1명)

따라서, 본 발명의 목적은 보다 효율적인 스크린 미러링 방법 및 그 장치를 제공함에 있다.

본 발명의 다른 목적은 배터리 소모를 감소시키고 사용성을 개선함으로써 휴대용 단말기에 채용되기에 적합한 스크린 미러링 방법 및 그 장치를 제공함에 있다.

본 발명의 또다른 목적은 스크린 미러링 기능 수행시에 컨텐츠 재생 동작을 동시에 수행할 경우에 보다 효과적으로 대응할 수 있는 스크린 미러링 방법 및 그 장치를 제공함에 있다.

상기한 목적을 달성하기 위하여 본 발명은 일 견지에 따르면, 본 발명은 스크린 미러링 방법에 있어서, 소스 장치에서, 스크린 미러링 동작 수행시에 미디어 컨텐츠 재생 동작이 요구되는지 확인하는 과정과; 상기 스크린 미러링 동작 수행 중에 미디어 컨텐츠 재생 동작의 요구시에, 상기 미디어 컨텐츠를 싱크 장치로 스트리밍하며 상기 미디어 컨텐츠의 재생 동작을 중단하는 과정을 포함함을 특징으로 한다.

본 발명의 다른 견지에 따르면, 본 발명은 스크린 미러링 동작을 수행하는 장치에 있어서, 응용 프로그램의 실행 영상과, 동작 상태 및 메뉴 상태를 표시하는 디스플레이부와; 사용자의 조작을 입력받는 조작부와; 이동 통신 기능을 위한 무선 신호 처리 동작을 수행하는 메인통신부와; 음성 신호 처리를 위한 음성처리부와; 싱크 장치와 스크린 미러링 동작 수행에 따른 영상 데이터 전송을 포함한 무선 통신을 수행하는 서브통신부와; 상기 각 기능부들을 총괄적으로 제어하는 제어부와; 상기 제어부의 동작에 관련된 동작 프로그램과, 상기 응용 프로그램 및 미디어 컨텐츠를 저장하는 저장부를 구비하는 싱크 장치를 포함하며, 상기 제어부는 스크린 미러링 동작의 수행 중에 미디어 컨텐츠의 재생 동작이 요구되면, 해당 미디어 컨텐츠의 재생 동작을 수행하지 않고, 컨텐츠 스트리밍(streaming) 동작을 수행하여 해당 미디어 컨텐츠를 상기 싱크 장치로 전송하도록 제어함을 특징으로 한다.

상기한 바와 같이, 본 발명에 따른 스크린 미러링 방식은 배터리 소모를 감소시키고 사용성을 개선함으로써 휴대용 단말기에 채용되기에 적합하며, 특히, 스크린 미러링 기능 수행시에 컨텐츠 재생 동작을 동시에 수행할 경우에 보다 효과적으로 대응할 수 있게 된다.

도 1은 스크린 미러링 기술이 적용되는 장치들(소스 장치 및 싱크 장치)의 개략적인 외관 구조도
도 2는 본 발명의 일 실시예에 따른 스크린 미러링 기능을 수행하는 소스 장치 및 싱크 장치의 개략적인 내부 블록 구성도
도 3은 본 발명의 일 실시예에 따른 스크린 미러링 기능 수행시 미디어 컨텐츠의 처리 상태를 나타낸 모식도
도 4는 본 발명의 일 실시예에 따른 장치들간에 스크린 미러링 기능 수행 과정의 상세 흐름도

이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다.

도 2는 본 발명의 일 실시예에 따른 스크린 미러링 기능을 수행하는 소스 장치(source device) 및 싱크 장치(sink device)의 개략적인 내부 블록 구성도로서, 소스 장치(1)는 예를 들어, 휴대용 단말기일 수 있으며, 싱크 장치(2)는 예를 들어, TV일 수 있다.

도 2를 참조하면, 소스 장치(1)는 통상 LCD 스크린으로 구성되어, 해당 싱크 장치(2)의 각종 응용 프로그램의 실행 영상과, 각종 동작 상태나, 메뉴 상태 등을 디스플레이하며, 터치스크린 구조로 구현될 수 있는 디스플레이부(13)와; 상기 디스플레이부(13)와 연계된 터치스크린 컨트롤로 등으로 구성되어 사용자의 각종 터치스크린 조작을 입력받으며, 또한 키패드나 해당 장치의 외관 하우징 등에 기구적으로 구비되는 다수의 동작 조작을 위한 버튼을 구비하여, 사용자의 조작을 입력받는 조작부(15)와; 이동 통신을 위한 안테나를 구비하며, 이동 통신 기능을 위한 무선 신호 처리 동작을 수행하여, 휴대용 단말기일 수 있는 소스 장치(1)가 외부 이동 통신망과 통신하도록 하는 메인통신부(11)와; 스피커 및 마이크 등을 구비하여 이동 통신 기능에 따른 전화 통화 수행시, 사용자의 음성을 입력받거나 사용자에게 가청음을 출력하며, 또한 각종 동작에 대응되는 처리음이나, 각종 디지털 오디오 컨텐츠, 동영상 컨텐츠 등에 대응되는 사운드를 출력하는 음성처리부(15)와; 무선랜 장비나 근거리 통신 모듈 등을 구비하여, 예를 들어, "Wi-Fi Display" 규격과 같은 해당 전송 프로토콜에 따라 싱크 장치(2)와 스크린 미러링 동작 수행에 따른 영상 데이터 전송을 포함한 무선 통신을 수행하는 서브통신부(18)와; 상기 각 기능부들을 총괄적으로 제어하여, 해당 소스 장치(1)의 동작을 전체적으로 제어하는 제어부(12)와; 상기 제어부(12)의 동작에 관련된 동작 프로그램과, 다양한 응용 프로그램 및 관련 컨텐츠나 영상 데이터 등을 저장하는 저장부(16)를 포함한다.

이외에도, 소스 장치(1)에는 충전용 배터리 등으로 구성되는 전원부나, 카메라부, GPS부, 진동 모터 등 통상적인 휴대용 단말기에 적용되는 기능부들이 더 추가될 수 있음은 물론이다.

싱크 장치(2)는 무선랜 장비나 근거리 통신 모듈 등을 구비하여 해당 전송 프로토콜에 따라 소스 장치(1)(의 서브통신부)와 무선 통신을 수행하는 서브통신부(28)와; 상기 서브통신부(28)의 동작을 제어하며, 소스 장치(1)로부터 제공되는 스크린 미러링 동작 수행에 따른 영상 데이터를 해당 싱크 장치(2)에서 처리하기에 적합한 포맷으로 변환하는 제어부(12)와; 해당 싱크 장치(2)의 메인 기능, 예를 들어 TV 기능을 수행하기 위한 기본적인 장비들을 구비하며, 제어부(12)로부터 제공되는 미러링 동작 수행에 따른 영상 데이터를 표시하는 장치 메인 모듈(20)을 포함한다.

상기에서, 상기 소스 장치(1)의 제어부(12) 및 싱크 장치(2)의 제어부(27)는 본 발명의 특징에 따른 미러링 동작을 수행하게 되는데, 소스 장치(1)의 제어부(12)는 스크린 미러링 동작의 수행 중에 미디어 컨텐츠의 재생 동작이 요구되면, 해당 미디어 컨텐츠의 재생 동작을 수행하지 않고, 컨텐츠 스트리밍(streaming) 동작을 수행하여 해당 미디어 컨텐츠를 싱크 장치(2)로 전송하도록 제어하며, 싱크 장치(2)의 제어부(27)는 이를 수신하여 컨텐츠의 재생 동작을 수행하도록 제어한다.

도 3은 본 발명의 일 실시예에 따른 스크린 미러링 기능 수행시 미디어 컨텐츠의 처리 상태를 나타낸 모식도이다. 도 3을 참조하여, 본 발명의 특징에 따른 스크린 미러링 동작을 보다 상세히 설명하기로 한다. 통상 스크린 미러링 동작 수행 시에, 소스 장치(1)는 프레임 버퍼에 기록된 현재 표시하는 데이터를 실시간으로 인코딩하고(33단계), 인코딩된 데이터를 미리 설정된 방식으로 패킷화(Packetization) 및 전송 프로토콜(Transport Protocol)로 캡슐화(Encapsulation)하고(34단계), 캡슐화된 데이터를 미리 설정된 전송 방식으로 싱크 장치(2)측으로 전송한다(35단계).

이러한 스크린 미러링 동작 수행 중에 미디어 컨텐츠를 재생하는 동작을 함께 수행할 경우에는, 저장부에 저장된 컨텐츠를 디코딩하여 프레임 버퍼에 기록하며(31단계), 프레임 버퍼에 기록된 데이터를 표시하면서(32단계), 이를 실시간으로 인코딩하고(33단계), 캡슐화하여(34단계), 전송하는(35단계) 절차를 기본적으로 고려해 볼 수 있다.

그런데, 이와 같이 미디어 컨텐츠를 재생하면서 스크린 미러링 동작을 수행하는 것은 소스 장치(1)의 배터리 소모 및 프로세싱 부담 증가시키게 되므로, 본 발명에서는 소스 장치(1)에서 스크린 미러링 동작 수행 중에 미디어 컨텐츠를 재생할 경우, 스크린 미러링을 컨텐츠 스트리밍 방식으로 동적으로 대체하여 수행함으로써, 소스 장치(1)에서 배터리 사용시간을 향상하고 사용성을 개선하도록 한다.

컨텐츠 스트리밍은 모바일 폰이나, 태블릿, PC 등에 저장된 멀티미디어 컨텐츠 파일을 TV 등의 기기로 전송 (스트리밍 또는 다운로드&플레이)하여 재생하는 방식을 말한다. 컨텐츠 스트리밍시에는 저장되어 있는 컨텐츠 파일은 전송 프로토콜로 캡슐화되어 전송되며 TV 등의 기기에서 이를 수신하여 재조합 후, 디코딩하여 재생한다. 이러한 컨텐츠 스트리밍은 주로 원격에 저장된 사용자 생성 컨텐츠나 다운로드 컨텐츠를 재생하고자 할 때 사용된다.

본 발명에서는, 이러한 컨텐츠 스트리밍 방식을 이용하여, 소스 장치(1)에서 스크린 미러링 동작 수행 중에 컨텐츠 재생 요청이 있을 경우에, 마치 스크린 미러링 동작을 수행하지 않고, 컨텐츠 스트리밍 동작을 수행하는 것으로 동작하게 된다. 이를 도 3을 참조하여 다시 설명하면, 본 발명의 스크린 미러링 동작시 컨텐츠 재생 동작이 요구되면, 저장부에 저장된 컨텐츠를 캡슐화하여(35단계), 캡슐화된 데이터를 전송하는(35단계) 동작만 수행하게 되며, 전술한 바와 같은, 컨텐츠를 디코딩하여 프레임 버퍼에 기록하고(31단계), 프레임 버퍼에 기록된 데이터를 표시하며(32단계), 실시간 인코딩하고(33단계), 인코딩된 데이터를 캡슐화하는(34단계) 절차들은 수행하지 않고 생략하게 된다.

이러한 본 발명에 따른 스크린 미러링 동작을 수행하게 되면, 컨텐츠 재생 중일 경우에는 소스 장치(1)에 재생되는 컨텐츠의 영상이 표시되지 않게 된다. 그러나, 싱크 장치(2)에서 해당 컨텐츠를 재생하여 표시하게 되며, 통상 멀티미디어 컨텐츠의 재생 중에는 별다른 기기 조작이 요구되지 않으므로, 본 발명에 따른 스크린 미러링 동작은 사용자 측면에서는 별다른 기능이 제한되지 않으면서, 기기 자원 측면에서는 매우 유용할 수 있게 된다.

도 4는 본 발명의 일 실시예에 따른 장치들간에 스크린 미러링 기능 수행 과정의 상세 흐름도로서, 이하 도 4를 참조하여 본 발명의 실시예에 따른 스크린 기능 수행 동작을 보다 상세히 설명하기로 한다.

도 4의 각 순차적인 단계들은 예를 들어, RTSP(Real Time Streaming Protocol)에 따라 수행될 수 있다. 또한 도 4에서, 410단계에서 418단계까지 순차적인 단계들은 일반적인 스크린 미러링 동작 수행에 해당하는 절차일 수 있다. 이후 420단계에서 438단계까지 순차적인 단계들은 본 발명의 특징에 따른 스크린 미러링 동작 수행 중에 컨텐츠 재생 요청이 있을 경우에 수행되는 컨텐츠 스트리밍에 해당하는 절차이다. 이후 441단계에서 448단계까지의 순차적인 단계들은 본 발명의 특징에 따른 스크린 미러링 동작 수행 중에 컨텐츠 스트리밍 수행 동작을 종료하는 절차이다.

첫번째로, 410단계에서 418단계까지 일반적인 스크린 미러링 동작 수행 절차의 각 단계들을 살펴보면, 먼저 410단계에서 소스 장치(1)와 싱크 장치(2)간에 기기 및 서비스 디스커버리 동작을 수행하며, 이후 411단계에서 소스 장치(1)와 싱크 장치(2)간에 연결 설정 동작을 수행한다. 이후 412단계에서는 세션 생성을 위해 RTSP의 'SET_PARAMETER' 방식(Method)을 사용하여, 소스 장치(1)에서 싱크 장치(2)로 셋업을 트리거한다. 이후 413단계에서는 싱크 장치(2)에서 소스 장치(1)로 RSTP 'SETUP' 을 요청하며, 이후 415단계에서는 소스 장치(1)에서 싱크 장치(2)로 RSTP 'SETUP'에 응답한다. 이때 세션 ID 및 포트 번호가 설정되어(예를 들어, session_id_0, port_0) 세션이 생성된다. 이후 415단계에서 싱크 장치(2)는 소스 장치(1)로 RTSP 'PLAY'를 요청하며, 이후 416단계에서는 소스 장치(1)에서 싱크 장치(2)로 RSTP 'PLAY'에 응답하고, 이후 418단계에서 스크린 미러링 동작이 수행된다.

두번째로, 420단계에서 438단계까지 스크린 미러링 동작 수행 중에 수행되는 컨텐츠 스트리밍 절차의 각 단계들을 살펴보면, 420단계에서 사용자에 의해 소스 장치(1)의 컨텐츠 재생 조작이 있게 되면, 이후 421단계에서 소스 장치(1)는 관련 API 정보를 획득하여 현재 스크린 미러링 기능이 활성화된 상태인지 확인한다. 이후 422단계에서는, 소스 장치(1)는 싱크 장치(2)가 컨텐츠 스트리밍 변환을 지원하는지 확인하기 위하여, RTSP의 'GET_PARAMETER' 방식을 사용하여 미러링/스트리밍 스위칭 지원 여부 및 지원하는 매체 프로파일 정보를 요구하며, 이에 응답하여, 423단계에서는 싱크 장치(2)는 해당 정보를 소스 장치(1)로 제공한다. 이때, 예를 들어 싱크 장치(2)는 미러링/스트리밍 스위칭 지원이 가능하며(yes), 지원하는 매체 프로파일 정보로서는 AVC, MP4, MP, SD, AAC 등임 소스 장치(1)로 알리게 된다. 현재 RTSP의 'GET_PARAMETER' 방식에서는 미러링/스트리밍 스위칭 지원 여부에 대한 파라미터는 규정되어 있지 않으나, 본 발명에 따라 해당 파라미터가 추가될 수 있다. 이후 424단계에서, 소스 장치(1)는 싱크 장치(2)의 랜더링 성능(Rendering Capability)에 따라 스트리밍 하려는 컨텐츠의 포맷과 싱크 장치(2)에서 지원가능한 매체 프로파일에 따른 포맷을 매칭시킨다.

상기 421단계에서 424단계 살펴보면, 컨텐츠 재생을 시작시에, 현재 미러링 기능이 활성화되어 있는지, 싱크 장치(2)가 컨텐츠 스트리밍 변환을 지원하는지, 싱크 장치(2)가 스트리밍 컨텐츠의 포맷을 디코딩 가능(재생 가능)한지에 대한 여부를 확인하는 단계임을 알 수 있다. 이러한 조건들이 충족되지 않을 경우에는 본 발명에 따른 컨텐츠 스트리밍 동작을 수행하지 않고, 일반적인 스크린 미러링 기능만을 수행하게 되며, 이러한 조건들이 모두 충족될 경우에는 이후에 설명하는 바와 같이, 컨텐츠 스트리밍을 위한 세션을 추가 생성하여 세션을 스위치하게 된다.

즉, 이후 426단계에서는, 소스 장치(1)는 컨텐츠 스트리밍 요청을 받기 위한 파라미터를 싱크 장치(1)에 설정하게 되는데, 예를 들어, RTSP의 SET_PARAMETER 방식을 사용하여, streaming-url, streaming-rtp-port 등을 설정하고, 싱크 장치(2)로 셋업을 트리거한다.

이후 427단계에서, 소스 장치(1)는 사용자로부터 본 발명에 따른 스트리밍 동작 여부를 조작받기 위해, 디스플레이부로 미리 설정된 적절한 조작 안내 메시지와 더불어 동작 선택 조작을 (터치스크린 입력을 통해) 입력받기 위한 스위치 항목을 표시하도록 구현할 수 있다. 예를 들어, 표시되는 조작 안내 메시지는 '스크린 미러링에서 스트리밍 동작으로 변경하겠습니까? [예] [아니오]'일 수 있으며, 일반 사용자를 위해 해당 동작을 보다 쉽게 설명한 내용을 더 추가할 수 있다. 이러한 427단계에서의 동작은 본 발명에 따른 스크린 미러링 동작 수행 중에 스트리밍 동작을 수행하는 것을 사용자로부터 선택적으로 조작받기 위해 실시예적으로 구현한 것이다.

이후의 단계들에서는 스크린 미러링에서 스트리밍을 위한 세션 스위칭 동작을 수행하게 되는데, 즉, 이후 428단계에서는 싱크 장치(2)에서 소스 장치(1)로 RSTP 'SETUP' 을 요청하며, 이후 429단계에서는 소스 장치(1)에서 싱크 장치(2)로 RSTP 'SETUP'에 응답한다. 이때 새로운 세션 ID 및 포트 번호가 설정되어(예를 들어, session_id_1, port_1) 세션이 생성된다. 이후 430단계에서 소스 장치(1)는 사용자로부터 스트리밍 동작 수행을 위한 선택 조작이 있는지 여부를 확인하여, 이후의 동작을 수행하게 된다. 물론 이 경우에, 사용자가 스트리밍 동작을 선택하지 않으면, 스트리밍 동작을 수행하지 않게 된다.

이후 431단계에서, 싱크 장치(1)는 소스 장치(2)로 스크린 미러링을 위해 형성된 세션(session id_0)으로 스크린 미러링을 중단하기 위해 예를 들어, RSTP 'STOP'을 소스 장치(1)로 요청한다. 이에 따라 432단계에서, 소스 장치(1)는 싱크 장치(2)로 RSTP 'STOP'에 응답한다. 이후 433단계에서는 싱크 장치(2)는 새롭게 형성된 세션(session id_1)으로 스트리밍을 위해 RTSP 'PLAY'를 요청하며, 이후 434단계에서는 소스 장치(1)에서 싱크 장치(2)로 RSTP 'PLAY'에 응답하고, 이후 438단계에서 스트리밍 동작이 수행된다. 이때 소스 장치(1)는 미디어 컨텐츠의 재생을 중단하고 화면에 스크린 미러링에서 스트리밍 동작으로 변경되었음을 안내하는 미리 적절히 설정된 메시지를 표시할 수 있다. 또한 싱크 장치(2)에서는 상기의 단계들을 통해 세션 스위치 명령을 수신하면 소스 장치(1)로부터 컨텐츠를 스트리밍 받아 화면 끊김없이(Seamless) 연속적으로 재생하게 된다.

마지막으로, 441단계에서 448단계까지의 스크린 미러링 동작 수행 중에 컨텐츠 스트리밍 수행 동작을 종료하는 절차의 각 단계를 살펴보면, 소스 장치(1)는 441단계에서와 같이 사용자로부터 컨텐츠 재생 중단 조작이 있거나, 또는 컨텐츠의 재생이 완료되면, 이후 442단계에서 세션 중단을 위해 RTSP의 'SET_PARAMETER' 방식을 사용하여, 싱크 장치(2)로 'STOP'을 트리거한다. 이후 443단계에서는 싱크 장치(2)에서 스트리밍 세션(session id_1)으로 스트리밍 동작의 종료를 위해 소스 장치(1)로 RSTP 'STOP' 을 요청하며, 이후 444단계에서는 소스 장치(1)에서 싱크 장치(2)로 RSTP 'STOP'에 응답하여, 스트리밍 동작을 종료한다. 이후 445단계에서 싱크 장치(2)는 소스 장치(1)로 스크린 미러링 세션(session id_0)으로 스크린 미러링을 수행하기 위해 RTSP 'PLAY'를 요청하며, 이후 446단계에서는 소스 장치(1)에서 싱크 장치(2)로 RSTP 'PLAY'에 응답하고, 이후 448단계에서 스크린 미러링 동작이 다시 수행된다.

상기와 같이, 본 발명에 따른 스크린 미러링 방식이 이루어질 수 있으며, 한편, 상기의 설명에서는 본 발명의 특정 실시예들을 참조하여 설명하였으나, 이외에도 다양한 실시예들 및 이들의 변경이나 변형이 있을 수 있다.

예를 들어, 상기의 설명에서는, 427단계에서 설명한 바와 같이, 본 발명과 같이 스크린 미러링 동작 수행 중에 스트리밍 동작으로 전환하는 것을 사용자로부터 선택적으로 조작받을 수 있는 것으로 설명하였으나, 이는 실시예적으로 구현한 것으로서, 이외에도 사용자의 조작을 받지 않고 자동적으로 스트리밍 동작을 수행할 수도 있으며, 또한 본 조작을 별도의 기능 설정을 위한 메뉴 항목을 통해 사용자가 미리 설정하도록 구현할 수도 있다.

또한, 427단계에서, 사용자가 컨텐츠 스트리밍으로 동작 전환하는 것을 선택하지 않을 경우에, 소스 장치(1)는 저장부에 저장된 컨텐츠를 디코딩하여 프레임 버퍼에 저장하며 프레임 버퍼에 저장된 데이터를 표시하는 동작, 즉 컨텐츠를 재생하는 동작을 수행하면서, 컨텐츠에 재생하면서, 저장부에 저장된 컨텐츠를 그대로 캡슐화화여 싱크 장치(2)로 전송하는 동작을 수행할 수도 있다. 즉, 이 경우에는 도 3에서 33단계로 도시된 바와 같은 실시간 인코딩 동작은 적어도 생략될 수 있다.

Claims

소스 장치가 스크린 미러링 동작을 수행하는 방법에 있어서,
싱크 장치에서의 컨텐트 스트리밍 변환에 적용 가능한 제1 포맷들에 대한 정보의 요청을, 상기 싱크 장치로 전송하는 동작;
상기 컨텐트 스트리밍 변환에 적용 가능한 상기 제1 포맷들에 대한 정보를 포함하는 응답을 상기 싱크 장치로부터 수신하는 동작;
상기 제1 포맷들 중 상기 싱크 장치에서의 상기 컨텐트 스트리밍 변환에 적용될 제2 포맷을 상기 싱크 장치에 통지하는 동작;
상기 컨텐트 스트리밍 변환을 이용한, 상기 소스 장치와 상기 싱크 장치 간의 스트리밍을 위한 세션을 활성화하는 동작; 및
상기 활성화된 세션을 통해 상기 싱크 장치로 상기 제2 포맷을 가지는 미디어 컨텐트를 전송하는 동작;을 포함함을 특징으로 하는 방법.
제1항에 있어서, 상기 활성화된 세션을 통해 상기 싱크 장치로 상기 제2 포맷을 가지는 미디어 컨텐트를 전송하는 동작은,
프레임 버퍼에 기록된, 현재 표시되는 데이터를 실시간으로 인코딩하는 동작;
상기 인코딩된 데이터를 미리 설정된 방식으로 패킷화하는 동작;
전송 프로토콜로 상기 패킷화된 데이터를 캡슐화하는 동작; 및
상기 캡슐화된 데이터를 미리 설정된 전송 방식으로 상기 싱크 장치로 전송하는 동작;을 포함함을 특징으로 하는 방법.
제1항에 있어서, 상기 활성화된 세션을 통해 상기 싱크 장치로 상기 제2 포맷을 가지는 미디어 컨텐트를 전송하는 동작은,
상기 미디어 컨텐트를 미리 설정된 방식으로 패킷화하는 동작;
전송 프로토콜로 상기 패킷화된 미디어 컨텐트를 캡슐화하는 동작; 및
상기 캡슐화된 데이터를 미리 설정된 전송 방식으로 전송하는 동작;을 포함함을 특징으로 하는 방법.
삭제
제1항에서, 상기 싱크 장치에서의 컨텐츠 스트리밍 변환에 적용 가능한 상기 제1 포맷들에 대한 정보의 요청을, 상기 싱크 장치로 전송하는 동작은,
RTSP(Real Time Streaming Protocol)의 'GET_PARAMETER' 방식을 사용하여 미러링/스트리밍 스위칭을 지원하는 매체 프로파일 정보를, 상기 싱크 장치에 요청하는 동작;을 포함함을 특징으로 하는 방법.
제1항에 있어서,
상기 미디어 컨텐트의 재생이 요청되면, 상기 싱크 장치로 상기 미디어 컨텐트를 스트리밍할지 여부를 나타내는 조작(manipulation)을 사용자로부터 수신하고, 상기 조작에 따라 상기 미디어 컨텐트의 상기 스트리밍이 수행됨을 특징으로 하는 방법.
스크린 미러링 동작을 수행하는 소스 장치에 있어서,
응용 프로그램의 실행 이미지, 동작 상태 또는 메뉴 상태를 표시하는 디스플레이부;
사용자의 조작을 수신하는 조작부;
음성 신호를 처리하는 음성처리부;
통신부; 및
제어부;를 포함하고,
상기 제어부는,
상기 통신부를 통해, 싱크 장치에서의 컨텐트 스트리밍 변환에 적용 가능한 제1 포맷들에 대한 요청을, 상기 싱크 장치로 전송하고,
상기 통신부를 통해, 상기 컨텐트 스트리밍 변환에 적용 가능한 상기 제1 포맷들에 대한 정보를 포함하는 응답을 상기 싱크 장치로부터 수신하고,
상기 통신부를 통해, 상기 제1 포맷들 중 상기 싱크 장치에서의 상기 컨텐트 스트리밍 변환에 적용될 제2 포맷을 상기 싱크 장치에 통지하고,
상기 컨텐트 스트리밍 변환을 이용한, 상기 소스 장치와 상기 싱크 장치 간의 스트리밍을 위한 세션을 활성화하고,
상기 통신부를 통해, 상기 활성화된 세션을 통해 상기 제2 포맷을 가지는 미디어 컨텐트를 전송함을 특징으로 하는 소스 장치.
제7항에 있어서, 상기 미디어 컨텐트는 상기 싱크 장치에서 끊김없이 재생되거나 표시됨을 특징으로 하는 소스 장치.
제7항에 있어서, 상기 제어부는,
프레임 버퍼에 기록된, 현재 표시되는 데이터를 실시간으로 인코딩하고,
상기 인코딩된 데이터를 미리 설정된 방식으로 패킷화하고,
전송 프로토콜로 상기 패킷화된 데이터를 캡슐화하고,
상기 캡슐화된 데이터를 미리 설정된 전송 방식으로 상기 싱크 장치로 전송하도록 상기 통신부를 제어함을 특징으로 하는 소스 장치.
제7항에 있어서, 상기 제어부는,
상기 미디어 컨텐트를 미리 설정된 방식으로 패킷화하고,
전송 프로토콜로 상기 패킷화된 미디어 컨텐트를 캡슐화하고,
상기 캡슐화된 데이터를 미리 설정된 전송 방식으로 전송하도록 상기 통신부를 제어함을 특징으로 하는 소스 장치.
제7항에서, 상기 제어부는,
RTSP(Real Time Streaming Protocol)의 'GET_PARAMETER' 방식을 사용하여 미러링/스트리밍 스위칭을 지원하는 매체 프로파일 정보를 상기 싱크 장치에 요청하도록 상기 통신부를 제어함을 특징으로 하는 소스 장치.
제7항에 있어서,
상기 조작부는 상기 미디어 컨텐트의 재생이 요청되면, 상기 싱크 장치로 상기 미디어 컨텐트를 스트리밍할지 여부를 나타내는 조작(manipulation)을 사용자로부터 수신하고,
상기 조작에 따라 상기 미디어 컨텐트의 상기 스트리밍이 수행됨을 특징으로 하는 소스 장치.