CN107371044B - 电子设备互动方法、电子设备、用户终端及服务器 - Google Patents

Abstract

本发明实施例提出了一种电子设备互动方法、电子设备、用户终端和服务器。该方法包括：建立电子设备与其他设备之间建立的通信连接；在智能设备的显示界面之上创建透明显示层；电子设备接收来自其他设备的互动内容；并将接收到的所述互动内容显示在所述透明显示层。该方法在不影响原有显示内容播放的情况下，实现了其他设备与智能设备之间的互动。在一些实施例中，互动内容还可能与显示界面中的原有内容组合出特殊的效果。

Description

电子设备互动方法、电子设备、用户终端及服务器

技术领域

本发明涉及电子设备互动领域，尤其涉及一种电子设备互动方法、电子设备、用户终端和服务器。

背景技术

近年来，电子设备之间的互动技术已日益普及。以智能电视、机顶盒等电子设备为例，一般的互动技术是利用DLNA、Miracast、Airplay等传输协议，将服务器或智能终端(例如智能手机)等其他设备作为视频信号的输出端，智能电视或机顶盒作为视频信号的接收端，使智能电视从显示正常的显示信号(如有线电视信号)切换至显示由其他设备提供的视频信号。这样虽然实现了其他设备与智能电视之间的互动，但是也影响了智能电视原有的正常显示信号的播放，且缺少与智能电视之间的互动。

发明内容

本发明的目的在于在不影响电子设备的原有播放内容的前提下实现与电子设备的互动，从而提升用户体验。

一方面，提出了一种电子设备互动方法，电子设备包括显示界面，所述方法包括：使电子设备与其他设备之间建立通信连接；所述电子设备在所述显示界面上创建透明显示层；所述电子设备接收来自其他设备的互动内容；并将所述互动内容显示在所述透明显示层。

另一方面，提出了一种电子设备控制方法，所述方法包括：向电子设备发送连接请求，以建立与电子设备之间的通信连接；获取互动内容；将所获取的互动内容发送到电子设备，以在所述电子设备的显示界面之上创建的透明显示层显示。

另一方面，提出了一种电子设备互动方法，该方法包括：接收来自电子设备的验证请求；响应于所述验证请求，验证电子设备是否已注册；在验证结果为已注册的情况下，建立与电子设备之间的通信连接，将互动内容发送至电子设备，以在所述电子设备的显示界面之上创建的透明显示层显示。

另一方面，提出了一种电子设备，包括：第一连接模块，用于与其他设备建立通信连接；创建模块，用于响应于所述通信连接的建立，在电子设备的显示界面之上创建透明显示层；接收模块，用于接收来自其他设备的互动内容；显示模块，用于将所述互动内容显示在所述透明显示层。

另一方面，提出了一种用于与电子设备互动的用户终端，包括：第二连接模块，用于向电子设备发送连接请求，以建立与电子设备之间的通信连接；获取模块，用于获取互动内容；发送模块，用于将所获取的互动内容发送到电子设备，以在所述电子设备的显示界面之上创建的透明显示层显示。

另一方面，提出了一种用于与电子设备互动的服务器，包括：接收模块，用于接收来自电子设备的验证请求；验证模块，用于响应于所述验证请求，验证电子设备是否已注册；第三连接模块，用于在验证结果为已注册的情况下，建立与电子设备之间的通信连接，发送模块，用于将互动内容发送至电子设备，以在所述电子设备的显示界面之上创建的透明显示层显示。

本发明通过在电子设备的显示界面之上创建透明显示层，并在透明显示层中显示来自其他设备的互动内容，从而实现了电子设备与其他设备之间的互动。由于这些互动内容是在作为顶层的透明显示层显示，相当于将需要互动的内容叠加在原有的显示界面上，原有的显示界面内容仍然可以继续播放。即在不影响原有显示内容播放的情况下，实现了其他设备与电子设备之间的互动。并且，在本发明的一实施例中，互动内容还可能与显示界面中的原有内容组合出特殊的效果，提升了互动效果。

并且，本发明一实施例响应于通信连接的建立，在原有的显示信号的最外层外挂(叠加)一“互动内容透明屏”(通过透明显示层实现)，来显示来自其他设备的互动内容，因此在通信连接未建立或未发生互动的情况下，电子设备不会消耗更多的系统资源。

附图说明

根据下面参考附图对示例性实施例的详细说明，本发明的其他特征及方面将变得清楚。包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面，并且用于解释本发明的原理。

图1示出根据本发明一实施例的电子设备互动方法的流程图。

图2示出了根据本发明实施例的一个示例的电子设备互动方法的流程图。

图3示出根据本发明一实施例的电子设备互动方法的流程图。

图4示出了根据本发明一实施例的一个示例的电子设备互动方法的流程图。

图5示出根据本发明一实施例的电子设备互动方法的流程图。

图6a示出根据本发明一实施例的电子设备的结构图。

图6b示出根据本发明一实施例的电子设备的连接模块示意图。

图7示出根据本发明一实施例的一个示例的电子设备的结构图。

图8示出根据本发明一实施例的用于与电子设备互动的移动终端结构图。

图9示出根据本发明一实施例的用于与电子设备互动的服务器的结构图。

图10是根据一示例性实施例示出的一种电子设备的框图。

图11是根据一示例性实施例示出的一种电子设备的框图。

图12示出了根据本发明一应用示例的系统架构图。

具体实施方式

以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其他实施例。

另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。

实施例1

图1示出根据本发明实施例1的电子设备互动方法的流程图。该方法可应用于电子设备(要求电子设备能够进行视频播放，并能够通过网络或其他有线或无线方式与外部设备进行通信连接，并且，优选的电子设备能够进行无线连接)，例如电子设备可以是智能电视或机顶盒等智能播放设备，或其他可通信并显示内容的电子设备中。例如，该方法可以通过以安装包或者SDK(Software Development Kit，软件开发工具包)的形式安装到智能电视或机顶盒等智能设备的操作系统(例如安卓系统)中的软件来实现。以下以智能电视或机顶盒作为例子，来说明本实施例及其各种示例性的实现方式。如图1所示，该方法包括：

101，建立电子设备与其他设备之间的通信连接。其他设备可以是希望与电子设备进行互动的任意其他设备，例如终端设备，诸如智能手机、平板电脑等，也可以是服务器，诸如云端服务器等。该通信连接的建立可以使得其他设备与电子设备之间能够进行通信，本发明不限制建立通信连接的具体方式。

102，响应于所述通信连接的建立，在其显示界面之上创建透明显示层；换言之，该透明显示层作为“顶层”(或称为“最外层”)，位于电子设备的显示界面原有显示层之上(或之外)。所谓“透明”，即该层不显示任何内容时，智能设备屏幕呈现原有的显示界面或播放内容。作为一种可能的实施方式，可以通过调用电子设备(例如智能电视或机顶盒)底层硬件图形处理芯片，利用OpenGL接口，渲染并创建透明显示层。另外，电子设备例如也可以是根据其他设备的创建请求在其显示界面上创建透明显示层。

103，电子设备接收来自其他设备的互动内容；本文所称的互动内容，可以是图像(例如，静态图像、动态表情图像)、文字、视频等等任何能够在透明显示层中显示的内容，也可以包括音频、控制指令等其他内容。

104，将所述互动内容显示在所述透明显示层。

本实施例响应于所述通信连接的建立，在电子设备的显示界面之上创建透明显示层，并在透明显示层中显示来自其他设备的互动内容，由于这些互动内容是在作为顶层的透明显示层中显示，相当于将需要互动的内容叠加在原有的显示界面上，原有的显示界面内容仍然可以继续播放。即在不影响原有显示内容播放的情况下，实现了其他设备与电子设备之间的互动。并且，在一些实施例中，互动内容还可能与显示界面中的原有内容组合出特殊的效果，使得智能设备能够与其他设备之间进行多种多样的互动。例如，在一个可能的应用场景中，可以通过手机向智能电视发送弹幕、显示画中画、播放表达用户观看情绪的特殊画面和声音(例如泼水效果画面、掌声等)等等。

并且，本发明一实施例响应于通信连接的建立，在原有的显示界面(例如智能电视的原有电视显示信号)的最外层外挂(叠加)一“互动内容透明屏”(通过透明显示层实现)，来显示来自其他设备的互动内容，因此在通信连接未建立或未发生互动的情况下，智能设备不会消耗更多的系统资源。在此基础上，在一种可能实施方式中，可利用图形处理单元(GPU)将互动内容绘制到透明显示层中，以进一步减小对系统资源的占用。

图2示出了根据本发明实施例的一个示例的电子设备互动方法中步骤101的流程图，如图2所示，在该示例中，上述方法的步骤101可以包括：

1011，查询局域网中是否存在其他设备；

1012，在存在其他设备的情况下，发送广播消息；

1013，接收来自其他设备的连接请求；

1014，响应于所述连接请求，与其他设备建立通信连接。

目前主流的局域网发现设备协议，如：SSDP、MSDN等，都需要电子设备定时在局域网内发送UDP广播，这就在一定程度上导致了发现设备会有一定的延时。而本示例增加了主动发现的机制，基于该机制，电子设备可以主动到局域网内查询设备，从而加快了设备发现的速度，优化了用户体验。在一种可能的实现方式中，可配置其他设备(例如终端设备)使其能够主动发送广播消息，以便于电子设备发现其他设备，或者，电子设备也可通过查询云端服务器地址，来判断网络中是否存在可连接的云端服务器。

相应地，在一种可能的实现方式中，所建立的通信连接也可以响应于其他设备的断开请求或者电子设备自身设置的条件而断开。

在一种可能的实施方式中，互动内容可承载于数据包中进行传输，其中该数据包可包括与该互动内容相关联的自定义字段，电子设备可基于所述自定义字段对所接收的互动内容进行解析，并在所述透明显示层中显示解析后的互动内容。

换言之，根据本发明实施例，可自定义电子设备与其他设备之间的私有传输协议，该私有传输协议可不同于DLNA、Miracast、Airplay等传统协议，除了固定的信息头外，该私有传输协议还可预留自定义字段，该自定义字段可与互动内容相关联，例如表示互动内容的文件格式、大小、编码方式、指定显示方式、对应解析方式等，以方便智能设备对互动内容进行解析，方便地实现多种信息(图像、文字、音频、视频、控制指令等)的传输。

举例来说，根据自定义字段的内容，电子设备可以将接收到的来自其他设备的互动内容在屏幕中的指定位置(例如左下角、中央等)、以指定大小、指定时间等进行显示，或者可以基于电子设备本地存储的对应关系，将互动内容中的信息解析为相对应的特定显示内容，等等。

例如，传统的DLNA协议分为7层协议，每一层协议内容均为固定的，所以支持DLNA的协议仅能够采用固定的形式，电子设备端仅仅支持控制视频播放和音量大小快进退等基础操作，Miracast，Airplay等协议也类似。

而根据本示例，除了定义传输协议、支持的wifi类型等固定信息头之外，还可预留多个(例如32字节，或任意其他长度)的自定义字段。可以由开发者自己添加需要的信息在自定义字段中，电子设备解析这个字段就可以显示互动内容，或者实现额外的控制，进而可以实现比如游戏画面控制等操作。例如，摇骰子游戏，用户可摇动手机，由手机端分析出摇动的力度。可在自定义字段中设置“power”字段，赋值代表该力度的数值，智能电视端可以通过解析此字段，确定骰子不同的转动速度和时长，以在透明显示层中相应地进行显示。

在一种可能的实施方式中，该实施例的方法还可包括：获取电子设备的显示界面中当前播放内容的特征，根据所述特征确定电子设备当前的系统资源占用情况，根据所述系统资源占用情况来调整互动内容的显示方式。举例来说，可对云端服务器或者手机端等移动设备传输的互动内容进行解析，分析出互动内容的信息格式，如音频、视频、图像或者文字等，并利用电子设备的硬件接口(例如智能电视的有线电视信号硬件接口)获取正在播放的内容(例如有线电视信号)的画面或音频信号的特征，如音量大小、视频码流等，并由此确定出智能设备当前的系统资源占用情况，例如可基于预先设置的特征与系统资源占用百分比的对应关系来确定该占用情况。通过当前的系统资源占用情况，可自动调整互动内容的显示方式，例如调整显示的图像或者视频的清晰度(例如，在当前的系统资源占用率较高时，降低清晰度)，或者还可改变音量大小(在当前的系统资源占用率较高时，例如大于80％时，降低音量)等，以尽可能减少对于智能设备的资源占用。通过这种方式，智能设备的当前播放内容可与互动内容匹配聚合，减少对智能设备的资源占用。

实施例2

图3示出根据本发明一实施例的电子设备互动方法的流程图。该方法可应用于终端设备(诸如智能手机、平板电脑等)中，例如，可以以集成了SDK的移动APP的形式安装到终端设备的操作系统(例如安卓、IOS等系统)中。如图3所示，该方法包括：

301，向电子设备发送连接请求，以建立与电子设备之间的通信连接；

302，获取互动内容；

303，将所获取的互动内容发送到电子设备，以在所述电子设备的显示界面之上创建的透明显示层显示。

本实施例能够将互动内容提供给电子设备，并在电子设备的显示界面之上的透明显示层中显示，在不影响原有显示内容播放的情况下，实现了其他设备与电子设备之间的互动。并且，在一些实施例中，互动内容还可能与显示界面中的原有内容组合出特殊的效果，使得电子设备能够与其他设备之间进行多种多样的互动。

在一种可能的实施方式中，可以通过多种方式，获取各种形式的互动内容。举来说，互动内容可以是存储在终端设备中的内容，或者由终端设备通过例如网络或采集部件实时接收或采集的内容(例如音频、视频内容或图像内容等)，其可以以指定方式直接显示在电子设备上；也可以是用户操作终端设备(例如操作终端设备上的物理按钮、触摸屏控件或通过语音进行操作)而产生的指令信息，也可以是用户在终端设备中输入的文字信息，例如弹幕信息等，或者也可以是用户通过摇动终端设备产生的信息、或终端设备捕捉用户手势、姿态等产生的信息。这些信息可以根据约定，由电子设备解析为特定的音频、视频、文字等内容通过透明显示层进行播放。

如上文所述，在一种可能的实施方式中，互动内容可承载于数据包中进行传输，该数据包可包括与所述互动内容相关联的自定义字段，以便电子设备对所述互动内容进行解析。

图4示出了根据本发明一实施例的一个示例的电子设备互动方法的流程图。如图4所示，根据该示例，步骤301可包括：

3011，发送第一广播消息，以供电子设备发现；

3012，接收电子设备响应于发现该第一广播消息而发送的第二广播消息；

3013，响应于接收到第二广播消息，将该电子设备的相关信息(例如电子设备ID、相关描述信息等)提供给用户进行选择；

3014，响应于用户对电子设备的选择，向电子设备发送连接请求，以建立与电子设备之间的通信连接。

如上文所述，终端设备可发送广播消息，电子设备可由此主动发现该终端设备并发布广播消息，终端设备可能接收到来自一个或多个电子设备的广播消息，用户可通过终端设备对这些电子设备进行选择，终端设备可向被选择的电子设备发送连接请求，以建立与电子设备之间的通信连接，由此实现“相互发现”的机制，提高了发现效率。需要指出的是，用户终端可以同时连接不同的电子设备，并且可以在不同的电子设备(例如连接到同一局域网的电视机)创建透明显示层，并在透明显示层显示互动信息。例如，用户可以邀请有共同爱好的其他用户一同观看电视节目，接受邀请的其他用户的电视上也同样创建透明显示层(例如，按如上所述的方式创建)，互动信息可以同步地显示在接受邀请的用户的电视的透明显示层上，且其他接受邀请的用户也可以向各自的电视发送互动内容，多个用户可以通过其各自电视的透明显示层观看互动内容，从而多个用户可以通过电视彼此互动。比如，多个用户可以在透明显示层上评论某个足球比赛中各球员的表现等。

实施例3

图5示出根据本发明一实施例的电子设备互动方法的流程图。该方法可应用于服务器(诸如云端服务器)中，例如，可以软件形式安装到服务器的操作系统中。如图5所示，该方法包括：

501，接收来自电子设备的验证请求；该验证请求可能携带于来自电子设备的广播消息中；

502，响应于所述验证请求，验证电子设备是否已注册；

503，在验证结果为已注册的情况下，建立与电子设备之间的通信连接；

504，将互动内容发送至电子设备，以在所述电子设备的显示界面上创建的透明显示层中显示。

根据本实施例，云端服务器等可以对已经联网且注册的电子设备进行连接，连接成功后，可将互动内容发送至电子设备，以在所述电子设备的显示界面之上创建的透明显示层中显示。

在一种可能的实施方式中，如上文所述，互动内容承可载于数据包中，所述数据包包括与所述互动内容相关联的自定义字段，以便电子设备对所述互动内容进行解析。

实施例4

图6示出根据本发明一实施例的电子设备。该装置可实现实施例1中方法的操作和功能，相应的说明可参见实施例1。该电子设备例如为智能电视或机顶盒等智能播放设备，或其他可通信并显示内容的智能设备。例如，可以将软件以安装包或者SDK(SoftwareDevelopment Kit，软件开发工具包)的形式安装到智能电视或机顶盒等智能设备的操作系统(例如安卓系统)中，获得具有相应功能的电子设备。

如图6a所示，设备600包括：连接模块601，用于与其他设备建立通信连接；创建模块602，用于响应于所述通信连接的建立，在电子设备的显示界面之上创建透明显示层；接收模块603，用于接收来自其他设备的互动内容；显示模块604，用于在所述透明显示层中显示所述互动内容。

参照图6b，在一个示例中，连接模块601可包括：查询单元6011，用于查询局域网中是否存在其他设备；发送单元6012，用于在存在其他设备的情况下，发送广播消息；接收单元6013，用于接收来自其他设备的连接请求；连接建立单元6014，用于响应于所述连接请求，与其他设备建立通信连接。

在一个示例中，所述互动内容可承载于数据包中，所述数据包包括与所述互动内容相关联的自定义字段。

在一个示例中，所述显示模块604可包括：解析单元，用于基于所述自定义字段对所接收的互动内容进行解析；显示单元，用于在所述透明显示层中显示解析后的互动内容。

在一个示例中，所述显示模块604可用于利用GPU将互动内容绘制到透明显示层中。

图7示出根据本发明一实施例的一个示例的电子设备的结构图。在该示例中，设备600相对于图6a和图6b所示的示例还可以进一步包括：特征获取模块605，用于获取电子设备的显示界面中当前播放内容的特征；确定模块606，用于根据所述特征确定电子设备当前的系统资源占用情况；调整模块607，用于根据所述系统资源占用情况来调整所述互动内容的显示方式。

在该实施例中，例如，在系统资源占用大于80％时，使显示在透明显示层中的图像和/或视频清晰度降低，和/或使显示图像的尺寸变小，和/或使透明显示层的尺寸变小，和/或使透明显示层中互动内容的音量减小。例如，在一些场景下，可以根据透明显示层中互动内容发送的频繁程度以及显示界面当前播放内容的系统资源占用情况，调整当前播放内容的属性。比如，可以根据单位时间内互动内容的容量大小、类型等确定用户是否在频繁与电子设备互动，在确认用户正在与电子设备频繁互动的情况下，检测显示界面原有播放内容的占用情况，如果系统资源已被大量占用(例如，系统资源占用已超过80％的情况)，可以降低显示界面中原有显示内容的音量和/或清晰度等，用以让出部分资源以供用户与电子设备互动，提升用户的互动体验。相应地，如果用户与电子设备的互动逐渐减少，则可以相应的提高显示界面原有显示内容的清晰度和/或增加音量等。通过互动内容与显示界面原有内容的容量动态调整，可以有效提升用户的互动体验。

作为一种可能的实施方式，电子设备可以内设统计模块，统计不同的用户终端(例如，分别由同一个家庭里的不同用户操作的终端)在与电子设备建立通信连接后，与该电子设备的互动频繁程度(通过计算互动数据量和数据类型等)，得出互动频度平均值。根据该平均值，计算出其相应的占有系统资源情况，从而可以在下一次同样的用户终端登录并与电子设备互动时，自动的分配适当的系统资源用于用户与电子设备的互动，使用户可以快速参与到与电视等电子设备的互动中。在此基础上，统计模块还可以统计不同用户终端与电视互动的时间、参与的互动节目类型、互动的形式(包括文字、图片、动态表情)等，获得不同用户终端的互动倾向，从而用户再次观看该节目或者在检测到这些类似的节目时，统计模块向连接建立模块发送连接建立指令，从而电视自动地与用户终端连接，同时向创建模块发送创建指令，以创建透明显示层，并为互动分配适当的系统资源。应当理解，统计模块的统计结论可以不断的调整与更新，以持续适应用户倾向可能的变化。通过调整显示界面原有资源的视频清晰度和/或音量等，以及通过针对不同的用户终端自动调整所分配的系统资源量，可以大大提升用户体验，确保视频及互动的流畅性。

在一个示例中，所述互动内容可包括以下至少其中之一：图像、文字、音频、视频、控制指令。

实施例5

图8示出根据本发明一实施例的用于与电子设备互动的用户终端的结构图。该用户终端可实现实施例2中方法的操作和功能，相应的说明可参见实施例2。该用户终端例如为智能手机和平板电脑等等。例如，可以以集成了SDK的移动APP的形式安装到终端设备的操作系统(例如安卓、IOS等系统)中，获得此类用户终端。

如图8所示，该用户终端800包括：连接模块801，用于向电子设备发送连接请求，以建立与电子设备之间的通信连接；获取模块802，用于获取互动内容；发送模块803，用于将所获取的互动内容发送到电子设备，以在所述电子设备的显示界面之上创建的透明显示层中显示。

在一个示例中，所述获取模块可包括以下至少之一：第一获取单元，用于获取存储在终端设备中的内容；第二获取单元，用于获取由终端设备实时采集或接收的内容；第三获取单元，用于获取用户操作终端设备而产生的指令信息；第四获取单元，用于获取用户在终端设备中输入的文字信息；第五获取单元，用于获取用户通过摇动终端设备产生的信息；第六获取单元，用于获取终端设备捕捉用户手势或姿态而产生的信息。

在一个示例中，所述互动内容可承载于数据包中，所述数据包包括与所述互动内容相关联的自定义字段，以便电子设备对所述互动内容进行解析。

在一个示例中，所述连接模块可包括：第一发送单元，用于发送第一广播消息，以供电子设备发现；第一接收单元，用于接收电子设备响应于发现所述第一广播消息而发送的第二广播消息；提供单元，用于响应于接收到第二广播消息，将所述电子设备的相关信息提供给用户进行选择；第二发送单元，用于响应于用户对电子设备的选择，向电子设备发送连接请求，以建立与电子设备之间的通信连接。通过电子设备与用户终端双向发现模式，提高了发现效率。

实施例6

图9示出根据本发明一实施例用于与电子设备互动的服务器的结构图。该服务器可实现实施例3中方法的操作和功能，相应的说明可参见实施例3。服务器例如为云端服务器，例如，可以通过将软件安装到服务器的操作系统中，以获得此类服务器。

如图9所示，该服务器900包括：接收模块901，用于接收来自智能设备的验证请求；验证模块902，用于响应于所述验证请求，验证智能设备是否已注册；连接模块903，用于在验证结果为已注册的情况下，建立与电子设备之间的通信连接，发送模块904，用于将互动内容发送至电子设备，以在所述电子设备的显示界面之上创建的透明显示层中显示。

在一个示例中，所述互动内容可承载于数据包中，所述数据包包括与所述互动内容相关联的自定义字段，以便电子设备对所述互动内容进行解析。

实施例7

图10是根据一示例性实施例示出的一种电子设备1000的框图。例如，设备1000可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理、智能设备等。

参照图10，设备1000可以包括以下一个或多个组件：处理组件1002，存储器1004，电源组件1006，多媒体组件1008，音频组件1010，输入/输出接口1012，传感器组件1014，以及通信组件1016。

处理组件1002通常控制装置1000的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1002可以包括一个或多个模块，便于处理组件1002和其他组件之间的交互。例如，处理组件1002可以包括多媒体模块，以方便多媒体组件1008和处理组件1002之间的交互。

存储器1004被配置为存储各种类型的数据以支持在装置设备1000的操作。这些数据的示例包括用于在设备1000上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者他们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1006为装置1000的各种组件提供电力。电源组件1006可以包括电源管理系统，一个或多个电源，及其他与为装置1000生成、管理和分配电力相关联的组件。

多媒体组件1008包括在所述装置1000和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1008包括一个前置摄像头和/或后置摄像头。当装置设备1000处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1010被配置为输出和/或输入音频信号。例如，音频组件1010包括一个麦克风(MIC)，当设备1000处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1016发送。在一些实施例中，音频组件1010还包括一个扬声器，用于输出音频信号。

I/O接口1012为处理组件1002和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1014包括一个或多个传感器，用于为设备1000提供各个方面的状态评估。例如，传感器组件1014可以检测到装置设备1000的打开/关闭状态，组件的相对定位，例如所述组件为设备1000的显示器和小键盘，传感器组件1014还可以检测设备1000或设备1000一个组件的位置改变，用户与设备1000接触的存在或不存在，设备1000方位或加速/减速和设备1000的温度变化。传感器组件1014可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1014还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。

通信组件1016被配置为便于设备1000和其他设备之间有线或无线方式的通信。设备1000可以接入基于通信标准的无线网络，如WiFi，2G或3G，或他们的组合。在一个示例性实施例中，通信部件组件1016经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件组件1016还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备1000可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例1或2的方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1004，上述指令可由设备1000的处理器1020执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD－ROM、磁带、软盘和光数据存储设备等。

实施例8

图11是根据一示例性实施例示出的一种与电子设备互动的服务器1900的框图。例如，服务器1900可以为一智能设备或云端服务器。参照图11，服务器1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述实施例1或3的方法。

服务器1900还可以包括一个或一个以上电源组件1926，电源组件1926被配置为执行服务器1900的电源管理，一个或一个以上有线或无线网络接口1950被配置为将服务器1900连接到网络，和一个或一个以上输入输出(I/O)接口1958。一个或一个以上键盘，和/或，一个或一个以上操作系统，服务器1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTM等等或类似。

在一个示例中，还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备、终端设备或服务器的处理器执行时，使得电子设备、终端设备或服务器能够执行如实施例1、2或3所述的方法。

应用示例

为了便于理解本发明，以下给出一个示例性的应用示例，本领域技术人员应理解，该应用示例不以任何目的限制本发明。

图12示出了根据本发明一应用示例的系统架构图。其中，以手机为例的终端设备1201可通过路由器与电子设备1202(例如智能电视或机顶盒)处于同一局域网内，以向电子设备传送互动内容。或者以云端服务器1203为例的服务器可通过因特网连接电子设备1202，以向电子设备传送互动内容。其中，电子设备可支持内容传输协议、内容输出协议和设备发现连接协议，手机端可支持内容传输协议和设备发现连接协议，云端可支持内容传输协议和设备发现连接协议，以共同实现上述实施例中的各种操作和功能。

在一个应用场景下，当支持上述协议的云端或者终端设备应用需要传输互动内容到电子设备时，可利用设备发现连接协议发现并连接电子设备，在设备已经连接的基础上，电子设备可创建透明显示层，云端或终端设备可利用内容传输协议传输需要的多种格式的互动内容给电子设备，电子设备可通过内容输出协议将这些互动内容解析整合并与电视传统信号匹配，输出到透明显示层。

电子设备既显示传统的智能设备需要显示的图像、声音，又在透明显示层中显示从云端或者终端设备接收到的互动内容，从而在不影响原有内容的显示的前提下，实现丰富多彩的互动方式。

在一个示例性的应用场景中，智能电视正在播放有线电视的直播的体育比赛，用户在手机端可以针对比赛的内容，输入文字评论，或者选择发送表达情绪的虚拟道具，或者发送诸如鼓掌声音或泼水的声音。这些文字信息、道具信息等可以通过内容传输协议传输到智能电视端。智能电视端信息解析出文字内容或者表情的内容、个数等信息，并依据当前电视显示的码流等特征，选择相应清晰度的文字或表情动画显示在正在直播的比赛内容之上的透明显示层中，实现用户与体育比赛节目的互动。

在另一个示例性应用场景中，智能电视正在播放有线电视的直播的体育比赛，用户1与用户2在各自的家里通过智能电视观看比赛。用户1持有第一电子设备，例如手机、平板电脑等用户终端；用户2持有第二电子设备，例如手机、平板电脑等用户终端。用户1可使用终端与智能电视建立连接，并且智能电视在其播放体育比赛的画面创建透明显示层，从而用户可以将文字评论、可表达情绪的虚拟道具发送到透明显示层显示。同时，这些信息可以同步到服务器。同样地，用户2也可使用终端与智能电视建立连接，并且智能电视在其播放体育比赛的画面创建透明显示层，并将文字评论、可表达情绪的虚拟道具发送到透明显示层显示。同时，这些信息也可以同步到上述服务器。由服务器确认与其连接的智能电视，并将信息同步的显示在连接到服务器的智能电视的透明显示层上。从而多个用户可以足不出户的针对某个电视节目通过透明显示层彼此互动。

需要说明的是，尽管上述第二示例性应用场景中，采用了服务器将信息同步到联网的智能电视，但也可以是两个或多个智能电视之间连接到共同的局域网或互联网，并在彼此确认后，互相同步的在透明显示层中进行信息交互。在此情况下，例如，用户1可以向用户2发送连接请求，用户2接受后，用户2的智能电视连接至用户1的智能电视，用户1可以确认用户2是否在观看同样地节目。如果是，则将在用户1的智能电视的透明显示层显示的信息同步地显示在用户2的电视画面上，具体为电视画面上创建的透明显示层。用户2的智能电视的显示界面创建透明显示层的方式可以与用户1的智能电视相同。本领域的技术人员可知，可以通过在用户1、用户2的智能电视及手机上安装相应的应用软件来实现上述功能。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (33)

1.一种电子设备互动方法，所述电子设备包括显示界面，所述方法包括：

建立所述电子设备与其他设备之间的通信连接；

所述电子设备在所述显示界面上创建透明显示层；

确定所述其他设备与所述电子设备之间的互动频度平均值，并基于所述互动频度平均值确定所述其他设备的系统资源分配值；

所述电子设备基于所述其他设备的系统资源分配值接收来自其他设备的互动内容并将所述互动内容显示在所述透明显示层。

2.根据权利要求1所述的电子设备互动方法，其中所述电子设备响应于所述建立通信连接在所述显示界面上创建透明显示层。

3.根据权利要求1所述的电子设备互动方法，其中所述电子设备根据所述其他设备发送的创建请求在所述显示界面上创建透明显示层。

4.根据权利要求1所述的电子设备互动方法，其中所述电子设备与其他设备之间建立通信连接包括：

所述电子设备查询局域网中是否存在其他设备；

并且在查询到其他设备的情况下，发送广播消息；

所述电子设备接收来自其他设备的连接请求；

并且响应于所述连接请求，与其他设备建立通信连接。

5.根据权利要求1所述的电子设备互动方法，其中所述互动内容承载于数据包中，所述数据包包括与所述互动内容相关联的自定义字段。

6.根据权利要求5所述的电子设备互动方法，其中将所述互动内容显示在所述透明显示层包括：

所述电子设备基于所述自定义字段对所接收的互动内容进行解析，

在所述透明显示层中显示解析后的互动内容。

7.根据权利要求1所述的电子设备互动方法，其中所述电子设备包括图像处理单元，将所述互动内容显示在所述透明显示层包括：

利用所述图像处理单元将所述互动内容绘制到所述透明显示层。

8.根据权利要求1所述的电子设备互动方法，其中所述透明显示层位于所述显示界面的边缘。

9.根据权利要求1所述的电子设备互动方法，进一步包括：

获取所述显示界面当前播放内容的特征；

根据所述特征确定所述电子设备当前的系统资源的占用情况；以及

根据所述系统资源占用情况调整所述互动内容的显示方式。

10.根据权利要求9所述的电子设备互动方法，其中根据所述系统资源占用情况调整所述互动内容的显示方式，包括：所述系统资源占用率大于80％时，使所述互动内容模糊显示或缩小所述透明显示层的尺寸。

11.根据权利要求1至10中任意一项所述的电子设备互动方法，其中所述互动内容包括图像、文字、音频、视频和控制指令的至少之一。

12.一种电子设备互动方法，其中电子设备包括显示界面以及在该显示界面上创建的透明显示层，所述方法包括：

向电子设备发送连接请求，以建立与电子设备之间的通信连接；

获取互动内容；

将所获取的互动内容发送到电子设备，以通过所述电子设备基于终端设备的系统资源分配值在所述透明显示层中显示，所述终端设备的系统资源分配值是所述电子设备基于所述终端设备与所述电子设备之间的互动频度平均值而确定的。

13.根据权利要求12所述的电子设备互动方法，其中所述获取互动内容包括以下至少之一：

获取存储在终端设备中的内容；

获取由终端设备实时采集或接收的内容；

获取用户操作终端设备而产生的指令信息；

获取用户在终端设备中输入的文字信息；

获取用户通过摇动终端设备产生的信息；

获取终端设备捕捉用户手势或姿态而产生的信息。

14.根据权利要求12所述的电子设备互动方法，其中所述互动内容承载于数据包中，所述数据包包括与所述互动内容相关联的自定义字段，以便电子设备对所述互动内容进行解析。

15.根据权利要求12所述的电子设备互动方法，其中向电子设备发送连接请求，以建立与该电子设备之间的通信连接包括：

发送第一广播消息，以供电子设备发现；

接收电子设备响应于发现所述第一广播消息而发送的第二广播消息；

响应于接收到第二广播消息，将电子设备的相关信息提供给用户进行选择；

响应于用户对电子设备的选择，向电子设备发送连接请求，以建立与所述电子设备之间的通信连接。

16.一种电子设备互动方法，包括：

服务器接收来自电子设备的验证请求；

所述服务器响应于所述验证请求，验证所述电子设备是否已注册；

在验证结果为已注册的情况下，所述服务器建立与该电子设备之间的通信连接，

所述服务器将互动内容发送至电子设备，以通过所述电子设备基于所述服务器的系统资源分配值在所述电子设备的显示界面上创建的透明显示层显示，所述服务器的系统资源分配值是所述电子设备基于所述服务器与所述电子设备之间的互动频度平均值而确定的。

17.根据权利要求16所述的电子设备互动方法，其中所述互动内容承载于数据包中，所述数据包包括与所述互动内容相关联的自定义字段，以便电子设备对所述互动内容进行解析。

18.一种电子设备，包括：

第一连接模块，用于与其他设备建立通信连接；

创建模块，用于在电子设备的显示界面上创建透明显示层；

统计模块，用于确定所述其他设备与所述电子设备之间的互动频度平均值，并基于所述互动频度平均值确定所述其他设备的系统资源分配值；

接收模块，用于基于所述其他设备的系统资源分配值接收来自其他设备的互动内容；

显示模块，用于将所述互动内容显示在所述透明显示层。

19.根据权利要求18所述的电子设备，其中所述创建模块响应于所述通信连接的建立在电子设备的显示界面上创建透明显示层。

20.根据权利要求18所述的电子设备，其中所述创建模块根据其他设备发送的创建请求在电子设备的显示界面上创建透明显示层。

21.根据权利要求18所述的电子设备，其中所述第一连接模块包括：

查询单元，用于查询局域网中是否存在其他设备；

发送单元，用于在存在其他设备的情况下，发送广播消息；

接收单元，用于接收来自其他设备的连接请求；

连接建立单元，用于响应于所述连接请求，与其他设备建立通信连接。

22.根据权利要求18所述的电子设备，其中所述互动内容承载于数据包中，所述数据包包括与所述互动内容相关联的自定义字段。

23.根据权利要求22所述的电子设备，其中所述显示模块包括：

解析单元，用于基于所述自定义字段对所接收的互动内容进行解析，

显示单元，用于在所述透明显示层中显示解析后的互动内容。

24.根据权利要求18所述的电子设备，其中所述显示模块用于利用电子设备的图像处理单元将互动内容绘制到透明显示层。

25.根据权利要求18所述的电子设备，还包括：

特征获取模块，用于获取电子设备的显示界面中当前播放内容的特征；

确定模块，用于根据所述特征确定电子设备当前的系统资源占用情况；

调整模块，用于根据所述系统资源占用情况来调整所述互动内容的显示方式。

26.根据权利要求25所述的电子设备，其中所述调整模块在所述系统资源占用率大于80％时，使所述互动内容模糊显示或将所述透明显示层的尺寸缩小。

27.根据权利要求18至26中任意一项所述的电子设备，其中所述互动内容包括以下至少其中之一：图像、文字、音频、视频、控制指令。

28.一种用于与电子设备互动的用户终端，包括：

第二连接模块，用于向电子设备发送连接请求，以建立与电子设备之间的通信连接；

获取模块，用于获取互动内容；

发送模块，用于将所获取的互动内容发送到电子设备，以通过所述电子设备基于终端设备的系统资源分配值在所述电子设备的显示界面上创建的透明显示层显示，所述终端设备的系统资源分配值是所述电子设备基于所述终端设备与所述电子设备之间的互动频度平均值而确定的。

29.根据权利要求28所述的用户终端，其中所述获取模块包括以下至少之一：

第一获取单元，用于获取存储在终端设备中的内容；

第二获取单元，用于获取由终端设备实时采集或接收的内容；

第三获取单元，用于获取用户操作终端设备而产生的指令信息；

第四获取单元，用于获取用户在终端设备中输入的文字信息；

第五获取单元，用于获取用户通过摇动终端设备产生的信息；

第六获取单元，用于获取终端设备捕捉用户手势或姿态而产生的信息。

30.根据权利要求28所述的用户终端，其中所述互动内容承载于数据包中，所述数据包包括与所述互动内容相关联的自定义字段，以便电子设备对所述互动内容进行解析。

31.根据权利要求28所述的用户终端，其中所述第二连接模块包括：

第一发送单元，用于发送第一广播消息，以供电子设备发现；

第一接收单元，用于接收电子设备响应于发现所述第一广播消息而发送的第二广播消息；

提供单元，用于响应于接收到第二广播消息，将所述电子设备的相关信息提供给用户进行选择；

第二发送单元，用于响应于用户对电子设备的选择，向电子设备发送连接请求，以建立与电子设备之间的通信连接。

32.一种用于与电子设备互动的服务器，包括：

接收模块，用于接收来自电子设备的验证请求；

验证模块，用于响应于所述验证请求，验证电子设备是否已注册；

第三连接模块，用于在验证结果为已注册的情况下，建立与电子设备之间的通信连接；

发送模块，用于将互动内容发送至电子设备，以通过所述电子设备基于所述服务器的系统资源分配值在所述电子设备的显示界面上创建的透明显示层显示，所述服务器的系统资源分配值是所述电子设备基于所述服务器与所述电子设备之间的互动频度平均值而确定的。

33.根据权利要求32所述的服务器，其中所述互动内容承载于数据包中，所述数据包包括与所述互动内容相关联的自定义字段，以便电子设备对所述互动内容进行解析。

Images