[go: up one dir, main page]

CN117409119A - 基于虚拟形象的画面显示方法、装置以及电子设备 - Google Patents

基于虚拟形象的画面显示方法、装置以及电子设备 Download PDF

Info

Publication number
CN117409119A
CN117409119A CN202210798176.0A CN202210798176A CN117409119A CN 117409119 A CN117409119 A CN 117409119A CN 202210798176 A CN202210798176 A CN 202210798176A CN 117409119 A CN117409119 A CN 117409119A
Authority
CN
China
Prior art keywords
target
avatar
picture
target object
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210798176.0A
Other languages
English (en)
Inventor
赵瑞超
陈莉莉
简伟华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202210798176.0A priority Critical patent/CN117409119A/zh
Publication of CN117409119A publication Critical patent/CN117409119A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开关于一种基于虚拟形象的画面显示方法、装置以及电子设备,属于图像处理技术领域,该方法包括:通过终端的第一拍摄设备拍摄目标对象以得到第一画面,通过终端的第二拍摄设备拍摄目标场景以得到第二画面,基于此,根据第一画面中目标对象的表情和动作,驱动目标虚拟形象模型做出对应的表情和动作,对该目标虚拟形象模型进行渲染,以在第二画面中显示与目标对象的表情和动作均同步的目标虚拟形象,从而既实现了虚拟形象与真人表情、动作之间的实时同步,又实现了虚拟形象与真实场景之间的实时融合,呈现出一种虚拟形象与真实场景实时互动的显示效果,提升了用户体验感。

Description

基于虚拟形象的画面显示方法、装置以及电子设备
技术领域
本公开涉及图像处理技术领域,尤其涉及一种基于虚拟形象的画面显示方法、装置以及电子设备。
背景技术
随着互联网技术的发展和移动终端的广泛普及,基于真人动作和面部表情渲染生成的虚拟形象受到了人们越来越多的关注,被广泛应用于各种场景中。
例如,通过捕捉真人的动作和面部表情,驱动虚拟形象模型做出同样的动作和面部表情,并对该虚拟形象模型进行渲染,得到相应的虚拟形象,使得用户能够基于该虚拟形象所处的画面进行视频录制或直播等,满足用户的个性化需求。
然而,目前基于动作捕捉和面部捕捉渲染生成的虚拟形象大多存在于虚拟空间中,即,虚拟形象所处的画面中背景通常也是虚拟的,导致虚拟形象的显示效果较差,影响用户体验感。
发明内容
本公开提供一种基于虚拟形象的画面显示方法、装置以及电子设备,能够呈现出一种虚拟形象与真实场景实时互动的显示效果,提升用户体验感。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种基于虚拟形象的画面显示方法,该方法由终端执行,该终端配置有第一拍摄设备和第二拍摄设备,该方法包括:
基于该第一拍摄设备拍摄得到的目标对象的第一画面,获取该目标对象的表情信息和动作信息;
基于该目标对象的表情信息和动作信息,驱动目标虚拟形象模型做出对应的表情和动作;
对该目标虚拟形象模型进行渲染,以在该第二拍摄设备拍摄得到的目标场景的第二画面中,显示该目标对象的目标虚拟形象。
在该方法中,通过终端的第一拍摄设备拍摄目标对象以得到第一画面,通过终端的第二拍摄设备拍摄目标场景以得到第二画面,基于此,根据第一画面中目标对象的表情和动作,驱动目标虚拟形象模型做出对应的表情和动作,对该目标虚拟形象模型进行渲染,以在第二画面中显示与目标对象的表情和动作均同步的目标虚拟形象,从而既实现了虚拟形象与真人表情、动作之间的实时同步,又实现了虚拟形象与真实场景之间的实时融合,呈现出一种虚拟形象与真实场景实时互动的显示效果,提升了用户体验感。而且,在上述过程中,利用了终端的多个拍摄设备来实现虚拟形象与真实场景的实时互动,无需通过昂贵的动作捕捉设备和表情捕捉设备来采集目标对象的表情信息和动作信息,从而大大节约了成本。
在一些实施例中,对该目标虚拟形象模型进行渲染,以在该第二拍摄设备拍摄得到的目标场景的第二画面中,显示该目标对象的目标虚拟形象,包括:
基于目标物品在该第二画面中的位置,对该目标虚拟形象模型进行渲染,以在该第二画面中,显示该目标虚拟形象,该目标虚拟形象在该第二画面中不遮挡该目标物品。
通过这种方式,实现了在第二画面中显示该目标虚拟形象的基础上,该目标虚拟形象不遮挡目标物品,既呈现出一种虚拟形象与真实场景实时互动的显示效果,又确保了目标物品的显示效果,进一步提升了用户体验感。
在一些实施例中,该方法还包括:
识别该第二画面中的至少一个物品;
基于物品列表所指示的物品,从该至少一个物品中确定该目标物品,该物品列表与该目标场景相关联,该目标物品与该物品列表所指示的物品之间的匹配度符合目标条件。
通过该方式,终端能够基于目标场景所关联的物品列表,自动识别第二画面中的目标物品,为后续渲染虚拟形象模型提供基础。
在一些实施例中,该方法还包括:
基于该第二画面,获取该目标场景的场景信息;
基于该场景信息,从至少一个虚拟形象模型中确定与该场景信息对应的该目标虚拟形象模型。
通过该方式,终端能够根据真实场景来自动确定目标虚拟形象模型,使得最终基于该目标虚拟形象模型渲染得到的目标虚拟形象能够与真实场景相匹配,从而提升虚拟形象的显示效果。
在一些实施例中,该基于该场景信息,从至少一个虚拟形象模型中确定与该场景信息对应的该目标虚拟形象,包括下述至少一项:
基于该场景信息所指示的目标物品的物品类型,从该至少一个虚拟形象模型中确定该目标虚拟形象模型;
基于该场景信息所指示的天气类型,从该至少一个虚拟形象模型中确定该目标虚拟形象模型;
基于该场景信息所指示的景点类型,从该至少一个虚拟形象模型中确定该目标虚拟形象模型。
在一些实施例中,该方法还包括:
显示虚拟形象列表,该虚拟形象列表指示多个虚拟形象模型;
响应于针对该虚拟形象列表的虚拟形象模型选定操作,从该多个虚拟形象模型中确定该目标虚拟形象模型。
通过这种方式,目标对象能够从终端显示的虚拟形象列表中选择目标虚拟形象模型,以满足个性化需求。
在一些实施例中,该响应于针对该虚拟形象列表的虚拟形象模型选定操作,从该多个虚拟形象模型中确定该目标虚拟形象模型,包括:
在该虚拟形象列表中第一虚拟形象模型处于选中状态的情况下,响应于从该第一画面中识别到该目标对象做出的目标动作,将该虚拟形象列表中该第一虚拟形象模型的下一个虚拟形象模型显示为选中状态,该第一虚拟形象模型为该多个虚拟形象模型中任一个虚拟形象模型。
通过这种方式,目标对象能够基于终端显示的虚拟形象列表,通过做出目标动作的方式来执行虚拟形象模型选定操作以选择想要驱动的虚拟形象模型,而无需目标对象对终端进行操作,从而在满足个性化需求的同时,提高了人机交互效率。
在一些实施例中,该方法还包括:
对该第一画面中除该目标对象以外的区域进行抠图,得到第一背景画面;
基于该第二画面中绿幕所在区域,对该第二画面中目标物品所在区域进行抠图,得到该目标物品对应的目标物品画面;
基于该第一背景画面和该目标物品画面,对该目标虚拟形象模型进行渲染,以在该第一背景画面中,显示该目标虚拟形象和该目标物品。
通过该方式,实现了在目标对象所处的背景中显示目标虚拟形象的基础上,清晰地显示目标物品,既呈现出一种虚拟形象与真实场景实时互动的显示效果,又确保了目标物品的显示效果,提升了用户体验感。
在一些实施例中,该方法还包括:
在该第一画面包括第一物品的情况下,对该第一画面中除该目标对象和该第一物品以外的区域进行抠图,得到第二背景画面;
对该第一画面中该第一物品所在区域进行抠图,得到该第一物品对应的第一物品画面;
基于该第二背景画面和该第一物品画面,对该目标虚拟形象模型进行渲染,以在该第二背景画面中,显示该目标虚拟形象和该第一物品。
通过该方式,实现了在目标对象所处的背景中显示目标虚拟形象的基础上,确保目标虚拟形象与第一物品之间的贴合程度,既呈现出一种虚拟形象与真实场景实时互动的显示效果,又确保了第一物品的显示效果,提升了用户体验感。
在一些实施例中,该方法还包括:
基于该第一画面,获取该目标对象的轮廓信息,该轮廓信息指示该目标对象的头身比;
该基于该第二背景画面和该第一物品画面,对该目标虚拟形象模型进行渲染,以在该第二背景画面中,显示该目标虚拟形象和该第一物品,包括:
基于该第二背景画面、该第一物品画面以及该轮廓信息,对该目标虚拟形象模型进行渲染,以在该第二背景画面中,显示该目标虚拟形象和该第一物品,该目标虚拟形象的头身比与该目标对象的头身比相同。
通过该方式,终端基于目标对象的头身比来对目标虚拟形象模型进行渲染,以得到与目标对象头身比相同的目标虚拟形象,进一步确保了第一物品的显示效果。
在一些实施例中,该方法还包括下述至少一项:
在基于该目标对象的表情信息识别到第一表情的情况下,在该第二画面中显示与该第一表情对应的第一媒体信息;
在基于该目标对象的动作信息识别到第一动作的情况下,在该第二画面中显示与该第一动作对应的第二媒体信息。
通过该方式,终端基于目标对象的表情信息和动作信息,在该第二画面中显示相应的媒体信息,增加了画面显示的趣味性。
根据本公开实施例的第二方面,提供一种基于虚拟形象的画面显示装置,该装置应用于终端,该终端配置有第一拍摄设备和第二拍摄设备,该装置包括:
获取单元,被配置为执行基于该第一拍摄设备拍摄得到的目标对象的第一画面,获取该目标对象的表情信息和动作信息;
驱动单元,被配置为执行基于该目标对象的表情信息和动作信息,驱动目标虚拟形象模型做出对应的表情和动作;
显示单元,被配置为执行对该目标虚拟形象模型进行渲染,以在该第二拍摄设备拍摄得到的目标场景的第二画面中,显示该目标对象的目标虚拟形象。
在一些实施例中,该显示单元,被配置为执行:
基于目标物品在该第二画面中的位置,对该目标虚拟形象模型进行渲染,以在该第二画面中,显示该目标虚拟形象,该目标虚拟形象在该第二画面中不遮挡该目标物品。
在一些实施例中,该装置还包括目标物品确定单元,该目标物品确定单元被配置为执行:
识别该第二画面中的至少一个物品;
基于物品列表所指示的物品,从该至少一个物品中确定该目标物品,该物品列表与该目标场景相关联,该目标物品与该物品列表所指示的物品之间的匹配度符合目标条件。
在一些实施例中,该装置还包括调整单元,该调整单元被配置为执行下述至少一项:
响应于对该目标虚拟形象的移动操作,调整该目标虚拟形象在该第二画面中的显示位置;
响应于对该目标虚拟形象的缩放操作,调整该目标虚拟形象在该第二画面中的显示尺寸。
在一些实施例中,该装置还包括模型确定单元,该模型确定单元被配置为执行:
基于该第二画面,获取该目标场景的场景信息;
基于该场景信息,从至少一个虚拟形象模型中确定与该场景信息对应的该目标虚拟形象模型。
在一些实施例中,该模型确定单元被配置为执行下述至少一项:
基于该场景信息所指示的目标物品的物品类型,从该至少一个虚拟形象模型中确定该目标虚拟形象模型;
基于该场景信息所指示的天气类型,从该至少一个虚拟形象模型中确定该目标虚拟形象模型;
基于该场景信息所指示的景点类型,从该至少一个虚拟形象模型中确定该目标虚拟形象模型。
在一些实施例中,该模型确定单元,还被配置为执行:
显示虚拟形象列表,该虚拟形象列表指示多个虚拟形象模型;
响应于针对该虚拟形象列表的虚拟形象模型选定操作,从该多个虚拟形象模型中确定该目标虚拟形象模型。
在一些实施例中,该模型确定单元,被配置为执行:
在该虚拟形象列表中第一虚拟形象模型处于选中状态的情况下,响应于从该第一画面中识别到该目标对象做出的目标动作,将该虚拟形象列表中该第一虚拟形象模型的下一个虚拟形象模型显示为选中状态,该第一虚拟形象模型为该多个虚拟形象模型中任一个虚拟形象模型。
在一些实施例中,该装置还包括:
第一抠图单元,被配置为执行对该第一画面中除该目标对象以外的区域进行抠图,得到第一背景画面;
第二抠图单元,被配置为执行基于该第二画面中绿幕所在区域,对该第二画面中目标物品所在区域进行抠图,得到该目标物品对应的目标物品画面;
该显示单元,还被配置为执行基于该第一背景画面和该目标物品画面,对该目标虚拟形象模型进行渲染,以在该第一背景画面中,显示该目标虚拟形象和该目标物品。
在一些实施例中,该装置还包括:
第三抠图单元,被配置为执行在该第一画面包括第一物品的情况下,对该第一画面中除该目标对象和该第一物品以外的区域进行抠图,得到第二背景画面;
第四抠图单元,被配置为执行对该第一画面中该第一物品所在区域进行抠图,得到该第一物品对应的第一物品画面;
该显示单元,还被配置为执行基于该第二背景画面和该第一物品画面,对该目标虚拟形象模型进行渲染,以在该第二背景画面中,显示该目标虚拟形象和该第一物品。
在一些实施例中,该装置还包括:
轮廓信息获取单元,被配置为执行基于该第一画面,获取该目标对象的轮廓信息,该轮廓信息指示该目标对象的头身比;
该显示单元,被配置为执行基于该第二背景画面、该第一物品画面以及该轮廓信息,对该目标虚拟形象模型进行渲染,以在该第二背景画面中,显示该目标虚拟形象和该第一物品,该目标虚拟形象的头身比与该目标对象的头身比相同。
在一些实施例中,该显示单元还被配置为执行下述至少一项:
在基于该目标对象的表情信息识别到第一表情的情况下,在该第二画面中显示与该第一表情对应的第一媒体信息;
在基于该目标对象的动作信息识别到第一动作的情况下,在该第二画面中显示与该第一动作对应的第二媒体信息。
根据本公开实施例的第三方面,提供一种电子设备,该电子设备包括:
一个或多个处理器;
用于存储该处理器可执行程序代码的存储器;
其中,该处理器被配置为执行该程序代码,以实现上述基于虚拟形象的画面显示方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,该计算机可读存储介质包括:当该计算机可读存储介质中的程序代码由电子设备的处理器执行时,使得电子设备能够执行上述基于虚拟形象的画面显示方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述基于虚拟形象的画面显示方法。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是本公开实施例提供的一种基于虚拟形象的画面显示方法的实施环境示意图;
图2是本公开实施例提供的一种基于虚拟形象的画面显示方法的流程图;
图3是本公开实施例提供的一种基于虚拟形象的画面显示方法的示意图;
图4是本公开实施例提供的一种显示目标虚拟形象的示意图;
图5是本公开实施例提供的另一种基于虚拟形象的画面显示方法的流程图;
图6是本公开实施例提供的一种基于虚拟形象的画面显示方法的示意图;
图7是本公开实施例提供的一种显示目标虚拟形象的示意图;
图8是本公开实施例提供的另一种基于虚拟形象的画面显示方法的流程图;
图9是本公开实施例提供的一种基于虚拟形象的画面显示方法的示意图;
图10是本公开实施例提供的一种显示目标虚拟形象的示意图;
图11是本公开实施例提供的另一种基于虚拟形象的画面显示方法的流程图;
图12是本公开实施例提供的一种基于虚拟形象的画面显示方法的示意图;
图13是本公开实施例提供的一种显示目标虚拟形象的示意图;
图14是本公开实施例提供的一种基于虚拟形象的画面显示装置的框图;
图15是本公开实施例提供的一种终端的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,本公开所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号,均为经用户授权或者经过各方充分授权的,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如,本公开实施例中涉及到的目标对象的表情信息、动作信息等都是在充分授权的情况下获取的。在一些实施例中,本公开实施例提供有权限询问页面,该权限询问页面用于询问是否授予上述信息的获取权限,在该权限询问页面中,显示同意授权控件和拒绝授权控件,在检测到对该同意授权控件的触发操作的情况下,利用本公开实施例所提供的基于虚拟形象的画面显示方法来获取上述信息。
图1是本公开实施例提供的一种基于虚拟形象的画面显示方法的实施环境示意图,参见图1,该实施环境包括:终端101和服务器102。终端101与服务器102之间通过有线或无线通信方式进行直接或间接的连接,本公开实施例对此不作限定。
终端101为智能手机、智能手表、台式电脑、手提电脑、虚拟现实终端、增强现实终端、无线终端和膝上型便携计算机等设备中的至少一种。在本公开实施例中,终端101配置有第一拍摄设备和第二拍摄设备,其中,第一拍摄设备用于对目标对象进行拍摄,以得到该目标对象对应的第一画面。例如,该第一拍摄设备为终端101的前置拍摄设备,目标对象能够使用该第一拍摄设备进行自拍。第二拍摄设备用于对目标场景进行拍摄,以得到该目标场景对应的第二画面。例如,该第二拍摄设备为终端101的后置拍摄设备,该目标场景是指真实场景。在一些实施例中,第一拍摄设备和第二拍摄设备能够同时启动,以实现对目标对象和目标场景的同步拍摄。
示意性地,终端101安装和运行有应用程序,该应用程序用于提供基于虚拟形象的画面显示功能,如该应用程序为拍摄类应用程序、直播类应用程序以及游戏类应用程序等等,对此不作限定。以拍摄类应用程序为例,目标对象能够通过该拍摄类应用程序调用终端101的第一拍摄设备和第二拍摄设备,通过该第一拍摄设备对该目标对象进行拍摄,得到第一画面,通过该第二拍摄设备对真实场景进行拍摄,得到第二画面,从而,终端基于该第一画面中目标对象的表情信息和动作信息,驱动虚拟形象模型做出对应的表情和动作,对该虚拟形象模型进行渲染,以在第二画面中显示该目标对象的虚拟形象,实现了基于目标对象的表情和动作实时驱动虚拟形象,并将虚拟形象与真实场景进行了融合,呈现出一种虚拟形象与真实场景实时互动的显示效果,便于目标对象基于终端所显示的画面进行视频录制。这一过程会在后续方法实施例中进行详细介绍,在此不再赘述。
另外,终端101可以泛指多个终端中的一个,本公开实施例仅以终端101来举例说明。本领域技术人员可以知晓,上述终端的数量可以更多或更少。
服务器102可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式文件系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。示意性地,服务器102用于为终端101所运行的应用程序提供后台服务,例如,继续以终端101运行拍摄类应用程序为例,目标对象能够基于终端101显示的虚拟形象与真实场景相融合的画面来录制视频,通过服务器102对录制好的视频进行发布等。当然,服务器102还能够包括其他功能服务器,以便提供更全面且多样化的服务。应理解,上述服务器102的数量可以更多或更少,本公开实施例对此不加以限定。
图2是本公开实施例提供的一种基于虚拟形象的画面显示方法的流程图。如图2所示,该方法由终端执行,该终端配置有第一拍摄设备和第二拍摄设备。示意性地,该方法包括下述步骤201至步骤204。
在步骤201中,终端通过第一拍摄设备对目标对象进行拍摄,得到该目标对象的第一画面,通过第二拍摄设备对目标场景进行拍摄,得到该目标场景的第二画面。
在本公开实施例中,终端为目标对象所使用的终端,终端上运行有目标应用程序,用于提供基于虚拟形象的画面显示功能。目标场景是指真实场景。示意性地,终端显示该目标应用程序的应用界面,该应用界面包括目标控件,该目标控件指示基于虚拟形象进行画面显示,终端响应于目标对象该目标控件的触发操作,通过第一拍摄设备对该目标对象进行拍摄,得到第一画面,通过第二拍摄设备对目标场景进行拍摄,得到第二画面。
例如,以目标应用程序为拍摄类应用程序为例,在目标对象游览景点的情况下,目标对象触发该目标应用程序提供的基于虚拟形象的画面显示功能,终端通过第一拍摄设备对目标对象进行拍摄以得到该目标对象的自拍画面,通过第二拍摄设备对景点进行拍摄以得到景点画面。
又例如,以目标应用程序为直播类应用程序为例,在目标对象通过直播间介绍物品的情况下,目标对象触发该目标应用程序提供的基于虚拟形象的画面显示功能,终端通过第一拍摄设备对目标对象进行拍摄以得到该目标对象的自拍画面,通过第二拍摄设备对物品所处环境进行拍摄以得到物品画面。
在一些实施例中,终端在第一区域显示该第一画面,在第二区域显示该第二画面,以便目标对象实时查看被拍摄的画面,便于目标对象及时调整拍摄角度和拍摄焦距等,对此不作限定。例如,目标应用程序的应用界面划分为上下两个区域,上面的第一区域用于显示第一画面,下面的第二区域用于显示第二画面。
在步骤202中,终端基于该第一拍摄设备拍摄得到的目标对象的第一画面,获取该目标对象的表情信息和动作信息。
在本公开实施例中,终端基于该第一画面中目标对象所在区域,识别该目标对象的表情和动作,得到该目标对象的表情信息和动作信息。示意性地,终端基于第一画面中目标对象所在区域,获取该目标对象的多个特征点(如面部各个五官对应的特征点、肢体各个关节对应的特征点等等)在第一画面中的位置信息,识别该目标对象的表情和动作,得到相应的表情信息和动作信息。例如,该表情信息指示该目标对象的面部特征点之间的间距以及该目标对象的表情类型等;该动作信息指示该目标对象的关节特征点之间的间距以及该目标对象的动作类型等。需要说明的是,本公开实施例对于终端获取目标对象的表情信息和动作信息的具体算法不作限定。在一些实施例中,目标对象处于绿幕前,从而终端对目标对象拍摄得到的第一画面包括绿幕区域和目标对象所在区域。通过这种方式,能够提高动作信息和表情信息的准确度,从而提升后续虚拟形象的显示效果。
在一些实施例中,终端基于第一画面所对应的视频帧,对每一个视频帧中目标对象的表情和动作进行识别,以得到相应的表情信息和动作信息。例如,终端通过第一拍摄设备拍摄目标对象,采集相应的视频帧(如1秒30帧,对此不作限定)以得到第一画面,在这一过程中,终端每采集到一个视频帧,对该视频帧中目标对象的表情和动作进行识别。通过这种方式,终端逐帧识别目标对象的表情和动作,能够为后续驱动虚拟形象模型提供细粒度的表情信息和动作信息,使得最终基于虚拟形象模型渲染得到的虚拟形象能够与目标对象实现表情和动作上的细粒度同步,提升虚拟形象的显示效果。当然,在另一些实施例中,终端每间隔目标数量个视频帧,对相应视频帧中目标对象的表情和动作进行识别,从而在为后续驱动虚拟形象模型提供表情信息和动作信息的基础上,节约计算资源,例如,目标数量为2帧,对此不作限定。
在步骤203中,终端基于该目标对象的表情信息和动作信息,驱动目标虚拟形象模型做出对应的表情和动作。
在本公开实施例中,目标虚拟形象模型为虚拟形象的二维模型或三维模型,对此不作限定。示意性地,该目标虚拟形象模型可以是基于原创角色构建得到的,也可以是基于已获得授权的动画角色、动漫角色、影视角色或游戏角色等构建得到的,还可以是基于目标对象构建得到的(也可以理解为是目标对象的一种超写实虚拟形象),本公开实施例对此不作限定。在一些实施例中,终端基于该目标对象的表情信息和动作信息,对该目标虚拟形象模型中的头部模型以及身体模型分别配置相应的表情参数和动作参数,使得该目标虚拟形象模型做出相应的表情(如微笑、大笑、哭、吐舌头等)和动作(如点头、举手、抬腿以及跳舞等)。
在一些实施例中,终端提供针对虚拟形象模型的选择功能,目标对象能够从终端提供的多个虚拟形象模型中选择目标虚拟形象模型,以满足个性化需求。示意性地,终端显示虚拟形象选择控件,响应于对该虚拟形象选择控件的触发操作,显示虚拟形象列表,该虚拟形象列表指示多个虚拟形象模型,以供目标对象选择,终端响应于针对该虚拟形象列表的虚拟形象模型选定操作,从多个虚拟形象模型中确定该目标虚拟形象模型,基于该目标对象的表情信息和动作信息,驱动该目标虚拟形象模型做出对应的表情和动作。
示意性地,下面通过几种可选实现方式,对上述基于虚拟形象模型选定操作确定目标虚拟形象模型的过程进行介绍。
(1)该虚拟形象模型选定操作基于目标对象针对虚拟形象模型的点击操作实现。示意性地,终端响应于对该虚拟形象列表中任一虚拟形象模型的选中操作,将该虚拟形象模型确定为目标虚拟形象模型。例如,终端在该虚拟形象列表中显示多个虚拟形象模型的缩略图,响应于对任一虚拟形象模型的缩略图的点击操作,将该虚拟形象模型确定为目标虚拟形象模型。应理解,此处举例仅为示意性地,终端还可以在虚拟形象列表中显示多个虚拟形象模型的简介等相关信息,以供目标对象详细了解虚拟形象模型的具体情况,提高人机交互效率。
通过这种方式,目标对象能够从终端显示的虚拟形象列表中选择目标虚拟形象模型,以满足个性化需求。
(2)该虚拟形象模型选定操作基于目标对象做出的目标动作实现。示意性地,终端在虚拟形象列表中第一虚拟形象模型处于选中状态的情况下,响应于从第一画面中识别到目标对象做出的目标动作,将虚拟形象列表中该第一虚拟形象模型的下一个虚拟形象模型显示为选中状态。其中,该目标动作为预设动作,例如,该目标动作为点头、从左到右转动头部、从右到左转动头部、上下挥动手臂或者左右挥动手臂、左抬腿或者右抬腿、左手画圈或者右手画圈等等,对此不作限定。该第一虚拟形象模型为该多个虚拟形象模型中任一个虚拟形象模型。例如,该第一虚拟形象模型为虚拟形象列表中排在第一位的虚拟形象模型,即终端在显示虚拟形象列表时,将排在第一位的虚拟形象模型默认显示为选中状态。又例如,该第一虚拟形象模型为当前与目标对象表情、动作实时同步的虚拟形象模型,对此不作限定。需要说明的是,在该下一个虚拟形象模型显示为选中状态的情况下,终端可以直接将该下一个虚拟形象模型确定为目标虚拟形象模型,从而目标对象能够通过做出目标动作的方式,快速切换虚拟形象模型,提高人机交互效率。当然,终端也可以根据目标对象接下来做出的动作,决定是否将该下一个虚拟形象模型确定为目标虚拟形象模型,对此不作限定。
示意性地,以终端根据目标对象接下来做出的动作,决定是否将该下一个虚拟形象模型确定为目标虚拟形象模型为例,在一些实施例中,终端在目标时长内未再次识别到该目标动作的情况下,将该下一个虚拟形象模型确定为目标虚拟形象模型,终端在目标时长内再次识别到该目标动作的情况下,终端将该下一个虚拟形象模型之后的一个虚拟形象模型显示为选中状态,以此类推,在此不再赘述。其中,该目标时长为预设时长(如3秒)。又例如,终端显示提示消息,该提示消息指示将该下一个虚拟形象模型确定为目标虚拟形象模型,响应于对该提示消息的确认操作,将该下一个虚拟形象模型确定为目标虚拟形象模型。例如,该确认操作为目标对象做出的点头、向下挥动手臂等动作,对此不作限定。
通过这种方式,目标对象能够基于终端显示的虚拟形象列表,通过做出目标动作的方式来执行虚拟形象模型选定操作,选择想要驱动的虚拟形象模型,而无需目标对象对终端进行操作,从而在满足个性化需求的同时,提高了人机交互效率。
在一些实施例中,终端基于第二画面,从至少一个虚拟形象模型中确定该目标虚拟形象模型。示意性地,终端基于第二画面,获取目标场景的场景信息;基于该场景信息,从至少一个虚拟形象模型中确定与该场景信息对应的该目标虚拟形象模型。即,终端能够根据真实场景来自动确定目标虚拟形象模型,使得最终基于该目标虚拟形象模型渲染得到的目标虚拟形象能够与真实场景相匹配,从而提升虚拟形象的显示效果。例如,该场景信息指示天气类型、建筑物类型、景点类型、植被类型以及物品类型等等,本公开实施例对此不作限定。
示意性地,下面对终端基于场景信息确定目标虚拟形象的方式进行举例说明。
(1)终端基于该场景信息所指示的目标物品的物品类型,从至少一个虚拟形象模型中确定该目标虚拟形象模型。例如,以目标物品的物品类型为厨具为例,该目标虚拟形象模型是基于厨师类角色构建得到的;以目标物品的物品类型为书籍为例,该目标虚拟形象模型是基于教师类角色构建得到的,等等,对此不作限定。
(2)终端基于该场景信息所指示的天气类型,从至少一个虚拟形象模型中确定该目标虚拟形象模型。例如,以天气类型为雨天为例,该目标虚拟形象模型是基于穿着雨衣的角色构建得到的;以天气类型为艳阳天为例,该目标虚拟形象模型是基于佩戴墨镜的角色构建得到的,等等,对此不作限定。
(3)终端基于该场景信息所指示的景点类型,从该至少一个虚拟形象模型中确定该目标虚拟形象模型。例如,以景点类型为古建筑为例,该目标虚拟形象模型是基于历史人物构建得到的;以景点类型为艺术类展览馆为例,该目标虚拟形象模型是基于文艺人物构建得到的,等等,对此不作限定。
应理解,上述举例仅为示意性说明,在一些实施例中,在该场景信息指示多项内容的情况下,终端基于该多项内容,从该至少一个虚拟形象模型中确定该目标虚拟形象模型。例如,该场景信息指示雨天中的古建筑,则该目标虚拟形象模型是基于穿着雨衣的历史人物构建得到的。
另外,在一些实施例中,终端基于该场景信息,从至少一个虚拟形象模型中确定与该场景信息对应的至少一个第一虚拟形象模型,显示该至少一个第一虚拟形象模型以供目标对象选择,满足个性化需求。
在步骤204中,终端对该目标虚拟形象模型进行渲染,以在该第二拍摄设备拍摄得到的目标场景的第二画面中,显示该目标对象的目标虚拟形象。
在本公开实施例中,该目标虚拟形象的表情和目标对象的表情同步,该目标虚拟形象的动作和目标对象的动作同步。示意性地,终端对做出对应表情和动作的目标虚拟形象进行渲染,得到目标图层,将该目标图层叠加在第二画面对应的图层上,从而既实现了虚拟形象与真人表情、动作之间的实时同步,又实现了虚拟形象与真实场景之间的实时融合,呈现出一种虚拟形象与真实场景实时互动的显示效果,提升了用户体验感。
在一些实施例中,终端基于默认尺寸对该目标虚拟形象模型进行渲染,在该第二画面中的默认位置显示该目标虚拟形象。例如,该默认位置为第二画面的左下角,对此不作限定。在另一些实施例中,终端提供针对目标虚拟形象的调整功能,目标对象能够根据需求来调整目标虚拟形象在第二画面中的显示位置和显示尺寸。示意性地,以调整显示位置为例,终端响应于对该目标虚拟形象的移动操作(如拖拽操作),调整该目标虚拟形象在该第二画面中的显示位置。以调整显示尺寸为例,终端响应于对该目标虚拟形象的缩放操作(如双指滑动操作),调整该目标虚拟形象在该第二画面中的显示尺寸。
在一些实施例中,终端还能够基于目标对象的表情信息和动作信息,在该第二画面中显示相应的媒体信息,以改善虚拟形象的显示效果,增加画面显示的趣味性。
示意性地,终端在基于该目标对象的表情信息识别到第一表情的情况下,在该第二画面中显示与该第一表情对应的第一媒体信息。其中,该第一媒体信息可以为静态图片、动态图片、文字、挂件或者动态特效等等,对此不作限定。例如,若基于目标对象的表情信息识别到大笑表情,则终端在该第二画面中目标虚拟形象附近显示大笑的表情包。
示意性地,终端在基于该目标对象的动作信息识别到第一动作的情况下,在该第二画面中显示与该第一动作对应的第二媒体信息。其中,该第二媒体信息可以为静态图片、动态图片、文字、挂件或者动态特效等等,对此不作限定。例如,若基于目标对象的动作信息识别到跳舞动作,则终端在该第二画面中目标虚拟形象附近显示舞台灯光类的动态特效。
需要说明的是,在上述步骤201至步骤204中,终端在通过第一拍摄设备拍摄目标对象、通过第二拍摄设备拍摄目标场景的同时,获取目标对象的表情信息和动作信息,驱动目标虚拟形象模型做出对应的表情和动作,对该目标虚拟形象模型进行渲染,以在第二画面中显示目标虚拟形象,实现目标对象与目标虚拟形象的实时同步,或者说目标虚拟形象与真实场景实时融合的显示效果。例如,在终端基于第一画面所对应的视频帧,对每一个视频帧中目标对象的表情和动作进行识别的情况下,终端每采集到一个目标对象对应的视频帧,对该视频帧中目标对象的表情和动作进行识别,得到相应的表情信息和动作信息,驱动目标虚拟形象模型做出对应的表情和动作,对该目标虚拟形象模型进行渲染,以在第二画面中显示目标虚拟形象。
反观相关技术,例如,在驱动虚拟形象模型的方案中,往往需要通过昂贵的动作捕捉设备和表情捕捉设备来采集目标对象的表情信息和动作信息,且目标对象往往是处于绿幕前,目标对象无法与真实场景进行互动,只能通过想象或者观看视频等方式做出对应动作和表情,通过后期图像处理,为渲染生成的虚拟形象添加虚拟背景,无法呈现一种虚拟形象与真实场景实时互动的效果。而采用本公开实施例提供的方法,通过一台设备的两个拍摄设备就能实现虚拟形象与真实场景的实时融合,不仅能够大大节约成本,还能够呈现出一种虚拟形象与真实场景实时互动的效果,满足多种场景下目标对象的需求。
例如,在目标对象处于绿幕前的场景中,通过前置拍摄设备对目标对象进行拍摄,得到准确度较高的目标对象的表情信息和动作信息,通过后置拍摄设备对真实场景进行拍摄,将目标对象的虚拟形象显示在真实场景对应的画面中,从而既大大节约了显示虚拟形象的成本,又确保了动作捕捉和表情捕捉的准确度。又例如,在拍摄风景的场景下,由于前置拍摄设备往往更适合拍摄目标对象,后置拍摄设备拍摄到的画面清晰度往往较高,更适合拍摄风景,因此采用上述方法,将目标对象的虚拟形象显示在后置摄像设备拍摄得到的风景画面中,即能够清晰地显示风景画面,又能够呈现出一种虚拟形象与风景实时互动的效果,从而充分利用了不同拍摄设备的功能,节约了显示虚拟形象的成本。再例如,在直播介绍物品的场景下,对于一些需要展示细节的物品,由于后置拍摄设备拍摄到的画面清晰度往往较高,因此将目标对象的虚拟形象显示在后置摄像设备拍摄得到的物品画面中,既节约了显示虚拟形象的成本,又能够清晰地显示物品细节,呈现出一种虚拟形象与物品实时互动的效果,增加了直播的趣味性。
另外,在一些实施例中,在终端基于不同区域同步显示第一画面和第二画面的情况下,终端在第一区域继续显示第一画面,在第二区域显示包含有目标虚拟形象的第二画面,以便目标对象实时查看被拍摄的画面和融合后的画面,使得目标对象能够根据需求及时调整自身的表情和动作等,从而提高了人机交互效率。当然,在另一些实施例中,终端在多个区域同步显示第一画面、第二画面以及包含有目标虚拟形象的第二画面,或者,终端也可以根据目标对象的需求,仅显示包含有目标虚拟形象的第二画面,等等,本公开实施例对此不作限定。
下面参考图3,对上述步骤201至步骤204进行示意性说明。示意性地,参考图3,图3是本公开实施例提供的一种基于虚拟形象的画面显示方法的示意图。如图3所示,第一拍摄设备对目标对象进行拍摄,得到第一画面,终端基于该第一画面获取目标对象的表情信息和动作信息,驱动目标虚拟形象模型做出对应的表情和动作;同时,第二拍摄设备对目标场景进行拍摄,得到第二画面;终端对做出表情和动作的目标虚拟形象模型进行实时渲染,以在第二画面中显示目标虚拟形象,呈现出一种虚拟形象与真实场景实时互动的显示效果。
示意性地,参考图4,图4是本公开实施例提供的一种显示目标虚拟形象的示意图。如图4所示,终端通过第一拍摄设备对目标对象进行拍摄得到第一画面401,通过第二拍摄设备对目标场景(如山川河流等自然风光)进行拍摄得到第二画面402,基于上述步骤202至步骤204将目标虚拟形象与第二画面402进行融合,显示包含有目标虚拟形象的第二画面403,在该第二画面403中,目标虚拟形象的表情与动作与目标对象保持一致。
综上,在本公开实施例提供的基于虚拟形象的画面显示方法中,通过终端的第一拍摄设备拍摄目标对象以得到第一画面,通过终端的第二拍摄设备拍摄目标场景以得到第二画面,基于此,根据第一画面中目标对象的表情和动作,驱动目标虚拟形象模型做出对应的表情和动作,对该目标虚拟形象模型进行渲染,以在第二画面中显示与目标对象表情和动作均同步的目标虚拟形象,从而既实现了虚拟形象与真人表情、动作之间的实时同步,又实现了虚拟形象与真实场景之间的实时融合,呈现出一种虚拟形象与真实场景实时互动的显示效果,提升了用户体验感。而且,在上述过程中,利用了终端的多个拍摄设备来实现虚拟形象与真实场景的实时互动,无需通过昂贵的动作捕捉设备和表情捕捉设备来采集目标对象的表情信息和动作信息,从而大大节约了成本。
基于上述图2所示实施例,介绍了本公开实施例提供的一种基于虚拟形象的画面显示方法的基本流程,下面通过图5至图13所示实施例,以终端上运行的目标应用程序为直播类应用程序为例,对本公开实施例提供的另外几种基于虚拟形象的画面显示方法进行介绍。
图5是本公开实施例提供的另一种基于虚拟形象的画面显示方法的流程图。如图5所示,该方法由终端执行,该终端配置有第一拍摄设备和第二拍摄设备。示意性地,该方法包括下述步骤501至步骤506。
在步骤501中,终端通过第一拍摄设备对目标对象进行拍摄,得到该目标对象的第一画面,通过第二拍摄设备对目标场景进行拍摄,得到该目标场景的第二画面。
在本公开实施例中,目标场景包括至少一个物品。示意性地,终端上运行的目标应用程序为直播类应用程序,该目标对象为主播对象,该目标场景为该主播对象所在的直播间。应理解,本公开所涉及的“直播间”并不仅限于室内,在一些场景中,主播对象还可以在室外进行直播,对此不作限定。另外,终端如何通过第一拍摄设备和第二拍摄设备得到第一画面和第二画面的过程与上述图2所示实施例中步骤201同理,在此不再赘述。
在步骤502中,终端基于该第一拍摄设备拍摄得到的目标对象的第一画面,获取该目标对象的表情信息和动作信息。
在本公开实施例中,步骤502与上述图2所示实施例中步骤202同理,在此不再赘述。
在步骤503中,终端基于该目标对象的表情信息和动作信息,驱动目标虚拟形象模型做出对应的表情和动作。
在本公开实施例中,步骤503与上述图2所示实施例中步骤203同理,在此不再赘述。
在步骤504中,终端识别第二画面中的至少一个物品。
在本公开实施例中,目标场景包括至少一个物品,终端基于第二画面所对应的视频帧,对每一个视频帧中的物品进行识别,得到该至少一个物品的物品信息。在另一些实施例中,终端每间隔目标数量个视频帧,对相应视频帧中的物品进行识别,得到相应的物品信息,对此不作限定。
在一些实施例中,物品信息指示物品的物品名称。示意性地,终端基于该第二画面中至少一个物品所在区域,识别该至少一个物品的物品名称。在另一些实施例中,物品信息还指示物品的物品图片。示意性地,终端基于该第二画面中至少一个物品所在区域,截取该至少一个物品的物品图片。
在步骤505中,终端基于物品列表所指示的物品,从该至少一个物品中确定目标物品。
在本公开实施例中,该物品列表与目标场景相关联,该目标物品与该物品列表所指示的物品之间的匹配度符合目标条件。示意性地,终端获取目标场景所关联的物品列表,该物品列表指示在直播间内发布的至少一个直播物品,对于任一个直播物品,终端将该直播物品与该至少一个物品进行匹配,基于该直播物品与该至少一个物品之间的匹配度,从该至少一个物品之间确定目标物品。在一些实施例中,终端基于从第二画面中识别出的至少一个物品的物品信息,将该至少一个物品与物品列表中的至少一个直播物品进行匹配,将该至少一个物品中匹配度符合目标条件的物品确定为目标物品,其中,目标条件是指该目标物品与任一个直播物品之间的匹配度大于预设阈值。应理解,目标物品的数量可以是一个或多个,对此不作限定。
在一些实施例中,该物品列表指示至少一个直播物品的物品名称。示意性地,以第二画面中任一个物品为例,终端基于该物品的物品名称与至少一个直播物品的物品名称,获取该物品与至少一个直播物品之间的至少一个名称匹配度,在该至少一个名称匹配度中存在目标名称匹配度大于预设阈值的情况下,将该物品确定为目标物品。
在一些实施例中,该物品列表还指示至少一个直播物品的物品图片。示意性地,以第二画面中任一个物品为例,终端基于该物品的物品图片与至少一个直播物品的物品图片,获取该物品与至少一个直播物品之间的至少一个图片匹配度,在该至少一个图片匹配度中存在目标图片匹配度大于预设阈值的情况下,将该物品确定为目标物品。
在另一些实施例中,终端还能够结合上述两种方式来确定目标物品。示意性地,以第二画面中任一个物品为例,终端基于该物品的物品名称与至少一个直播物品的物品名称,获取该物品和该至少一个直播物品之间的至少一个名称匹配度,基于该物品的物品图片与至少一个直播物品的物品图片,获取该物品和该至少一个直播物品之间的至少一个图片匹配度,基于该至少一个名称匹配度和该至少一个图片匹配度,获取该物品和该至少一个直播物品之间的至少一个目标匹配度,在该至少一个目标匹配度中存在第一目标匹配度大于预设阈值的情况下,将该物品确定为目标物品。通过这种方式,能够提高识别目标物品的准确度,使得最终基于虚拟形象模型渲染得到的虚拟形象能够在第二画面中不遮挡目标物品,确保目标物品的显示效果。
通过上述步骤504和步骤505,终端能够基于目标场景所关联的物品列表,自动识别第二画面中的目标物品,为后续渲染虚拟形象模型提供基础。在另一些实施例中,终端还能够基于目标对象指定的物品来确定目标物品,例如,终端提供目标物品选择功能,以供目标对象选择,本公开实施例对此不作限定。
需要说明的是,在一些实施例中,终端先执行步骤504和步骤505,再执行步骤502和步骤503。在另一些实施例中,终端在执行步骤502和步骤503的同时,同步执行步骤504和步骤505,对此不作限定。
在步骤506中,终端基于目标物品在该第二画面中的位置,对该目标虚拟形象模型进行渲染,以在该第二画面中,显示该目标虚拟形象,该目标虚拟形象在该第二画面中不遮挡该目标物品。
在本公开实施例中,终端基于目标物品在第二画面中的位置,确定目标虚拟形象的显示尺寸和显示位置,基于确定好的显示尺寸和显示位置,对该做出表情和动作的目标虚拟形象模型进行渲染,以在第二画面中,显示该目标虚拟形象。其中,该目标虚拟形象的表情和目标对象的表情同步,该目标虚拟形象的动作和目标对象的动作同步,实现了在第二画面中显示该目标虚拟形象的基础上,该目标虚拟形象不遮挡目标物品,既呈现出一种虚拟形象与真实场景实时互动的显示效果,又确保了目标物品的显示效果,从而提升了用户体验感。
应理解,基于与上述图2所示实施例中步骤204同理的过程,终端提供针对目标虚拟形象的调整功能,目标对象还能够根据需求来实时调整目标虚拟形象的位置和尺寸,以避开对目标物品的展示,在此不再赘述。
另外,需要说明的是,基于上述图5所示实施例可知,在一些实施例中,终端能够根据真实场景来自动确定目标虚拟形象模型,使得最终基于该目标虚拟形象模型渲染得到的目标虚拟形象能够与真实场景相匹配,从而提升虚拟形象的显示效果。在直播场景中,目标对象往往会在直播间内依次介绍多个物品,基于此,终端能够实时识别第二画面中的物品,基于识别到的物品信息,自动确定目标虚拟形象模型,实现直播过程中目标虚拟形象的自动切换,且该目标虚拟形象能够与真实场景相匹配,从而增加了直播间的趣味性,能够有效提升直播间的留存率和转化率。
下面参考图6,对上述步骤501至步骤506进行示意性说明。示意性地,参考图6,图6是本公开实施例提供的一种基于虚拟形象的画面显示方法的示意图。如图6所示,第一拍摄设备对目标对象进行拍摄,得到第一画面,终端基于该第一画面获取目标对象的表情信息和动作信息,驱动目标虚拟形象模型做出对应的表情和动作;同时,第二拍摄设备对目标场景(该目标场景包括目标物品)进行拍摄,得到第二画面;终端基于目标物品在第二画面中的位置,对做出表情和动作的目标虚拟形象模型进行实时渲染,以在第二画面中显示目标虚拟形象,使得该目标虚拟形象不遮挡目标物品,呈现出一种虚拟形象与真实场景实时互动的显示效果。
示意性地,参考图7,图7是本公开实施例提供的一种显示目标虚拟形象的示意图。如图7中(a)图所示,以目标场景为在直播间内介绍家具为例,终端在该目标场景对应的画面中显示尺寸较小的目标虚拟形象,避免遮挡家具的显示效果。如图7中(b)图所示,以目标场景为在直播间内介绍宠物为例,终端在该目标场景对应的画面中显示尺寸较小的目标虚拟形象,避免遮挡宠物的显示效果。应理解,此处举例仅为示意性说明,在一些实施例中,目标场景还可以是在直播间内介绍物品的制作工艺等等,对此不作限定。
需要说明的是,在直播场景下,为了展示更多的物品或者物品全貌等,往往会采用终端的第二拍摄设备来拍摄,在这种情况下,终端基于上述图5所示实施例,在显示目标场景对应的画面的同时,在该画面中显示目标对象的目标虚拟形象,既能够清晰地显示物品,又能够呈现出一种虚拟形象与真实场景实时互动的显示效果,还能够增加直播间的趣味性,提升直播间的转化率。
应理解,上述图5所示实施例是以直播场景为例进行举例说明的,在其他需要避免目标虚拟形象遮挡物品的场景中,均可以采用上述方法来进行画面显示,在此不再赘述。
综上,在本公开实施例提供的基于虚拟形象的画面显示方法中,通过终端的第一拍摄设备拍摄目标对象以得到第一画面,通过终端的第二拍摄设备拍摄目标场景以得到第二画面,基于此,根据第一画面中目标对象的表情和动作,驱动目标虚拟形象模型做出对应的表情和动作,并基于目标物品在第二画面中的位置,对做出表情和动作的目标虚拟形象模型进行实时渲染,以在第二画面中显示与目标对象表情和动作均同步的目标虚拟形象,使得该目标虚拟形象不遮挡目标物品,既呈现出一种虚拟形象与真实场景实时互动的显示效果,又确保了目标物品的显示效果,进一步提升了用户体验感。
图8是本公开实施例提供的另一种基于虚拟形象的画面显示方法的流程图。如图8所示,该方法由终端执行,该终端配置有第一拍摄设备和第二拍摄设备。示意性地,该方法包括下述步骤801至步骤806。
在步骤801中,终端通过第一拍摄设备对目标对象进行拍摄,得到该目标对象的第一画面,通过第二拍摄设备对目标场景进行拍摄,得到该目标场景的第二画面。
在本公开实施例中,目标场景包括绿幕和目标物品,该目标物品也即是在直播间内介绍的物品。本步骤与上述图5所示实施例中步骤501同理,在此不再赘述。
在步骤802中,终端基于该第一画面,获取该目标对象的表情信息和动作信息。
在本公开实施例中,步骤802与上述图5所示实施例中步骤502同理,在此不再赘述。
在步骤803中,终端基于该目标对象的表情信息和动作信息,驱动目标虚拟形象模型做出对应的表情和动作。
在本公开实施例中,步骤803与上述图5所示实施例中步骤503同理,在此不再赘述。
在步骤804中,终端对该第一画面中除该目标对象以外的区域进行抠图,得到第一背景画面。
在本公开实施例中,终端识别该第一画面中的目标对象,基于该目标对象所在区域,对该第一画面中除目标对象以外的区域进行抠图,得到该第一背景画面。应理解,终端可以基于第一画面对应的视频帧,逐帧抠图得到第一背景画面,也可以每间隔目标数量个视频帧进行抠图以得到第一背景画面,对此不作限定。
在一些实施例中,该第一背景画面中存在目标区域,该目标区域的轮廓与目标对象的轮廓相同,便于后续终端基于该目标区域的轮廓来渲染目标虚拟形象模型。例如,该目标区域为空白区域或者添加阴影后的区域等,对此不作限定。在另一些实施例中,该第一背景画面中不存在目标区域,也即是,终端在对除目标对象以外的区域进行抠图以后,基于该第一画面的场景信息,对目标对象所在区域进行补全,从而便于后续基于用户需求(如显示尺寸、显示位置等)来渲染目标虚拟形象模型。
在步骤805中,终端基于第二画面中绿幕所在区域,对该第二画面中目标物品所在区域进行抠图,得到该目标物品对应的目标物品画面。
在本公开实施例中,终端识别第二画面中目标物品所在区域和绿幕所在区域,基于该目标物品所在区域和绿幕所在区域,对该第二画面中目标物品所在区域进行抠图,得到目标物品画面。应理解,终端可以基于第二画面对应的视频帧,逐帧抠图得到目标物品画面,也可以每间隔目标数量个视频帧进行抠图以得到目标物品画面,对此不作限定。
需要说明的是,在一些实施例中,终端先执行步骤805,再执行步骤804。在另一些实施例中,终端同步执行步骤804和步骤805,对此不作限定。
在步骤806中,终端基于该第一背景画面和该目标物品画面,对该目标虚拟形象模型进行渲染,以在该第一背景画面中,显示该目标虚拟形象和该目标物品。
在本公开实施例中,在该第一背景画面中存在目标区域的情况下,终端基于该目标区域,对目标虚拟形象模型进行渲染,以在该第一背景画面中该目标区域处显示该目标虚拟形象,将该目标物品画面叠加在该第一背景画面上,从而实现了在目标对象所处的背景中显示目标虚拟形象的基础上,清晰地显示目标物品,既呈现出一种虚拟形象与真实场景实时互动的显示效果,又确保了目标物品的显示效果,提升了用户体验感。
在该第一背景画面中不存在目标区域的情况下,终端基于默认尺寸对该目标虚拟形象模型进行渲染,在该第一背景画面中的默认位置显示该目标虚拟形象。应理解,基于与上述图2所示实施例中步骤204同理的过程,终端提供针对目标虚拟形象的调整功能,目标对象还能够根据需求来实时调整目标虚拟形象的位置和尺寸,在此不再赘述。
需要说明的是,在另一些实施例中,终端不执行上述步骤804对第一画面进行抠图,而是直接基于该第一画面和该目标物品画面,对该目标虚拟形象模型进行渲染,以在该第一画面中,显示该目标虚拟形象和该目标物品。这一过程也可以理解为将目标虚拟形象对应的图层和目标物品画面对应的图层直接叠加在第一画面上,通过这种方式,能够节约终端的计算资源,本公开实施例对此不作限定。
下面参考图9,对上述步骤801至步骤805进行示意性说明。示意性地,图9是本公开实施例提供的一种基于虚拟形象的画面显示方法的示意图。如图9所示,第一拍摄设备对目标对象进行拍摄,得到第一画面,终端基于该第一画面获取目标对象的表情信息和动作信息,驱动目标虚拟形象模型做出对应的表情和动作,对第一画面进行抠图得到第一背景画面;同时,第二拍摄设备对目标场景进行拍摄,得到第二画面,对第二画面进行抠图,得到目标物品画面;终端对做出表情和动作的目标虚拟形象模型进行实时渲染,以在第一背景画面中显示目标虚拟形象,呈现出一种虚拟形象与真实场景实时互动的显示效果。
示意性地,参考图10,图10是本公开实施例提供的一种显示目标虚拟形象的示意图。如图10所示,终端通过第一拍摄设备对目标对象进行拍摄得到第一画面1001,通过第二拍摄设备对目标场景(如摆放在绿幕前的桌子)进行拍摄得到第二画面1002,基于上述步骤802至步骤805将目标虚拟形象与第一画面进行融合,显示包含有目标虚拟形象的第一背景画面1003,在该第一背景画面1003中,目标虚拟形象的表情与动作与目标对象保持一致。
应理解,上述图8所示实施例是以直播场景为例进行举例说明的,在其他需要清晰显示物品的场景中,均可以采用上述方法来进行画面显示,在此不再赘述。
综上,在本公开实施例提供的基于虚拟形象的画面显示方法中,通过终端的第一拍摄设备拍摄目标对象以得到第一画面,通过终端的第二拍摄设备拍摄目标场景以得到第二画面,基于此,根据第一画面中目标对象的表情和动作,驱动目标虚拟形象模型做出对应的表情和动作,并基于目标对象所对应的第一背景画面和目标物品所对应的目标物品画面,对做出表情和动作的目标虚拟形象模型进行实时渲染,以在第一背景画面中显示与目标对象表情和动作均同步的目标虚拟形象,从而既实现了虚拟形象与真人表情、动作之间的实时同步,又实现了虚拟形象与真实场景之间的实时融合,呈现出一种虚拟形象与真实场景实时互动的显示效果,提升了用户体验感。
上述图5至图10所示实施例提供了几种在直播场景下基于虚拟形象进行画面显示的方法,在上述方法中,通过终端配置的第一拍摄设备和第二拍摄设备既实现了虚拟形象与真人表情、动作之间的实时同步,又实现了虚拟形象与真实场景之间的实时融合,呈现出一种虚拟形象与真实场景实时互动的显示效果,能够有效提升用户体验感,提高直播间的用户留存率和转化率。在另一些直播场景下,终端能够基于第一拍摄设备拍摄得到的第一画面来实现虚拟形象与真实场景的实时融合,例如,目标对象在直播间内发布穿戴类物品(如服装、饰品等)的场景。下面通过下述图11所示实施例来对这种画面显示方法进行介绍。
图11是本公开实施例提供的另一种基于虚拟形象的画面显示方法的流程图。如图11所示,该方法由终端执行,该终端配置有第一拍摄设备。示意性地,该方法包括下述步骤1101至步骤1106。
在步骤1101中,终端通过第一拍摄设备对目标对象进行拍摄,得到该目标对象的第一画面。
在本公开实施例中,该第一画面包括目标对象和第一物品。例如,该第一物品为穿戴类物品。本步骤与前述实施例中通过第一拍摄设备得到第一画面的过程同理,在此不再赘述。
在步骤1102中,终端基于该第一拍摄设备拍摄得到的目标对象的第一画面,获取该目标对象的表情信息和动作信息。
在本公开实施例中,步骤1102与上述图5所示实施例中步骤502同理,在此不再赘述。
在步骤1103中,终端基于该目标对象的表情信息和动作信息,驱动目标虚拟形象模型做出对应的表情和动作。
在本公开实施例中,步骤1103与上述图5所示实施例中步骤503同理,在此不再赘述。
在步骤1104中,终端对该第一画面中除该目标对象和第一物品以外的区域进行抠图,得到第二背景画面。
在本公开实施例中,终端识别该第一画面中的目标对象和第一物品,基于该目标对象所在区域和该第一物品所在区域,对该第一画面中除目标对象和第一物品以外的区域进行抠图,得到该第二背景画面。应理解,终端可以基于第一画面对应的视频帧,逐帧抠图得到第二背景画面,也可以每间隔目标数量个视频帧进行抠图以得到第二背景画面,对此不作限定。
在步骤1105中,终端对该第一画面中该第一物品所在区域进行抠图,得到该第一物品对应的第一物品画面。
通过对第一画面进行抠图以得到第二背景画面和第一物品画面,为后续渲染目标虚拟形象模型提供了基础,使得最终基于该目标虚拟形象模型渲染得到的目标虚拟形象能够与第一物品之间实现无缝贴合,确保目标虚拟形象的显示效果。
需要说明的是,在一些实施例中,终端先执行步骤1105,再执行步骤1104。在另一些实施例中,终端同步执行步骤1104和步骤1105,对此不作限定。
在步骤1106中,终端基于该第二背景画面和该第一物品画面,对该目标虚拟形象模型进行渲染,以在该第二背景画面中,显示该目标虚拟形象和该第一物品。
在本公开实施例中,终端基于第一物品画面中第一物品的尺寸,对该目标虚拟形象模型进行渲染,以在该第二背景画面中,显示该目标虚拟形象和该第一物品,从而实现了在目标对象所处的背景中显示目标虚拟形象的基础上,确保目标虚拟形象与第一物品之间的贴合程度,既呈现出一种虚拟形象与真实场景实时互动的显示效果,又确保了第一物品的显示效果,提升了用户体验感。
在一些实施例中,终端还能够基于目标对象的头身比来对目标虚拟形象模型进行渲染,以得到与目标对象头身比相同的目标虚拟形象,进一步确保了第一物品的显示效果。示意性地,终端基于第一画面,获取目标对象的轮廓信息,该轮廓信息指示该目标对象的头身比;基于该第二背景画面、该第一物品画面以及该轮廓信息,对该目标虚拟形象模型进行渲染,以在该第二背景画面中,显示该目标虚拟形象和该第一物品,该目标虚拟形象的头身比与该目标对象的头身比相同。
需要说明的是,在另一些实施例中,终端还能够基于目标对象的表情信息和头部动作信息,对目标虚拟形象模型的头部模型进行渲染,从而在第二背景画面中显示目标虚拟形象和第一物品,在这种场景下,第二背景画面中的目标虚拟形象可以理解为是一种头套虚拟形象,即,只有头部是虚拟形象,其他身体部位还是目标对象本身,这样既可以呈现出一种虚拟形象与真实场景实时互动的显示效果,还能够清晰地展示第一物品,从而提升用户体验感。
下面参考图12,对上述步骤1101至步骤1106进行示意性说明。示意性地,图12是本公开实施例提供的一种基于虚拟形象的画面显示方法的示意图。如图12所示,第一拍摄设备对目标对象和第一物品进行拍摄,得到第一画面,终端基于该第一画面获取目标对象的表情信息和动作信息,驱动目标虚拟形象模型做出对应的表情和动作,对第一画面进行抠图得到第二背景画面和第一物品画面;对做出表情和动作的目标虚拟形象模型进行实时渲染,以在第二背景画面中显示目标虚拟形象和第一物品,呈现出一种虚拟形象与真实场景实时互动的显示效果,而且,该目标虚拟形象的头身比与目标对象的头身比相同。
示意性地,参考图13,图13是本公开实施例提供的一种显示目标虚拟形象的示意图。如图13所示,终端通过第一拍摄设备对目标对象和第一物品(如手表)进行拍摄得到第一画面1301,基于上述步骤1102至步骤1106将目标虚拟形象、第一物品以及第二背景画面进行融合,显示包含有目标虚拟形象和第一物品的第二背景画面1302,在该第二背景画面1302中,目标虚拟形象的表情与动作与目标对象保持一致。
应理解,上述图11所示实施例是以直播场景为例进行举例说明的,在其他需要将物品与虚拟形象无缝贴合的场景中,均可以采用上述方法来进行画面显示,在此不再赘述。
综上,在本公开实施例提供的基于虚拟形象的画面显示方法中,通过终端的第一拍摄设备拍摄目标对象和第一物品以得到第一画面,基于此,根据第一画面中目标对象的表情和动作,驱动目标虚拟形象模型做出对应的表情和动作,并基于目标对象所对应的第二背景画面和第一物品所对应的第一物品画面,对做出表情和动作的目标虚拟形象模型进行实时渲染,以在第二背景画面中显示与目标对象表情和动作均同步的目标虚拟形象,实现虚拟形象与目标对象所处的真实场景以及第一物品的实时融合,呈现出一种虚拟形象与真实场景实时互动的显示效果,提升了用户体验感。
图14是本公开实施例提供的一种基于虚拟形象的画面显示装置的框图。参照图14,该装置应用于终端,该终端配置有第一拍摄设备和第二拍摄设备,该装置包括获取单元1401、驱动单元1402以及显示单元1403。
获取单元1401,被配置为执行基于该第一拍摄设备拍摄得到的目标对象的第一画面,获取该目标对象的表情信息和动作信息;
驱动单元1402,被配置为执行基于该目标对象的表情信息和动作信息,驱动目标虚拟形象模型做出对应的表情和动作;
显示单元1403,被配置为执行对该目标虚拟形象模型进行渲染,以在该第二拍摄设备拍摄得到的目标场景的第二画面中,显示该目标对象的目标虚拟形象。
通过终端的第一拍摄设备拍摄目标对象以得到第一画面,通过终端的第二拍摄设备拍摄目标场景以得到第二画面,基于此,根据第一画面中目标对象的表情和动作,驱动目标虚拟形象模型做出对应的表情和动作,对该目标虚拟形象模型进行渲染,以在第二画面中显示与目标对象的表情和动作均同步的目标虚拟形象,从而既实现了虚拟形象与真人表情、动作之间的实时同步,又实现了虚拟形象与真实场景之间的实时融合,呈现出一种虚拟形象与真实场景实时互动的显示效果,提升了用户体验感。
在一些实施例中,该显示单元1403,被配置为执行:
基于目标物品在该第二画面中的位置,对该目标虚拟形象模型进行渲染,以在该第二画面中,显示该目标虚拟形象,该目标虚拟形象在该第二画面中不遮挡该目标物品。
在一些实施例中,该装置还包括目标物品确定单元,该目标物品确定单元被配置为执行:
识别该第二画面中的至少一个物品;
基于物品列表所指示的物品,从该至少一个物品中确定该目标物品,该物品列表与该目标场景相关联,该目标物品与该物品列表所指示的物品之间的匹配度符合目标条件。
在一些实施例中,该装置还包括调整单元,该调整单元被配置为执行下述至少一项:
响应于对该目标虚拟形象的移动操作,调整该目标虚拟形象在该第二画面中的显示位置;
响应于对该目标虚拟形象的缩放操作,调整该目标虚拟形象在该第二画面中的显示尺寸。
在一些实施例中,该装置还包括模型确定单元,该模型确定单元被配置为执行:
基于该第二画面,获取该目标场景的场景信息;
基于该场景信息,从至少一个虚拟形象模型中确定与该场景信息对应的该目标虚拟形象模型。
在一些实施例中,该模型确定单元被配置为执行下述至少一项:
基于该场景信息所指示的目标物品的物品类型,从该至少一个虚拟形象模型中确定该目标虚拟形象模型;
基于该场景信息所指示的天气类型,从该至少一个虚拟形象模型中确定该目标虚拟形象模型;
基于该场景信息所指示的景点类型,从该至少一个虚拟形象模型中确定该目标虚拟形象模型。
在一些实施例中,该模型确定单元,还被配置为执行:
显示虚拟形象列表,该虚拟形象列表指示多个虚拟形象模型;
响应于针对该虚拟形象列表的虚拟形象模型选定操作,从该多个虚拟形象模型中确定该目标虚拟形象模型。
在一些实施例中,该模型确定单元,被配置为执行:
在该虚拟形象列表中第一虚拟形象模型处于选中状态的情况下,响应于从该第一画面中识别到该目标对象做出的目标动作,将该虚拟形象列表中该第一虚拟形象模型的下一个虚拟形象模型显示为选中状态,该第一虚拟形象模型为该多个虚拟形象模型中任一个虚拟形象模型。
在一些实施例中,该装置还包括:
第一抠图单元,被配置为执行对该第一画面中除该目标对象以外的区域进行抠图,得到第一背景画面;
第二抠图单元,被配置为执行基于该第二画面中绿幕所在区域,对该第二画面中目标物品所在区域进行抠图,得到该目标物品对应的目标物品画面;
该显示单元1403,还被配置为执行基于该第一背景画面和该目标物品画面,对该目标虚拟形象模型进行渲染,以在该第一背景画面中,显示该目标虚拟形象和该目标物品。
在一些实施例中,该装置还包括:
第三抠图单元,被配置为执行在该第一画面包括第一物品的情况下,对该第一画面中除该目标对象和该第一物品以外的区域进行抠图,得到第二背景画面;
第四抠图单元,被配置为执行对该第一画面中该第一物品所在区域进行抠图,得到该第一物品对应的第一物品画面;
该显示单元1403,还被配置为执行基于该第二背景画面和该第一物品画面,对该目标虚拟形象模型进行渲染,以在该第二背景画面中,显示该目标虚拟形象和该第一物品。
在一些实施例中,该装置还包括:
轮廓信息获取单元,被配置为执行基于该第一画面,获取该目标对象的轮廓信息,该轮廓信息指示该目标对象的头身比;
该显示单元1403,被配置为执行基于该第二背景画面、该第一物品画面以及该轮廓信息,对该目标虚拟形象模型进行渲染,以在该第二背景画面中,显示该目标虚拟形象和该第一物品,该目标虚拟形象的头身比与该目标对象的头身比相同。
在一些实施例中,该显示单元1403还被配置为执行下述至少一项:
在基于该目标对象的表情信息识别到第一表情的情况下,在该第二画面中显示与该第一表情对应的第一媒体信息;
在基于该目标对象的动作信息识别到第一动作的情况下,在该第二画面中显示与该第一动作对应的第二媒体信息。
需要说明的是:上述实施例提供的基于虚拟形象的画面显示装置在进行画面显示时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的基于虚拟形象的画面显示装置与基于虚拟形象的画面显示方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
在示例性实施例中,还提供了一种电子设备,该电子设备包括处理器和存储器,该存储器用于存储至少一条计算机程序,该至少一段计算机程序由该处理器加载并执行以实现上述基于虚拟形象的画面显示方法。
当电子设备配置为终端时,图15是本公开实施例提供的一种终端的结构框图。该终端1500可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group AudioLayer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端1500包括有:处理器1501和存储器1502。
处理器1501可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1501可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1501也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central Processing Unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1501可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1501还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1502可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1502还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1502中的非暂态的计算机可读存储介质用于存储至少一个程序代码,该至少一个程序代码用于被处理器1501所执行以实现本公开方法实施例中终端执行的过程。
在一些实施例中,终端1500还可选包括有:外围设备接口1503和至少一个外围设备。处理器1501、存储器1502和外围设备接口1503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1503相连。具体地,外围设备包括:射频电路1504、显示屏1505、摄像头组件1506、音频电路1507、定位组件1508和电源1509中的至少一种。
外围设备接口1503可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1501和存储器1502。在一些实施例中,处理器1501、存储器1502和外围设备接口1503被集成在同一芯片或电路板上;在一些其他实施例中,处理器1501、存储器1502和外围设备接口1503中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1504用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1504将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1504包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1504还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1505用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1505是触摸显示屏时,显示屏1505还具有采集在显示屏1505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1501进行处理。此时,显示屏1505还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1505可以为一个,设置在终端1500的前面板;在另一些实施例中,显示屏1505可以为至少两个,分别设置在终端1500的不同表面或呈折叠设计;在另一些实施例中,显示屏1505可以是柔性显示屏,设置在终端1500的弯曲表面上或折叠面上。甚至,显示屏1505还可以设置成非矩形的不规则图形,也即异形屏。显示屏1505可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Lig ht-EmittingDiode,有机发光二极管)等材质制备。
摄像头组件1506用于采集图像或视频。可选地,摄像头组件1506包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1506还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1501进行处理,或者输入至射频电路1504以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1501或射频电路1504的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1507还可以包括耳机插孔。
定位组件1508用于定位终端1500的当前地理位置,以实现导航或LBS(LocationBas ed Service,基于位置的服务)。
电源1509用于为终端1500中的各个组件进行供电。电源1509可以是交流电、直流电、一次性电池或可充电电池。当电源1509包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1500还包括有一个或多个传感器1510。该一个或多个传感器1510包括但不限于:加速度传感器1511、陀螺仪传感器1512、压力传感器1513、指纹传感器1514、光学传感器1515以及接近传感器1516。
加速度传感器1511可以检测以终端1500建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1511可以用于检测重力加速度在三个坐标轴上的分量。处理器1501可以根据加速度传感器1511采集的重力加速度信号,控制显示屏1505以横向视图或纵向视图进行用户界面的显示。加速度传感器1511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1512可以检测终端1500的机体方向及转动角度,陀螺仪传感器1512可以与加速度传感器1511协同采集用户对终端1500的3D动作。处理器1501根据陀螺仪传感器1512采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1513可以设置在终端1500的侧边框和/或显示屏1505的下层。当压力传感器1513设置在终端1500的侧边框时,可以检测用户对终端1500的握持信号,由处理器1501根据压力传感器1513采集的握持信号进行左右手识别或快捷操作。当压力传感器1513设置在显示屏1505的下层时,由处理器1501根据用户对显示屏1505的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1514用于采集用户的指纹,由处理器1501根据指纹传感器1514采集到的指纹识别用户的身份,或者,由指纹传感器1514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1501授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1514可以被设置在终端1500的正面、背面或侧面。当终端1500上设置有物理按键或厂商Logo时,指纹传感器1514可以与物理按键或厂商Logo集成在一起。
光学传感器1515用于采集环境光强度。在一个实施例中,处理器1501可以根据光学传感器1515采集的环境光强度,控制显示屏1505的显示亮度。具体地,当环境光强度较高时,调高显示屏1505的显示亮度;当环境光强度较低时,调低显示屏1505的显示亮度。在另一个实施例中,处理器1501还可以根据光学传感器1515采集的环境光强度,动态调整摄像头组件1506的拍摄参数。
接近传感器1516,也称距离传感器,通常设置在终端1500的前面板。接近传感器1516用于采集用户与终端1500的正面之间的距离。在一个实施例中,当接近传感器1516检测到用户与终端1500的正面之间的距离逐渐变小时,由处理器1501控制显示屏1505从亮屏状态切换为息屏状态;当接近传感器1516检测到用户与终端1500的正面之间的距离逐渐变大时,由处理器1501控制显示屏1505从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图15中示出的结构并不构成对终端1500的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种基于虚拟形象的画面显示方法,其特征在于,所述方法由终端执行,所述终端配置有第一拍摄设备和第二拍摄设备,所述方法包括:
基于所述第一拍摄设备拍摄得到的目标对象的第一画面,获取所述目标对象的表情信息和动作信息;
基于所述目标对象的表情信息和动作信息,驱动目标虚拟形象模型做出对应的表情和动作;
对所述目标虚拟形象模型进行渲染,以在所述第二拍摄设备拍摄得到的目标场景的第二画面中,显示所述目标对象的目标虚拟形象。
2.根据权利要求1所述的基于虚拟形象的画面显示方法,其特征在于,所述对所述目标虚拟形象模型进行渲染,以在所述第二拍摄设备拍摄得到的目标场景的第二画面中,显示所述目标对象的目标虚拟形象,包括:
基于目标物品在所述第二画面中的位置,对所述目标虚拟形象模型进行渲染,以在所述第二画面中,显示所述目标虚拟形象,所述目标虚拟形象在所述第二画面中不遮挡所述目标物品。
3.根据权利要求2所述的基于虚拟形象的画面显示方法,其特征在于,所述方法还包括:
识别所述第二画面中的至少一个物品;
基于物品列表所指示的物品,从所述至少一个物品中确定所述目标物品,所述物品列表与所述目标场景相关联,所述目标物品与所述物品列表所指示的物品之间的匹配度符合目标条件。
4.根据权利要求1所述的基于虚拟形象的画面显示方法,其特征在于,所述方法还包括下述至少一项:
响应于对所述目标虚拟形象的移动操作,调整所述目标虚拟形象在所述第二画面中的显示位置;
响应于对所述目标虚拟形象的缩放操作,调整所述目标虚拟形象在所述第二画面中的显示尺寸。
5.根据权利要求1所述的基于虚拟形象的画面显示方法,其特征在于,所述方法还包括:
基于所述第二画面,获取所述目标场景的场景信息;
基于所述场景信息,从至少一个虚拟形象模型中确定与所述场景信息对应的所述目标虚拟形象模型。
6.根据权利要求5所述的基于虚拟形象的画面显示方法,其特征在于,所述基于所述场景信息,从至少一个虚拟形象模型中确定与所述场景信息对应的所述目标虚拟形象,包括下述至少一项:
基于所述场景信息所指示的目标物品的物品类型,从所述至少一个虚拟形象模型中确定所述目标虚拟形象模型;
基于所述场景信息所指示的天气类型,从所述至少一个虚拟形象模型中确定所述目标虚拟形象模型;
基于所述场景信息所指示的景点类型,从所述至少一个虚拟形象模型中确定所述目标虚拟形象模型。
7.根据权利要求1所述的基于虚拟形象的画面显示方法,其特征在于,所述方法还包括:
显示虚拟形象列表,所述虚拟形象列表指示多个虚拟形象模型;
响应于针对所述虚拟形象列表的虚拟形象模型选定操作,从所述多个虚拟形象模型中确定所述目标虚拟形象模型。
8.根据权利要求7所述的基于虚拟形象的画面显示方法,其特征在于,所述响应于针对所述虚拟形象列表的虚拟形象模型选定操作,从所述多个虚拟形象模型中确定所述目标虚拟形象模型,包括:
在所述虚拟形象列表中第一虚拟形象模型处于选中状态的情况下,响应于从所述第一画面中识别到所述目标对象做出的目标动作,将所述虚拟形象列表中所述第一虚拟形象模型的下一个虚拟形象模型显示为选中状态,所述第一虚拟形象模型为所述多个虚拟形象模型中任一个虚拟形象模型。
9.根据权利要求1所述的基于虚拟形象的画面显示方法,其特征在于,所述方法还包括:
对所述第一画面中除所述目标对象以外的区域进行抠图,得到第一背景画面;
基于所述第二画面中绿幕所在区域,对所述第二画面中目标物品所在区域进行抠图,得到所述目标物品对应的目标物品画面;
基于所述第一背景画面和所述目标物品画面,对所述目标虚拟形象模型进行渲染,以在所述第一背景画面中,显示所述目标虚拟形象和所述目标物品。
10.根据权利要求1所述的基于虚拟形象的画面显示方法,其特征在于,所述方法还包括:
在所述第一画面包括第一物品的情况下,对所述第一画面中除所述目标对象和所述第一物品以外的区域进行抠图,得到第二背景画面;
对所述第一画面中所述第一物品所在区域进行抠图,得到所述第一物品对应的第一物品画面;
基于所述第二背景画面和所述第一物品画面,对所述目标虚拟形象模型进行渲染,以在所述第二背景画面中,显示所述目标虚拟形象和所述第一物品。
11.根据权利要求10所述的基于虚拟形象的画面显示方法,其特征在于,所述方法还包括:
基于所述第一画面,获取所述目标对象的轮廓信息,所述轮廓信息指示所述目标对象的头身比;
所述基于所述第二背景画面和所述第一物品画面,对所述目标虚拟形象模型进行渲染,以在所述第二背景画面中,显示所述目标虚拟形象和所述第一物品,包括:
基于所述第二背景画面、所述第一物品画面以及所述轮廓信息,对所述目标虚拟形象模型进行渲染,以在所述第二背景画面中,显示所述目标虚拟形象和所述第一物品,所述目标虚拟形象的头身比与所述目标对象的头身比相同。
12.根据权利要求1所述的基于虚拟形象的画面显示方法,其特征在于,所述方法还包括下述至少一项:
在基于所述目标对象的表情信息识别到第一表情的情况下,在所述第二画面中显示与所述第一表情对应的第一媒体信息;
在基于所述目标对象的动作信息识别到第一动作的情况下,在所述第二画面中显示与所述第一动作对应的第二媒体信息。
13.一种基于虚拟形象的画面显示装置,其特征在于,所述装置应用于终端,所述终端配置有第一拍摄设备和第二拍摄设备,所述装置包括:
获取单元,被配置为执行基于所述第一拍摄设备拍摄得到的目标对象的第一画面,获取所述目标对象的表情信息和动作信息;
驱动单元,被配置为执行基于所述目标对象的表情信息和动作信息,驱动目标虚拟形象模型做出对应的表情和动作;
显示单元,被配置为执行对所述目标虚拟形象模型进行渲染,以在所述第二拍摄设备拍摄得到的目标场景的第二画面中,显示所述目标对象的目标虚拟形象。
14.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
用于存储所述处理器可执行程序代码的存储器;
其中,所述处理器被配置为执行所述程序代码,以实现如权利要求1至12中任一项所述的基于虚拟形象的画面显示方法。
15.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的程序代码由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至12中任一项所述的基于虚拟形象的画面显示方法。
16.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的基于虚拟形象的画面显示方法。
CN202210798176.0A 2022-07-06 2022-07-06 基于虚拟形象的画面显示方法、装置以及电子设备 Pending CN117409119A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210798176.0A CN117409119A (zh) 2022-07-06 2022-07-06 基于虚拟形象的画面显示方法、装置以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210798176.0A CN117409119A (zh) 2022-07-06 2022-07-06 基于虚拟形象的画面显示方法、装置以及电子设备

Publications (1)

Publication Number Publication Date
CN117409119A true CN117409119A (zh) 2024-01-16

Family

ID=89489551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210798176.0A Pending CN117409119A (zh) 2022-07-06 2022-07-06 基于虚拟形象的画面显示方法、装置以及电子设备

Country Status (1)

Country Link
CN (1) CN117409119A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117596420A (zh) * 2024-01-18 2024-02-23 江西拓世智能科技股份有限公司 基于人工智能的融合直播方法、系统、介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117596420A (zh) * 2024-01-18 2024-02-23 江西拓世智能科技股份有限公司 基于人工智能的融合直播方法、系统、介质及电子设备
CN117596420B (zh) * 2024-01-18 2024-05-31 江西拓世智能科技股份有限公司 基于人工智能的融合直播方法、系统、介质及电子设备

Similar Documents

Publication Publication Date Title
CN109191549B (zh) 显示动画的方法及装置
CN112287852B (zh) 人脸图像的处理方法、显示方法、装置及设备
CN110865754B (zh) 信息展示方法、装置及终端
CN110929651A (zh) 图像处理方法、装置、电子设备及存储介质
CN112533017B (zh) 直播方法、装置、终端及存储介质
WO2018153267A1 (zh) 群组视频会话的方法及网络设备
KR20180112599A (ko) 가상 공간의 캡쳐 방법 및 그 전자장치
CN110300274B (zh) 视频文件的录制方法、装置及存储介质
CN112337105B (zh) 虚拟形象生成方法、装置、终端及存储介质
CN108712603B (zh) 一种图像处理方法及移动终端
CN109922356B (zh) 视频推荐方法、装置和计算机可读存储介质
CN105427369A (zh) 移动终端及其三维形象的生成方法
CN109474786A (zh) 一种预览图像生成方法及终端
CN112052897A (zh) 多媒体数据拍摄方法、装置、终端、服务器及存储介质
CN107948516A (zh) 一种图像处理方法、装置及移动终端
CN114245218B (zh) 音视频播放方法、装置、计算机设备及存储介质
CN110956580B (zh) 图像换脸的方法、装置、计算机设备以及存储介质
CN110086998B (zh) 一种拍摄方法及终端
CN113194329A (zh) 直播互动方法、装置、终端及存储介质
CN112565806B (zh) 虚拟礼物赠送方法、装置、计算机设备及介质
CN107959755B (zh) 一种拍照方法、移动终端及计算机可读存储介质
CN112257594B (zh) 多媒体数据的显示方法、装置、计算机设备及存储介质
CN110891181B (zh) 直播画面显示方法、装置、存储介质及终端
CN117409119A (zh) 基于虚拟形象的画面显示方法、装置以及电子设备
CN110312144B (zh) 进行直播的方法、装置、终端和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination