[go: up one dir, main page]

CN115176286A - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN115176286A
CN115176286A CN202180017228.XA CN202180017228A CN115176286A CN 115176286 A CN115176286 A CN 115176286A CN 202180017228 A CN202180017228 A CN 202180017228A CN 115176286 A CN115176286 A CN 115176286A
Authority
CN
China
Prior art keywords
virtual
camera
image processing
obstacle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202180017228.XA
Other languages
English (en)
Inventor
加藤嵩明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN115176286A publication Critical patent/CN115176286A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/573—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using trajectories of game objects, e.g. of a golf ball according to the point of impact
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/577—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using determination of contact between game characters or objects, e.g. to avoid collision between virtual racing cars
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及图像处理装置、图像处理方法和程序，其被设计成使得能够检测在真实空间中不存在的虚拟空间中的障碍物。图像处理装置包括检测单元，该检测单元基于相机位置/姿势信息来检测针对虚拟相机的虚拟空间中的障碍物，该相机位置/姿势信息指示与真实空间对应的虚拟空间中的虚拟相机的位置和姿势，该相机位置/姿势信息是基于指示用于捕获虚拟空间的捕获设备在真实空间中的位置和姿势的设备位置/姿势信息来指定的。本发明可以应用于例如虚拟相机系统中的图像处理。

Description

图像处理装置、图像处理方法和程序
技术领域
本技术涉及图像处理装置、图像处理方法和程序，并且更具体地，涉及能够检测真实空间中不存在的虚拟空间中的障碍物的图像处理装置、图像处理方法和程序。
背景技术
提供虚拟现实(VR)世界的体验的系统使用具有与观看者的观看范围对应的成像范围的虚拟相机，以使得观看者能够通过虚拟相机观看二维图像，从而在诸如HMD(头戴式显示器)的显示装置上看到虚拟空间中的三维对象(例如，参见专利文献1)。
近年来，开发了这样的系统，其中相机操作者实际操作与虚拟相机对应的成像设备，以对虚拟空间中的三维对象进行成像，并且创建通过成像设备看到虚拟空间中的三维对象的二维图像。该系统也被称为虚拟相机系统等。根据虚拟相机系统，相机操作者在操作期间手持真实成像设备，使得可以创建通过高度逼真的相机工作的图像。
引文列表
专利文献
专利文献1：JP 2018-45458 A
发明内容
技术问题
然而，在虚拟相机系统中，相机操作者拍摄真实空间中不存在的三维对象的图像，并且因此，可能存在例如真实空间中的相机操作者移动至存在墙壁的地方并且相机操作者不能在虚拟空间中移动的状况。
本技术是鉴于这样的状况而做出的，并且使得能够检测真实空间中不存在的虚拟空间中的障碍物。
问题的解决方案
根据本技术的一个方面的图像处理装置包括检测单元，该检测单元基于相机位置和姿势信息来检测针对虚拟相机的虚拟空间中的障碍物，该相机位置和姿势信息是基于指示用于捕获虚拟空间的图像的成像设备在真实空间中的位置和姿势的设备位置和姿势信息来识别的，该相机位置和姿势信息指示与真实空间相关联的虚拟空间中的虚拟相机的位置和姿势。
根据本技术的一个方面的图像处理方法包括：通过图像处理装置，基于相机位置和姿势信息来检测针对虚拟相机的虚拟空间中的障碍物，该相机位置和姿势信息是基于指示用于捕获虚拟空间的图像的成像设备在真实空间中的位置和姿势的设备位置和姿势信息来识别的，该相机位置和姿势信息指示与真实空间相关联的虚拟空间中的虚拟相机的位置和姿势。
根据本技术的一个方面的程序使计算机执行以下处理：基于相机位置和姿势信息来检测针对虚拟相机的虚拟空间中的障碍物，该相机位置和姿势信息是基于指示用于捕获虚拟空间的图像的成像设备在真实空间中的位置和姿势的设备位置和姿势信息来识别的，该相机位置和姿势信息指示与真实空间相关联的虚拟空间中的虚拟相机的位置和姿势。
根据本技术的一个方面，基于相机位置和姿势信息来检测针对虚拟相机的虚拟空间中的障碍物，该相机位置和姿势信息是基于指示用于捕获虚拟空间的图像的成像设备在真实空间中的位置和姿势的设备位置和姿势信息来识别的，该相机位置和姿势信息指示与真实空间相关联的虚拟空间中的虚拟相机的位置和姿势。
可以通过使计算机执行程序来实现根据本技术的一个方面的图像处理装置。由计算机执行的程序可以通过经由传输介质发送或者通过记录在记录介质上来提供。
图像处理装置可以是独立装置或构成一个装置的内部块。
附图说明
[图1]
图1是示出虚拟相机系统的概况的图。
[图2]
图2是示出虚拟相机系统的概况的图。
[图3]
图3是示出虚拟相机系统中的可能的问题的图。
[图4]
图4是示出图5的图像处理系统中的处理的示例的图。
[图5]
图5是示出应用本技术的图像处理系统的配置示例的框图。
[图6]
图6是示出在图5的成像设备的显示器上显示的画面示例的图。
[图7]
图7是示出由图5的图像处理系统执行的虚拟空间成像处理的流程图。
[图8]
图8是示出障碍物自适应VC图像创建处理的流程图。
[图9]
图9是示出第一障碍物确定处理至第三障碍物确定处理的图。
[图10]
图10是示出第四障碍物确定处理的图。
[图11]
图11是示出执行透明处理的VC图像创建处理的图。
[图12]
图12是示出执行透明处理的VC图像创建处理的图。
[图13]
图13是示出第三回避模式的位置改变控制的图。
[图14]
图14是示出图5的图像处理系统的修改示例的框图。
[图15]
图15是示出成像设备的另一配置示例的框图。
[图16]
图16是示出应用本技术的计算机的实施方式的配置示例的框图。
具体实施方式
下面将参照附图描述用于实施本技术的模式(在下文中，被称为“实施方式”)。在本说明书和附图中，具有基本相同的功能配置的部件将由相同的附图标记表示，并且因此将省略其重复描述。将按照下面的顺序进行描述。
1.虚拟相机系统的概况
2.图像处理系统的配置示例
3.图像处理系统中的虚拟空间成像处理
4.图像处理系统的修改示例
5.单个成像设备的配置示例
6.计算机的配置示例
<1.虚拟相机系统的概况>
首先，将参照图1和图2描述其中使用根据本技术的图像处理系统的虚拟相机系统的概况。
如图1所示，相机操作者OP实际操作成像设备VC以拍摄虚拟空间VS中的三维对象OBJ的图像。在图1的示例中，人OBJ1和书架OBJ2被布置为虚拟空间VS中的三维对象OBJ。包括人OBJ1和书架OBJ2的三维对象OBJ由3D模型数据定义，在3D模型数据中，每个对象由3D模型表示。人OBJ1是相机操作者OP关注并且在虚拟空间VS中拍摄图像的感兴趣的被摄体，书架OBJ2是除了感兴趣的被摄体之外的周围被摄体，并且也是人OBJ1的背景图像。
当相机操作者OP操作成像设备VC以从各种角度拍摄作为感兴趣的被摄体的人OBJ1的图像时，成像装置(未示出)捕获安装在成像设备VC上的多个标记MK的图像，并且检测成像设备VC的位置和姿势。然后，根据成像设备VC的位置和姿势计算成像设备VC的成像范围，并且在成像设备VC的显示器21上显示通过渲染与成像设备VC的成像范围对应的虚拟空间VS上的三维对象OBJ而获得的二维图像。具体地，将由相机操作者OP实际操作的成像设备VC的移动视为虚拟相机的移动，并且在显示器21上显示与从虚拟相机观看的三维对象OBJ对应的二维图像。相机操作者OP在观看显示在显示器21上的与三维对象OBJ对应的二维图像的同时确定用于成像的感兴趣的被摄体的角度。相机操作者OP可以操作设置在成像设备VC上的操作开关22，以执行变焦操作、白平衡(WB)调节、曝光调节等。
根据这样的虚拟相机系统，相机操作者OP在操作期间手持真实成像设备VC，使得可以创建通过高度逼真的相机工作的图像。
<可能的问题>
然而，如图2所示，相机操作者OP实际在不存在任何东西的真实空间RS中执行图像捕获。因此，由于真实空间RS与虚拟空间VS之间的差异，可能出现以下状况。
图3的A是从上方观看的图1的相机操作者OP正在捕获虚拟空间VS的图像的状态的俯视图。
在虚拟空间VS中，在人OBJ1和书架OBJ2的外侧，存在包围所有侧面的墙壁WA。
这里假设真实空间RS中的相机操作者OP已经从通过使用成像设备VC拍摄作为感兴趣的被摄体的人OBJ1的图像的虚拟空间VS中的位置POS1移动至虚拟空间VS中的位置POS2。另外，假设相机操作者OP与成像设备VC之间的位置关系保持不变。
如图2所示，由于在真实空间RS中没有特别障碍的对象，因此相机操作者OP可以容易地从虚拟空间VS中的位置POS1移动至位置POS2。
然而，在虚拟空间VS中，由于位置POS2在墙壁WA的外侧，因此基于成像设备VC的位置和姿势而显示在显示器21上的二维图像不是原本打算捕获的人OBJ1的图像，而是如图3的B所示的墙壁WA的图像。在下文中，基于成像设备VC的位置和姿势的虚拟空间VS的渲染图像(其被创建作为由成像设备VC捕获的图像)也被称为VC图像。
以这种方式，由于真实空间RS与虚拟空间VS之间的差异，可能出现这样的状况，其中相机操作者OP拍摄与原本打算捕获其图像的对象不同的对象的图像。
下面描述的根据本技术的图像处理系统(图5中的图像处理系统1)是结合了用于防止这样的成像失败的技术的系统。
下面，根据图3的示例，将描述墙壁WA的示例作为相机操作者OP原本不能穿过的障碍物或者在虚拟空间VS中不能移动的障碍物，但是障碍物不限于墙壁。
图4示出了图5的图像处理系统1中包括的为了避免如参照图3所述的成像失败的处理(功能)的示例。
图像处理系统1可以选择并执行图4中的三种回避模式A至C中的任何一种。
图4的A示出了由图像处理系统1提供的作为第一回避模式的第一回避处理的示例。
在第一回避模式中，当图像处理系统1从相机操作者OP在真实空间RS中的位置POS1预测到相机操作者OP要与虚拟空间VS中的障碍物碰撞时，图像处理系统1以任何手段向相机操作者OP通知关于相机操作者OP可能与障碍物碰撞。作为通知的手段，可以采用各种方法，例如在显示器21上显示消息、输出诸如警报声的声音、以及使成像设备VC振动。响应于来自图像处理系统1的警报通知，相机操作者OP可以采取回避行为以不撞到墙壁WA。
图4的B示出了由图像处理系统1提供的作为第二回避模式的第二回避处理的示例。
在第二回避模式中，当相机操作者OP在真实空间RS中的位置从虚拟空间VS中的位置POS1移动至墙壁WA外侧的位置POS2时，图像处理系统1确定墙壁WA不用作障碍物，并且然后执行暂时使墙壁WA透明的透明处理。这使得可以捕获超出墙壁WA的人OBJ1的图像。
图4的C示出了由图像处理系统1提供的作为第三回避模式的第三回避处理的示例。
在第三回避模式中，当相机操作者OP在真实空间RS中的位置从虚拟空间VS中的位置POS1移动至墙壁WA外侧的位置POS2时，图像处理系统1改变与相机操作者OP在真实空间RS中的移动量对应的虚拟相机在虚拟空间VS中的移动量。具体地，当相机操作者OP在真实空间RS中从位置POS1移动至位置POS2时，图像处理系统1改变真实空间RS中的移动量与虚拟空间VS中的移动量之间的比率，就好像相机操作者OP移动至虚拟空间VS中的墙壁WA内侧的位置POS3一样。因此，虚拟相机的位置在墙壁WA内侧，使得可以捕获人OBJ1的图像。
<2.图像处理系统的配置示例>
图5是示出执行上述第一回避处理至第三回避处理并且应用本技术的图像处理系统的配置示例的框图。
图5的图像处理系统1包括成像设备VC、两个成像装置11(11-1，11-2)、设备位置估计装置12和图像处理装置13。
成像设备VC是捕获图1等中示出的虚拟空间VS的图像的设备，并且包括标记MK、具有触摸面板的显示器21、操作开关22和通信单元23。
如图1所示，设置在成像设备VC上的多个标记MK将由两个成像装置11进行成像。设置标记MK以用于检测成像设备VC在真实空间RS中的位置和姿势。
具有触摸面板的显示器21包括其上放置有触摸面板的LCD(液晶显示器)或有机EL(电致发光)显示器，检测来自相机操作者OP的在画面上的触摸操作，并且显示预定图像例如通过渲染虚拟空间VS中的3D对象而获得的二维图像。显示器21(但是没有参照图1详细描述)是具有触摸面板的显示器，并且在下文中，具有触摸面板的显示器21被简称为显示器21。
图6示出了在相机操作者OP正在捕获虚拟空间VS的图像的同时在成像设备VC的显示器21上显示的画面示例。
图6的画面41包括渲染图像显示部42、俯视图显示部43、回避模式开/关按钮44和回避模式切换按钮45。
在渲染图像显示部42中，根据成像设备VC的位置和姿势，显示作为虚拟相机的成像设备VC捕获虚拟空间VS的图像时获得的二维图像(VC图像)。
在俯视图显示部43中，显示与从上方观看的虚拟空间VS的俯视图对应的俯视图图像。俯视图图像还包括真实空间RS中的相机操作者OP在虚拟空间VS中的位置以及成像设备VC的成像方向。
回避模式开/关按钮44是用于在启用上述第一回避模式至第三回避模式与禁用上述第一回避模式至第三回避模式之间切换的按钮。
回避模式切换按钮45是用于在上述第一回避模式至第三回避模式之间切换的按钮。例如，回避模式切换按钮45在每次触摸按钮时以第一回避模式、第二回避模式和第三回避模式的顺序切换模式。回避模式切换按钮45用作用于选择回避障碍物的方法的选择单元。
作为成像设备VC的用户的相机操作者OP可以触摸回避模式开/关按钮44以切换回避模式开/关，并且触摸回避模式切换按钮45以在第一回避模式至第三回避模式之间切换。替选地，回避模式开/关按钮44和回避模式切换按钮45可以作为硬件按钮设置在成像设备VC上而不是在画面上。
返回参照图5的描述，操作开关22包括各种类型的硬件开关，例如操作按钮、方向键、操纵杆、手柄、踏板或控制杆，以生成与来自相机操作者OP的操作对应的操作信号，并且经由通信单元23将信号提供给图像处理装置13。操作开关22是能够执行诸如变焦操作、白平衡(WB)调节和曝光调节的图像调节的开关。
通信单元23包括用于执行诸如LAN(局域网)和HDMI(注册商标)的有线通信或诸如无线LAN和蓝牙(注册商标)的无线通信的通信接口，以将预定数据发送至图像处理装置13以及从图像处理装置13接收预定数据。例如，通信单元23接收从图像处理装置13提供的、通过渲染3D对象而获得的二维图像的图像数据，并且将图像数据提供给显示器21。此外，例如，通信单元23向图像处理装置13发送与回避模式的开/关操作、第一回避模式至第三回避模式之间的切换操作、以及通过操作开关22的操作的调节操作对应的操作信号。
如上所述，成像设备VC包括用于执行与真实成像装置的图像调节类似的图像调节的操作单元，并且要调节的图像是要显示在显示器21上的渲染图像。
两个成像装置11(11-1，11-2)被布置在真实空间RS中的不同位置处以从不同方向捕获真实空间RS的图像。成像装置11将作为成像的结果而获得的捕获图像提供给设备位置估计装置12。由成像装置11捕获的捕获图像包括例如成像设备VC的多个标记MK。
在图5的配置示例中，图像处理系统1被配置成包括两个成像装置11。然而，图像处理系统1可以包括一个成像装置11或者三个或更多个成像装置11。用于捕获真实空间RS的图像的更多数目的成像装置11可以从更多不同的方向捕获成像设备VC的标记MK，这使得可以提高成像设备VC的位置和姿势的检测准确度。此外，成像装置11除了成像功能之外还可以具有用于测量到被摄体的距离的距离测量功能，或者可以设置有与成像装置11分开的距离测量装置。
设备位置估计装置12是跟踪成像设备VC的标记MK以估计成像设备VC的位置和姿势的装置。设备位置估计装置12识别从两个成像装置11提供的捕获图像中包括的标记MK，并且根据标记MK的位置检测成像设备VC的位置和姿势。设备位置估计装置12将指示检测到的成像设备VC的位置和姿势的设备位置和姿势信息提供给图像处理装置13。
图像处理装置13被配置成包括回避模式选择控制单元31、障碍物检测单元32、虚拟相机位置控制单元33、图像创建单元34、相机日志记录单元35、存储单元36和通信单元37。
回避模式选择控制单元31经由通信单元37获取与回避模式的启用/禁用以及第一回避模式至第三回避模式(这些是由相机操作者OP操作成像设备VC的回避模式开/关按钮44和回避模式切换按钮45而设置的)有关的信息，并且根据获取的回避模式设置信息控制图像处理装置13的单元。
具体地，当回避模式被设置为禁用时，回避模式选择控制单元31控制图像处理装置13的单元，使得不执行回避处理。
此外，当回避模式被启用并且选择了第一回避模式时，回避模式选择控制单元31使图像创建单元34根据检测障碍物的结果创建警报画面。
此外，当回避模式被启用并且选择了第二回避模式时，回避模式选择控制单元31使图像创建单元34根据检测障碍物的结果创建其中对障碍物执行了透明处理的VC图像。
此外，当回避模式被启用并且选择了第三回避模式时，回避模式选择控制单元31使虚拟相机位置控制单元33根据检测障碍物的结果改变与成像设备VC在真实空间RS中的位置对应的虚拟相机的位置。
障碍物检测单元32从虚拟相机位置控制单元33接收指示虚拟相机的位置和姿势的相机位置和姿势信息，并且还从图像创建单元34接收指示虚拟空间VS中的每个三维对象OBJ的位置的位置信息。
障碍物检测单元32基于虚拟相机的位置和姿势以及虚拟空间VS中的三维对象OBJ的位置来检测针对虚拟相机的虚拟空间VS中的障碍物。稍后将参照图9和图10详细描述用于障碍物检测的方法。当检测到障碍物时，障碍物检测单元32根据回避模式将指示检测到障碍物的信息提供给虚拟相机位置控制单元33或图像创建单元34。
在回避模式选择控制单元31的控制下，障碍物检测单元32在回避模式被启用时执行障碍物检测处理，并且在回避模式被禁用时不执行障碍物检测处理。
虚拟相机位置控制单元33基于从设备位置估计装置12提供的、指示成像设备VC的位置和姿势的设备位置和姿势信息来识别虚拟相机的位置和姿势。
虚拟相机位置控制单元33基本上生成相机位置和姿势信息(其中从设备位置估计装置12提供的成像设备VC的位置和姿势被用作虚拟相机的位置和姿势)，并且将相机位置和姿势信息提供给障碍物检测单元32、图像创建单元34和相机日志记录单元35。
然而，在由回避模式选择控制单元31选择并控制第三回避模式的情况下，当检测到障碍物时，虚拟相机位置控制单元33改变与成像设备VC在真实空间RS中的位置的改变对应的虚拟相机的位置的改变。
图像创建单元34创建要在成像设备VC的显示器21上显示的显示图像，例如，图6中示出的画面41。例如，图像创建单元34创建要在图6的画面41的渲染图像显示部42上显示的VC图像、要在俯视图显示部43上显示的俯视图图像等。
图像创建单元34从存储单元36接收作为三维对象OBJ的数据的3D对象数据，并且还从虚拟相机位置控制单元33接收指示虚拟相机的位置和姿势的相机位置和姿势信息。注意，要再现存储在存储单元36中的多个3D对象数据中的哪个3D对象数据由用户利用操作单元(未示出)指定该3D对象数据来确定。
图像创建单元34基于3D对象数据来创建VC图像，其是三维对象OBJ的与虚拟相机的成像范围对应的部分。此外，在选择并执行第一回避模式作为回避模式的情况下，当检测到障碍物时，图像创建单元34根据回避模式选择控制单元31的控制创建警报画面。例如，警报画面可以是其中通过将创建的VC图像改变为红色来改变显示方法的画面，或者可以是其中在创建的VC图像上叠加诸如“存在障碍物”的消息对话的画面。
图像创建单元34还创建要在图6的画面41的俯视图显示部43上显示的俯视图图像。创建的VC图像和俯视图图像经由通信单元37被提供给成像设备VC。
另外，图像创建单元34创建指示虚拟空间VS中的三维对象OBJ的位置的位置信息，并且将位置信息提供给障碍物检测单元32。
相机日志记录单元35将从虚拟相机位置控制单元33提供的指示虚拟相机的位置和姿势的相机位置和姿势信息记录(存储)在存储单元36中作为指示虚拟相机的轨迹的日志信息。
存储单元36存储多个3D对象数据，并且将由用户通过操作单元(未示出)指定的3D对象数据提供给图像创建单元34。此外，存储单元36存储从相机日志记录单元35提供的虚拟相机的日志信息。
通信单元37通过与成像设备VC的通信单元23所执行的通信方法对应的方法进行通信。通信单元37将由图像创建单元34创建的VC图像和俯视图图像发送至成像设备VC，并且还从成像设备VC接收回避模式开/关按钮44和回避模式切换按钮45的操作信号、以及操作开关22的操作信号。
如上所述配置的图像处理系统1执行以下虚拟空间成像处理：创建虚拟空间VS的二维图像(其是由真实空间RS中的相机操作者OP利用成像设备VC拍摄的)，并且将该二维图像显示在成像设备VC的显示器21(的渲染图像显示部42)上。
下面将更详细地描述由图像处理系统1执行的虚拟空间成像处理。
<3.图像处理系统中的虚拟空间成像处理>
<针对回避模式被禁用>
首先，参照图7的流程图，将针对回避模式被回避模式开/关按钮44禁用(换言之，针对不考虑虚拟相机与障碍物之间的碰撞)，描述虚拟空间成像处理。
该处理例如响应于通过图像处理装置13的操作单元开始捕获图像处理系统1中的虚拟空间VS的图像的操作而开始。注意，要读取存储在存储单元36中的多个3D对象数据中的哪个3D对象数据以形成虚拟空间VS已经由图7的处理开始之前的操作确定。
首先，在步骤S1中，多个成像装置11中的每一个捕获由真实空间RS中的相机操作者OP操作的成像设备VC的图像，并且将所得到的捕获图像提供给设备位置估计装置12。
在步骤S2中，设备位置估计装置12基于从各个成像装置11提供的捕获图像来估计成像设备VC的位置和姿势。更具体地，设备位置估计装置12识别出现在从各个成像装置11提供的捕获图像中的多个标记MK，并且检测标记MK在真实空间RS中的位置和姿势，从而估计成像设备VC的位置和姿势。将所估计的成像设备VC的位置和姿势提供给图像处理装置13作为设备位置和姿势信息。
在步骤S3中，虚拟相机位置控制单元33基于从设备位置估计装置12提供的成像设备VC的位置和姿势来确定虚拟相机的位置和姿势。具体地，虚拟相机位置控制单元33将相机位置和姿势信息(其指示虚拟相机的位置和姿势并且其中从设备位置估计装置12提供的成像设备VC的位置和姿势被用作虚拟相机的位置和姿势)提供给障碍物检测单元32、图像创建单元34和相机日志记录单元35。
在步骤S4中，图像创建单元34执行创建与虚拟相机的成像范围对应的虚拟空间VS的二维图像(VC图像)的VC图像创建处理。
在步骤S5中，通信单元37将由图像创建单元34创建的虚拟空间VS的二维图像发送至成像设备VC。
在步骤S6中，相机日志记录单元35将从虚拟相机位置控制单元33提供的指示虚拟相机的位置和姿势的相机位置和姿势信息记录在存储单元36中作为指示虚拟相机的轨迹的日志信息。
步骤S5和步骤S6的处理可以以相反的顺序被执行或者可以并行执行。
在步骤S7中，成像设备VC的显示器21经由通信单元23获取从图像处理装置13发送的虚拟空间VS的二维图像并进行显示。
继续执行上述一系列步骤S1至步骤S7的处理，直到结束虚拟空间VS的成像的操作。
<针对回避模式被启用>
接下来，将针对回避模式被回避模式开/关按钮44启用，描述虚拟空间成像处理。
在针对回避模式被启用的虚拟空间成像处理中，用图8中的障碍物自适应VC图像创建处理来代替图7中的虚拟空间成像处理的流程图的步骤S4中执行的VC图像创建处理，并且其他处理与步骤S1至步骤S3、以及步骤S5至步骤S7相同。因此，参照图8的流程图，针对回避模式被设置为启用，障碍物自适应VC图像创建处理将被描述为作为图7中的虚拟空间成像处理的步骤S4的处理而执行。
首先，在步骤S21中，障碍物检测单元32获取从虚拟相机位置控制单元33提供的相机位置和姿势信息以及从图像创建单元34提供的指示虚拟空间VS中的三维对象OBJ的位置的位置信息。然后，障碍物检测单元32基于虚拟相机的位置和姿势以及虚拟空间VS中的三维对象OBJ的位置来检测针对虚拟相机的虚拟空间VS中的障碍物。
这里，将参照图9和图10描述步骤S21中的障碍物检测中的确定方法。在参照图9和图10的描述中，为了简单起见，例如本文中使用虚拟相机的“位置”，其中没有提及“姿势”。然而，障碍物检测中的确定当然不仅涉及虚拟相机的位置，而且还涉及姿势。
障碍物检测单元32例如通过执行图9和图10中示出的障碍物确定处理的四种方式，来检测针对虚拟空间VS中的虚拟相机是否存在障碍物。图9的状态A至状态C是在执行用于回避障碍物的回避处理之前的状态，并且因此，成像设备VC的位置对应于虚拟相机的位置。此外，相机操作者OP与成像设备VC之间的位置关系保持不变。
图9的A是示出第一障碍物确定处理的图。
在第一障碍物确定处理中，障碍物检测单元32基于虚拟相机(成像设备VC)的位置与虚拟空间VS中的三维对象OBJ的位置之间的关系来确定是否发生与障碍物的碰撞。
具体地，障碍物检测单元32基于虚拟相机(成像设备VC)的位置将预定范围设置为与障碍物碰撞的范围VCa，并且当虚拟空间VS中的预定的三维对象OBJ处于碰撞范围VCa内时，将三维对象OBJ检测为障碍物。
在图9的A的示例中，在虚拟空间VS中的位置POS11处存在虚拟相机，并且在碰撞范围VCa内存在作为三维对象OBJ的墙壁WA，使得墙壁WA被检测为障碍物。
图9的B是示出第二障碍物确定处理的图。
在第二障碍物确定处理中，障碍物检测单元32基于虚拟相机(成像设备VC)的位置和预测移动位置与虚拟空间VS中的三维对象OBJ的位置之间的关系来确定是否发生与障碍物的碰撞。
具体地，障碍物检测单元32基于从之前的预定时间到现在的虚拟相机(成像设备VC)的移动路径，来预测虚拟相机从当前位置移动之后的预定时间内虚拟相机的位置(预测的移动位置)。然后，当虚拟空间VS中的预定的三维对象OBJ处于针对预测的移动位置的碰撞范围VCa内时，障碍物检测单元32将三维对象OBJ检测为障碍物。
在图9的B的示例中，预测到虚拟相机在预定时间内将从当前位置POS12移动至位置POS13，并且作为三维对象OBJ的墙壁WA存在于针对位置POS13的碰撞范围VCa内，使得墙壁WA被检测为障碍物。
图9的C是示出第三障碍物确定处理的图。
在第三障碍物确定处理中，障碍物检测单元32基于虚拟相机(成像设备VC)的位置与在虚拟空间VS中移动的三维对象OBJ的预测移动位置之间的关系来确定是否发生与障碍物的碰撞。
具体地，当在虚拟空间VS中移动的三维对象OBJ作为移动对象存在时，障碍物检测单元32预测移动对象的移动路径。然后，当预测的移动对象的移动路径处于虚拟相机的碰撞范围VCa内时，障碍物检测单元32将三维对象OBJ检测为障碍物。
在图9的C的示例中，在虚拟空间VS中的位置POS14处存在虚拟相机，并且作为移动对象的人OBJ1的移动路径处于虚拟相机的碰撞范围VCa内，使得人OBJ1被检测为障碍物。
图10是示出第四障碍物确定处理的图。
在第四障碍物确定处理中，不作为障碍物引起碰撞但对于感兴趣的被摄体的成像可能是障碍物的对象被检测为障碍物。
例如，如图10所示，在虚拟相机(成像设备VC)从当前位置POS21通过设置在虚拟空间VS中的室内房间的门口并且在预定时间内移动至室外位置POS22的状态下，当虚拟相机在位置POS22处捕获作为感兴趣的被摄体的人OBJ1的图像时，由于墙壁WA的存在，创建了如图3的B所示的VC图像。
因此，障碍物检测单元32基于虚拟相机的位置、以及虚拟空间VS中的成像设备VC的感兴趣的被摄体与作为感兴趣的被摄体周围的被摄体的周围被摄体之间的位置关系来检测障碍物。
具体地，当在作为虚拟相机的成像范围的视锥RG的区域之外、且在虚拟相机与感兴趣的被摄体之间存在预定的三维对象OBJ时，障碍物检测单元32将三维对象OBJ检测为障碍物。
在图10的示例中，在虚拟空间VS中的位置POS22处存在虚拟相机，并且在作为虚拟相机的成像范围的视锥RG的区域之外、且在虚拟相机与作为感兴趣的被摄体的人OBJ1之间存在墙壁墙WA，使得墙壁WA被检测为障碍物。
返回到图8的流程图，在步骤S21中，障碍物检测单元32通过执行以上提及的第一障碍物确定处理至第四障碍物确定处理，检测针对虚拟相机的虚拟空间VS中的障碍物。
然后，在步骤S22中，障碍物检测单元32确定是否检测到障碍物。
如果在步骤S22中确定没有检测到障碍物，则处理进行到步骤S23，并且图像创建单元34执行创建与虚拟相机的成像范围对应的虚拟空间VS的二维图像(VC图像)的VC图像创建处理。该VC图像创建处理是与图7的步骤S4相同的处理。
另一方面，如果在步骤S22中确定检测到障碍物，则处理进行到步骤S24，并且回避模式选择控制单元31确定选择第一回避模式至第三回避模式中的哪一个作为回避模式。
在步骤S24中，如果确定选择第一回避模式作为回避模式，则处理进行到步骤S25；如果确定选择第二回避模式作为回避模式，则处理进行到步骤S27；并且如果确定选择第三回避模式作为回避模式，则处理进行到步骤S29。
在步骤S25中，对于选择第一回避模式作为回避模式，回避模式选择控制单元31使图像创建单元34创建障碍物碰撞的警报画面。图像创建单元34根据回避模式选择控制单元31的控制生成警报画面，并且经由通信单元37将警报画面发送至成像设备VC。例如，警报画面可以是其中创建的VC图像变成红色的没有任何字符的画面，或者可以是其中在创建的VC图像上叠加了诸如“存在障碍物”的消息对话的画面。
在步骤S26中，图像创建单元34执行与图7的步骤S4相同的VC图像创建处理。
另一方面，在步骤S27中，对于选择第二回避模式作为回避模式，回避模式选择控制单元31将检测到的障碍物登记为回避对象，并且将回避对象通知给图像创建单元34。
在步骤S28中，图像创建单元34执行这样的VC图像创建处理：对从回避模式选择控制单元31通知的回避对象执行透明处理，并且创建与虚拟相机的成像范围对应的虚拟空间VS的二维图像(VC图像)。
将参照图11和图12描述作为步骤S28的处理的执行透明处理的VC图像创建处理。
图11是从水平方向观看的相机操作者OP从图10中示出的室内位置POS21移动至室外位置POS22的状态的图。
对于室外位置POS22，由于在虚拟相机(成像设备VC)与作为感兴趣的被摄体的人OBJ1之间存在墙壁WA，因此墙壁WA被检测为障碍物，并且墙壁WA将作为回避对象进行透明处理。在这种情况下，如果简单地对墙壁WA进行透明处理，则由于虚拟相机在室外，因此室内亮度可能受到室外亮度的影响(例如，室内空间显得更亮)，或者可能存在例如室外地面或天空出现在成像范围中的影响。
如上所述，当其中存在感兴趣的被摄体的第一空间(室内)与其中存在虚拟相机的第二空间(室外)彼此不同时，图像创建单元34对回避对象执行透明处理，并且另外，创建其中存在感兴趣的被摄体的第一空间的成像条件(例如，白平衡等)和环境(例如，地板表面、天花板等)下的VC图像，如图12所示。更具体地，图像创建单元34通过执行例如将室外图像变为具有扩展的室内地板或天花板的图像、将白平衡变为室内亮度而不是室外亮度等的使虚拟空间VS的环境连续的连续环境处理，来创建VC图像。
返回图8，步骤S29中，对于选择第三回避模式作为回避模式，回避模式选择控制单元31使虚拟相机位置控制单元33改变与成像设备VC在真实空间RS中的位置对应的虚拟相机的位置，使得虚拟相机不与障碍物接触。
图13示出了作为步骤S29的处理由虚拟相机位置控制单元33执行的用于改变与成像设备VC的位置对应的虚拟相机的位置的控制的示例。
例如，假设由设备位置估计装置12估计的成像设备VC的移动路径或预测路径是轨迹61，并且成像设备VC与作为障碍物的墙壁WA碰撞。
作为虚拟相机位置的第一改变控制，虚拟相机位置控制单元33如轨迹62上那样控制虚拟相机的位置，使得虚拟相机的位置响应于障碍物存在的方向上的位置的改变而不改变。假设在图13中，水平方向为X方向，并且垂直方向为Y方向。成像设备VC的位置(轨迹61)与轨迹62上的虚拟相机的位置一致，直到轨迹62到达墙壁WA。然而，在轨迹62到达墙壁WA之后，虚拟相机的位置在Y方向上不改变。
替选地，作为虚拟相机位置的第二改变控制，虚拟相机位置控制单元33如轨迹63上那样改变与成像设备VC在真实空间RS中的移动量对应的虚拟相机的移动量。具体地，由于墙壁WA存在的方向为Y方向，因此改变Y方向上虚拟相机的移动量相对于成像设备VC的移动量的比率。例如，将虚拟相机的移动量设置为成像设备VC的移动量的1/2，并且针对Y方向，对于成像设备VC的移动量“10”，将虚拟相机的移动量设置为“5”。
在图8的步骤S29中的改变虚拟相机的位置的控制中，虚拟相机位置控制单元33执行参照图13描述的与轨迹62对应的第一改变控制或与轨迹63对应的第二改变控制。
然后，在图8的步骤S30中，图像创建单元34执行VC图像创建处理，其中基于控制虚拟相机的位置改变之后的虚拟相机的位置，来创建与虚拟相机的成像范围对应的虚拟空间VS的二维图像(VC图像)。该VC图像创建处理是与图7的步骤S4相同的处理。
当步骤S23、步骤S26、步骤S28或步骤S30的VC图像创建处理完成时，执行图7的步骤S5至步骤S7。
根据上述障碍物自适应VC图像创建处理，图像处理装置13的障碍物检测单元32基于相机位置和姿势信息来检测针对虚拟相机的虚拟空间VS中的障碍物，该相机位置和姿势信息是基于指示用于捕获虚拟空间VS的图像的成像设备VC在真实空间RS中的位置和姿势的设备位置和姿势信息来识别的，该相机位置和姿势信息指示与真实空间RS相关联的虚拟空间VS中的虚拟相机的位置和姿势。
然后，当检测到障碍物时，图像处理装置13根据由回避模式切换按钮45选择的第一回避模式至第三回避模式，执行第一回避处理至第三回避处理。当选择第一回避模式时，图像处理装置13显示用于通知与障碍物的碰撞的警报画面。当选择第二回避模式时，图像处理装置13创建并显示其中对障碍物执行了透明处理的VC图像。当选择第三回避模式时，图像处理装置13改变与成像设备VC的位置对应的虚拟相机的位置，使得虚拟相机不与障碍物碰撞。
这使得相机操作者OP可以识别虚拟空间VS中的、不存在于真实空间RS中的障碍物，并且还使得可以防止相机操作者OP拍摄与原本打算捕获其图像的对象不同的对象的图像。
相机操作者OP可以通过操作成像设备VC的显示器21上显示的回避模式开/关按钮44，在启用和禁用第一回避模式至第三回避模式之间自由切换。此外，通过操作回避模式切换按钮45，可以自由选择第一回避模式至第三回避模式。
在上述示例中，当选择第一回避模式时，在成像设备VC的显示器21上显示用于通知与障碍物的碰撞的警报画面，以向作为成像设备VC的用户的相机操作者OP通知检测到障碍物。然而，用于障碍物检测的通知方法不限于此。
例如，可以例如通过使成像设备VC的手柄振动和/或从成像设备VC输出警报声，向相机操作者OP通知检测到障碍物。此外，可以同时执行显示警报画面、使成像设备VC振动、以及输出警报声中的两个或更多个。作为通知检测到障碍物的通知方法，对于成像设备VC的手柄等被振动，成像设备VC设置有振动元件等。此外，作为通知检测到障碍物的通知方法，对于警报声等被输出，成像设备VC设置有扬声器等。
另外，在将回避模式中的任何回避模式设置为启用、检测到障碍物、并且然后执行第一回避处理至第三回避处理中的任何回避处理的定时处，图像处理装置13的图像创建单元34可以使显示器21显示正在执行预定回避处理，例如“正在执行第二回避处理”。这使得相机操作者OP可以识别出正在执行回避处理。
<4.图像处理系统的修改示例>
图14是示出图5中示出的图像处理系统的修改示例的框图。
在图14的修改示例中，与图5中示出的图像处理系统1的部分对应的部分由相同的附图标记和符号表示，并且将适当地省略对这些部分的描述。
图14的图像处理系统1包括成像设备VC、两个成像装置11(11-1，11-2)和图像处理装置13，并且与图5中示出的设备位置估计装置12对应的设备位置估计单元12A作为图像处理装置13的一部分被结合。
如上所述，图像处理装置13可以具有基于从两个成像装置11中的每一个提供的捕获图像来估计成像设备VC的位置和姿势的功能。
同样在这种情况下，也能够获得与图5中示出的图像处理系统1的有益效果相同的有益效果。具体地，可以根据由相机操作者OP选择的第一回避模式至第三回避模式执行第一回避处理至第三回避处理，并且相机操作者OP可以识别不存在于真实空间RS中的虚拟空间VS中的障碍物。这使得可以防止相机操作者OP拍摄与原本打算捕获其图像的对象不同的对象的图像。
<5.单个成像设备的配置示例>
图5和图14的图像处理系统1具有采用所谓的由外而内位置估计的配置，其中基于由成像装置11捕获的捕获图像来估计成像设备VC的位置和姿势。对于由外而内位置估计，需要在成像设备VC外部准备用于跟踪的传感器。
另一方面，也可以采用所谓的由内而外位置估计，其中成像设备VC本身设置有用于位置和姿势估计的传感器，并且该设备估计其自身的位置和姿势。在这种情况下，成像设备VC本身可以具有图像处理装置13的功能，使得由图像处理系统1实现的上述功能可以仅由一个成像设备VC提供。
图15是示出在由一个成像设备VC实现由图像处理系统1实现的功能的情况下的成像设备VC的配置示例的框图。
在图15中，与图5中示出的图像处理系统1的部分对应的部分由相同的附图标记和符号表示，并且将适当地省略对这些部分的描述。
成像设备VC包括具有触摸面板的显示器21、操作开关22、跟踪传感器81、自身位置估计单元82和图像处理单元83。
图像处理单元83包括回避模式选择控制单元31、障碍物检测单元32、虚拟相机位置控制单元33、图像创建单元34、相机日志记录单元35和存储单元36。
将图15的成像设备VC的配置与图5的图像处理系统1的配置进行比较，图15的成像设备VC具有图5的图像处理装置13的配置，如图像处理单元83。注意，在图15的成像设备VC中，省略了图5的标记MK、通信单元23和通信单元37。跟踪传感器81对应于图5的成像装置11-2和11-2，并且自身位置估计单元82对应于图5的设备位置估计装置12。
显示器21显示由图像创建单元34创建的显示图像，并且将与在触摸面板上检测到的来自相机操作者OP的触摸操作对应的操作信号提供给图像处理单元83。操作开关22将与来自相机操作者OP的操作对应的操作信号提供给图像处理单元83。
跟踪传感器81包括至少一个传感器，例如成像传感器和惯性传感器。作为跟踪传感器81的成像传感器捕获成像设备VC的周围环境的图像，并且将所得到的捕获图像作为传感器信息提供给自身位置估计单元82。可以设置多个成像传感器以在所有方向上捕获图像。此外，成像传感器可以是由两个成像传感器组成的立体相机。
作为跟踪传感器81的惯性传感器包括诸如陀螺仪传感器、加速度传感器、磁传感器和压力传感器的传感器，并且测量角速度、加速度等并将其作为传感器信息提供给自身位置估计单元82。
自身位置估计单元82基于来自跟踪传感器81的传感器信息来估计(检测)其自身位置和姿势(即，成像设备VC的位置和姿势)。例如，自身位置估计单元82使用由作为跟踪传感器81的成像传感器捕获的捕获图像的特征点，通过视觉SLAM(即时定位与地图构建)估计其自身位置和姿势。此外，在设置诸如陀螺仪传感器、加速度传感器、磁传感器或压力传感器的惯性传感器的情况下，可以通过使用其传感器信息以高准确度估计自身位置和姿势。自身位置估计单元82将指示其自身估计位置和姿势的设备位置和姿势信息提供给图像处理单元83的虚拟相机位置控制单元33。
具有上述配置的成像设备VC可以仅通过内部处理来实现由图5的图像处理系统1实现的功能。具体地，可以根据由相机操作者OP选择的第一回避模式至第三回避模式执行第一回避处理至第三回避处理，并且相机操作者OP可以识别不存在于真实空间RS中的虚拟空间VS中的障碍物。这使得可以防止相机操作者OP拍摄与原本打算捕获其图像的对象不同的对象的图像。
在上述示例中，从第一回避模式至第三回避模式中选择预定回避模式，并且执行用于所选择的回避模式的回避处理。然而，第一回避模式可以与第二回避模式或第三回避模式同时被选择并执行。
例如，在选择第一回避模式和第二回避模式两者的情况下，当检测到障碍物时，在显示器21上显示警报画面，并且然后，当相机操作者OP移动至墙壁WA外侧时，图像处理装置13(或图像处理单元83)创建其中对墙壁WA执行了透明处理的VC图像，并且使显示器21显示VC图像。
例如，在选择第一回避模式和第三回避模式两者的情况下，当检测到障碍物时，在显示器21上显示警报画面，并且然后，当相机操作者OP接近墙壁WA时，图像处理装置13(或图像处理单元83)改变成像设备VC在Y方向上的移动量与虚拟相机的移动量之间的比率，并且控制虚拟相机的位置，使得虚拟相机不会到达墙壁WA。
<6.计算机的配置示例>
上述一系列处理也可以通过硬件或软件来执行。当一系列处理步骤通过软件执行时，软件的程序被安装在计算机中。这里，计算机包括嵌入专用硬件的微型计算机，或者例如能够通过安装各种程序来执行各种功能的通用个人计算机。
图16是示出根据程序执行上述一系列处理的计算机的硬件配置的示例的框图。
在计算机中，中央处理单元(CPU)101、只读存储器(ROM)102和随机存取存储器(RAM)103通过总线104彼此连接。
输入/输出接口105也连接至总线104。输入单元106、输出单元107、存储单元108、通信单元109和驱动器110连接至输入/输出接口105。
输入单元106是例如键盘、鼠标、麦克风、触摸面板或输入端子。输出单元107是例如显示器、扬声器或输出端子。存储单元108是例如硬盘、RAM盘或非易失性存储器。通信单元109是网络接口等。驱动器110驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质111。
在如上所述配置的计算机中，例如，CPU 101经由输入/输出接口105和总线104将存储在存储单元108中的程序加载到RAM 103中，并且执行该程序，以执行上述一系列处理。RAM 103还适当地存储CPU 101执行各种类型的处理所需的数据等。
由计算机(CPU 101)执行的程序可以被记录在例如用作封装介质的可移除记录介质111上来提供。程序可以经由有线或无线传输介质，例如局域网、因特网或数字卫星广播来提供。
在计算机中，通过将可移除记录介质111安装在驱动器110上，可以经由输入/输出接口105将程序安装在存储单元108中。程序可以由通信单元109经由有线或无线传输介质接收以安装在存储单元108中。另外，该程序可以被预先安装在ROM 102或存储单元108中。
在本说明书中，流程图中描述的步骤可以并行执行，或者以必要的定时执行，例如，当调用时——即使步骤不是按照其中描述的顺序以时间顺序执行，以及当步骤以时间顺序执行时。
在本说明书中，系统是多个组成元件(设备、模块(部件)等)的集合，并且所有组成元件可以位于或不位于同一壳体中。因此，存储在分开的壳体中并且经由网络连接的多个设备以及其中多个模块被存储在一个壳体中的单个设备均是系统。
本技术的实施方式不限于以上提及的实施方式，并且可以在不脱离本技术的要旨的情况下进行各种改变。
例如，可以采用以上提及的多个实施方式的全部或部分的组合。
例如，本技术可以具有其中多个设备经由网络共享并且一起处理一个功能的云计算的配置。
另外，以上流程图中描述的每个步骤可以由一个设备执行或者由多个设备共享。
此外，在一个步骤包括多个处理的情况下，一个步骤中包括的多个处理可以由一个设备执行或者由多个设备共享和执行。
本说明书中描述的有益效果仅仅是示例性的而不是限制性的，并且可以实现本说明书中描述的有益效果的其他有益效果。
本技术可以配置如下。
(1)一种图像处理装置，包括检测单元，所述检测单元基于相机位置和姿势信息来检测针对虚拟相机的虚拟空间中的障碍物，所述相机位置和姿势信息是基于指示用于捕获所述虚拟空间的图像的成像设备在真实空间中的位置和姿势的设备位置和姿势信息来识别的，所述相机位置和姿势信息指示与所述真实空间相关联的所述虚拟空间中的所述虚拟相机的位置和姿势。
(2)根据(1)所述的图像处理装置，其中，所述检测单元基于所述相机位置和姿势信息与所述虚拟空间中的对象的位置之间的关系来检测所述虚拟空间中的障碍物。
(3)根据(1)或(2)所述的图像处理装置，其中，所述检测单元基于所述相机位置和姿势信息、所述虚拟相机的预测移动位置信息与所述虚拟空间中的对象的位置之间的关系来检测所述虚拟空间中的障碍物。
(4)根据(1)至(3)中任一项所述的图像处理装置，其中，所述检测单元基于所述相机位置和姿势信息与在所述虚拟空间中移动的对象的预测移动位置信息之间的关系来检测所述虚拟空间中的障碍物。
(5)根据(1)至(4)中任一项所述的图像处理装置，其中，所述检测单元基于所述相机位置和姿势信息以及所述虚拟空间中的所述虚拟相机的感兴趣的被摄体与作为所述感兴趣的被摄体周围的被摄体的周围被摄体之间的位置关系，来检测所述虚拟空间中的障碍物。
(6)根据(1)至(5)中任一项所述的图像处理装置，还包括通知单元，所述通知单元向所述成像设备的用户通知关于由所述检测单元检测到所述障碍物。
(7)根据(6)所述的图像处理装置，其中，所述通知单元使所述成像设备振动以向所述成像设备的用户通知关于检测到所述障碍物。
(8)根据(6)或(7)所述的图像处理装置，其中，所述通知单元改变所述成像设备的显示单元的显示方法，以向所述成像设备的用户通知关于检测到所述障碍物。
(9)根据(6)至(8)中任一项所述的图像处理装置，其中，所述通知单元使所述成像设备的显示单元显示消息，以向所述成像设备的用户通知关于检测到所述障碍物。
(10)根据(6)至(9)中任一项所述的图像处理装置，其中，所述通知单元使所述成像设备输出声音，以向所述成像设备的用户通知关于检测到所述障碍物。
(11)根据(1)至(10)中任一项所述的图像处理装置，还包括图像创建单元，所述图像创建单元创建与所述虚拟相机的成像范围对应的所述虚拟空间的图像。
(12)根据(11)所述的图像处理装置，其中，当所述检测单元检测到所述障碍物时，所述图像创建单元创建其中对所述障碍物执行了透明处理的所述虚拟空间的图像。
(13)根据(11)或(12)所述的图像处理装置，其中，当其中存在所述虚拟相机的成像目标对象的第一空间的成像条件与其中存在所述虚拟相机的第二空间的成像条件彼此不同时，所述图像创建单元在所述第一空间的成像条件下创建所述虚拟空间的图像。
(14)根据(11)至(13)中任一项所述的图像处理装置，其中，当其中存在所述虚拟相机的成像目标对象的第一空间与其中存在所述虚拟相机的第二空间彼此不同时，所述图像创建单元在所述第一空间中创建所述虚拟空间的图像。
(15)根据(1)至(14)中任一项所述的图像处理装置，还包括虚拟相机位置控制单元，所述虚拟相机位置控制单元识别与所述成像设备在所述真实空间中的位置对应的所述虚拟相机的位置，其中，当所述检测单元检测到所述障碍物时，所述虚拟相机位置控制单元改变与所述成像设备在所述真实空间中的位置的改变对应的所述虚拟相机的位置的改变。
(16)根据(15)所述的图像处理装置，其中，当所述检测单元检测到所述障碍物时，所述虚拟相机位置控制单元控制所述虚拟相机，使得所述虚拟相机的位置响应于所述成像设备在所述真实空间中的预定方向上的位置的改变而不改变。
(17)根据(15)所述的图像处理装置，其中，当所述检测单元检测到所述障碍物时，所述虚拟相机位置控制单元改变与所述成像设备在所述真实空间中的移动量对应的所述虚拟相机的移动量。
(18)根据(1)至(17)中任一项所述的图像处理装置，还包括选择单元，所述选择单元选择回避由所述检测单元检测到的所述障碍物的方法。
(19)一种图像处理方法，包括通过图像处理装置进行以下操作：基于相机位置和姿势信息来检测针对虚拟相机的虚拟空间中的障碍物，所述相机位置和姿势信息是基于指示用于捕获所述虚拟空间的图像的成像设备在真实空间中的位置和姿势的设备位置和姿势信息来识别的，所述相机位置和姿势信息指示与所述真实空间相关联的所述虚拟空间中的所述虚拟相机的位置和姿势。
(20)一种程序，所述程序使计算机执行以下处理：基于相机位置和姿势信息来检测针对虚拟相机的虚拟空间中的障碍物，所述相机位置和姿势信息是基于指示用于捕获所述虚拟空间的图像的成像设备在真实空间中的位置和姿势的设备位置和姿势信息来识别的，所述相机位置和姿势信息指示与所述真实空间相关联的所述虚拟空间中的所述虚拟相机的位置和姿势。
(21)一种成像设备，包括：选择单元，所述选择单元基于相机位置和姿势信息来选择当检测到障碍物时回避所述障碍物的方法，所述相机位置和姿势信息是基于指示用于捕获虚拟空间的图像的成像设备在真实空间中的位置和姿势的设备位置和姿势信息来识别的，所述相机位置和姿势信息指示与所述真实空间相关联的所述虚拟空间中的虚拟相机的位置和姿势；显示单元，所述显示单元显示与所述虚拟相机的成像范围对应的虚拟空间的图像；以及操作单元，所述操作单元允许对所述虚拟相机的图像的调整操作。
附图标记列表
VC 成像设备
VS 虚拟空间
RS 真实空间
WA 墙壁
OBJ 3D对象
OP 相机操作者
VCa 碰撞范围
1 图像处理系统
11 成像装置
12 设备位置估计装置
13 图像处理装置
21 显示器
22 操作开关
31 回避模式选择控制单元
32 障碍物检测单元
33 虚拟相机位置控制单元
34 图像创建单元
35 相机日志记录单元
36 存储单元
42 渲染图像显示单元
43 俯视图显示单元
44 回避模式开/关按钮
45 回避模式切换按钮
81 跟踪传感器
82 自身位置估计单元
83 图像处理单元
101 CPU
102 ROM
103 RAM
106 输入单元
107 输出单元
108 存储单元
109 通信单元
110 驱动器

Claims (20)

1.一种图像处理装置，包括检测单元，所述检测单元基于相机位置和姿势信息来检测针对虚拟相机的虚拟空间中的障碍物，所述相机位置和姿势信息是基于指示用于捕获所述虚拟空间的图像的成像设备在真实空间中的位置和姿势的设备位置和姿势信息来识别的，所述相机位置和姿势信息指示与所述真实空间相关联的所述虚拟空间中的所述虚拟相机的位置和姿势。
2.根据权利要求1所述的图像处理装置，其中，所述检测单元基于所述相机位置和姿势信息与所述虚拟空间中的对象的位置之间的关系来检测所述虚拟空间中的障碍物。
3.根据权利要求1所述的图像处理装置，其中，所述检测单元基于所述相机位置和姿势信息、所述虚拟相机的预测移动位置信息与所述虚拟空间中的对象的位置之间的关系来检测所述虚拟空间中的障碍物。
4.根据权利要求1所述的图像处理装置，其中，所述检测单元基于所述相机位置和姿势信息与在所述虚拟空间中移动的对象的预测移动位置信息之间的关系来检测所述虚拟空间中的障碍物。
5.根据权利要求1所述的图像处理装置，其中，所述检测单元基于所述相机位置和姿势信息以及所述虚拟空间中的所述虚拟相机的感兴趣的被摄体与作为所述感兴趣的被摄体周围的被摄体的周围被摄体之间的位置关系，来检测所述虚拟空间中的障碍物。
6.根据权利要求1所述的图像处理装置，还包括通知单元，所述通知单元向所述成像设备的用户通知关于由所述检测单元检测到所述障碍物。
7.根据权利要求6所述的图像处理装置，其中，所述通知单元使所述成像设备振动以向所述成像设备的用户通知关于检测到所述障碍物。
8.根据权利要求6所述的图像处理装置，其中，所述通知单元改变所述成像设备的显示单元的显示方法，以向所述成像设备的用户通知关于检测到所述障碍物。
9.根据权利要求6所述的图像处理装置，其中，所述通知单元使所述成像设备的显示单元显示消息，以向所述成像设备的用户通知关于检测到所述障碍物。
10.根据权利要求6所述的图像处理装置，其中，所述通知单元使所述成像设备输出声音，以向所述成像设备的用户通知关于检测到所述障碍物。
11.根据权利要求1所述的图像处理装置，还包括图像创建单元，所述图像创建单元创建与所述虚拟相机的成像范围对应的所述虚拟空间的图像。
12.根据权利要求11所述的图像处理装置，其中，当所述检测单元检测到所述障碍物时，所述图像创建单元创建其中对所述障碍物执行了透明处理的所述虚拟空间的图像。
13.根据权利要求12所述的图像处理装置，其中，当其中存在所述虚拟相机的成像目标对象的第一空间的成像条件与其中存在所述虚拟相机的第二空间的成像条件彼此不同时，所述图像创建单元在所述第一空间的成像条件下创建所述虚拟空间的图像。
14.根据权利要求12所述的图像处理装置，其中，当其中存在所述虚拟相机的成像目标对象的第一空间与其中存在所述虚拟相机的第二空间彼此不同时，所述图像创建单元在所述第一空间中创建所述虚拟空间的图像。
15.根据权利要求1所述的图像处理装置，还包括虚拟相机位置控制单元，所述虚拟相机位置控制单元识别与所述成像设备在所述真实空间中的位置对应的所述虚拟相机的位置，其中，
当所述检测单元检测到所述障碍物时，所述虚拟相机位置控制单元改变与所述成像设备在所述真实空间中的位置的改变对应的所述虚拟相机的位置的改变。
16.根据权利要求15所述的图像处理装置，其中，当所述检测单元检测到所述障碍物时，所述虚拟相机位置控制单元控制所述虚拟相机，使得所述虚拟相机的位置响应于所述成像设备在所述真实空间中的预定方向上的位置的改变而不改变。
17.根据权利要求15所述的图像处理装置，其中，当所述检测单元检测到所述障碍物时，所述虚拟相机位置控制单元改变与所述成像设备在所述真实空间中的移动量对应的所述虚拟相机的移动量。
18.根据权利要求1所述的图像处理装置，还包括选择单元，所述选择单元选择回避由所述检测单元检测到的所述障碍物的方法。
19.一种图像处理方法，包括通过图像处理装置进行以下操作：
基于相机位置和姿势信息来检测针对虚拟相机的虚拟空间中的障碍物，所述相机位置和姿势信息是基于指示用于捕获所述虚拟空间的图像的成像设备在真实空间中的位置和姿势的设备位置和姿势信息来识别的，所述相机位置和姿势信息指示与所述真实空间相关联的所述虚拟空间中的所述虚拟相机的位置和姿势。
20.一种程序，所述程序使计算机执行以下处理：
基于相机位置和姿势信息来检测针对虚拟相机的虚拟空间中的障碍物，所述相机位置和姿势信息是基于指示用于捕获所述虚拟空间的图像的成像设备在真实空间中的位置和姿势的设备位置和姿势信息来识别的，所述相机位置和姿势信息指示与所述真实空间相关联的所述虚拟空间中的所述虚拟相机的位置和姿势。
CN202180017228.XA 2020-04-21 2021-04-07 图像处理装置、图像处理方法和程序 Withdrawn CN115176286A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-075333 2020-04-21
JP2020075333 2020-04-21
PCT/JP2021/014705 WO2021215246A1 (ja) 2020-04-21 2021-04-07 画像処理装置、画像処理方法、および、プログラム

Publications (1)

Publication Number Publication Date
CN115176286A true CN115176286A (zh) 2022-10-11

Family

ID=78269155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180017228.XA Withdrawn CN115176286A (zh) 2020-04-21 2021-04-07 图像处理装置、图像处理方法和程序

Country Status (4)

Country Link
US (1) US20230130815A1 (zh)
JP (1) JPWO2021215246A1 (zh)
CN (1) CN115176286A (zh)
WO (1) WO2021215246A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116153021A (zh) * 2022-12-26 2023-05-23 歌尔科技有限公司 碰撞预警方法、装置、头戴设备、头戴系统及介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024247523A1 (ja) * 2023-05-26 2024-12-05 マクセル株式会社 空中浮遊映像表示装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3141737B2 (ja) * 1995-08-10 2001-03-05 株式会社セガ 仮想画像生成装置及びその方法
JP5539133B2 (ja) * 2010-09-15 2014-07-02 株式会社カプコン ゲームプログラム、及びゲーム装置
JP5800484B2 (ja) * 2010-09-22 2015-10-28 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
JP5812665B2 (ja) * 2011-04-22 2015-11-17 任天堂株式会社 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
JP5145444B2 (ja) * 2011-06-27 2013-02-20 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理装置の制御方法、及びプログラム
JP6237326B2 (ja) * 2014-02-25 2017-11-29 富士通株式会社 姿勢推定装置、姿勢推定方法及び姿勢推定用コンピュータプログラム
JP6464934B2 (ja) * 2015-06-11 2019-02-06 富士通株式会社 カメラ姿勢推定装置、カメラ姿勢推定方法およびカメラ姿勢推定プログラム
JP2017073753A (ja) * 2015-10-09 2017-04-13 富士通株式会社 補正方法、プログラム及び電子機器
JP2017129904A (ja) * 2016-01-18 2017-07-27 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
JP6747504B2 (ja) * 2016-04-18 2020-08-26 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6342448B2 (ja) * 2016-05-27 2018-06-13 株式会社コロプラ 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP2018171309A (ja) * 2017-03-31 2018-11-08 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116153021A (zh) * 2022-12-26 2023-05-23 歌尔科技有限公司 碰撞预警方法、装置、头戴设备、头戴系统及介质

Also Published As

Publication number Publication date
JPWO2021215246A1 (zh) 2021-10-28
US20230130815A1 (en) 2023-04-27
WO2021215246A1 (ja) 2021-10-28

Similar Documents

Publication Publication Date Title
US11195320B2 (en) Feed-forward collision avoidance for artificial reality environments
CN102859470B (zh) 对象控制装置、对象控制方法以及集成电路
EP3343328A1 (en) Haptic effect generation for space-dependent content
WO2017134886A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
CN118938467A (zh) 具有直通成像的头戴式显示器
JP6062039B2 (ja) 画像処理システムおよび画像処理用プログラム
US10600253B2 (en) Information processing apparatus, information processing method, and program
US10978019B2 (en) Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium
JP2016522463A5 (zh)
JP2008502206A (ja) デュアル・カメラ入力を用いたセンサ
US10768711B2 (en) Mediated reality
US20210256865A1 (en) Display system, server, display method, and device
US11073902B1 (en) Using skeletal position to predict virtual boundary activation
US20190172271A1 (en) Information processing device, information processing method, and program
KR20230029923A (ko) 롤링 셔터 카메라들을 사용하는 시각적 관성 추적
JP6593922B2 (ja) 画像監視システム
EP3528024B1 (en) Information processing device, information processing method, and program
JP5013398B2 (ja) 複合現実感システムとそのイベント入力方法
CN115176286A (zh) 图像处理装置、图像处理方法和程序
US20200327867A1 (en) Head mounted display system capable of displaying a virtual scene and a map of a real environment in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
JP6467039B2 (ja) 情報処理装置
WO2021241110A1 (ja) 情報処理装置、情報処理方法及びプログラム
EP3734418A1 (en) Head mounted display system capable of displaying a virtual scene and a map of a real environment in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
EP4312106B1 (en) Predicting a position or a posture of a head-mounted display.
CN120457404A (zh) 信息处理装置以及信息处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20221011