CN114424087B - 处理装置、电子设备、处理方法及存储介质 - Google Patents

Abstract

本发明的处理装置包含：控制部，执行进行摄像动作及测距动作的控制，所述摄像动作由拍摄摄像区域的摄像部进行，所述测距动作中，通过由测距部对摄像区域照射光并接收基于针对摄像区域的光的反射光来进行测距；获取部，获取能够确定摄像区域内的反射率的反射率信息；及变更部，在进行摄像动作及测距动作的状态下，根据通过获取部获取的反射率信息来变更光的照射能量。

Description

处理装置、电子设备、处理方法及存储介质

技术领域

本发明的技术涉及一种处理装置、电子设备、处理方法及存储介质。

背景技术

日本专利第6321145号中公开有一种测距装置。日本专利第6321145号所记载的测距装置包含：摄影部，拍摄由成像表示被摄体的被摄体像的成像光学系统成像的被摄体像；射出部，沿着成像光学系统的光轴方向射出作为具有指向性的光的指向性光，且能够调整指向性光的射出强度，根据对焦状态确定信息、被摄体亮度或曝光状态确定信息中的至少一个调整射出强度来射出指向性光；受光部，接收指向性光的来自被摄体的反射光；导出部，根据通过射出部射出指向性光的定时及通过受光部接收反射光的定时，导出被摄体为止的距离；执行部，在基于摄影部的摄影之前，进行成像光学系统对被摄体的调焦及曝光调整中的至少一个；接收部，接收摄影准备指示的第1按压操作和摄影准备指示的第2按压操作这两个阶段的按压操作，所述摄影准备指示的第1按压操作使执行部开始执行调焦及曝光调整中的至少一个，所述摄影准备指示的第2按压操作开始基于摄影部的正式曝光；及控制部，通过接收部接收到第1按压操作时，进行通过执行部执行调焦及曝光调整中的至少一个的控制，以已执行调焦及曝光调整中的至少一个作为条件，进行开始基于射出部、受光部及导出部的测距的控制，在测距结束之后，在维持第1按压操作的状态下，使提示信息的提示部提示与测距的结果相关的信息之后，在未解除对接收部的按压操作的状态下，通过接收部接收到接着第1按压操作进行的第2按压操作时，进行基于摄影部的正式曝光的控制。

日本特开2006-171120号公报中公开有一种摄影装置。日本特开2006-171120号公报所记载的摄影装置是一种在摄影操作之前检测被摄体对比度来进行调焦的摄影装置，其特征在于，具备：第1辅助光发光体，为了被摄体对比度检测而朝向被摄体照射波长区域相对宽的光；第2辅助光发光体，为了被摄体对比度检测而朝向被摄体照射波长区域相对窄的光；及切换机构，切换第1辅助光发光体和第2辅助光发光体。

国际公开第2018/142993号中，公开有一种发光控制装置。国际公开第2018/142993号所记载的发光控制装置具备设定AF(自动聚焦，Auto Focus)辅助光的光量的光量设定部及按照基于光量设定部的设定来控制AF辅助光的发光的发光控制部。

发明内容

本发明的技术所涉及的一个实施方式提供一种和与摄像区域内的反射率无关地确定为了测距用而照射的光的照射能量的情况相比，能够减少测距用反射光对摄像区域图像带来的影响的处理装置、电子设备、处理方法及程序。

用于解决技术课题的手段

本发明的技术所涉及的第1方式是一种处理装置，其包含：控制部，执行进行摄像动作及测距动作的控制，所述摄像动作由拍摄摄像区域的摄像部进行，所述测距动作中，通过由测距部对摄像区域照射光并接收基于针对摄像区域的光的反射光来进行测距；获取部，获取能够确定摄像区域内的反射率的反射率信息；及变更部，在进行摄像动作及测距动作的状态下，根据通过获取部获取的反射率信息来变更光的照射能量。

本发明的技术所涉及的第2方式是第1方式所涉及的处理装置，其中，反射率信息是基于通过由摄像部拍摄摄像区域而获得的摄像区域图像的信息。

本发明的技术所涉及的第3方式是第2方式所涉及的处理装置，其中，基于摄像区域图像的信息是通过由识别部进行对摄像区域图像的图像识别而获得的图像识别结果。

本发明的技术所涉及的第4方式是第3方式所涉及的处理装置，其中，处理器根据通过机器学习图像与被摄体识别结果的对应关系而获得的学习结果，获取图像识别结果。

本发明的技术所涉及的第5方式是第3方式或第4方式所涉及的处理装置，其中，通过获取部获取的图像识别结果为表示在摄像区域图像内包含表示基准反射率以上的物体的图像的图像识别结果时，变更部使照射能量比第1基准照射能量弱。

本发明的技术所涉及的第6方式是第5方式所涉及的处理装置，其中，物体是作为具有光泽性的物体而预先确定的物体。

本发明的技术所涉及的第7方式是第6方式所涉及的处理装置，其中，预先确定的物体是镜状物体。

本发明的技术所涉及的第8方式是第1方式至第7方式中任一方式所涉及的处理装置，其中，变更部根据通过接收部接收的拍摄场景指示信息及通过获取部获取的反射率信息，变更光的照射能量，所述接收部能够接收指示拍摄场景的拍摄场景指示信息。

本发明的技术所涉及的第9方式是第8方式所涉及的处理装置，其中，根据通过接收部接收的拍摄场景指示信息指示的拍摄场景为具有基准反射率以上的拍摄场景反射率的特定拍摄场景时，变更部使照射能量比第2基准照射能量弱。

本发明的技术所涉及的第10方式是第1方式至第7方式中任一方式所涉及的处理装置，其中，变更部根据通过确定部确定的拍摄场景及通过获取部获取的反射率信息，变更光的照射能量，所述确定部能够根据摄像区域图像确定拍摄场景。

本发明的技术所涉及的第11方式是第10方式所涉及的处理装置，其中，通过确定部确定的拍摄场景为具有基准反射率以上的拍摄场景反射率的特定拍摄场景时，变更部使照射能量比第3基准照射能量弱。

本发明的技术所涉及的第12方式是第1方式至第11方式中任一方式所涉及的处理装置，其中，控制部进行如下控制，即，从光源产生辅助光作为光，且使受光元件接收基于针对摄像区域的辅助光的辅助反射光，反射率信息是基于通过受光元件接收辅助反射光的受光结果的信息。

本发明的技术所涉及的第13方式是第12方式所涉及的处理装置，其中，基于受光结果的信息是基于通过受光元件接收到的辅助反射光的每单位时间的受光量的信息。

本发明的技术所涉及的第14方式是第12方式或第13方式所涉及的处理装置，其中，根据通过获取部获取的反射率信息确定的反射率为阈值以上时，变更部使照射能量比第4基准照射能量弱。

本发明的技术所涉及的第15方式是第1方式至第14方式中任一方式所涉及的处理装置，其中，测距部具有TOF相机。

本发明的技术所涉及的第16方式是第15方式所涉及的处理装置，其中，控制部将通过TOF相机生成的距离图像显示于显示部。

本发明的技术所涉及的第17方式是第15方式或第16方式所涉及的处理装置，其中，TOF相机具有多个光电转换像素，测距利用仅通过多个光电转换像素中的包含于所指定的区域内的至少一个光电转换像素接收的反射光来进行。

本发明的技术所涉及的第18方式是第17方式所涉及的处理装置，其中，至少一个光电转换像素是与从显示有摄像区域图像的状态的画面内指定的图像区域的位置对应的位置的光电转换像素。

本发明的技术所涉及的第19方式是第1方式至第18方式中任一方式所涉及的处理装置，其中，变更部根据在摄像动作中进行的正式曝光的定时来变更照射能量。

本发明的技术所涉及的第20方式是第1方式至第19方式中任一方式所涉及的处理装置，其中，摄像动作包含摄像部为了实时取景图像用而拍摄摄像区域的实时取景图像用摄像动作。

本发明的技术所涉及的第21方式是第1方式至第20方式中任一方式所涉及的处理装置，其中，测距动作是基于摄像部的对焦用测距动作。

本发明的技术所涉及的第22方式是第21方式所涉及的处理装置，其中，摄像部根据通过对焦用测距动作进行测距而获得的测距结果进行对摄像区域的对焦。

本发明的技术所涉及的第23方式是第1方式至第22方式所涉及的处理装置，其中，光是指向性光。

本发明的技术所涉及的第24方式是一种电子设备，其包含：第1方式至第23方式中任一方式所涉及的处理装置；摄像部；及测距部。

本发明的技术所涉及的第25方式是一种处理方法，其包括如下步骤：执行进行摄像动作及测距动作的控制，所述摄像动作由拍摄摄像区域的摄像部进行，所述测距动作中，通过由测距部对摄像区域照射光并接收基于针对摄像区域的光的反射光来进行测距；获取能够确定摄像区域内的反射率的反射率信息；及在进行摄像动作及测距动作的状态下，根据所获取的反射率信息来变更光的照射能量。

本发明的技术所涉及的第26方式是一种程序，其用于使计算机执行包括如下步骤的处理：执行进行摄像动作及测距动作的控制，所述摄像动作由拍摄摄像区域的摄像部进行，所述测距动作中，通过由测距部对摄像区域照射光并接收基于针对摄像区域的光的反射光来进行测距；获取能够确定摄像区域内的反射率的反射率信息；及在进行摄像动作及测距动作的状态下，根据所获取的反射率信息来变更光的照射能量。

附图说明

图1是表示实施方式所涉及的智能设备的使用方式的一例的概略立体图。

图2是表示实施方式所涉及的智能设备的背面侧的外观的一例的后视立体图。

图3是表示实施方式所涉及的智能设备中包含的光电转换元件的结构的一例的概略立体图。

图4是表示图2所示的智能设备的前表面侧的外观的一例的前视立体图。

图5是表示通过实施方式所涉及的智能设备中包含的测距摄像装置拍摄摄像区域，并在显示器显示有可见光图像的方式的一例的概念图。

图6是表示通过实施方式所涉及的智能设备中包含的测距摄像装置对摄像区域照射激光束的方式的一例的概念图。

图7是表示通过实施方式所涉及的智能设备中包含的测距摄像装置将摄像区域作为测距对象来进行测距，测距结果作为距离图像显示于显示器的方式的一例的概念图。

图8是表示通过实施方式所涉及的智能设备中包含的测距摄像装置将摄像区域作为测距对象来进行测距，反映测距结果的距离重叠图像显示于显示器的方式的一例的概念图。

图9是表示实施方式所涉及的智能设备的电气系统硬件的结构的一例的框图。

图10是表示实施方式所涉及的智能设备中包含的存储装置的存储内容的一例的概念图。

图11是表示通过实施方式所涉及的智能设备中包含的CPU执行的测距摄像处理的详细内容的一例的概念图。

图12是表示通过实施方式所涉及的智能设备中包含的CPU进行测距摄像处理时的CPU的功能的一例的功能框图。

图13是表示显示于实施方式所涉及的智能设备中包含的显示器的显示模式选择画面的一例的概略画面图。

图14是表示显示于实施方式所涉及的智能设备中包含的显示器的测距范围指定引导画面的一例的概略画面图。

图15是表示在实施方式所涉及的智能设备中包含的显示器上作为实时取景图像而显示的可见光图像及指定图像区域的一例的概略画面图。

图16是用于说明智能设备中包含的光电转换元件的从测距用划分区域向测距用指定划分区域的缩小方法的一例的概念图。

图17是表示实施方式所涉及的并行处理的流程的一例的流程图。

图18是表示实施方式所涉及的摄像处理的流程的一例的流程图。

图19是表示实施方式所涉及的测距处理的流程的一例的流程图。

图20是表示实施方式所涉及的变更处理的流程的一例的流程图。

图21A是表示实施方式所涉及的显示控制处理的流程的一例的流程图。

图21B是图21A所示的流程图的延续。

图22是表示通过实施方式所涉及的智能设备中包含的CPU进行测距摄像处理时的CPU的功能的第1变形例的功能框图。

图23是表示显示于实施方式所涉及的智能设备中包含的显示器的拍摄场景选择画面的一例的概略画面图。

图24是表示实施方式所涉及的变更处理的流程的第1变形例的流程图。

图25是表示通过实施方式所涉及的智能设备中包含的CPU进行测距摄像处理时的CPU的功能的第2变形例的功能框图。

图26是表示实施方式所涉及的变更处理的流程的第2变形例的流程图。

图27是表示实施方式所涉及的智能设备的电气系统硬件的结构的第1变形例的框图。

图28是表示通过实施方式所涉及的智能设备中包含的CPU进行测距摄像处理时的CPU的功能的第3变形例的功能框图。

图29是表示实施方式所涉及的变更处理的流程的第3变形例的流程图。

图30是表示通过实施方式所涉及的智能设备中包含的CPU进行测距摄像处理时的CPU的功能的第4变形例的功能框图。

图31是表示实施方式所涉及的变更处理的流程的第4变形例的流程图。

图32是表示实施方式所涉及的变更处理的流程的第5变形例的流程图。

图33是表示变更通过实施方式所涉及的智能设备中包含的测距摄像装置照射的测距光的强度的定时的一例的概念图。

图34是表示实施方式所涉及的智能设备的外观结构的第1变形例的概略立体图。

图35是表示实施方式所涉及的智能设备的外观结构的第2变形例的概略立体图。

图36是表示组合实施方式所涉及的测距摄像装置及智能设备而成的外观结构的一例的概略立体图。

图37是表示实施方式所涉及的测距摄像处理程序安装于智能设备的方式的一例的概念图。

具体实施方式

以下，根据附图，对本发明的技术所涉及的摄像装置的实施方式的一例进行说明。

首先，对在以下说明中使用的词句进行说明。

CPU是指“Central Processing Unit(中央处理器)”的简称。RAM是指“RandomAccess Memory(随机存取存储器)”的简称。ASIC是指“Application Specific IntegratedCircuit(专用集成电路)”的简称。PLD是指“Programmable Logic Device(可编程逻辑器件)”的简称。FPGA是指“Field-Programmable Gate Array(现场可编程门阵列)”的简称。SoC是指“System-on-a-chip(片上系统)”的简称。SSD是指“Solid State Drive(固态驱动器)”的简称。USB是指“Universal Serial Bus(通用串行总线)”的简称。HDD是指“HardDisk Drive(硬盘驱动器)”的简称。EEPROM是指“Electrically Erasable andProgrammable Read Only Memory(电可擦除可编程只读存储器)”的简称。EL是指“Electro-Luminescence(电致发光)”的简称。A/D是指“Analog/Digital(模拟/数字)”的简称。I/F是指“Interface(接口)”的简称。UI是指“User Interface(用户接口)”的简称。LTE是指“Long Term Evolution(长期演进)”的简称。5G是指“5th Generation(第五代)”的简称。LD是指“Laser Diode(激光二极管)”的简称。IR是指“Infrared(红外)”的简称。APD是指“Avalanche Photodiode(雪崩光电二极管)”的简称。TOF是指“Time of Fl ight(飞行时间)”的简称。fps是指“frame per second(帧率)”的简称。LED是指“Light Emitting Diode(发光二极管)”的简称。ROI是指“Region of Interest(感兴趣区域)”的简称。LAN是指“Local Area Network(局域网)”的简称。

在本说明书的说明中，“水平”除了完全的水平以外，还指包含在本发明的技术所属的技术领域中通常容许的误差的意义上的水平。在本说明书的说明中，“平行”除了完全的平行以外，还指包含在本发明的技术所属的技术领域中通常容许的误差的意义上的平行。在本说明书的说明中，“垂直”除了完全的垂直以外，还指包含在本发明的技术所属的技术领域中通常容许的误差的意义上的垂直。在本说明书的说明中，“相同”除了完全的相同以外，还指包含在本发明的技术所属的技术领域中通常容许的误差的意义上的相同。

作为一例，如图1所示，智能设备10进行摄像动作(以下，还简称为“摄像动作”)及测距动作(以下，还简称为“测距动作”)，所述摄像动作中，拍摄以视场角θ1规定的摄像区域，所述测距动作中，通过对摄像区域照射激光束并接收基于针对摄像区域的激光束的反射光来进行测距。激光束是本发明的技术所涉及的“指向性光”的一例。

在本实施方式中，“测距”是指测定从智能设备10至摄像区域内的测距对象为止的距离的处理。并且，在此，“测距对象”是指反射激光束的物体，在图1所示的例子中，作为摄像区域内的测距对象，示出有人物及树木。另外，作为智能设备10，例如可举出作为附带摄像功能的电子设备的智能手机或平板终端等。

作为一例，如图2所示，智能设备10具备框体12。在框体12容纳有测距摄像装置14。测距摄像装置14具备光照射器16及受光器18。光照射器16具备LD24，受光器18具备光电转换元件26。在智能设备10中，摄像动作及测距动作由测距摄像装置14进行。另外，测距摄像装置14是本发明的技术所涉及的“摄像部(摄像装置)”及“测距部(测距装置)”的一例。

在智能设备10的侧面配置有指示键13。指示键13接收各种指示。在此所说的“各种指示”例如是指显示能够选择各种菜单的菜单画面的指示、选择一个或多个菜单的指示、确定选择内容的指示及删除选择内容的指示等。

在将智能设备10设为纵置状态时的框体12的背面12A的左上部(纵置状态的智能设备10的后视观察时的左上部)设置有透光窗20及22。透光窗20及22是具有透光性的光学元件(例如，透镜)，沿着水平方向以规定间隔(例如，数毫米的间隔)配置，从背面12A露出。光照射器16将从LD24射出的激光束经由透光窗20照射于测距对象。在本实施方式中，采用红外波长区域的激光束。但是，激光束的波长区域并不限于此，也可以是其他波长区域的激光束。

受光器18经由透光窗22接收IR反射光。IR反射光是指基于通过光照射器16照射于测距对象的激光束的反射光。并且，受光器18经由透光窗22接收可见反射光。可见反射光是指基于对摄像区域照射的可见光(例如，太阳光中包含的可见光)的反射光。另外，以下，为了便于说明，无需区分IR反射光和可见反射光来进行说明时，简称为“反射光”。

受光器18具备光电转换元件26，光电转换元件26接收经由透光窗22接收到受光器18的反射光，并输出与所接收的反射光的光量相应的电信号。

作为一例，如图3所示，光电转换元件26具有配置成矩阵状的多个光电二极管。作为多个光电二极管的一例，可举出“4896×3265”像素量的光电二极管。

在光电转换元件26中包含的各光电二极管配置有滤色器。滤色器包含与最有助于获得亮度信号的G(绿色)波长区域对应的G滤波器、与R(红色)波长区域对应的R滤波器、与B(蓝色)波长区域对应的B滤波器及与IR(红外)波长区域对应的IR滤波器。另外，在本实施方式中，G滤波器、R滤波器及B滤波器还具有作为截止红外光的红外光截止滤波器的功能。并且，以下，为了便于说明，无需区分G滤波器、R滤波器及B滤波器来进行说明时，还称为“可见光滤波器”。

光电转换元件26具有R像素、G像素、B像素及IR像素。R像素是与配置有R滤波器的光电二极管对应的像素，G像素是与配置有G滤波器的光电二极管对应的像素，B像素是与配置有B滤波器的光电二极管对应的像素，IR像素是与配置有IR滤波器的光电二极管对应的像素。R像素、G像素、B像素及IR像素分别在行方向(水平方向)及列方向(垂直方向)上以规定的周期性配置。在本实施方式中，R像素、G像素、B像素及IR像素的排列是通过将X-Trans(注册商标)排列中的一部分G像素替换为IR像素来获得的排列。IR像素沿着行方向及列方向以特定的周期性配置。

另外，在此，作为R像素、G像素、B像素及IR像素的排列，例示了以X-Trans排列为基础的排列，但本发明的技术并不限定于此，R像素、G像素、B像素及IR像素的排列也可以是以拜耳排列或蜂窝(注册商标)排列等其他排列为基础的排列。

并且，在此，作为R像素、G像素及B像素的排列，将通过把通常已知的排列中的一部分G像素替换为IR像素来获得的排列例示为R像素、G像素、B像素及IR像素的排列，但本发明的技术并不限定于此。例如，可以将分别与R像素、G像素及B像素(以下，将这些还称为“可见光像素”)对应的各滤色器作为使红外光也透射的滤色器，在一个滤色器配置基于可见光像素用光电二极管和IR像素用光电二极管(例如，InGaAs APD)的一对光电二极管。

在本实施方式中，光电转换元件26划分为两个区域。即，光电转换元件26具有可见光图像用划分区域26N1及测距用划分区域26N2。可见光图像用划分区域26N1是基于多个可见光像素的可见光像素组，用于生成可见光图像。测距用划分区域26N2是基于多个IR像素的IR像素组，用于测距。可见光图像用划分区域26N1接收可见反射光，并输出与受光量相应的电信号。测距用划分区域26N2接收IR反射光，并输出与受光量相应的电信号。

作为一例，如图4所示，在框体12的前表面12B设置有触摸面板显示器59。触摸面板显示器59具备显示器46及触摸面板48。作为显示器46的一例，可举出有机EL显示器。显示器46可以不是有机EL显示器，而是液晶显示器或无机EL显示器等其他种类的显示器。另外，显示器46是本发明的技术所涉及的“显示部(显示器)”的一例。并且，触摸面板48是本发明的技术所涉及的“接收部(接收设备(接收器))”的一例。

显示器46显示图像(例如，实时取景图像及再生图像)及字符信息等。触摸面板48是透射型触摸面板，重叠于显示器46的显示区域的表面。触摸面板48通过检测基于手指或触控笔等指示体的接触来接收来自用户的指示。另外，在此，作为触摸面板显示器59的一例，举出了触摸面板48重叠于显示器46的显示区域的表面的外挂型触摸面板显示器，但这仅是一例。例如，作为触摸面板显示器59，还能够适用外嵌型或内嵌型触摸面板显示器。

作为一例，如图5所示，在智能设备10中，若通过触摸面板48接收到开始摄像的指示，则通过受光器18拍摄摄像区域。即，受光器18接收可见反射光，作为与所接收的可见反射光相应的图像，生成表示摄像区域的可见光图像。可见光图像是本发明的技术所涉及的“摄像区域图像”的一例。

可见光图像根据通过触摸面板48接收的指示，作为实时取景图像或静止图像而显示于显示器46。在图5所示的例子中，摄像区域通过视场角θ1规定。视场角θ1根据通过触摸面板48接收的指示而变更。

作为一例，如图6所示，在智能设备10中，若通过触摸面板48接收到开始测距的指示(以下，还称为“测距开始指示”)，则通过光照射器16照射激光束。照射激光束的角度(以下，还称为“照射角度”)是θ2，照射角度θ2根据通过触摸面板48接收的指示而变更。另外，在图6所示的例子中，举出根据在可见光图像作为实时取景图像而显示于显示器46的状态下通过触摸面板48接收的测距开始指示开始测距的方式例进行说明，但本发明的技术并不限定于此。例如，也可以在可见光图像未显示于显示器46的状态下通过触摸面板48接收到测距开始指示时开始测距。

在智能设备10中，根据从通过光照射器16照射激光束起至通过受光器18的测距用划分区域26N2(参考图3)接收IR反射光为止所需的时间及光速，测定从智能设备10至测距对象为止的距离。例如，若将测距对象为止的距离设为“L”，将光速设为“c”，并将从通过光照射器16照射激光束起至通过测距用划分区域26N2接收IR反射光为止所需的时间设为“t”，则根据式“L＝c×t×0.5”计算距离L。

作为一例，如图7所示，在智能设备10中，分别通过测距用划分区域26N2中包含的多个IR像素接收IR反射光，由此按每个IR像素进行测距。然后，每个IR像素的测距结果作为距离图像而显示于显示器46。在此，距离图像是指以颜色和/或明暗表示按每个IR像素测定的到测距对象为止的距离的图像。

在智能设备10中，根据通过触摸面板48接收的指示，测距结果以距离图像或距离重叠图像而显示于显示器46。在图8所示的例子中，在显示器46显示有距离重叠图像的距离重叠图像是通过对可见光图像(例如，实时取景图像)重叠表示测距结果的数值(在图8所示的例子中，1.6m、1.8m及5.3m)来获得的图像。例如，以从智能设备10至摄像区域内的代表性的多个位置(在图8所示的例子中，3个位置)的各个位置为止的距离显示于可见光图像的状态显示于显示器46。作为代表性的多个位置的一例，可举出摄像区域内的特定被摄体(例如，画面中央区域中包含的被摄体和/或人等)中彼此的对比度差为规定值以上的多个位置。

作为一例，如图9所示，智能设备10除了光照射器16及受光器18以外，还具备控制器15、输入输出接口40、图像存储器42、UI设备44、外部I/F52及通信I/F54。另外，控制器15是本发明的技术所涉及的“处理装置”及“计算机”的一例。

控制器15具备CPU15A、存储装置15B及存储器15C。CPU15A是本发明的技术所涉及的“处理器”、“识别处理器”及“确定处理器”的一例，存储器15C是本发明的技术所涉及的“存储器”的一例。CPU15A、存储装置15B及存储器15C经由总线50连接，总线50与输入输出接口40连接。另外，在图9所示的例子中，为了便于图示，作为总线50图示了1根总线，但也可以是多根总线。总线50可以是串行总线，也可以是包含数据总线、地址总线及控制总线等的并行总线。

存储装置15B存储有各种参数及各种程序。存储装置15B是非易失性存储装置。在此，作为存储装置15B的一例，采用闪存。闪存仅仅是一例，作为存储装置15B，例如可举出磁阻存储器和/或强电介质存储器等各种非易失性存储器来代替闪存或与闪存一同使用。并且，非易失性存储装置也可以是EEPROM、HDD和/或SSD等。并且，存储器15C暂时存储各种信息，用作工作存储器。作为存储器15C的一例，可举出RAM，但并不限于此，也可以是其他种类的存储装置。

在存储装置15B存储有各种程序。CPU15A从存储装置15B读出所需程序，并在存储器15C上执行所读出的程序。CPU15A根据在存储器15C上执行的程序控制整个智能设备10。

在输入输出接口40连接有多个设备，输入输出接口40负责多个设备之间的各种信息的收发。在图9所示的例子中，作为与输入输出接口40连接的多个设备，示出有控制器15、光照射器16、受光器18、图像存储器42、UI设备44、外部I/F52及通信I/F54。

外部I/F52负责与存在于智能设备10的外部的装置(以下，还称为“外部装置”)之间的各种信息的收发。作为外部I/F52的一例，可举出USB接口。在USB接口能够直接或间接地连接智能设备、个人计算机、服务器、USB存储器、存储卡和/或打印机等外部装置(省略图示)。

通信I/F54具有LTE、5G、无线LAN和/或Bluetooth(注册商标)等通信功能，负责外部装置与CPU15A之间的各种信息的收发。例如，通信I/F54经由基站(省略图示)可通信地与网络56(例如，互联网)连接，负责网络56上的外部装置与CPU15A之间的各种信息的收发。

UI设备44具备显示器46，CPU15A使显示器46显示各种信息。并且，UI设备44具备接收设备47。接收设备47具备触摸面板48及硬键部53。硬键部53是包含指示键13(参考图2)的至少一个硬键。CPU15A根据通过触摸面板48接收的各种指示进行动作。另外，在此，硬键部53包含在UI设备44，但本发明的技术并不限定于此，例如，硬键部53也可以与外部I/F52连接。

光照射器16具备透光窗20、光束扩展器21、准直透镜23、LD24及LD驱动器25，沿着光轴L1，从摄像区域侧(物体侧)至LD24，依次配置有透光窗20、光束扩展器21及准直透镜23。LD驱动器25与LD24及输入输出接口40连接，根据CPU15A的指示驱动LD24来从LD24射出激光束。

从LD24射出的激光束通过准直透镜23转换为平行光之后，通过光束扩展器21扩大光径，并从透光窗20朝向测距对象照射。

受光器18具备透光窗22、物镜30A、聚焦透镜30B、光圈30C、光电转换元件26、光电转换元件驱动器32及信号处理电路34。在受光器18中，沿着光轴L2，从摄像区域侧(物体侧)至光电转换元件26，依次配置有透光窗22、物镜30A、聚焦透镜30B及光圈30C。光电转换元件驱动器32与光电转换元件26及输入输出接口40连接，根据CPU15A的指示驱动光电转换元件26。例如，光电转换元件驱动器32在CPU15A的控制下，将规定通过光电转换元件26进行的摄像的定时的摄像定时信号供给至光电转换元件26。光电转换元件26根据从光电转换元件驱动器32供给的摄像定时信号进行复位、曝光及电信号的输出。作为摄像定时信号，例如可举出垂直同步信号及水平同步信号。

受光器18具备对焦控制机构31。对焦控制机构31具备聚焦透镜30B、移动机构60、电机62及电机驱动器64。聚焦透镜30B通过移动机构60支承为能够沿着光轴L2滑动。电机62与移动机构60及电机驱动器64连接。电机驱动器64与输入输出接口40连接，根据来自CPU15A的指示驱动电机62。移动机构60与电机62的驱动轴(省略图示)连接，通过从电机62接受动力，使聚焦透镜30B沿着光轴L2选择性地向物体侧和像侧移动。即，CPU15A通过经由电机驱动器64控制电机62的驱动来调整对焦位置。在此，“对焦位置”是指，对准焦点的状态(例如，将可见光图像的对比度设为最大值的状态或实现了规定的被摄体深度的状态)下的聚焦透镜30B在光轴L2上的位置。以下，为了便于说明，将使聚焦透镜30B对准对焦位置的控制还称为“对焦控制”。

光圈30C是开口不变的固定光圈。在固定光圈的情况下，曝光调节由光电转换元件26的电子快门进行。光圈30C可以不是固定光圈而是可变光圈。另外，受光器18中包含的物镜30A、聚焦透镜30B及光圈30C仅仅是一例，即使透镜的结构和/或光圈30C的位置改变，本发明的技术也成立。

在受光器18，从透光窗22入射反射光。入射于透光窗22的反射光经由物镜30A、聚焦透镜30B及光圈30C成像于光电转换元件26。

光电转换元件26与信号处理电路34连接，将表示可见光像素及IR像素的各像素的像素值的像素数据输出至信号处理电路34。信号处理电路34通过对从光电转换元件26输入的像素数据进行A/D转换来将像素数据数字化，并对数字化的像素数据实施各种信号处理。

信号处理电路34具备可见光像素数据处理电路34A及距离图像生成电路34B。可见光像素数据处理电路34A对关于可见光像素的像素数据实施白平衡调整、清晰度调整、伽马校正、颜色空间转换处理及色差校正等公知的信号处理，由此生成可见光图像。然后，可见光像素数据处理电路34A将可见光图像存储于图像存储器42。另外，通过在图像存储器42中覆盖并保存1帧量的可见光图像，更新图像存储器42内的可见光图像。

测距摄像装置14具备TOF相机19。TOF相机19具备光照射器16、测距用划分区域26N2及距离图像生成电路34B。距离图像生成电路34B从CPU15A获取表示从LD24射出激光束的定时(以下，还称为“射出定时”)的射出定时信号。距离图像生成电路34B根据由射出定时信号表示的射出定时及由各IR像素接收到IR反射光的定时(以下，还称为“受光定时”)，对各IR像素测定从智能设备10至测距对象为止的距离。然后，距离图像生成电路34B根据每个IR像素的测定结果来生成距离图像，并将所生成的距离图像存储于图像存储器42。另外，通过在图像存储器42中覆盖并保存1帧量的距离图像，更新图像存储器42内的距离图像。

作为一例，如图10所示，在存储装置15B存储有摄像处理程序70、测距处理程序72、并行处理程序74、变更处理程序76、显示控制处理程序78、图像识别用词典80及照射能量表82。另外，以下，为了便于说明，无需区分摄像处理程序70、测距处理程序72、并行处理程序74、变更处理程序76及显示控制处理程序78来进行说明时，称为“测距摄像处理程序”。

根据现有技术，IR反射光被IR像素接收，根据射出定时和受光定时，测定从智能设备10至测距对象为止的距离。IR反射光被可见光滤波器完全截止是理想的，但根据IR反射光的强度，难以通过可见光滤波器完全截止。此时，IR反射光到达可见光像素，由此作为噪声出现在可见光图像，有可能影响可见光图像的画质。

作为避免IR反射光作为噪声出现在可见光图像的方法，可考虑如下方法，即，与被摄体的距离为规定距离(例如，0.5m)以下时，在进行摄像动作的期间(例如，通过光电转换元件26进行曝光的期间)停止测距动作。

但是，将测距结果用于对焦控制时，若在进行摄像动作的期间始终停止测距动作，则在停止测距动作的期间无法将测距结果反映于对焦控制，因此与始终进行测距动作的情况相比，对焦控制的精度有可能降低。尤其，将持续移动的被摄体作为测距对象时，有可能根据不符合现状的测距结果进行对焦控制。并且，还可考虑如下情况，即，根据拍摄场景，即使与被摄体的距离是规定距离，但根据被摄体的反射率，IR反射光不会作为噪声出现在可见光图像，但即使在这样的情况下，若与被摄体的距离为规定距离以下，则测距动作也会停止。

因此，在智能设备10中，作为一例，如图11所示，CPU15A从存储装置15B读出测距摄像处理程序，并根据所读出的测距摄像处理程序执行测距摄像处理。测距摄像处理是包含后述的摄像处理(参考图18)、后述的测距处理(参考图19)、后述的并行处理(参考图17)、后述的变更处理(参考图20)及后述的显示控制处理(参考图21A及图21B)的处理。

CPU15A从存储装置15B读出摄像处理程序70，并根据所读出的摄像处理程序70执行摄像处理(参考图18)。并且，CPU15A从存储装置15B读出测距处理程序72，并根据所读出的测距处理程序72执行测距处理(参考图19)。并且，CPU15A从存储装置15B读出并行处理程序74，并根据所读出的并行处理程序74执行并行处理(参考图17)。并且，CPU15A从存储装置15B读出变更处理程序76，并根据所读出的变更处理程序76执行变更处理(参考图20)。而且，CPU15A从存储装置15B读出显示控制处理程序78，并根据所读出的显示控制处理程序78执行显示控制处理(参考图21A及图21B)。

作为一例，如图12所示，测距摄像处理通过由CPU15A作为控制部90、识别部92、获取部94、判定部96及变更部98进行动作来实现。

控制部90执行并行处理。即，控制部90进行使测距摄像装置14并行进行摄像动作及测距动作的控制。另外，在此，举出了并行进行摄像动作及测距动作的方式例，但这仅仅是一例，即使不并行进行摄像动作及测距动作，本发明的技术也成立。例如，即使进行摄像动作的期间和进行测距动作的期间的一部分重叠，本发明的技术也成立。

并且，控制部90从图像存储器42获取可见光图像及距离图像，将基于所获取的可见光图像及距离图像的图像显示于显示器46。具体而言，在显示器46，在控制部90的控制下，可切换地显示可见光图像、距离图像及距离重叠图像。

识别部92从图像存储器42获取可见光图像，对所获取的可见光图像进行图像识别。识别部92从存储装置15B获取图像识别用词典80，参考所获取的图像识别用词典80识别可见光图像中包含的图像。图像识别用词典80是将多种高反射率物体图像和能够确定多种高反射率物体图像的各图像的标识符(以下，还简称为“标识符”)建立对应关联的信息。高反射率物体图像是指表示具有基准反射率以上的反射率的物体(以下，还称为“高反射率物体”)的图像。作为基准反射率，例如可举出如下反射率，即，作为基于照射于物体的激光束的IR反射光透射可见光滤波器而到达可见光像素，由此作为噪声出现在可见光图像的反射率，通过感官测试和/或计算机模拟等预先导出的反射率。作为基准反射率以上的物体，可举出作为具有光泽性的物体而预先确定的物体及作为白色物体而预先确定的物体等。作为具有光泽性的物体而预先确定的物体例如是指镜板及光泽球体等。并且，作为白色物体而预先确定的物体例如是指白衣、白色气球及白头发等。另外，镜板是本发明的技术所涉及的“镜状物体”的一例。

在此，作为图像识别用词典80中包含的信息例示了多种高反射率物体图像，但本发明的技术并不限定于此，也可以是多种高反射率物体图像各自的特征量(例如，空间频率和/或亮度等)。并且，图像识别用词典80是基于通过机器学习图像与被摄体识别结果的对应关系而获得的学习结果的信息。另外，在此，举出了将基于通过机器学习而获得的学习结果的信息用作图像识别用词典80的方式例，但该方式例仅仅是一例，可以将通过感官测试和/或计算机模拟等预先导出的信息用作图像识别用词典80。

获取部94获取能够确定摄像区域内的反射率的反射率信息。在此，通过获取部94获取图像识别结果作为反射率信息。图像识别结果是指通过由识别部92对可见光图像进行图像识别来获得的结果。具体而言，通过识别部92识别到高反射率物体图像时，图像识别结果包含能够确定所识别的高反射率物体图像的标识符，通过识别部92未识别到高反射率物体图像时，图像识别结果包含表示未识别到高反射率物体图像的信息。另外，在此，“图像识别结果”是本发明的技术所涉及的“反射率信息”及“基于摄像区域图像的信息”的一例。

判定部96参考通过获取部94获取的图像识别结果，判定在可见光图像内是否包含高反射率物体图像。通过判定部96判定为可见光图像内包含高反射率物体图像时，变更部98在通过测距摄像装置14进行摄像动作及测距动作的状态下，根据通过获取部94获取的图像识别结果，变更激光束的照射能量(以下，还简称为“照射能量”)。

具体而言，变更部98从存储装置15B获取照射能量表82，并根据所获取的照射能量表82，经由LD驱动器25变更从LD24射出的激光束的强度，由此变更照射能量。即，在通过控制部90执行并行处理而并行进行摄像动作及测距动作的状态下，LD驱动器25从LD24射出通过变更部98变更的强度的激光束。

在照射能量表82中，标识符与强度信息建立有对应关联。强度信息是指表示使LD24射出的激光束的强度的信息。根据强度信息表示的激光束的强度是比基准强度弱的强度。在此，基准强度是本发明的技术所涉及的“第1～第4基准照射能量”的一例。

基准强度例如是指，作为使LD24射出的激光束的强度，设定为默认值的强度。设定为默认值的强度例如是指，作为基于照射于被摄体(例如，通常作为人的脸部而预先确定的人物脸部)的激光束的IR反射光通过IR像素以能够测距的光量接收的激光束的强度，通过感官测试和/或计算机模拟等预先导出的强度。

强度信息设定为由根据标识符确定的高反射率物体图像表示的高反射率物体所具有的反射率越高，激光束的强度越弱。在图12所示的例子中，在照射能量表82中，作为根据标识符确定的高反射率物体图像，示出有镜板、光泽球体及白衣。对镜板对应关联有表示强度X₁₁的强度信息。对光泽球体对应关联有表示强度X₁₂的强度信息。对白衣对应关联有表示强度X₁₃的强度信息。在强度X₁₁、强度X₁₂及强度X₁₃之间，成立“强度X₁₁＜强度X₁₂＜强度X₁₃”的大小关系。

在控制部90的控制下，切换显示于显示器46的可见光图像、距离图像及距离重叠图像时，作为一例，如图13所示，控制部90根据通过触摸面板48接收的指示，使显示器46显示显示模式选择画面100。显示模式选择画面100是在使用户等选择可见光图像显示模式、距离图像显示模式及距离重叠图像显示模式中的任一个时由用户等使用的画面。可见光图像显示模式是控制部90使显示器46显示可见光图像的动作模式。距离图像显示模式是控制部90使显示器46显示距离图像的动作模式。距离重叠图像显示模式是控制部90使显示器46显示距离重叠图像的动作模式。

在显示模式选择画面100显示有软键100A、100B及100C。在用户等选择可见光图像显示模式时，由用户等经由触摸面板48打开软键100A。在用户等选择距离图像显示模式时，由用户等经由触摸面板48打开软键100B。在用户等选择距离重叠图像显示模式时，由用户等经由触摸面板48打开软键100C。另外，以下，为了便于说明，不区分可见光图像显示模式、距离图像显示模式及距离重叠图像显示模式来进行说明时，称为“显示模式”。

若通过对显示模式选择画面100的操作而选择显示模式，则作为一例，如图14所示，控制部90使显示器46显示测距范围指定引导画面102。测距范围指定引导画面102是引导用户等指定测距范围的画面。在测距范围指定引导画面102显示有对用户询问是否指定测距范围的消息(以下，还称为“引导消息”)。在图14所示的例子中，作为引导消息的一例，示出有“是否指定测距范围？”的消息。并且，在测距范围指定引导画面102显示有软键102A及102B。在用户等指定测距范围时，由用户等经由触摸面板48打开软键102A。用户等不指定测距范围时，即，将整个摄像区域作为测距范围时，由用户等经由触摸面板48打开软键102B。

若在测距范围指定引导画面102显示于显示器46的状态下，由用户等经由触摸面板48打开软键102A，则作为一例，如图15所示，控制部90使显示器46显示可见光图像作为实时取景图像。在显示器46上显示有实时取景图像的状态下，由用户等经由触摸面板48指定图像区域(在图15所示的例子中，可见光图像上的由虚线包围的矩形区域)。与由用户等指定的图像区域(以下，还称为“指定图像区域”)对应的实空间区域被指定为基于测距摄像装置14的测距对象。

此时，作为一例，如图16所示，从触摸面板48向控制部90输出能够确定可见光图像上的指定图像区域的位置的区域位置确定信息(例如，坐标)。控制部90将能够确定测距用划分区域26N2中的测距用指定划分区域26N2a的位置的划分区域位置信息(例如，像素地址)输出至光电转换元件驱动器32。在此，测距用指定划分区域26N2a是指，测距用划分区域26N2中，与根据从触摸面板48输入的区域位置确定信息确定的指定图像区域的位置对应的位置的划分区域。

光电转换元件驱动器32在测距动作中仅驱动测距用划分区域26N2中的测距用指定划分区域26N2a，由此使测距摄像装置14利用仅通过测距用指定划分区域26N2a接收的IR反射光进行测距。即，利用仅通过TOF相机19(参考图9)中包含的多个IR像素中的包含于指定区域内的至少一个IR像素接收的IR反射光进行测距。

接着，参考图17至图21B，对智能设备10的本发明的技术所涉及的部分的作用进行说明。

首先，参考图17对通过CPU15A执行的并行处理进行说明。

在图17所示的并行处理中，首先，在步骤ST10中，控制部90判定是否满足开始并行处理的条件(以下，还称为“并行处理开始条件”)。作为并行处理开始条件的一例，可举出触摸面板48接收到开始并行处理的指示的条件。在步骤ST10中，不满足并行处理开始条件时，判定被否定，再次进行步骤ST10的判定。在步骤ST10中，满足并行处理开始条件时，判定被肯定，并行处理向步骤ST12过渡。

在步骤ST12中，控制部90通过开始摄像处理及测距处理，使测距摄像装置14开始摄像动作及测距动作，之后，并行处理向步骤ST14过渡。

在步骤ST14中，控制部90判定是否满足结束并行处理的条件(以下，还称为“并行处理结束条件”)。作为并行处理结束条件的一例，可举出触摸面板48接收到结束并行处理的指示的条件。在步骤ST14中，不满足并行处理结束条件时，判定被否定，再次进行步骤ST14的判定。在步骤ST14中，满足并行处理结束条件时，判定被肯定，并行处理向步骤ST16过渡。

在步骤ST16中，控制部90通过结束摄像处理及测距处理，使测距摄像装置14结束摄像动作及测距动作，之后，并行处理结束。

接着，参考图18对通过CPU15A执行的摄像处理进行说明。

在图18所示的摄像处理中，首先，在步骤ST20中，控制部90判定是否到达使测距摄像装置14进行摄像的定时(以下，还称为“摄像定时”)。作为摄像定时的一例，可举出根据规定帧速率的周期来设定的定时。例如，若帧速率为120fps，则规定帧速率的周期为1/120秒。在步骤ST20中，未到达摄像定时时，判定被否定，摄像处理向步骤ST28过渡。在步骤ST20中，到达摄像定时时，判定被肯定，摄像处理向步骤ST22过渡。

在步骤ST22中，控制部90通过使光电转换元件驱动器32输出摄像定时信号，使光电转换元件26复位并使光电转换元件26进行曝光，之后，摄像处理向步骤ST24过渡。

在步骤ST24中，控制部90使可见光像素数据处理电路34A进行各种信号处理。即，可见光像素数据处理电路34A通过对关于光电转换元件26中包含的可见光像素的像素数据实施各种信号处理来生成可见光图像。

在步骤ST26中，控制部90使可见光像素数据处理电路34A将可见光图像存储于图像存储器42，之后，摄像处理向步骤ST28过渡。

在步骤ST28中，控制部90判定是否满足结束摄像处理的条件(以下，还称为“摄像处理结束条件”)。作为摄像处理结束条件的一例，可举出已执行图17所示的步骤ST16的处理的条件。在步骤ST28中，不满足摄像处理结束条件时，判定被否定，摄像处理向步骤ST20过渡。在步骤ST28中，满足摄像处理结束条件时，判定被肯定，摄像处理结束。

接着，参考图19对通过CPU15A执行的测距处理进行说明。

在图19所示的测距处理中，首先，在步骤ST40中，控制部90判定是否到达使测距摄像装置14进行测距的定时(以下，还称为“测距定时”)。测距定时例如为以比摄像定时短的周期到达的定时。在步骤ST40中，未到达测距定时时，判定被否定，测距处理向步骤ST56过渡。在步骤ST40中，到达测距定时时，判定被肯定，测距处理向步骤ST42过渡。

在步骤ST42中，控制部90使光照射器16照射激光束。即，控制部90通过控制LD驱动器25来使LD24射出激光束，之后，测距处理向步骤ST44过渡。

在步骤ST44中，控制部90判定是否通过测距用指定划分区域26N2a接收到IR反射光。在步骤ST44中，未通过测距用指定划分区域26N2a接收到IR反射光时，判定被否定，再次进行步骤ST44的判定。在步骤ST44中，通过测距用指定划分区域26N2a接收到IR反射光时，判定被肯定，测距处理向步骤ST46过渡。

在步骤ST46中，控制部90使距离图像生成电路34B根据测距结果生成距离图像，之后，测距处理向步骤ST48过渡。

在步骤ST48中，控制部90使距离图像生成电路34B将在步骤ST46中生成的距离图像存储于图像存储器42，之后，测距处理向步骤ST50过渡。

通过测距摄像装置14进行的测距动作是对焦用测距动作，测距摄像装置14根据通过对焦用测距动作进行测距而获得的测距结果进行对摄像区域的对焦。因此，在测距处理中，由控制部90执行步骤ST50～步骤ST54的处理。

在步骤ST50中，控制部90从图像存储器42获取距离图像，并根据所获取的距离图像，导出从智能设备10至摄像区域内的特定区域为止的距离，之后，测距处理向步骤ST52过渡。在此，特定区域例如是指，作为对准焦点的物体侧的区域，由用户等经由触摸面板48指定的区域。另外，特定区域并不限定于此，例如，可以是通过运行所谓的脸部检测功能来确定的人物的脸部，也可以是代表性的多个位置(参考图8)中的一个位置。

在步骤ST52中，控制部90根据在步骤ST50中导出的距离导出对焦位置，之后，测距处理向步骤ST54过渡。对焦位置例如由控制部90从将距离与对焦位置建立对应关联的对焦位置导出表(省略图示)导出，或从将距离作为独立变量并将对焦位置作为从属变量的对焦位置导出运算式(省略图示)导出。

在步骤ST54中，控制部90通过使对焦控制机构31工作，使聚焦透镜30B移动至在步骤ST52中导出的对焦位置，之后，测距处理向步骤ST56过渡。

在步骤ST56中，控制部90判定是否满足结束测距处理的条件(以下，还称为“测距处理结束条件”)。作为测距处理结束条件的一例，可举出已执行图17所示的步骤ST16的处理的条件。在步骤ST56中，不满足测距处理结束条件时，判定被否定，测距处理向步骤ST40过渡。步骤ST56中，满足测距处理结束条件时，判定被肯定，测距处理结束。

接着，参考图20对在通过控制部90执行并行处理的状态下由CPU15A执行的变更处理进行说明。

在图20所示的变更处理中，首先，在步骤ST70中，识别部92判定图像存储器42内的可见光图像是否被更新。在步骤ST70中，图像存储器42内的可见光图像未被更新时，判定被否定，变更处理向步骤ST82过渡。在步骤ST70中，图像存储器42内的可见光图像被更新时，判定被肯定，变更处理向步骤ST71过渡。

在步骤ST71中，识别部92从图像存储器42获取可见光图像，之后，变更处理向步骤ST72过渡。

在步骤ST72中，识别部92参考图像识别用词典80对在步骤ST70中获取的可见光图像执行图像识别，之后，变更处理向步骤ST74过渡。

在步骤ST74中，获取部94获取在步骤ST72中通过由识别部92执行图像识别而获得的图像识别结果，之后，变更处理向步骤ST76过渡。

在步骤ST76中，判定部96根据在步骤ST74中获取的图像识别结果，判定在步骤ST70中获取的可见光图像内是否包含高反射率物体图像。在步骤ST76中，在步骤ST70中获取的可见光图像内不包含高反射率物体图像时，判定被否定，变更处理向步骤ST82过渡。在步骤ST76中，在步骤ST70中获取的可见光图像内包含高反射率物体图像时，判定被肯定，变更处理向步骤ST78过渡。

在步骤ST78中，变更部98从照射能量表82获取与在步骤ST74中获取的图像识别结果中包含的标识符对应的强度信息，之后，变更处理向步骤ST80过渡。

在步骤ST80中，变更部98将经由LD驱动器25从LD24射出的激光束的强度变更为由在步骤ST78中获取的强度信息表示的强度，之后，变更处理向步骤ST82过渡。

在步骤ST82中，控制部90判定是否满足结束变更处理的条件(以下，还称为“变更处理结束条件”)。作为变更处理结束条件的一例，可举出已执行图17所示的步骤ST16的处理的条件。在步骤ST82中，不满足变更处理结束条件时，判定被否定，变更处理向步骤ST70过渡。步骤ST82中，满足变更处理结束条件时，判定被肯定，变更处理结束。

接着，参考图21A及图21B对由CPU15A执行的显示控制处理进行说明。

在图21A所示的显示控制处理中，首先，在步骤ST100中，控制部90判定是否设定有可见光图像显示模式。在步骤ST100中，设定有可见光图像显示模式时，判定被肯定，显示控制处理向步骤ST102过渡。在步骤ST100中，未设定可见光图像显示模式时，判定被否定，显示控制处理向步骤ST106过渡。

在步骤ST102中，控制部90从图像存储器42获取最新的可见光图像，之后，显示控制处理向步骤ST104过渡。

在步骤ST104中，控制部90使显示器46显示在步骤ST102中获取的最新的可见光图像，之后，显示控制处理向步骤ST122过渡。

另外，通过重复执行步骤ST100～步骤ST104的处理，由测距摄像装置14通过作为摄像动作进行为了实时取景图像用而拍摄摄像区域的实时取景图像用摄像动作来获得的实时取景图像显示于显示器46。

在步骤ST106中，控制部90判定是否设定有距离图像显示模式。在步骤ST106中，设定有距离图像显示模式时，判定被肯定，显示控制处理向步骤ST108过渡。在步骤ST106中，未设定距离图像显示模式时，判定被否定，显示控制处理向图21B所示的步骤ST112过渡。

在步骤ST108中，控制部90从图像存储器42获取最新的距离图像，之后，显示控制处理向步骤ST110过渡。

在步骤ST110中，控制部90使显示器46显示在步骤ST108中获取的最新的距离图像，之后，显示控制处理向步骤ST122过渡。

在图21B所示的步骤ST112中，控制部90从图像存储器42获取最新的距离图像，之后，显示控制处理向步骤ST114过渡。

在步骤ST114中，控制部90根据在步骤ST112中获取的最新的距离图像，导出从智能设备10至代表性的多个位置(参考图8)为止的距离，之后，显示控制处理向步骤ST116过渡。

在步骤ST116中，控制部90从图像存储器42获取最新的可见光图像，之后，显示控制处理向步骤ST118过渡。

在步骤ST118中，控制部90通过对在步骤ST116中获取的最新的可见光图像重叠在步骤ST114中导出的距离来生成距离重叠图像，之后，显示控制处理向步骤ST120过渡。另外，对在步骤ST116中获取的最新的可见光图像重叠在步骤ST114中导出的距离的位置是与代表性的多个位置对应的位置。

在步骤ST120中，控制部90使显示器46显示在步骤ST118中生成的距离重叠图像，之后，显示控制处理向图21A所示的步骤ST122过渡。

在步骤ST122中，控制部90判定是否满足结束显示控制处理的条件(以下，还称为“显示控制处理结束条件”)。作为显示控制处理结束条件的一例，可举出通过触摸面板48接收到结束显示控制处理的指示的条件。在步骤ST122中，不满足显示控制处理结束条件时，判定被否定，显示控制处理向步骤ST100过渡。步骤ST122中，满足显示控制处理结束条件时，判定被肯定，显示控制处理结束。

如以上说明，在智能设备10中，通过控制部90进行使测距摄像装置14进行摄像动作及测距动作的控制。并且，通过获取部94获取能够确定摄像区域内的反射率的反射率信息(在图12所示的例子中，为“图像识别结果”)。然后，在进行摄像动作及测距动作的状态下，根据通过获取部94获取的反射率信息，通过变更部98变更激光束的强度。因此，根据本结构，与和摄像区域内的反射率无关地确定激光束的强度的情况相比，能够降低激光束对可见光图像带来的影响。

并且，在智能设备10中，通过变更部98根据基于可见光图像的信息(在图12所示的例子中，为“图像识别结果”)变更激光束的强度。因此，根据本结构，与仅依据与摄像区域的距离或仅依据快门速度来变更激光束的强度的情况相比，能够以高精度降低IR反射光对可见光图像带来的影响。

并且，在智能设备10中，通过变更部98根据图像识别结果变更激光束的强度。因此，根据本结构，与仅依据与摄像区域的距离或仅依据快门速度来变更激光束的强度的情况相比，能够以高精度降低IR反射光对可见光图像带来的影响。

并且，在智能设备10中，通过获取部94获取图像识别结果，所述图像识别结果通过由识别部92参考图像识别用词典80对可见光图像进行图像识别来获得。图像识别用词典80是基于通过机器学习图像与被摄体识别结果的对应关系而获得的学习结果的信息。因此，根据本结构，与仅根据用户等视觉辨认摄像区域的结果来判定IR反射光是否对可见光图像带来影响的情况相比，能够以高精度降低IR反射光对可见光图像带来的影响。

并且，在智能设备10中，通过获取部94获取的图像识别结果为表示包含高反射率物体图像的图像识别结果时，通过变更部98使激光束的强度比基准强度弱。因此，根据本结构，和与在摄像区域内是否包含高反射率物体无关地激光束的强度始终为基准强度以上的情况相比，能够降低来自高反射率物体的IR反射光对可见光图像带来的影响。

并且，在智能设备10中，通过获取部94获取的图像识别结果为表示包含具有光泽性的物体的图像识别结果时，通过变更部98使激光束的强度比基准强度弱。因此，根据本结构，和与在摄像区域内是否包含具有光泽性的物体无关地激光束的强度始终为基准强度以上的情况相比，能够降低来自高反射率物体的IR反射光对可见光图像带来的影响。

并且，在智能设备10中，通过获取部94获取的图像识别结果为表示包含镜状物体(例如，镜板)的图像识别结果时，通过变更部98使激光束的强度比基准强度弱。因此，根据本结构，和与在摄像区域内是否包含镜状物体无关地激光束的强度始终为基准强度以上的情况相比，能够降低来自高反射率物体的IR反射光对可见光图像带来的影响。

并且，在智能设备10中，测距摄像装置14具有TOF相机19。因此，根据本结构，能够输出测距结果作为距离图像。

并且，在智能设备10中，在显示器46显示距离图像。因此，根据本结构，能够使用户等在视觉上识别距离图像。

并且，在智能设备10中，利用仅通过测距用指定划分区域26N2a(参考图16)接收的IR反射光进行测距。因此，根据本结构，与利用通过测距用划分区域26N2中包含的所有IR像素接收的IR反射光进行测距的情况相比，能够减轻测距所需的处理的负荷。

并且，在智能设备10中，利用仅通过与从显示有实时取景图像的状态的画面内指定的图像区域(在图15所示的例子中，为“指定图像区域”)的位置对应的位置的IR像素接收的IR反射光进行测距。因此，根据本结构，能够利用仅通过测距用划分区域26N2中包含的所有IR像素中用户所希望的IR像素接收的IR反射光进行测距。

并且，在智能设备10中，通过测距摄像装置14作为摄像动作进行为了实时取景图像用而拍摄摄像区域的实时取景图像用摄像动作。因此，根据本结构，与和摄像区域内的反射率无关地确定激光束的强度的情况相比，能够降低激光束对实时取景图像带来的影响。

并且，在智能设备10中，通过测距摄像装置14作为测距动作进行对焦用的测距动作。即，测距结果用于对焦控制。因此，根据本结构，与不将测距结果用于对焦控制的情况相比，能够以高精度将焦点对准测距对象。

并且，在智能设备10中，将激光束用作具有指向性的光即指向性光来进行测距。因此，根据本结构，与不利用指向性光而进行测距的情况相比，能够以高精度测定存在于远距离的测距对象为止的距离。

另外，在上述实施方式中，举出变更部98从照射能量表82导出与图像识别结果中包含的标识符对应的强度信息，并根据所导出的强度信息变更激光束的强度的方式例进行了说明，但本发明的技术并不限定于此。例如，如图22所示，变更部98也可以从照射能量表182导出与图像识别结果中包含的标识符及拍摄场景对应的强度信息，并根据所导出的强度信息变更激光束的强度。

在图22所示的例子中，照射能量表182是按每个标识符对应关联有拍摄场景和强度信息建立的信息。在图22所示的例子中，作为拍摄场景的一例，举出夜景及晚霞等。照射能量表182中包含的多个强度信息中，根据与在上述实施方式中说明的具有基准反射率以上的拍摄场景反射率的特定拍摄场景对应的强度信息表示的强度是比在上述实施方式中说明的基准强度弱的强度。拍摄场景反射率是指作为对拍摄场景照射的激光束的反射率而预先确定的反射率。拍摄场景反射率是通过感官测试和/或计算机模拟等预先导出的反射率。

触摸面板48接收指示拍摄场景的拍摄场景指示信息。变更部98从照射能量表182导出与根据通过触摸面板48接收的拍摄场景指示信息指示的拍摄场景及图像识别结果中包含的标识符对应的强度信息。然后，变更部98根据从照射能量表182导出的强度信息变更激光束的强度。

通过触摸面板48接收拍摄场景指示信息时，作为一例，如图23所示，在显示器46，在控制部90的控制下显示拍摄场景选择画面104。拍摄场景选择画面104是在使用户等选择多个拍摄场景中的任一个时由用户等使用的画面。在拍摄场景选择画面104显示有促使用户进行拍摄场景的选择的消息(在图23所示的例子中，“请选择拍摄场景。”的消息)。并且，在拍摄场景选择画面104显示有软键104A、104B、104C及104D等多个软键(以下，还称为“拍摄场景选择画面104内的软键”)。在用户等选择夜景场景作为拍摄场景时，由用户等经由触摸面板48打开软键104A。在用户等选择晚霞场景作为拍摄场景时，由用户等经由触摸面板48打开软键104B。在用户等选择风景场景作为拍摄场景时，由用户等经由触摸面板48打开软键104C。在用户等选择人像场景作为拍摄场景时，由用户等经由触摸面板48打开软键104D。如此，通过由用户等打开拍摄场景选择画面104内的软键，通过触摸面板48接收拍摄场景指示信息。

在如此构成的智能设备10中，作为一例，由CPU15A执行如图24所示的变更处理。图24所示的变更处理与图20所示的变更处理相比，不同点在于，代替步骤ST78的处理具有步骤ST178的处理及在步骤ST76的处理与步骤ST178的处理之间具有步骤ST77的处理。

在步骤ST77中，变更部98获取通过触摸面板48接收的拍摄场景指示信息，之后，变更处理向步骤ST178过渡。

在步骤ST178中，变更部98从照射能量表182获取与在步骤ST74中获取的图像识别结果中包含的标识符及在步骤ST77中获取的拍摄场景指示信息对应的强度信息，之后，变更处理向步骤ST80过渡。

如此，在图22至图24所示的例子中，根据通过触摸面板48接收的拍摄场景指示信息及图像识别结果中包含的标识符，通过变更部98变更激光束的强度。因此，根据本结构，与和拍摄场景无关地确定激光束的强度的情况相比，能够降低IR反射光对可见光图像带来的影响。

并且，在图22至图24所示的例子中，根据通过触摸面板48接收的拍摄场景指示信息指示的拍摄场景为具有基准反射率以上的拍摄场景反射率的特定拍摄场景时，通过变更部98使激光束的强度比基准强度弱。因此，根据本结构，与即使所指定的拍摄场景为具有基准反射率以上的拍摄场景反射率的特定拍摄场景但激光束的强度也始终为基准强度以上的情况相比，能够降低特定拍摄场景中的IR反射光对可见光图像带来的影响。

在图22至图24所示的例子中，举出通过变更部98获取与通过触摸面板48接收的拍摄场景指示信息相应的强度信息的方式例进行了说明，但本发明的技术并不限定于此。例如，也可以通过基于识别部92的对可见光图像的图像识别来确定拍摄场景。

此时，作为一例，如图25所示，识别部92从图像存储器42获取可见光图像，并对所获取的可见光图像进行图像识别，由此确定由可见光图像表示的摄像区域的拍摄场景。具体而言，识别部92参考图像识别用词典80确定拍摄场景。图像识别用词典80包含将表示拍摄场景的拍摄场景图像和能够确定由拍摄场景图像表示的拍摄场景的场景确定信息建立对应关联的信息。识别部92参考图像识别用词典80对从图像存储器42获取的可见光图像进行图像识别。即，识别部92从图像识别用词典80确定与可见光图像对应的拍摄场景图像，并从图像识别用词典80获取与所确定的拍摄场景图像对应的场景确定信息。

变更部98从照射能量表182导出与根据通过识别部92获取的场景确定信息确定的拍摄场景及图像识别结果中包含的标识符对应的强度信息。然后，变更部98将激光束的强度变更为由从照射能量表182导出的强度信息表示的强度。另外，在图25所示的例子中，识别部92是本发明的技术所涉及的“确定部”的一例。

在如此构成的智能设备10中，作为一例，由CPU15A执行如图26所示的变更处理。图26所示的变更处理与图24所示的变更处理相比，不同点在于，不具有步骤ST77的处理、在步骤ST74的处理与步骤ST76的处理之间具有步骤ST275的处理及代替步骤ST178的处理具有步骤ST278的处理。

在步骤ST275中，识别部92从图像识别用词典80确定与可见光图像对应的拍摄场景图像，并从图像识别用词典80获取与所确定的拍摄场景图像对应的场景确定信息。

在步骤ST278中，变更部98从照射能量表182获取与在步骤ST74中获取的图像识别结果中包含的标识符及根据在步骤ST275中获取的场景确定信息确定的拍摄场景对应的强度信息，之后，变更处理向步骤ST80过渡。

如此，在图25及图26所示的例子中，根据通过识别部92确定的拍摄场景及图像识别结果中包含的标识符，通过变更部98变更激光束的强度。因此，根据本结构，与和拍摄场景无关地确定激光束的强度的情况相比，能够降低IR反射光对可见光图像带来的影响。

并且，与图22至图24所示的例子相同，图25及图26所示的例子中，根据通过识别部92获取的场景确定信息确定的拍摄场景为具有基准反射率以上的拍摄场景反射率的特定拍摄场景时，也通过变更部98使激光束的强度比基准强度弱。因此，根据本结构，与即使通过识别部92确定的拍摄场景为具有基准反射率以上的拍摄场景反射率的特定拍摄场景但激光束的强度也始终为基准强度以上的情况相比，能够降低特定拍摄场景中的IR反射光对可见光图像带来的影响。

并且，在上述实施方式中，举出通过光照射器16对测距对象照射激光束的方式例进行了说明，但本发明的技术并不限定于此。例如，也可以对测距对象照射摄像用辅助光(例如，用作所谓的红眼防止措施的可见光)，并通过受光器18接收由测距对象反射的辅助光的反射光(以下，还称为“辅助反射光”)，由此进行测距。

此时，作为一例，如图27所示，使用智能设备200。智能设备200与在上述实施方式中说明的智能设备10相比，不同点在于，代替测距摄像装置14具有测距摄像装置214及代替受光器18具有受光器218。测距摄像装置214与测距摄像装置14相比，不同点在于，具有辅助光照射器213。

辅助光照射器213具备LED202及LED驱动器204。LED驱动器204与LED202及输入输出接口40连接。LED驱动器204根据来自CPU15A(例如，控制部90)的指示来控制LED202。LED驱动器204在CPU15A的控制下使LED202产生辅助光，由此朝向摄像区域照射辅助光。另外，LED202是本发明的技术所涉及的“光源”的一例。

受光器218与受光器18相比，不同点在于，代替光电转换元件26具有光电转换元件226。光电转换元件226的不同点在于，代替测距用指定划分区域26N2a(参考图16)具有测距用指定划分区域26N2b。测距用指定划分区域26N2b与测距用指定划分区域26N2a相比，不同点在于，代替IR像素适用了G像素。测距用指定划分区域26N2b在控制部90的控制下接收辅助反射光。另外，测距用指定划分区域26N2b是本发明的技术所涉及的“受光元件”的一例。

作为一例，如图28所示，CPU15A通过根据测距摄像处理程序作为控制部90、获取部94及变更部98进行动作来实现测距摄像处理。信号处理电路34具备A/D转换器34C。A/D转换器34C与测距用指定划分区域26N2b连接，将通过测距用指定划分区域26N2b接收的辅助反射光的受光量数字化。

获取部94获取通过A/D转换器34C数字化的受光量，并通过计算来获取通过测距用指定划分区域26N2b在每单位时间接收到辅助反射光的受光量(以下，还称为“单位时间受光量”)。

在存储装置15B存储有照射能量表282。照射能量表282与照射能量表82相比，不同点在于，代替标识符适用了单位时间受光量。

变更部98从照射能量表282获取与通过获取部94获取的单位时间受光量对应的强度信息。然后，变更部98将经由LED驱动器204从LED202照射的辅助光的强度变更为由从照射能量表282获取的强度信息表示的强度。

在如此构成的智能设备200中，作为一例，由CPU15A执行如图29所示的变更处理。

在图29所示的变更处理中，首先，在步骤ST200中，控制部90判定是否满足使LED202照射辅助光的条件(以下，还称为“辅助光照射条件”)。作为辅助光照射条件的一例，例如可举出到达作为红眼防止措施而照射辅助光的定时的条件。在步骤ST200中，不满足辅助光照射条件时，判定被否定，变更处理向步骤ST210过渡。在步骤ST200中，满足辅助光照射条件时，判定被肯定，变更处理向步骤ST202过渡。

在步骤ST202中，控制部90使LED202照射辅助光，之后，变更处理向步骤ST204过渡。

在步骤ST204中，获取部94通过计算来获取通过测距用指定划分区域26N2b在每单位时间接收到辅助反射光的受光量(以下，还称为“单位时间受光量”)，之后，变更处理向步骤ST206过渡。

另外，在此，示出了单位时间受光量，但本发明的技术并不限定于此，例如也可以代替单位时间受光量，适用通过微调单位时间受光量来获得的微调完毕信息(例如，通过对单位时间受光量乘以微调用系数而获得的微调完毕信息)。在此，“微调完毕信息”是本发明的技术所涉及的“基于每单位时间的受光量的信息”的一例。

在步骤ST206中，变更部98从照射能量表282获取强度信息，之后，变更处理向步骤ST208过渡。在本步骤ST206中，通过变更部98从照射能量表282获取与在步骤ST204中计算出的单位时间受光量对应的强度信息。

在步骤ST208中，变更部98将经由LED驱动器204从LED202照射的辅助光的强度变更为由在步骤ST206中获取的强度信息表示的强度，之后，变更处理向步骤ST210过渡。

在步骤ST210中，控制部90判定是否满足上述变更处理结束条件。在步骤ST210中，不满足变更处理结束条件时，判定被否定，变更处理向步骤ST200过渡。步骤ST210中，满足变更处理结束条件时，判定被肯定，变更处理结束。

如此，在图27至图29所示的例子中，从LED202对测距对象照射辅助光，通过测距用指定划分区域26N2b接收辅助反射光。通过获取部94获取基于接收到辅助反射光的受光结果的信息。然后，根据通过获取部94获取的基于受光结果的信息，通过变更部98变更辅助光的强度。因此，根据本结构，和与基于接收到辅助反射光的受光结果的信息无关地确定辅助光的强度的情况相比，能够降低辅助反射光对可见光图像带来的影响。

并且，在图27至图29所示的例子中，通过获取部94获取单位时间受光量。然后，根据通过获取部94获取的单位时间受光量，通过变更部98变更辅助光的强度。因此，根据本结构，和与单位时间受光量无关地确定辅助光的强度的情况相比，能够降低辅助反射光对可见光图像带来的影响。

并且，在图27至图29所示的例子中，举出通过变更部98根据从照射能量表282导出的强度信息变更辅助光的强度的方式例进行了说明，但本发明的技术并不限定于此。例如，如图30所示，获取部94也可以通过从单位时间受光量换算摄像区域内的反射率(以下，还简称为“反射率”)来获取强度信息。作为在从单位时间受光量换算反射率时使用的换算式，例如，可举出将单位时间受光量作为独立变量且将摄像区域内的反射率作为从属变量的换算式。在图30所示的例子中，在存储装置15B存储有照射能量表382。照射能量表382与图28所示的照射能量表282相比，不同点在于，代替单位时间受光量适用了反射率。变更部98从照射能量表382获取与通过获取部94获取的反射率对应的强度信息。然后，变更部98变更为由从照射能量表382获取的强度信息表示的强度。

在如此构成的智能设备200中，作为一例，由CPU15A执行如图31所示的变更处理。图31所示的变更处理与图29所示的变更处理相比，不同点在于，代替步骤ST206的处理具有步骤ST300的处理及步骤ST302的处理。

在图31所示的变更处理中，在步骤ST300中，获取部94根据在步骤ST204中获取的单位时间受光量计算反射率。具体而言，获取部94利用换算式将单位时间受光量换算为反射率。

在接下来的步骤ST302中，变更部98从照射能量表382获取与在步骤ST300中获取的反射率对应的强度信息。

如此，在图30及图31所示的例子中，通过获取部94获取摄像区域内的反射率，并通过变更部98将辅助光的强度变更为与摄像区域内的反射率相应的强度。因此，根据本结构，和与摄像区域内的反射率无关地确定辅助光的强度的情况相比，能够降低辅助反射光对可见光图像带来的影响。

并且，在图30及图31所示的例子中，举出根据通过变更部98从照射能量表382获取的强度信息，通过变更部98变更辅助光的强度的方式例进行了说明，但本发明的技术并不限定于此。例如，变更部98也可以不利用照射能量表382，在通过获取部94获取的反射率为阈值以上时，使辅助光的强度比基准强度弱。在此，阈值例如为相当于如下受光量的值，即，作为辅助反射光作为噪声出现在可见光图像的强度的辅助光照射于摄像区域内时的辅助反射光的受光量，通过感官测试和/或计算机模拟等预先导出的受光量。

在如此构成的智能设备200中，作为一例，由CPU15A执行如图32所示的变更处理。图32所示的变更处理与图31所示的变更处理相比，不同点在于，代替步骤ST302的处理及步骤ST208的处理，具有步骤ST400的处理及步骤ST402的处理。

在图32所示的变更处理中，在步骤ST400中，变更部98判定在步骤ST300中计算出的反射率是否为阈值以上。在步骤ST400中，在步骤ST300中计算出的反射率小于阈值时，判定被否定，变更处理向步骤ST210过渡。在步骤ST400中，在步骤ST300中计算出的反射率为阈值以上时，判定为肯定，变更处理向步骤ST402过渡。

在步骤ST402中，变更部98使辅助光的强度比基准强度弱，之后，变更处理向步骤ST210过渡。

如此，从单位时间受光量换算的反射率为阈值以上时，辅助光的强度通过变更部98减弱为比基准强度弱。因此，根据本结构，和与从单位时间受光量换算的反射率是否为阈值以上无关地辅助光的强度始终为基准强度以上的情况相比，能够降低辅助反射光对可见光图像带来的影响。

并且，在图27～图32所示的例子中，例示了通过LED202照射的辅助光，但本发明的技术并不限定于此，即使在图27～图32所示的例子中将辅助光替换为激光束，本发明的技术也成立。另外，以下，为了便于说明，无需区分辅助光和激光束来进行说明时，称为“测距光”，无需区分辅助反射光和IR反射光来进行说明时，称为“反射光”。

并且，在上述实施方式中，举出与是否为进行正式曝光的定时无关地通过变更部98变更测距光的强度的方式例进行了说明，但本发明的技术并不限定于此。例如，也可以根据在摄像动作中进行的正式曝光的定时，通过变更部98变更测距光的强度。正式曝光的定时例如是指在静止图像用摄像中进行曝光的定时。

此时，作为一例，如图33所示，在显示器46，在控制部90的控制下显示实时取景图像及软键106A。软键106A在用户等指示开始静止图像用摄像时由用户等打开。若在通过测距摄像装置14进行实时取景图像用的摄像的状态下，由用户等打开软键106A，则根据正式曝光的定时，通过变更部98变更测距光的强度。由此，和以与正式曝光无关的定时变更测距光的强度的情况相比，能够在正式曝光时对摄像区域以适当的强度照射测距光。

并且，在上述实施方式中，例示了搭载有受光器18的智能设备10，但本发明的技术并不限定于此，例如如图34所示，即使是搭载有受光器18及350的智能设备300，本发明的技术也成立。作为一例，如图34所示，在将智能设备10设为纵置状态时的框体12的背面12A的左上部(纵置状态的智能设备10的后视观察时的左上部)，与透光窗22相邻而设置有透光窗352。透光窗352与透光窗20及22相同，是具有透光性的光学元件(例如，透镜)，透光窗20、22及352沿着水平方向以规定间隔配置。透光窗352也与透光窗20及22相同，从背面12A露出。

受光器350具备光电转换元件354。光电转换元件354是用于IR反射光的受光用的专门的光电转换元件，具有配置成矩阵状的多个IR像素。作为多个IR像素的一例，可举出“4896×3265”像素量的IR像素用光电二极管(例如，InGaAs APD)。光电转换元件354接收经由透光窗352接收到受光器350的IR反射光，并将与所接收的IR反射光的光量相应的电信号输出至信号处理电路34(参考图9)。

并且，在图34所示的例子中，示出了搭载有受光器18及350的智能设备300，但本发明的技术并不限定于此，例如如图35所示，即使是搭载有受光器18及450的智能设备400，本发明的技术也成立。作为一例，如图35所示，在将智能设备10设为纵置状态时的框体12的背面12A的左上部(纵置状态的智能设备10的后视观察时的左上部)，与透光窗20相邻而设置有透光窗452。透光窗452与透光窗20及22相同，是具有透光性的光学元件(例如，透镜)，透光窗452、20及22沿着水平方向以规定间隔配置。透光窗452也与透光窗20及22相同，从背面12A露出。

受光器450具备单一的光电二极管454。光电二极管454例如是能够接收IR反射光的光电二极管。作为光电二极管454的一例，可举出InGaAs APD。光电二极管454接收经由透光窗452接收到受光器450的IR反射光，并将与所接收的IR反射光的光量相应的电信号输出至信号处理电路34(参考图9)。

并且，在上述实施方式中，举出通过距离图像生成电路34B生成距离图像的方式例进行了说明，但本发明的技术并不限定于此，也可以通过测距摄像装置14，作为测距动作进行测定从智能设备10至测距对象为止的距离的动作，而不是生成距离图像。

并且，在上述实施方式中，举出变更测距光的强度的方式例进行了说明，但本发明的技术并不限定于此，也可以代替测距光的强度或与测距光的强度一同，通过变更测距光的发光时间和/或每单位时间的测距光的发光次数来变更测距光的照射能量。

并且，在上述实施方式中，通过将测距用划分区域26N2变更为测距用指定划分区域26N2a，缩小为由用户等指定的测距对象(所谓的ROI)来进行测距，但缩小测距对象的方法并不限定于此。例如，也可以以对由用户等指定的测距对象照射激光束的方式，根据通过接收设备47接收的指示，由控制部90进行变更激光束的光束直径和/或朝向的控制。

并且，在上述实施方式中，作为本发明的技术所涉及的“指向性光”的一例举出激光束进行了说明，但本发明的技术并不限定于此，也可以代替激光束使用超辐射光，只要利用具有能够测距的指向性的光进行测距即可。

并且，在上述实施方式中，举出测距摄像装置14内置于智能设备10的方式例进行了说明，但本发明的技术并不限定于此。例如，如图36所示，也可以在通常的智能设备500即未内置测距摄像装置14的智能设备500的外部安装测距摄像装置14。

并且，在上述实施方式中，举出UI设备44组装于智能设备10的方式例进行了说明，但也可以将UI设备44中包含的多个构成要件中的至少一部分安装于智能设备10的外部。并且，UI设备44中包含的多个构成要件中的至少一部分也可以作为独立的个体，通过与外部I/F52连接来使用。

并且，在图1所示的例子中，例示了智能设备10，但本发明的技术并不限定于此。即，对内置有测距摄像装置14的各种电子设备(例如，透镜可换式相机、透镜固定式相机、个人计算机和/或可穿戴终端装置等)也能够适用本发明的技术，即使是这些电子设备，也可获得与上述智能设备10相同的作用及效果。

并且，在上述实施方式中，例示了显示器46，但本发明的技术并不限定于此。例如，也可以将后安装于智能设备10的独立的显示器用作本发明的技术所涉及的“显示部”。

并且，在上述实施方式中，举出识别部92搭载于智能设备10的方式例进行了说明，但本发明的技术并不限定于此。例如，也可以是具有识别部92的外部装置(例如，其他智能设备、个人计算机和/或服务器等)与智能设备10连接。此时，通过智能设备10的获取部94获取从外部装置对智能设备10提供的图像识别结果即可。并且，可以使云计算(省略图示)担负识别部92的功能，并从云计算对智能设备10提供图像识别结果。此时，通过智能设备10的获取部94获取从云计算对智能设备10提供的图像识别结果即可。

并且，在上述实施方式中，举出在存储装置15B存储有测距摄像处理程序的方式例进行了说明，但本发明的技术并不限定于此。例如，如图37所示，测距摄像处理程序也可以存储于存储介质900。作为存储介质900的一例，可举出作为非临时存储介质的SSD或USB存储器等任意的便携式存储介质。

存储于存储介质900的测距摄像处理程序安装于控制器15。CPU15A根据测距摄像处理程序执行测距摄像处理。

并且，也可以在经由通信网(省略图示)与控制器15连接的其他计算机或服务器装置等的存储部存储测距摄像处理程序，根据上述智能设备10的请求下载测距摄像处理程序，并安装于控制器15。

另外，无需在与控制器15连接的其他计算机或服务器装置等的存储部或存储装置15B存储所有测距摄像处理程序，可以存储测距摄像处理程序的一部分。

在图37所示的例子中，示出了在智能设备10内置有控制器15的方式例，但本发明的技术并不限定于此，例如控制器15也可以设置于智能设备10的外部。

在图37所示的例子中，CPU15A是单个CPU，但也可以是多个CPU。并且，也可以代替CPU15A适用GPU。

在图37所示的例子中，例示了控制器15，但本发明的技术并不限定于此，可以代替控制器15适用包含ASIC、FPGA和/或PLD的设备。并且，也可以代替控制器15利用硬件结构及软件结构的组合。

作为执行在上述实施方式中说明的测距摄像处理的硬件资源，能够使用以下所示的各种处理器。作为处理器，例如可举出通过执行软件即程序，作为执行测距摄像处理的硬件资源发挥作用的通用的处理器即CPU。并且，作为处理器，例如可举出FPGA、PLD或ASIC等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路。在任何处理器都内置或连接有存储器，任何处理器都通过使用存储器来执行测距摄像处理。

执行测距摄像处理的硬件资源可由这些各种处理器中的一个构成，也可以由相同种类或不同种类的2个以上的处理器的组合(例如，多个FPGA的组合或CPU和FPGA的组合)构成。并且，执行测距摄像处理的硬件资源也可以是一个处理器。

作为由一个处理器构成的例子，第1，有由一个以上的CPU和软件的组合构成一个处理器，该处理器作为执行测距摄像处理的硬件资源发挥作用的方式。第2，有如SoC等为代表，使用由一个IC芯片实现包含执行测距摄像处理的多个硬件资源的整个系统的处理器的方式。如此，测距摄像处理作为硬件资源利用上述各种处理器的一个以上来实现。

而且，作为这些各种处理器的硬件结构，更具体而言，能够利用组合了半导体元件等电路元件的电路。并且，上述测距摄像处理仅仅是一例。因此，当然可以在不脱离主旨的范围内删除不需要的步骤、或追加新的步骤或替换处理顺序。

以上示出的记载内容及图示内容为针对本发明的技术所涉及的部分的详细说明，仅仅是本发明的技术的一例。例如，与上述的结构、功能、作用及效果相关的说明是与本发明的技术所涉及的部分的结构、功能、作用及效果的一例相关的说明。因此，可以在不脱离本发明的技术的宗旨的范围内，对以上示出的记载内容及图示内容，删除不需要的部分或追加新的要素、或替换是毋庸置疑的。并且，为了避免复杂化并且便于理解本发明的技术所涉及的部分，在以上示出的记载内容及图示内容中，省略了与在本发明的技术的实施中无需特别说明的技术常识等相关的说明。

在本说明书中，“A和/或B”的含义与“A及B中的至少一个”相同。即，“A和/或B”意味着可以只是A，也可以只是B，还可以是A及B的组合。并且，在本说明书中，利用“和/或”结合三个以上的事项来表述时，也适用与“A和/或B”相同的概念。

就本说明书中记载的全部的文献、专利申请以及技术规格而言，与具体且分别记载通过参考而编入的各个文献、专利申请以及技术规格的情况相同地，通过参考而编入本说明书。

关于以上的实施方式，还公开以下的附录。

(附录)

一种处理装置，其包括：

处理器；及

存储器，连接或内置于上述处理器，

上述处理器执行包括如下步骤的处理：

执行进行摄像动作及测距动作的控制，所述摄像动作由拍摄摄像区域的摄像部进行，所述测距动作中，通过由测距部对上述摄像区域照射光并接收基于针对上述摄像区域的上述光的反射光来进行测距；

获取能够确定上述摄像区域内的反射率的反射率信息；及

在进行上述摄像动作及上述测距动作的状态下，根据所获取的上述反射率信息来变更上述光的照射能量。

Claims (24)

1.一种处理装置，其具备：

第一处理器；及

存储器，连接或内置于所述第一处理器，

所述第一处理器进行如下处理：

执行使摄像动作及测距动作进行的控制，所述摄像动作由拍摄摄像区域的摄像装置进行，所述测距动作中，通过由测距装置对所述摄像区域照射光并接收基于针对所述摄像区域的所述光的反射光来进行测距，

获取能够确定所述摄像区域内的反射率的反射率信息，

在进行所述摄像动作及所述测距动作的状态下，根据通过能够接收指示拍摄场景的拍摄场景指示信息的接收设备接收到的所述拍摄场景指示信息及所获取的所述反射率信息来变更所述光的照射能量，

在通过所述接收设备接收到的所述拍摄场景指示信息所指示的所述拍摄场景为具有基准反射率以上的拍摄场景反射率的特定拍摄场景的情况下，所述第一处理器使所述照射能量比第1基准照射能量弱。

2.根据权利要求1所述的处理装置，其中，

所述反射率信息是基于由所述摄像装置拍摄所述摄像区域而获得的摄像区域图像的信息。

3.根据权利要求2所述的处理装置，其中，

基于所述摄像区域图像的信息是由第二处理器进行对所述摄像区域图像的图像识别而获得的图像识别结果。

4.根据权利要求3所述的处理装置，其中，

所述第一处理器根据通过对图像与被摄体识别结果的对应关系进行机器学习而获得的学习结果，获取所述图像识别结果。

5.根据权利要求3所述的处理装置，其中，

所述第二处理器根据具有基准反射率以上的反射率的物体的图像、以及与能够确定所述物体的图像的标识符对应的词典数据进行所述图像识别。

6.根据权利要求3或4所述的处理装置，其中，

在通过所述第一处理器获取的所述图像识别结果为表示在所述摄像区域图像内包含表示基准反射率以上的物体的图像的图像识别结果的情况下，所述第一处理器使所述照射能量比第2基准照射能量弱。

7.根据权利要求6所述的处理装置，其中，

所述物体是作为具有光泽性的物体而预先确定的物体。

8.根据权利要求6所述的处理装置，其中，

所述物体是作为白色的物体而预先确定的物体。

9.根据权利要求7所述的处理装置，其中，

所述预先确定的物体是镜状物体。

10.根据权利要求1、2、3、4、5、7、8、9中任一项所述的处理装置，其中，

所述第一处理器进行如下控制，即，从光源产生辅助光作为所述光，且使受光元件接收基于针对所述摄像区域的所述辅助光的辅助反射光，

所述反射率信息是基于通过所述受光元件接收到所述辅助反射光的受光结果的信息。

11.根据权利要求10所述的处理装置，其中，

基于所述受光结果的信息是基于通过所述受光元件接收到的所述辅助反射光的每单位时间的受光量的信息。

12.根据权利要求10所述的处理装置，其中，

在根据所获取的所述反射率信息确定的所述反射率为阈值以上的情况下，所述第一处理器使所述照射能量比第3基准照射能量弱。

13.根据权利要求1、2、3、4、5、7、8、9、11、12中任一项所述的处理装置，其中，

所述测距装置具有TOF相机。

14.根据权利要求13所述的处理装置，其中，

所述第一处理器将通过所述TOF相机生成的距离图像显示于显示器。

15.根据权利要求13所述的处理装置，其中，

所述TOF相机具有多个光电转换像素，

所述测距仅利用通过所述多个光电转换像素中的包含于所指定的区域内的至少一个光电转换像素接收到的所述反射光来进行。

16.根据权利要求15所述的处理装置，其中，

所述至少一个光电转换像素是与从显示有由所述摄像装置拍摄所述摄像区域而获得的摄像区域图像的状态的画面内指定的图像区域的位置对应的位置的光电转换像素。

17.根据权利要求1、2、3、4、5、7、8、9、11、12、14、15、16中任一项所述的处理装置，其中，

所述第一处理器配合在所述摄像动作中进行的正式曝光的定时变更所述照射能量。

18.根据权利要求1、2、3、4、5、7、8、9、11、12、14、15、16中任一项所述的处理装置，其中，

所述摄像动作包含所述摄像装置为了实时取景图像用而拍摄所述摄像区域的实时取景图像用摄像动作。

19.根据权利要求1、2、3、4、5、7、8、9、11、12、14、15、16中任一项所述的处理装置，其中，

所述测距动作是由所述摄像装置进行的对焦用测距动作。

20.根据权利要求19所述的处理装置，其中，

所述摄像装置根据通过所述对焦用测距动作进行所述测距而获得的测距结果进行对所述摄像区域的对焦。

21.根据权利要求1、2、3、4、5、7、8、9、11、12、14、15、16、20中任一项所述的处理装置，其中，

所述光是指向性光。

22.一种电子设备，其包含：

权利要求1至21中任一项所述的处理装置；

所述摄像装置；及

所述测距装置。

23.一种处理方法，其包括如下步骤：

执行使摄像动作及测距动作进行的控制，所述摄像动作由拍摄摄像区域的摄像装置进行，所述测距动作中，通过由测距装置对所述摄像区域照射光并接收基于针对所述摄像区域的所述光的反射光来进行测距；

获取能够确定所述摄像区域内的反射率的反射率信息；及

在进行所述摄像动作及所述测距动作的状态下，根据通过能够接收指示拍摄场景的拍摄场景指示信息的接收设备接收到的所述拍摄场景指示信息及所获取的所述反射率信息来变更所述光的照射能量，

在通过所述接收设备接收到的所述拍摄场景指示信息所指示的所述拍摄场景为具有基准反射率以上的拍摄场景反射率的特定拍摄场景的情况下，使所述照射能量比第1基准照射能量弱。

24.一种计算机可读的非易失性存储介质，存储有程序，该程序用于使计算机执行包括如下步骤的处理：

执行使摄像动作及测距动作进行的控制，所述摄像动作由拍摄摄像区域的摄像装置进行，所述测距动作中，通过由测距装置对所述摄像区域照射光并接收基于针对所述摄像区域的所述光的反射光来进行测距；

获取能够确定所述摄像区域内的反射率的反射率信息；及

在进行所述摄像动作及所述测距动作的状态下，根据通过能够接收指示拍摄场景的拍摄场景指示信息的接收设备接收到的所述拍摄场景指示信息及所获取的所述反射率信息来变更所述光的照射能量，

在通过所述接收设备接收到的所述拍摄场景指示信息所指示的所述拍摄场景为具有基准反射率以上的拍摄场景反射率的特定拍摄场景的情况下，使所述照射能量比第1基准照射能量弱。