CN111524091A - 信息处理装置、信息处理方法和存储介质 - Google Patents
信息处理装置、信息处理方法和存储介质 Download PDFInfo
- Publication number
- CN111524091A CN111524091A CN202010079557.4A CN202010079557A CN111524091A CN 111524091 A CN111524091 A CN 111524091A CN 202010079557 A CN202010079557 A CN 202010079557A CN 111524091 A CN111524091 A CN 111524091A
- Authority
- CN
- China
- Prior art keywords
- image
- unit
- images
- information processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
- Bridges Or Land Bridges (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供信息处理装置、信息处理方法和存储介质。本发明旨在使得能够减少图像拼接失败的可能性。信息处理装置包括:特征提取单元,其被构造为,从待检查物体的从多个视点拍摄的多个图像中的各个图像中提取特征点;图像质量评估单元,其被构造为,针对所述多个图像中的各个图像,来评估基于预定指标的图像质量是否满足用于物体的检查工作的允许条件;以及图像拼接单元,其被构造为,根据基于特征点的位置关系,对所述多个图像当中的、具有满足所述允许条件的图像质量的至少一部分图像进行拼接。
Description
技术领域
本发明涉及一种用于处理通过摄像获取的多条图像信息的技术。
背景技术
对于诸如道路、桥梁、建筑物、塔楼、墙壁、水坝、隧道等基础设施/结构,持续维护至关重要。在对基础设施的持续维护中,重要的是识别、记录和观察裂缝和其他缺陷部分。
在许多情况下采用的基础设施检查方法的示例包括以下方法:拍摄基础设施的图像,基于拍摄图像识别裂缝和其他缺陷,并评估所识别的缺陷。然而,在拍摄图像中,如果被检查基础设施的表面上的每单位面积的分辨率低,则例如由于裂缝图案模糊而导致难以识别缺陷。因此,要求在被检查表面上的每单位面积的拍摄图像的分辨率等于或高于预定值。例如,如果基础设施具有大规模或复杂形状,则难以以预定分辨率或更高的分辨率一次拍摄基础设施的图像。在这种情况下,通过分割摄像来对基础设施进行摄像,并且通过使用在分割摄像中拍摄的图像来识别和评估缺陷。
例如,日本特开2018-90981号公报讨论了一种技术,该技术用于基于到物体的距离来估计图像中的分辨率,并且将所估计的分辨率的平均值与预定分辨率阈值进行比较,以确定是否可以进行图像获取。更具体地,当所估计的分辨率的平均值超过分辨率阈值时,确认图像获取并存储图像。另一方面,当平均值低于分辨率阈值时,拒绝图像获取。
在日本特开2018-90981号公报中讨论的技术基于估计的图像分辨率来确定是否可以进行图像获取。然而,如果仅基于分辨率来确定是否可以进行图像获取,则可用于诸如基础设施的物体的缺陷评估的图像数量可能变得不足,从而可能导致无法识别物体的缺陷。
发明内容
根据本发明的方面,提供了一种信息处理装置,其包括:特征提取单元,其被构造为,从待检查物体的从多个视点拍摄的多个图像中的各个图像中提取特征点;图像质量评估单元,其被构造为,针对所述多个图像中的各个图像,来评估基于预定指标的图像质量是否满足用于物体的检查工作的允许条件;以及图像拼接单元,其被构造为,根据基于由特征提取单元提取的特征点的位置关系,对所述多个图像当中的、具有满足所述允许条件的图像质量的至少一部分图像进行拼接。
通过以下参照附图对示例性实施例的描述,本发明的其他特征将变得清楚。以下描述的本发明的各实施例可以单独实现,或者在必要时或来自各实施例的元件或特征的组合在单个实施例中有益时,可以被实现为多个实施例或其特征的组合。
附图说明
图1示出了根据第一示例性实施例的信息处理装置的整体构造的示例。
图2示出了根据第一示例性实施例的信息处理装置的功能构造。
图3示出了阈值保持单元中保持的表。
图4示出了图像拼接单元的移动结果。
图5是示出根据第一示例性实施例的信息处理装置的处理的流程图。
图6是示出用于评估可用于检查的图像的处理的流程图。
图7是示出根据第一示例性实施例的图像质量评估处理的流程图。
图8是示出根据第一示例性实施例的后处理的流程图。
图9示出了物体表面与入射到相机的光之间的角度。
图10是示出根据第二示例性实施例的图像质量评估处理的流程图。
图11示出了根据第三示例性实施例的信息处理装置的功能构造。
图12示出了根据第三示例性实施例的显示单元上的显示内容。
图13是示出根据第三示例性实施例的后处理的流程图。
图14示出了根据第四示例性实施例的信息处理装置的功能构造。
图15示出了在估计误差保持单元中保持的表。
图16示出了根据第四示例性实施例的显示单元上的显示内容。
图17是示出根据第四示例性实施例的后处理的流程图。
图18示出了根据第一示例性实施例的变型例的散焦量。
图19示出了根据第一示例性实施例的变型例的阈值保持单元中保持的表。
图20示出了根据第一示例性实施例的变型例的图像拼接单元的移动结果。
图21是示出根据第一示例性实施例的变型例的图像质量评估处理的流程图。
具体实施方式
下面将参照附图基于示例性实施例详细描述本发明。以下示例性实施例中描述的构造将被视为示例性的,并且本发明不限于所示出的构造。
图1是示出根据第一示例性实施例的信息处理装置100的硬件构造的示例的框图。信息处理装置100包括中央处理单元(CPU)101、随机存取存储器(RAM)102、只读存储器(ROM)103、辅助存储设备104、输入/输出接口105、通信接口106、显示装置107、总线108、输入控制器109和输入装置110。
CPU 101执行并控制信息处理装置100的各个功能。RAM 102临时存储从外部装置提供的程序和数据。ROM 103存储无需改变的程序和各种参数。显示装置107显示由CPU 101绘制的图形。辅助存储设备104存储各种信息。输入/输出接口105向/从外部装置发送/接收数据。用于连接到网络的通信接口106经由网络向/从外部装置发送/接收数据。作为系统总线的总线108连接CPU 101、RAM 102、ROM 103、辅助存储设备104、输入/输出接口105、通信接口106、显示装置107和输入控制器109。输入控制器109控制来自(下面描述的)输入装置110的输入信号。输入装置110是用于从用户接收操作指令的外部输入装置,诸如键盘和鼠标。当CPU 101加载存储在ROM 103中的程序并执行该程序时,实现(下面描述的)信息处理装置100的功能和处理。
以下将描述着重于如下情况的示例性实施例:拍摄作为被检查物体的基础设施的图像并且基于拍摄图像来识别和评估裂缝和其他缺陷。根据本示例性实施例,如果基础设施具有大规模或复杂形状,则通过使用如下图像来识别和评估缺陷,该图像是通过对通过分割摄像(split imaging)拍摄的基础设施的图像进行拼接而获得的。如上所述,当通过使用拍摄图像来评估缺陷时,需要获取被检查表面上的每单位面积的分辨率等于或大于预定值的图像。当拼接通过分割摄像拍摄的图像时,基于图像拼接之前的图像中的特征点来相互定位图像。然而,如果通过仅使用图像分辨率来确定是否可以进行图像获取(如日本特开2018-90981号公报中所讨论的技术),则可能存储特征点不足的图像。在这种情况下,无法进行基于特征点的定位,从而可能会导致图像拼接失败。
因此,根据第一示例性实施例,从通过分割摄像拍摄的输入图像中提取特征点,然后对其进行评估,并且评估输入图像上的物体的图像质量。然后,基于这些评估结果,评估可用于检查物体的图像。然后,根据第一示例性实施例,估计基础设施的三维形状,并且对于估计的三维形状,基于图像评估结果来映射(投影)输入图像以生成拼接图像。
图2是示出根据第一示例性实施例的信息处理装置100的功能构造的功能框图。下面将参照图2描述根据第一示例性实施例的信息处理装置100的功能构造。
图像输入单元201获取通过使用相机拍摄的物体的图像。物体是指通过使用拍摄图像要检查的对象。物体的示例包括基础设施/结构,诸如桥梁、大坝和隧道的混凝土表面。然而,物体不限于此,并且可以是各种结构的混凝土或任何其他材料(例如,砖)的墙壁表面。由图像输入单元201获取的各个图像包括相机的内部参数,即,图像分辨率、相机的焦距、图像传感器的大小、图像中心的位置以及关于透镜畸变的信息。
特征提取单元202从由图像输入单元201获取的输入图像中提取特征点,在图像之间进行特征点匹配,并将关于特征点的信息和关于特征点匹配的信息输出到位置和姿势估计单元203以及特征评估单元205。下面将详细描述特征提取单元202。
特征评估单元205针对各个图像评估由特征提取单元202提取的特征点。下面将详细描述特征评估单元205。
位置和姿势估计单元203基于关于由特征提取单元202提取的特征点的信息和关于特征点匹配的信息,估计拍摄了图像的相机的位置和姿势。通过使用图像特征点和匹配信息来估计相机位置和姿势的技术是公知的,因此将省略其描述。
形状估计单元204基于由位置和姿势估计单元203估计的相机位置和姿势以及由图像输入单元201获取的图像,估计被检查物体的三维形状。下面将详细描述形状估计单元204。
图像质量评估单元206基于由图像输入单元201获取的输入图像、由形状估计单元204计算出的物体的三维形状、以及由位置和姿势估计单元203估计的相机位置和姿势,来评估被检查物体的图像质量。下面将详细描述图像质量评估单元206。
阈值保持单元207保持针对特征评估单元205的评估结果和图像质量评估单元206的评估结果的阈值。阈值定义了用于确定图像质量是否许可作为用于基础设施检查的图像的允许条件。根据第一示例性实施例,通过使用分辨率作为指标来定义允许条件。下面将详细描述阈值保持单元207。
图像评估单元208基于特征评估单元205的评估结果、图像质量评估单元206的评估结果、以及阈值保持单元207所保持的阈值,在由图像输入单元201所获取的图像中识别可用于检查的区域。然后,图像评估单元208将关于可用于检查的区域的信息输出到图像拼接单元209。下面将详细描述图像评估单元208。
图像拼接单元209基于从图像输入单元201输入的图像、来自位置和姿势估计单元203的相机位置和姿势、来自形状估计单元204的三维形状、以及来自图像评估单元208的关于可用于检查的区域的信息,来拼接多个图像。下面将详细描述图像拼接单元209。
下面将详细描述特征提取单元202、形状估计单元204、特征评估单元205、图像质量评估单元206、阈值保持单元207、图像评估单元208和图像拼接单元209。
特征提取单元202从由图像输入单元201获取的输入图像中提取例如尺度不变特征变换(SIFT,Scale-Invariant Feature Transform)特征点。SIFT特征点是公知的特征点,并且将省略其描述。在本示例性实施例中使用的特征点是用于在从不同摄像方向并且以不同摄像角度拍摄的物体图像之间进行局部区域匹配的特征点。根据本示例性实施例,由于对物体的旋转、放大和缩小的鲁棒性,因此使用SIFT特征点。根据本示例性实施例,由特征提取单元202提取的特征点可以是SIFT特征点之外的特征点,只要可以在图像之间进行局部区域匹配即可。
首先,形状估计单元204通过使用多基线立体方法,基于相机位置和姿势以及与相机位置和姿势相关联的图像来估计三维点组。由形状估计单元204进行的多基线方法使得可以以图像像素为中心进行基于窗口的匹配,以基于三角测量的原理来估计三维点组。
在这种情况下,亮度的差方和(SSD,Sum of Squared Differences)被用作基于窗口的匹配。形状估计单元204还通过使用一般的德洛涅三角剖分(Delaunaytriangulation)对三维点组进行网格化。然后,形状估计单元204将网格化的三维形状输出到图像质量评估单元206和图像拼接单元209。
特征评估单元205通过使用图像中的特征点的二维坐标的位置的峰度和特征点的数量来评估特征点。更具体地说,特征评估单元205通过使用等式(1)来计算各个图像的评估值V。
参照等式(1),α和β是分别指示第一项和第二项的权重的任意系数。根据本示例性实施例,α和β均为1。参照等式(1),Ku表示图像中的特征点的二维坐标的位置分布的峰度,系数j表示图像的维度,N表示特征点的数量。在等式(1)中,评估随着分布的峰度(Ku)的减小和特征点的数量(N)的增大而增大。更具体地,等式(1)指示,对于具有均匀分布在图像中的特征点并且具有较大数量的特征点的图像,可获得更高的评估值。N可以是能够与其他图像的特征点匹配的特征点的数量。同样,对于要用于计算图像中的特征点的二维坐标的位置分布的峰度的特征点,也可以仅使用能够与其他图像的特征点匹配的特征点来进行计算。
图像质量评估单元206估计出现在由图像输入单元201获取的输入图像中的摄像对象物体的分辨率。根据本示例性实施例,图像质量评估单元206估计图像的多少个像素对应于物体上1mm的长度。例如,当使用具有3000×3000像素的相机对物体上的3000mm×3000mm区域进行摄像时,以每1mm 1个像素的分辨率对物体进行摄像。可以基于关于由形状估计单元204估计的三维形状、由位置和姿势估计单元203估计的相机位置和姿势、以及输入到图像输入单元201的图像的大小和内部相机参数的信息,来在几何上计算与物体上的1mm长度相对应的像素的数量。
阈值保持单元207以表格形式保持阈值。图3示出了由阈值保持单元207保持的表301的示例。表301保持针对特征点评估值的阈值302和针对图像质量评估值的阈值303。表301中的针对图像质量评估值的阈值303是物体上的分辨率,这意味着在图3所示的示例中,每1mm 1个像素。
图像评估单元208将特征评估单元205的评估结果的评估值与由阈值保持单元207保持的针对特征点评估值的阈值302进行比较。当特征点评估值等于或大于阈值302时,图像评估单元208还将由图像质量评估单元206提供的各个区域的图像分辨率与由阈值保持单元207保持的针对图像质量评估值的阈值303进行比较,以识别具有等于或大于阈值303的图像质量评估值的像素。
根据本示例性实施例,假定各个区域的图像分辨率是为图像中的各个像素提供的分辨率。然后,图像评估单元208将被识别为具有等于或大于阈值的图像质量评估值的像素的位置信息,作为关于可用于缺陷检查的区域的信息,输出到图像拼接单元209。关于可用于检查的区域的信息具体是指包括与输入到图像输入单元201的图像相同像素数量的二维阵列,其中,可用于检查的各个像素被提供“1”,而不可用于检查的各个像素被提供“0”。
图像评估单元208还能够在多值的基础上保持0至1之间的值,代替将“1”提供给在图像中可用于检查的区域并将“0”提供给在图像中不可用于检查的区域。通过这种方法,当图像拼接单元209进行图像拼接时,没有可用于检查的区域的图像部分可以用在其他图像中具有最接近“1”的可用于检查的区域的值的图像部分来补偿。
图4示出了由图像拼接单元209进行的图像拼接处理。三维形状401是由形状估计单元204估计的三维形状。参照图4,位置403和407表示不同位置处的相机的主点的位置。摄像面402和406表示这些不同位置处的相机的摄像面。尽管摄像面402和406最初位于主点的后面,但是考虑到附图的可理解性,将在这些摄像面被设置在主点的前面的前提下进行以下描述。参照图4,摄像面402和406分别表示裂缝图像409和410,作为在各个表面上形成的缺陷图像。图4示出了拍摄和记录裂缝图像409和410。
区域404和408是在从图像评估单元208输入的二维阵列中可用于检查的区域。投影图像405和411分别表示在摄像面402和406上的图像当中可用于检查的区域404和408在三维形状401上的投影。区域412示出了投影图像405和411彼此交叠的区域。
图像拼接单元209针对三维形状401生成存在可用于检查的区域的所有图像的投影图像405和411,并将这些投影图像投影到三维形状401上。图像拼接单元209还对图像交叠的区域(诸如区域412)进行混合处理。作为混合处理,例如,可以使用多带混合处理。
通过特征评估单元205对根据本示例性实施例的信息处理装置100中的摄像面402和406的图像进行特征点评估。因此,可以获得图像的位置偏差量小的投影图像405和411。通过获得图像的位置偏差量小的投影图像,可以获得防止作为缺陷评估的裂缝评估中的精度降低的效果。原因如下。如果在裂缝检查中在图像之间出现位置偏差,则一个裂缝可能会断开,因此被识别为两个不同的裂缝。本示例性实施例使得可以减小位置偏差量。
即使当从倾斜位置(诸如相机的主点的位置403)拍摄物体时,由于存在可用于检查的区域404,根据本示例性实施例的信息处理装置100也能够获得投影图像405。这在由于存在障碍物或其他物理原因而使相机只能从倾斜位置对物体进行摄像的情况下是有效的。
下面将参照图5、图6、图7和图8所示的流程图来描述由根据第一示例性实施例的信息处理装置100进行的处理的流程。
下面将参照图5所示的流程图描述信息处理装置100的整体处理的流程。
在步骤S501中,图像输入单元201获取由相机拍摄的图像。图像输入单元201可以从存储由相机拍摄的图像的存储介质获取图像,或者可以经由网络获取由相机拍摄的图像。完成步骤S501后,信息处理装置100的处理进入步骤S502。
在步骤S502中,特征提取单元202对由图像输入单元201获取的所有图像进行用于提取特征点的处理。在步骤S503中,特征提取单元202进行特征点之间的匹配。特征提取单元202将关于特征点的信息和关于特征点匹配的信息输出到位置和姿势估计单元203和特征评估单元205。在步骤S502完成之后,信息处理装置100的处理进入步骤S504。
在步骤S504中,位置和姿势估计单元203基于从特征提取单元202输入的关于特征点的信息和关于特征点匹配的信息,估计相机位置和姿势。位置和姿势估计单元203还将关于相机位置和姿势的信息输出到形状估计单元204、图像质量评估单元206和图像拼接单元209。在步骤S504完成之后,信息处理装置100的处理进入步骤S505。
在步骤S505中,形状估计单元204基于从位置和姿势估计单元203输入的关于相机位置和姿势的信息以及从图像输入单元201输入的图像,估计物体的三维形状。在完成步骤S505后,信息处理装置100的处理进入步骤S506。
在步骤S506中,信息处理装置100进行用于评估可用于检查的图像的处理。下面将参照图6和图7所示的流程图详细描述步骤S506中的处理。在完成步骤S506后,信息处理装置100的处理进入步骤S507。
在步骤S507中,信息处理装置100进行图像拼接作为后处理。下面将参照图8所示的流程图详细描述步骤S507中的处理。在步骤S507中的处理完成后,信息处理装置100的处理结束。
图6是示出图5所示的步骤S506中的用于评估可用于检查的图像的处理的详细流程图。
在图6所示的步骤S601中,图像评估单元208确定是否针对从图像输入单元201输入的所有图像完成了图像评估。当图像评估单元208确定完成了针对所有输入图像的图像评估时(步骤S601中为“是”),图像评估单元208结束用于评估可用于检查的图像的处理。然后,信息处理装置100的处理进入步骤S507。另一方面,当图像评估单元208确定未完成针对所有输入图像的图像评估时(步骤S601中为“否”),信息处理装置100的处理进入步骤S602。
在步骤S602中,特征评估单元205从特征提取单元202获取关于特征点的信息,并计算特征点的评估值。由等式(1)表示的评估等式用于计算特征点的评估值。在完成步骤S602后,信息处理装置100的处理进入步骤S603。
在步骤S603中,图像评估单元208将特征评估单元205计算出的特征点评估值与阈值保持单元207保持的针对特征点评估值的阈值302相比较,以确定特征点评估值是否等于或大于阈值。当图像评估单元208确定特征点评估值等于或大于阈值时(步骤S603中为“是”),信息处理装置100的处理进入步骤S604。另一方面,当图像评估单元208确定特征点评估值小于阈值时(步骤S603中为“否”),信息处理装置100的处理返回至步骤S601。
在步骤S604中,信息处理装置100进行图像质量评估处理。然后,信息处理装置100的处理返回到步骤S601。
图7是示出图6所示的步骤S604中的图像质量评估处理的详细流程图。
在步骤S701中,图像质量评估单元206基于从图像输入单元201输入的图像来估计物体上的分辨率分布。在步骤S701完成之后,信息处理装置100的处理进入步骤S702。
在步骤S702中,图像评估单元208将由图像质量评估单元206提供的针对图像中的各个像素的分辨率与由阈值保持单元207保持的针对图像质量评估值的阈值303进行比较,以确定是否存在具有等于或大于阈值的值的像素。当图像评估单元208确定存在具有等于或大于阈值的值的像素时(步骤S702中为“是”),信息处理装置100的处理进入步骤S703。另一方面,当图像评估单元208确定不存在具有等于或大于阈值的值的像素时(步骤S702中为“否”),信息处理装置100结束图像质量评估处理。
在步骤S703中,图像评估单元208将在S702中被识别为具有等于或大于阈值的值的像素的位置信息,作为关于可用于检查的区域的信息输出到图像拼接单元209。然后,信息处理装置100结束图像质量评估处理。
图8是示出图5所示的步骤S507中的后处理的详细流程图。
在步骤S801中,图像拼接单元209从形状估计单元204中读取三维形状。然后,处理进入步骤S802。
在步骤S802中,图像拼接单元209读取由位置和姿势估计单元203估计的相机位置和姿势。然后,处理进入步骤S803。
在步骤S803中,图像拼接单元209获取从图像输入单元201输入的图像。图像拼接单元209还从图像评估单元208获取关于与从图像输入单元201输入的图像相对应的可用于检查的区域的信息。然后,处理进入步骤S804。
在步骤S804中,图像拼接单元209基于相机位置和姿势,将与从图像输入单元201输入的图像相对应的可用于检查的区域的图像投影到从形状估计单元204输入的三维形状上。然后,处理进入步骤S805。
在步骤S805中,图像拼接单元209对投影到从形状估计单元204输入的三维形状上的图像的交叠部分进行混合处理。然后,信息处理装置100的处理结束。
如上所述,根据第一示例性实施例的信息处理装置100评估图像的特征点和图像分辨率,并将具有优选评估结果的图像投影到三维形状。更具体地,本示例性实施例使得可以通过使用可用于精确定位的特征点的拼接处理来减少图像拼接失败,并且可以拼接具有可用于缺陷检查的分辨率的图像。因此,本示例性实施例使得可以获取可用于诸如基础设施的物体的缺陷评估的图像,并因此可以识别物体的缺陷。
作为第一示例性实施例的第一变型例,描述了要由图像质量评估单元206评估的图像质量的指标是散焦量的示例,即,由图像质量评估单元206评估在物体上的聚焦程度的示例。散焦量是指:在聚焦在图像中的像素位置处的物体上时前后偏差量的数值表示。在摄像时,可以通过使用摄像面相位差图像传感器来获取散焦量作为像素位置处的散焦量信息。作为获取散焦量信息的方法,可以使用公知的技术。例如,已经广泛使用了利用由摄像面相位差图像传感器检测到的聚焦中的前后偏差量的自动聚焦技术。
图18示出了散焦图的示例,该散焦图用于可视化从图像输入单元201输入的图像的散焦量信息。根据第一变型例,基于聚焦在图像传感器的像素上的容许弥散圆的大小来检测散焦量信息。散焦量信息伴随从图像输入单元201输入的图像。外框1801是与输入图像的图像大小(图像边界)相对应的框。数值1802指示关于各个区域中的散焦量的信息。线1803指示散焦量不同的区域之间的边界线。
在散焦图中,被分配“0”的区域指示摄像装置的聚焦单位中的无误差区域,被分配“-1”的区域指示摄像装置的一个聚焦单位中的前焦点区域,并且被分配“1”的区域指示摄像装置的一个聚焦单位中的后焦点区域。聚焦单位可以是使得能够确定聚焦状态(程度)的基于任何等级的单位。例如,可以将散焦量的宽度(诸如深度方向上的5mm或8mm)定义为一个单位。存在通过摄像装置的图像传感器的大小与包括光圈的光学透镜系统的容许弥散圆的大小的比而确定的值。
在下面的描述中,上面已经在第一示例性实施例中描述的构造被分配了相同的附图标记,并且将省略其冗余描述。以下将着重描述与第一示例性实施例的差异。根据第一变型例的信息处理装置100的功能构造与图2所示的根据第一示例性实施例的信息处理装置100的功能构造类似。然而,变型例与第一示例性实施例的不同之处在于,图像质量评估单元206的操作以及由阈值信息保持单元207保持的阈值。根据第一变型例的图像质量评估单元206获取伴随由图像输入单元201获取的输入图像的散焦量信息。根据第一变型例,散焦量信息是伴随图像的信息。当图像是保持关于摄像面相位差图像传感器的信息的RAW数据时,基于相位差信息来计算散焦量信息。
阈值信息保持单元207以表格形式保持阈值。图19示出了根据第一变型例的由阈值保持单元207保持的表1901的示例。表1901保持针对特征点评估值的阈值1902和针对图像质量评估值的阈值1903。表1901中的针对图像质量评估值的阈值1903是指针对与图像相对应的散焦量的值的阈值。根据第一变型例,散焦量的值为5或更小的区域是可用于检查的区域。更具体地,参照图18所示的散焦图,例如,散焦量的值为6或更大的右侧的一些区域以外的图像区域是可用于检查的区域。
图20示出了由图像拼接单元209进行的图像拼接处理,并且对应于根据第一示例性实施例的图4。三维形状401是由形状估计单元204估计的三维形状。参照图20,位置403和407指示不同位置处的相机的主点的位置。摄像面2001和2002表示在这些不同位置处的相机的摄像面。参照图20,类似于图4,考虑到附图的可理解性,将摄像面设置在主点的前面。另外,摄像面2001和2002分别将裂缝图像2003和2004表示为聚焦在相应平面上的缺陷图像,并且拍摄并记录裂缝图像2003和2004。
区域2005和2006是从图像评估单元208输入的二维阵列中的可用于检查的区域。投影图像2007和2008分别表示在摄像面2001和2002上的图像当中可用于检查的区域2005和2006在三维形状401上的投影。
图像拼接单元209针对三维形状401生成存在可用于检查的区域的所有图像中的投影图像2007和2008,并将这些投影图像投影到三维形状401上。类似于第一示例性实施例,图像拼接单元209还对图像交叠的区域(诸如区域412)进行混合处理。此外,在第一变型例中,信息处理装置100中的摄像面2001和2002上的图像经历通过特征评估单元205进行的特征点评估。因此,可以获得图像中位置偏差量小的投影图像2007和2008。即使当从倾斜位置(诸如相机的主点的位置403)拍摄物体时,由于存在可用于检查的区域2005,根据第一变型例的信息处理装置100也能够获得投影图像2007。
根据图5、图6、图8和图21所示的流程图来进行根据第一示例性实施例的变型例的信息处理装置100的处理。图5和图8所示的流程图与根据第一示例性实施例的相似,并且将省略其冗余描述。在图6所示的图像质量评估处理中,代替图7所示的流程图,进行图21所示的流程图的处理。
下面将参照图21所示的流程图详细描述根据变型例的图6所示的步骤S604中的图像质量评估处理。在步骤S2101中,图像质量评估单元206针对从图像输入单元201输入的图像获取散焦量分布信息。在步骤S2102中,图像评估单元208将由图像质量评估单元206提供的针对图像中各个像素的散焦量的信息与由阈值保持单元207保持的针对图像质量评估值的阈值1903进行比较,以确定是否存在散焦量大于阈值的像素。当图像评估单元208确定存在散焦量大于阈值的像素时(步骤S2102中为“是”),信息处理装置100的处理进入步骤S2103。另一方面,当图像评估单元208确定不存在散焦量大于阈值的像素时(步骤S2102中为“否”),信息处理装置100结束图像质量评估处理。
在步骤S2103中,图像评估单元208将在S2102中识别出的散焦量大于阈值的像素的位置信息,作为关于可用于检查的区域的信息输出到图像拼接单元209。然后,信息处理装置100结束图像质量评估处理。
如上所述,根据第一示例性实施例的第一变型例的信息处理装置100评估图像的特征点和散焦量,并且将具有优选评估结果的图像投影到三维形状。更具体地,第一变型例使得可以通过使用可用于精确定位的特征点的拼接处理来减少图像拼接失败,并且可以拼接具有可用于缺陷检查的散焦量的图像。
在图像拼接中使用散焦量进行评估,使得可以仅使用焦点位于阈值内的区域,从而消除了由于在根据第一示例性实施例的几何分辨率估计中不可避免的物理误差因素而导致的不良图像。如果拼接图像变为对焦不清楚的图像,则可以将该问题处理为再次进行摄像时的报告项,如摄像中的图像抖动的问题。另选地,如果可以在不清楚的图像中确认图像抖动宽度的量,则可以考虑图像抖动来进行缺陷检查,以代替再次进行摄像。因此,第一变型例使得可以针对诸如基础设施的物体的缺陷评估获取基于散焦量的可用图像,并因此可以识别物体的缺陷。
根据第一示例性实施例和第一变型例,当图像拼接单元209将图像质量满足允许条件的输入图像区域投影到基于输入图像的特征量估计的三维形状上时,信息处理装置100的处理结束。下面将着重于添加了用于生成要用于物体检查工作的检查图像的处理的情况,来描述第一示例性实施例的第二变型例。
对物体的检查具体地是指:基于作为被检查的物体的结构(基础设施)的拍摄图像来识别和评估裂缝和其他缺陷。缺陷识别工作是手动进行的。另选地,通过使用已经学习的学习模型检测图像中的缺陷来进行缺陷识别工作。在任何一种情况下,优选使用从面向结构的被检查的表面的视点观看的图像。例如,当缺陷是裂缝时,在从面向结构的视点观看结构的情况与从倾斜了倾斜角度的视点观看结构的情况之间,以不同的方式观看裂缝宽度。更具体地,在倾斜摄像中拍摄的图像中,以不同的方式观看存在于图像的近侧和远侧的具有相同宽度的裂缝。因此,有必要基于不同的标准来确定裂缝宽度。当在大结构的宽范围内进行缺陷识别工作时,考虑到各个区域的倾斜角度来细微地改变确定标准是很麻烦的。为了以这种方式基于在大结构的整个部分上尽可能统一的确定标准来识别缺陷,优选的是使用与从面向结构的各个区域的位置拍摄的结构的图像等效的检查图像。
根据第一示例性实施例和第一变型例,图像拼接单元209可以生成如下三维模型,在该三维模型中,图像质量满足允许条件的输入图像区域被投影到基于输入图像的特征量估计的三维形状上。因此,可以由作为CPU 101的功能的生成单元来生成结构的检查图像。更具体地,在任意设置虚拟相机的位置的情况下,生成单元将从面向结构的位置观看的部分图像剪切为适合于后续阶段的处理的大小,以生成检查图像。信息处理装置100在显示装置107上显示所生成的检查图像。检查员在手动进行检查时,基于所显示的检查图像来识别裂缝部分,并通过使用输入装置110输入裂缝信息。例如,使用指示设备来跟踪检查图像的裂缝。
下面将描述第二示例性实施例。
根据第二示例性实施例,与第一示例性实施例不同,图像质量评估单元206不仅评估物体上的分辨率,而且评估入射到相机的光与物体表面之间的角度。在下面的描述中,上面已经在第一示例性实施例中描述的构造被分配了相同的附图标记,并且将省略其冗余描述。以下将详细描述与根据第一示例性实施例的图像质量评估单元206不同的图像质量评估单元206。
对于从图像输入单元201输入的图像中的各个像素,图像质量评估单元206基于由形状估计单元204估计的三维形状和由位置和姿势估计单元203估计的相机位置和姿势,来估计入射到相机的光与物体表面之间的角度。
下面将参照图9描述入射到相机的光与物体表面之间的角度。
入射到相机的光与物体表面之间的角度是指图9中所示的角度904。角度904是与摄像面406上的图像中的位置905相对应的角度。角度904是由线903和908形成的角度。线903是从相机的主点407起并穿过图像中的位置905的线。线908是将交点902和907连接的线。交点907是线903与物体表面的三维形状401之间的交点。交点902是线901与物体表面的三维形状401之间的交点。线901是从相机的主点407起并穿过图像中心的线。
当角度904减小时,出现在摄像面406上的裂缝在图像中显得较细。因此,当实际使用由信息处理装置100生成的拼接图像进行检查时,可能会错误地将裂缝宽度识别为比实际更细。
因此,本示例性实施例旨在通过以预定值或更大值来设置入射到相机的光与物体表面之间的角度,来减小错误地将裂缝宽度识别为比实际更细的可能性。根据本示例性实施例,预定值例如是60度以上。
根据本示例性实施例的信息处理装置100在阈值保持单元207中以表格形式保持针对入射到相机的光与物体表面之间的角度的阈值,并将该阈值例如添加到在图3所示的针对图像质量评估值的阈值303下面的行。
然后,对于从图像输入单元201输入的图像中的各个像素,除了物体上的分辨率之外,图像质量评估单元206还评估入射到相机的光与物体表面之间的角度是否等于或大于阈值。在图9所示的示例的情况下,入射到相机的光相对于物体表面的角度等于或大于阈值的区域位于区域906内。
图10是示出根据第二示例性实施例的信息处理装置100的图像质量评估处理的流程的流程图。图10所示的流程图的步骤S702和S703中的处理分别类似于图7所示的流程图的步骤S702和S703中的处理,并且将省略其冗余描述。根据第二示例性实施例,根据第一示例性实施例的在步骤S604中的图像质量评估处理之外的处理与根据第一示例性实施例的处理流程相似。
下面将参照图10所示的流程图描述根据第二示例性实施例的步骤S604中的图像质量评估处理。
在步骤S1001中,对于从图像输入单元201输入的图像,图像质量评估单元206针对各个像素计算入射到相机的光与物体表面之间的角度。然后,图像质量评估单元206的处理进入步骤S1002。
在步骤S1002中,图像质量评估单元206从阈值保持单元207中读取入射到相机的光与物体表面之间的角度的阈值。然后,图像质量评估单元206识别入射到相机的光与物体表面之间的角度等于或大于阈值的区域。图像质量评估单元206还针对属于入射到相机的光与物体表面之间的角度等于或大于阈值的区域的像素,估计物体上的分辨率分布。然后,信息处理装置100的处理进入步骤S702。步骤S702和S703中的处理与图7所示的根据第一示例性实施例的流程图中的处理相似,并且将省略其冗余描述。
如上所述,根据第二示例性实施例的信息处理装置100使得可以通过评估入射到相机的光与物体表面之间的角度,来减少错误地将裂缝宽度识别为比实际更细的可能性。
下面将描述第三示例性实施例。在下面的描述中,上面已经在第一示例性实施已经描述的构造被分配了相同的附图标记,并且将省略其冗余描述。
图11是示出根据第三示例性实施例的信息处理装置100的功能构造的功能框图。图11所示的构造包括图2所示的根据第一示例性实施例的构造和附加的显示单元1101。以下将主要描述显示单元1101。
根据第三示例性实施例,信息处理装置100例如连接至相机。图像输入单元201依次获取由相机拍摄的物体的图像。然后,显示单元1101指示显示装置107显示由图像拼接单元209生成的拼接图像。更具体地说,显示单元1101指示显示装置107显示由图像拼接单元209生成的拼接图像,以将拼接图像呈现给正在对对象物体摄像的用户。根据第三示例性实施例的信息处理装置100可以内置在相机中。
图12示出了根据第三示例性实施例的显示单元1101上的显示内容。显示单元1101在显示装置107的显示画面1201上显示由形状估计单元204估计的三维形状401以及由图像拼接单元209生成的投影图像405和411。更具体地,显示单元1101在依次更新显示的同时,继续进行与向图像输入单元201依次输入的图像相对应的显示。
根据第三示例性实施例,图像评估单元208评估由图像输入单元201依次获取的新图像,但是不重新评估已经被评估的图像。因此,根据第三示例性实施例,当在根据第一示例性实施例的图6所示的步骤S601中评估可用于检查的图像的处理中针对所有图像完成图像评估时(步骤S601为“是”),图像评估单元208结束处理。另一方面,当未完成针对所有图像的图像评估时(步骤S601为“否”),处理进入步骤S602。
如果形状估计单元204没有从图像输入单元201获取至少两个图像,则形状估计单元204不能估计三维形状。因此,在从图像输入单元201输入预定数量的图像并且由形状估计单元204进行形状估计之后,显示单元1101开始显示估计的三维形状401。根据本示例性实施例,在已经从图像输入单元201输入了10个图像之后,显示单元1101开始显示。
在根据第三示例性实施例的信息处理装置100的处理中,根据第一示例性实施例的步骤S507中的后处理之外的处理与根据第一示例性实施例的处理相似。因此,下面将参照图13所示的流程图来描述根据本示例性实施例的步骤S507中的后处理。图13所示的步骤S801、S802、S803和S804中的处理与图8中所示的分配了相同附图标记的处理类似,并将省略其冗余描述。
参照图13,在步骤S804中的处理完成后,信息处理装置100的处理进入步骤S1301。
在步骤S1301中,显示单元1101在显示画面1201上显示三维形状401以及投影图像405和411。然后,信息处理装置100结束步骤S507中的后处理。
如上所述,根据第三示例性实施例的信息处理装置100的显示单元1101在显示画面1201上显示三维形状401以及与依次获取的输入图像相对应的投影图像405和411。这使得用户能够在物体的摄像期间参照显示画面1201上的显示,以在物体上识别已经拍摄了可检查的图像的区域和未拍摄可检查的图像的区域。
下面将描述第四示例性实施例。在下面的描述中,上面已经在第一示例性实施例中描述的构造被分配了相同的附图标记,并且将省略其冗余描述。
图14是示出根据第四示例性实施例的信息处理装置100的功能构造的功能框图。根据第四示例性实施例的构造包括图2所示的根据第一示例性实施例的功能构造以及代替图像拼接单元209的作为附加构造的缺陷检测单元1401、估计误差保持单元1402和显示单元1403。因此,下面将描述缺陷检测单元1401、估计误差保持单元1402和显示单元1403。
缺陷检测单元1401基于从图像输入单元201输入的图像来检测作为缺陷的示例的裂缝。作为裂缝检测方法,可以使用通过使用Sobel滤波器提取边缘的方法。另外,缺陷检测单元1401进行噪声去除处理和标记处理作为对裂缝检测结果的标记,以去除小面积标记。关于标记的裂缝,缺陷检测单元1401进一步参照从图像质量评估单元206输入的物体上的分辨率信息。然后,缺陷检测单元1401读取与标记的裂缝位置相对应的物体上的分辨率信息,将分辨率信息与标记的裂缝相关联,并将分辨率信息输出到显示单元1403。
如果存在两条或更多条与标记的裂缝相对应的物体上的分辨率信息,则缺陷检测单元1401提供具有最低分辨率的信息。例如,当存在两种不同的分辨率“每1mm 1个像素”和“每1mm 0.5个像素”时,缺陷检测单元1401提供“每1mm 0.5个像素”。
估计误差保持单元1402保持与物体上的分辨率相对应的裂缝宽度的估计精度的表。图15示出了由估计误差保持单元1402保持的表1501的示例。参照表1501,精度1502、1503和1504表示与物体上的分辨率相对应的裂缝宽度的估计精度。例如,精度1502是指当在物体上以每1mm0.5像素的分辨率进行摄像时,裂缝宽度的估计精度为±0.2mm。
显示单元1403在显示画面上向正在对物体摄像的用户显示信息。根据第四示例性实施例的显示单元1403在更新显示的同时继续进行与依次输入到图像输入单元201的图像相对应的显示。在第四示例性实施例中,类似于第三示例性实施例,显示单元1403在已经从图像输入单元201输入了10个图像之后开始显示。
图16示出了由显示单元1403在相机1601的显示画面1602上显示的详细内容。更具体地,参照图16,根据本示例性实施例的信息处理装置100内置在相机1601中。显示单元1403在相机1601的显示画面1602上显示从图像输入单元201输入的图像。在图16所示的示例中,显示画面1602在从图像输入单元201输入的图像上显示摄像对象物体1603。在该示例中,相机1601从倾斜方向对摄像对象物体1603的表面进行摄像。
显示单元1403将从图像评估单元208输出的关于可用于检查的区域的信息1609叠加在从图像输入单元201输入的图像上。该显示使得用户能够掌握摄像对象物体1603的哪个范围可以被拍摄为可用于检查的区域。
另外,显示单元1403从图像评估单元208读取与特征点的评估有关的信息,并将特征点评估信息1608显示在显示画面1602上。特征点评估信息1608例如基于由阈值保持单元207保持的针对特征点评估的阈值302,显示“o”和“x”。“o”指示特征点评估信息1608等于或大于阈值302,“x”指示特征点评估信息1608小于阈值302。
另外,显示单元1403获取从缺陷检测单元1401输入的关于标记的裂缝的信息和与标记相关联的物体上的分辨率信息。然后,显示单元1403参照估计误差保持单元1402的表,并基于物体上的分辨率信息获取裂缝宽度估计误差信息。
显示单元1403基于从缺陷检测单元1401输入的裂缝信息,在显示画面1602上显示裂缝部分作为裂缝信息1604和1605。
最后,显示单元1403在显示画面1602上分别叠加与裂缝信息1604和1605相对应的裂缝宽度估计误差信息1606和1607。
图17是示出根据第四示例性实施例的信息处理装置100中的后处理流程的流程图。在根据第四示例性实施例的信息处理装置100的处理流程中,根据第一示例性实施例的步骤S507中的后处理以外的处理与根据第一示例性实施例的处理相似。下面将描述根据第四示例性实施例的步骤S507中的后处理。
在步骤S1701中,显示单元1403在显示画面1602上显示从图像输入单元201输入的图像。然后,显示单元1403的处理进入步骤S1702。
在步骤S1702中,显示单元1403将从图像评估单元208输出的关于可用于检查的区域的信息1609叠加到从图像输入单元201输入的图像上。然后,显示单元1403的处理进入步骤S1703。
在步骤S1703中,显示单元1403从图像评估单元208中读取特征点评估信息,并将特征点评估信息1608显示在显示画面1602上。在步骤S1703完成后,信息处理装置100的处理进入步骤S1704。
在步骤S1704中,缺陷检测单元1401基于从图像输入单元201输入的图像检测裂缝。然后,缺陷检测单元1401的处理进入步骤S1705。
在步骤S1705中,缺陷检测单元1401参照从图像质量评估单元206输入的物体上的分辨率信息。然后,缺陷检测单元1401读取与标记的裂缝位置相对应的物体上的分辨率信息,将分辨率信息与标记的裂缝相关联,并将分辨率信息输出到显示单元1403。在步骤S1705完成后,信息处理装置100的处理进入步骤S1706。
在步骤S1706中,显示单元1403基于从缺陷检测单元1401输入的裂缝信息在显示画面1602上显示裂缝部分。然后,显示单元1403的处理进入步骤S1707。
在步骤S1707中,显示单元1403将裂缝宽度估计误差信息叠加在显示画面1602上。然后,信息处理装置100结束步骤S507中的后处理。
如上所述,根据第四示例性实施例的信息处理装置100在显示单元1403的显示画面1602上显示关于可用于检查的区域的信息、特征点评估信息、裂缝信息和裂缝宽度估计误差信息。以这种方式显示的信息使得用户能够在对物体摄像时参照显示画面1602,以识别物体的哪个区域能够在当前的拍摄角度以可用于检查的图像质量进行拍摄。该信息还使得用户能够参照特征点评估信息,以识别在图像投影时是否可以精确地投影拍摄图像。另外,该信息使用户能够参照裂缝信息和裂缝宽度估计误差信息,以确认是否可以检测到裂缝,并且同时确认裂缝宽度估计精度的度量。
尽管在第四示例性实施例中,代替上述根据第一至第三示例性实施例的图像拼接处理,进行了缺陷检测处理,但是本发明不限于此。根据第一示例性实施例的第二变型例,上述缺陷检测单元1401可以用于拼接图像的缺陷检测处理或检查图像的缺陷检测处理。
根据本发明,可以获取可用于评估诸如基础设施的物体的缺陷的图像并识别物体的缺陷。
其他实施例
还可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如,一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如,专用集成电路(ASIC))的系统或装置的计算机,来实现本发明的实施例,并且,可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法,来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如,中央处理单元(CPU),微处理单元(MPU)),并且可以包括分开的计算机或分开的处理器的网络,以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备以及存储卡等中的一个或更多个。
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本发明进行了描述,但是应当理解,本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释,以使其涵盖所有这些变型例以及等同的结构和功能。
Claims (20)
1.一种信息处理装置,其包括:
特征提取单元,其被构造为,从待检查物体的从多个视点拍摄的多个图像中的各个图像中提取特征点;
图像质量评估单元,其被构造为,针对所述多个图像中的各个图像,来评估基于预定指标的图像质量是否满足用于物体的检查工作的允许条件;以及
图像拼接单元,其被构造为,根据基于由特征提取单元提取的特征点的位置关系,对所述多个图像当中的、具有满足所述允许条件的图像质量的至少一部分图像进行拼接。
2.根据权利要求1所述的信息处理装置,
其中,所述多个图像中的各个图像包括多个区域,并且对于所述多个图像中的各个图像中的所述多个区域中的各个区域,图像质量评估单元评估基于所述预定指标的图像质量是否满足用于物体的检查工作的所述允许条件,并且
其中,图像拼接单元根据基于提取出的特征点的位置关系,对所述多个图像中包括的具有满足所述允许条件的图像质量的部分区域进行拼接。
3.根据权利要求2所述的信息处理装置,其中,图像质量评估单元针对各个区域评估物体上的分辨率。
4.根据权利要求2或3所述的信息处理装置,其中,图像质量评估单元针对各个像素评估物体上的分辨率。
5.根据权利要求2所述的信息处理装置,其中,图像质量评估单元针对图像中的各个区域评估散焦量。
6.根据权利要求2或5所述的信息处理装置,其中,图像质量评估单元针对图像中的各个像素评估散焦量。
7.根据权利要求1至3和5中的任一项所述的信息处理装置,所述信息处理装置还包括:
特征评估单元,其被构造为进行特征点评估,所述特征点评估包括评估从所述多个图像中的各个图像中提取的特征点的分布以及评估特征点的数量。
8.根据权利要求7所述的信息处理装置,其中,针对所述多个图像当中的、指示特征评估单元的特征点评估的结果的值等于或大于预定阈值的图像,图像质量评估单元评估基于所述预定指标的图像质量是否满足用于物体的检查工作的所述允许条件。
9.根据权利要求1至3和5中的任一项所述的信息处理装置,其中,图像质量评估单元评估入射到用于拍摄图像的相机的光与物体的表面之间的角度。
10.根据权利要求9所述的信息处理装置,其中,图像质量评估单元将所述角度等于或大于预定阈值、并且包括图像质量评估等于或大于预定阈值的像素的区域,评估为可用于物体的检查的区域。
11.根据权利要求1至3和5中的任一项所述的信息处理装置,所述信息处理装置还包括:
位置和姿势估计单元,其被构造为,估计用于拍摄所述多个图像的相机的位置和姿势;以及
形状估计单元,其被构造为估计物体的三维形状,
其中,位置和姿势估计单元基于由特征提取单元提取的特征点,来估计相机的位置和姿势,并且
其中,形状估计单元基于由位置和姿势估计单元估计的相机的位置和姿势以及所述多个图像,来估计三维形状。
12.根据权利要求11所述的信息处理装置,其中,基于由位置和姿势估计单元估计的相机的位置和姿势,图像拼接单元基于图像质量评估单元的评估,来将所述多个图像投影到由形状估计单元估计的三维形状上,以拼接投影的图像。
13.根据权利要求12所述的信息处理装置,所述信息处理装置还包括显示单元,
其中,显示单元显示由图像拼接单元拼接的图像。
14.根据权利要求1至3和5中的任一项所述的信息处理装置,所述信息处理装置还包括:
检测单元,其被构造为检测图像中出现的物体的缺陷;以及
显示单元,
其中,检测单元从所述多个图像中检测物体的缺陷,并且
其中,显示单元显示关于检测到的缺陷的信息。
15.根据权利要求14所述的信息处理装置,其中,基于检测单元将裂缝作为缺陷来检测的结果、以及在图像质量评估单元的评估中计算出的物体上的分辨率,显示单元估计并显示裂缝宽度的估计误差。
16.根据权利要求1至3和5中的任一项所述的信息处理装置,所述信息处理装置还包括:
生成单元,其被构造为,基于拼接的图像来生成从正面观看物体的检查图像。
17.根据权利要求16所述的信息处理装置,所述信息处理装置还包括:
检测单元,其被构造为检测在检查图像中出现的物体的缺陷,
其中,检测单元基于检查图像检测物体的缺陷。
18.根据权利要求1至3和5中的任一项所述的信息处理装置,其中,所述物体是具有混凝土墙壁表面的基础设置,并且所述检查工作是用于识别在混凝土墙壁表面上出现的缺陷的工作。
19.一种由信息处理装置进行的信息处理方法,所述信息处理方法包括如下步骤:
经由特征提取单元,从待检查物体的从多个视点拍摄的多个图像中的各个图像中提取特征点;
经由图像质量评估单元,针对所述多个图像中的各个图像,来评估基于预定指标的图像质量是否满足用于物体的检查工作的允许条件;以及
经由图像拼接单元,根据基于在提取步骤中提取的特征点的位置关系,对所述多个图像当中的、具有满足所述允许条件的图像质量的至少一部分图像进行拼接。
20.一种存储介质,其存储用于使计算机用作根据权利要求1至12中的任一项所述的信息处理装置的各个单元的程序。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019-017910 | 2019-02-04 | ||
| JP2019017910 | 2019-02-04 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111524091A true CN111524091A (zh) | 2020-08-11 |
| CN111524091B CN111524091B (zh) | 2024-07-09 |
Family
ID=69400483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010079557.4A Active CN111524091B (zh) | 2019-02-04 | 2020-02-04 | 信息处理装置、信息处理方法和存储介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US11210773B2 (zh) |
| EP (1) | EP3690800B1 (zh) |
| JP (1) | JP7412983B2 (zh) |
| CN (1) | CN111524091B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114449160A (zh) * | 2020-11-06 | 2022-05-06 | 佳能株式会社 | 信息处理装置、信息处理方法及存储介质 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102017212339A1 (de) * | 2017-07-19 | 2019-01-24 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Bewertung von Bildausschnitten für eine Korrespondenzbildung |
| US10996177B2 (en) * | 2019-07-03 | 2021-05-04 | The Boeing Company | Automated inspection system for composite structures |
| JP7434032B2 (ja) * | 2020-03-31 | 2024-02-20 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| CN111578837B (zh) * | 2020-04-30 | 2022-03-01 | 北京农业智能装备技术研究中心 | 面向农业机器人作业的植物形态视觉跟踪测量方法 |
| JP7739106B2 (ja) * | 2020-11-06 | 2025-09-16 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| JP7590162B2 (ja) * | 2020-11-12 | 2024-11-26 | Kddi株式会社 | カメラ姿勢推定装置、学習方法及びプログラム |
| JP2023034160A (ja) * | 2021-08-30 | 2023-03-13 | キヤノン株式会社 | 精度推定装置、撮像装置、精度推定方法、制御方法、及びプログラム |
| US12287647B2 (en) * | 2022-04-27 | 2025-04-29 | Snap Inc. | Autonomous drone navigation based on vision |
| WO2024144845A1 (en) * | 2022-12-28 | 2024-07-04 | Schlumberger Technology Corporation | Systems and methods for generating three-dimensional models using captured video |
| WO2025046706A1 (ja) * | 2023-08-28 | 2025-03-06 | 三菱重工業株式会社 | 点検支援システム、点検支援方法、及び、点検支援プログラム |
| CN118442921B (zh) * | 2024-05-20 | 2025-04-08 | 常熟华新汽车零部件有限公司 | 汽车空调外壳的检测方法以及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017041419A1 (zh) * | 2015-09-10 | 2017-03-16 | 天远三维(天津)科技有限公司 | 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法 |
| JP6120037B1 (ja) * | 2016-11-30 | 2017-04-26 | 国際航業株式会社 | 点検装置、及び点検方法 |
| CN107274450A (zh) * | 2016-04-01 | 2017-10-20 | 佳能株式会社 | 信息处理装置及其控制方法 |
| US20170308088A1 (en) * | 2014-10-17 | 2017-10-26 | Sony Corporation | Control device, control method, and computer program |
| WO2018168406A1 (ja) * | 2017-03-16 | 2018-09-20 | 富士フイルム株式会社 | 撮影制御装置、撮影システム、および撮影制御方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5269707B2 (ja) * | 2009-07-01 | 2013-08-21 | 富士フイルム株式会社 | 画像合成装置及び方法 |
| US9036861B2 (en) * | 2010-04-22 | 2015-05-19 | The University Of North Carolina At Charlotte | Method and system for remotely inspecting bridges and other structures |
| GB2502591B (en) * | 2012-05-31 | 2014-04-30 | Sony Comp Entertainment Europe | Apparatus and method for augmenting a video image |
| US20140336928A1 (en) * | 2013-05-10 | 2014-11-13 | Michael L. Scott | System and Method of Automated Civil Infrastructure Metrology for Inspection, Analysis, and Information Modeling |
| MA40262A (fr) | 2014-07-02 | 2017-05-10 | Si14 S P A | Procédé pour acquérir et traiter des images d'un fond d'œil au moyen d'un dispositif électronique portable |
| JP6193195B2 (ja) * | 2014-09-17 | 2017-09-06 | 株式会社東芝 | 移動支援装置、方法及びプログラム |
| US9721371B2 (en) | 2015-12-02 | 2017-08-01 | Caterpillar Inc. | Systems and methods for stitching metallographic and stereoscopic images |
| WO2017103982A1 (ja) * | 2015-12-14 | 2017-06-22 | 株式会社 ニコン・トリンブル | 欠陥検出装置及びプログラム |
| JP6821326B2 (ja) * | 2016-05-12 | 2021-01-27 | キヤノン株式会社 | 情報処理装置、計測システム、情報処理方法およびプログラム |
| JP6213754B1 (ja) | 2016-11-30 | 2017-10-18 | 国際航業株式会社 | 点検装置、及び点検方法 |
| JP7113657B2 (ja) * | 2017-05-22 | 2022-08-05 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| CN109300126B (zh) * | 2018-09-21 | 2022-01-07 | 重庆建工集团股份有限公司 | 一种基于空间位置的桥梁病害高精度智能检测方法 |
-
2019
- 2019-11-28 JP JP2019215556A patent/JP7412983B2/ja active Active
-
2020
- 2020-01-28 US US16/774,704 patent/US11210773B2/en active Active
- 2020-01-29 EP EP20154425.1A patent/EP3690800B1/en active Active
- 2020-02-04 CN CN202010079557.4A patent/CN111524091B/zh active Active
-
2021
- 2021-11-24 US US17/535,422 patent/US11928805B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170308088A1 (en) * | 2014-10-17 | 2017-10-26 | Sony Corporation | Control device, control method, and computer program |
| WO2017041419A1 (zh) * | 2015-09-10 | 2017-03-16 | 天远三维(天津)科技有限公司 | 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法 |
| CN107274450A (zh) * | 2016-04-01 | 2017-10-20 | 佳能株式会社 | 信息处理装置及其控制方法 |
| JP6120037B1 (ja) * | 2016-11-30 | 2017-04-26 | 国際航業株式会社 | 点検装置、及び点検方法 |
| WO2018168406A1 (ja) * | 2017-03-16 | 2018-09-20 | 富士フイルム株式会社 | 撮影制御装置、撮影システム、および撮影制御方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114449160A (zh) * | 2020-11-06 | 2022-05-06 | 佳能株式会社 | 信息处理装置、信息处理方法及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3690800B1 (en) | 2025-04-30 |
| US20220084189A1 (en) | 2022-03-17 |
| US20200250806A1 (en) | 2020-08-06 |
| CN111524091B (zh) | 2024-07-09 |
| JP7412983B2 (ja) | 2024-01-15 |
| EP3690800A3 (en) | 2020-09-16 |
| US11210773B2 (en) | 2021-12-28 |
| US11928805B2 (en) | 2024-03-12 |
| EP3690800A2 (en) | 2020-08-05 |
| JP2020126590A (ja) | 2020-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111524091B (zh) | 信息处理装置、信息处理方法和存储介质 | |
| CN108475433B (zh) | 用于大规模确定rgbd相机姿势的方法和系统 | |
| Chaiyasarn et al. | Distortion-free image mosaicing for tunnel inspection based on robust cylindrical surface estimation through structure from motion | |
| JP6000455B2 (ja) | フォーム認識方法及びフォーム認識装置 | |
| Deng et al. | Binocular video-based 3D reconstruction and length quantification of cracks in concrete structures | |
| JP5538868B2 (ja) | 画像処理装置、その画像処理方法及びプログラム | |
| JP2025094214A (ja) | 学習用データ収集装置、学習用データ収集方法、及びプログラム | |
| US10909719B2 (en) | Image processing method and apparatus | |
| JP2011182397A (ja) | ずれ量算出方法およびずれ量算出装置 | |
| TW201118791A (en) | System and method for obtaining camera parameters from a plurality of images, and computer program products thereof | |
| CN101533513B (zh) | 基于双视几何的图片伪造检测方法 | |
| JP7387261B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP2005016995A (ja) | 赤外線構造物診断方法 | |
| Chaiyasarn et al. | Defect Change Detection in Masonry Structures Using Image-Based 3D Photogrammetry | |
| Xu et al. | Monocular video frame optimization through feature-based parallax analysis for 3D pipe reconstruction | |
| TW202141351A (zh) | 影像檢查裝置以及影像檢查方法 | |
| CN110020572B (zh) | 基于视频图像的人数统计方法、装置、设备及存储介质 | |
| JP2010182330A (ja) | カラー画像の処理方法および画像処理装置 | |
| CN117011364A (zh) | 一种钢筋直径识别方法、系统、电子设备及存储介质 | |
| JPH10289315A (ja) | 視差算出装置、距離算出装置およびこれらの方法 | |
| Abdullah et al. | Measuring fish length from digital images (FiLeDI) | |
| JP3864491B2 (ja) | 視差算出装置、距離算出装置およびこれらの方法 | |
| CN117098971A (zh) | 图像处理装置、图像处理方法及图像处理程序 | |
| CN115034988A (zh) | 一种基于rgbd相机的两阶段主体点云滤波方法 | |
| JP4274038B2 (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TG01 | Patent term adjustment | ||
| TG01 | Patent term adjustment |