CN106289099B - 一种单目视觉系统及基于该系统的三维尺寸快速测量方法 - Google Patents

Abstract

本发明涉及工业视觉测量方法，具体地说是涉及一种单目视觉系统及基于该系统的三维尺寸快速测量方法。一种单目视觉系统，包括CCD彩色相机和三色LED环形光源。一种单目视觉系统的三维测量方法，包括将三色LED环形光源的安装高度、入射角度、分布密度分别进行严格标定；建立单目视觉系统的光学成像模型；利用入射光线相对于视场平面的入射角确定方法求解单目视觉系统的光学成像模型，得到被测物体表面所有点的高度信息。本发明以主动式光学测量法为基础，设计一种特用于本发明使用的光源，降低特征提取过程图像处理的算法难度，同时提高系统的精度和可靠性；在此基础上提出一种基于单目视觉系统的三维测量方法，具有广阔的工业应用前景。

Description

一种单目视觉系统及基于该系统的三维尺寸快速测量方法

技术领域

本发明涉及工业视觉测量方法，具体地说是涉及一种单目视觉系统及基于该系统的三维尺寸快速测量方法。

背景技术

通过测量表面三维形貌可给出产品表面质量的量化评估信息，有助于细分产品制造过程的缺陷，利于分析其缺陷的分布规律、导致缺陷的原因和预测其缺陷发展趋势，便于产生过程产品质量信息的收集与反馈，利于优化生产工艺参数，预防后续缺陷的发生，提升全生产过程产品的品质。而随着自动化生产技术的迅速发展，亟需发展高速高可靠性的表面三维尺寸测量方法，为生产过程提供快速可靠的服务。因此，本发明提出的物体表面三维尺寸测量方法具有重要的意义。

现有的三维测量的成果主要分为接触式和非接触式两类。传统的接触式测量方法以三坐标测量仪为代表。在非接触式测量方面，又分为非光学测量法和光学测量法。非光学测量法有声学检测法、飞行时间法等。相比之下，光学测量法具有非接触、无损伤、高分辨率、速度快等优点，目前获得了越来越广泛的应用。根据照明光源的不同类型它可分为被动式和主动式。被动式光学测量有多目视觉法和单目视觉法，多目视觉法的难点在于立体匹配，在测量表面三维形貌过程中需要进行大量的匹配运算且易受环境光照条件影响，计算成本高，测量精度、速度受限。单目视觉法在自然光照明下采用一个摄像机获取被测物体的表面三维信息，常用基于明暗重建(Shape From Shading-SFS)方法测量物体表面三维形貌，事实上，基于Lambertian光照反射模型的SFS问题是病态的，没有唯一解；现有算法通常假设研究对象为表面光滑的物体，即认为物体表面高度函数的二阶偏导数是连续的，然后依据相关条件建立SFS问题的正则化模型进行求解，主要有最小化法、传播法、局部法和线性化法，然而通过正则化过程获得问题的解会带来误差，由此得到的三维形貌易出现不确定现象，并且求解效率需要提高，离在线检测要求仍有差距。主动式光学测量法基于辅助光源照射进行三维测量，主要有干涉法、相位测量法和三角法等，其中光学干涉法主要有全息干涉法、莫尔条纹法等，干涉法具有较高的精度，但其测量范围小，对环境的要求高，因此微制造和组装过程中应用较少；相位测量法主要有相移法、傅里叶变换法、光栅投影法等，然而受解相精度的影响，相位测量法对于复杂表面形貌的测量精度、速度和可靠性还有待较大的提高空间；三角法通过投射光源、被测物体和CCD图像传感器之间三角几何关系来测量物体三维形貌，主要有激光三角法、光切法、结构光源法等，其中激光三角法测量精度高，适用范围广，该方法的测量稳定性易受焦深、散斑、被测表面等因素影响。光切法可用于快速成型和三维面形测量等领域，但是光切法的光条中心位置不易精确提取，难以测量出具有高排列的微器件表面形貌。

从现有专利文献的检索结果分析中可知：发展高速高可靠性的表面三维尺寸在线检测问题是大势所趋，而已有的表面三维尺寸测量方法尚难满足高速制造和组装过程产品的表面三维质量在线检测要求。

发明内容

本发明的目的在于解决现有三维测量方法的硬件成本高、难以适用于高速高可靠性的表面三维尺寸在线检测等问题，提出了一种单目视觉系统及基于该系统的三维尺寸快速测量方法。

为了实现上述的目的，采用如下的技术方案。一种单目视觉系统，用于采集被测物体的照片，包括CCD彩色相机和三色LED环形光源，所述CCD彩色相机设置在上端，所述三色LED环形光源设置在所述CCD彩色相机和被测物体之间，包括从上往下设置的红色LED环形光源、绿色LED环形光源和蓝色LED环形光源，所述被测物体的被测表面设置在所述CCD彩色相机的视场内。

一种基于权利要求1所述单目视觉系统的三维测量方法，包括以下步骤：

S1将三色LED环形光源的安装高度、入射角度、分布密度分别进行严格标定，同时点亮三色LED环形光源，采用CCD彩色相机采集被测物体的照片；

S2建立单目视觉系统的光学成像模型；

S3利用入射光线相对于视场平面的入射角确定方法求解单目视觉系统的光学成像模型，得到被测物体表面所有点的高度信息。

三色光照射视场内同一点时，在彩色图像的同一像素位置将产生代表三种颜色光强度的灰度值。由于三色光的入射位置不同，由此可建立三个成像方程组，进而可求解出被测位置的高度。在三色LED环形光源的设计与制作中，对光源内各色LED的安装高度、入射角度、分布密度分别进行严格标定，使采集到的彩色图像包含入射光的位置信息。并且，工作中环形光源各LED同时点亮。通过光源均匀性设计及标定后，可认为视场内单位面积(可看作单像素所对应面积)内接收同色光照的强度是均匀的。

步骤S2包括：设光源在世界坐标系中的坐标为e(x_l,z_l)，被测物体的测量点在世界坐标系中的坐标为s(x_i,z_i)，测量点通过CCD彩色相机成像后，在成像平面坐标系中的坐标为p(u,v)，直线es为入射光线，直线sp为反射光线，入射光线es与反射光线sp的交点s(x_i,z_i)对应的z坐标即为被测物体在点(x_i,z_i)处的高度，其对应的Z轴坐标为z_i。

步骤S2具体包括：

建立世界坐标系，原点O_w(0,0)建立在视场的中心处，Z_w轴指向CCD彩色相机，X_w轴沿水平线方向；

在O_w-X_w-Z_w的二维坐标系中，O_c点为光心，坐标为O_c(0,l)，l为物距，设光源位置处在世界坐标系中的坐标为e(x_l,z_l)，被测物体上测量点在世界坐标系中的坐标为s(x_i,z_i)，该点成像后，在成像平面坐标系中的坐标为p(u,v)；

直线es为入射光线，反射光线为直线sp，入射光线es与反射光线sp的交点s(x_i,z_i)对应的z坐标即为被测物体在点(x_i,z_i)处的高度，其对应的Z轴坐标为z_i；

定义入射光线es与水平线即X_w轴的夹角为α，反射线sp与水平线即X_w轴的夹角为η，根据光的反射原理，反射线sp的方程可表示为：

反射线与水平线的夹角η为：

式中，f为相机的焦距；l为物距；(u₀,v₀)为成像平面坐标系的原点，即相机的光轴与成像平面的交点；(u,v)为成像平面上任意点坐标；dx、dy分别为每个像素在x、y方向上的物理尺寸；推导出入射线es的方程式为：

z_es＝k_ex(x_es-x_l)+z_l＝tan(180-α)×(x_es-x_l)+z_l (3)

联立式(1)、(3)可求得入射线es和反射线sp的交点(x_i,z_i)：

式中，(x_l,z_l)为光源在世界坐标系中的坐标；α为入射光线es与水平线即X轴的夹角。

步骤S3包括：建立被测物体被测表面的曲面朝向和图像亮度之间的关系，根据已知标定点的参数，计算测量点O_wi的入射光线与水平视场的夹角α_i，将求得的夹角α_i代入单目视觉系统的光学成像模型中，可得测量点的高度。

步骤S3具体包括：曲面朝向和图像亮度之间呈比例关系，设比例系数为k，则有：

式中，θ_i、θ_o分别为微观表面O_wi、O_wo处的倾角；g_i、g_o分别为从微观表面O_wi、O_wo处获得的灰度值；

已知标定点O_wo的参数，包括入射光线与水平线的夹角为α_o、微观表面的倾角θ_o、灰度值g_o，计算测量点O_wi的入射线与水平线的夹角α_i：

根据公式(2)计算出η_o和η_i，并代入公式(6)中，得入射光线与水平线的夹角α_i：

式中，(u_i,v_i)为成像平面上测量点坐标；(u_o’,v_o’)为成像平面上标定点坐标；

将公式(7)代入到公式(4)中，并且令

可求得z_i：

z_i即为被测物体上测量点的高度值。

与现有技术相比，本发明以主动式光学测量法为基础，设计一种特用于本发明使用的光源，即该光源利于将被测表面三维形貌信息投射到尽可能少幅的图像中，并使图像中的目标信息与背景信息得到最佳分离，从而降低特征提取过程图像处理的算法难度，同时提高系统的精度和可靠性；在此基础上，本发明提出一种基于单目视觉系统的三维测量方法。本发明硬件成本低、测量速度快、使用方便，可广泛用于微小物体的表面三维测量、物体的3D建模与3D打印、三维场景测量等领域，具有广阔的工业应用前景。

附图说明

图1是本发明的单目视觉系统结构示意图；

图2是本发明的图像采集系统结构示意图；

图3是本发明的成像平面坐标系示意图；

图4是本发明的标定点和任意点的反射示意图。

具体实施方式

下面结合附图对本发明作进一步的描述。

本发明的单目视觉系统的结构如图1所示，包括CCD彩色相机1和三色LED环形光源，CCD彩色相机1设置在上端，三色LED环形光源设置在CCD彩色相机和被测物体5之间，包括从上往下设置的红色LED环形光源2、绿色LED环形光源3和蓝色LED环形光源4，被测物体5的被测表面6设置在CCD彩色相机1的视场内。

三色光照射视场内同一点时，在彩色图像的同一像素位置将产生代表三种颜色光强度的灰度值。由于三色光的入射位置不同，由此可建立三个成像方程组，进而可求解出被测位置的高度。在三色LED环形光源的设计与制作中，对光源内各色LED的安装高度、入射角度、分布密度分别进行严格标定，使采集到的彩色图像包含入射光的位置信息。并且，工作中环形光源各LED同时点亮。通过光源均匀性设计及标定后，可认为视场内单位面积(可看作单像素所对应面积)内接收同色光照的强度是均匀的。

为了便于阐述本发明的三维测量方法，搭建如图2所示的图像采集系统，并在图中所示的剖切面AA中建立如图3所示的成像平面坐标系。其中坐标系的原点建立在视场的中心处，Z_w轴指向相机的方向，X_w轴沿切线AA方向。如前所述，通过光源均匀性设计及标定后，可认为视场内单位面积内接收同色光照的强度是均匀的。因此，建立如图3所示的成像系统对所有成像点均具有代表性。

如图3所示，在O_w-X_w-Z_w的二维坐标系中，O_w点为世界坐标系的原点，坐标为O_w(0,0)，O_c点为光心，其在世界坐标系的坐标为O_c(0,l)，l为物距。设光源位置处在世界坐标系中的坐标为e(x_l,z_l)，被测物体上某一点在世界坐标系中的坐标为s(x_i,z_i)，该点相机成像后，在成像平面坐标系中的坐标为p(u,v)。直线es为入射光线，反射光线为直线sp。入射光线es与反射光线sp的交点s(x_i,z_i)对应的z坐标即为被测物体在点(x_i,z_i)处的高度，其对应的Z轴坐标为z_i。

如图3所示，定义入射光线es与水平线即X_w轴的夹角为α，反射线sp与水平线即X_w轴的夹角定义为η。根据光的反射原理，如图3所示的反射线sp的方程可表示为：

如图3所示的反射线与水平线的夹角η为：

式中，f为相机的焦距；l为物距；(u₀,v₀)为成像平面坐标系的原点，即相机的光轴与像平面的交点，以像素为单位；(u,v)为图像平面上任意点坐标，以像素为单位；dx、dy分别为每个像素在x、y方向上的物理尺寸，以毫米(mm)为单位。

在此可推导出，入射线es的方程式为：

z_es＝k_ex(x_es-x_l)+z_l＝tan(180-α)×(x_es-x_l)+z_l (3)

综上，联立式(1)、(3)可求得入射线es和反射线sp的交点(x_i,z_i)：

式中，(x_l,z_l)为入射光源在世界坐标系中的坐标；α为入射光线es与水平线即X轴的夹角，单位：度。

由于入射光线与水平线即X_w轴的夹角α未知，无法计算入射线es的方程，即无法求解任意点的高度。为求解该问题，本发明提出利用标定点的方法来计算夹角α值。图4为标定点和任意点的反射图。

对于同性质材料(非高光材料)的同批次被测对象，在同一光源照射下，基于获取的单张图像，采用如图4所表达方式，可简化曲面朝向(即倾角)和图像亮度之间的关系表示，实验结果表明曲面朝向和图像亮度之间呈比例关系，设比例系数为k。则有：

式中，θ_i、θ_o分别为微观表面O_wi、O_wo处的倾角，单位：度；g_i、g_o分别为从微观表面O_wi、O_wo处获得的灰度值。

在图4中，如已知标定点O_wo的参数(如入射线与水平线的夹角为α_o、微观表面的倾角θ_o、灰度值g_o值等)，计算待求点O_wi的入射线与水平线的夹角α_i：

根据公式(2)计算出η_o和η_i，并代入公式(6)中，得入射光线与水平线的夹角α_i：

式中，(u_i,v_i)为图像平面上任意点坐标，以像素为单位；(u_o’,v_o’)为图像平面上标定点坐标，以像素为单位。

将公式(7)代入到公式(4)中，并且令

可求得z_i：

z_i即为被物体上某点的高度值。

z_i为剖切线AA截面对应实测点的高度值。同理，根据被测物体的剖切线AA截面在所获彩色图像的像素值，可求出X轴方向各被实测点的Z轴坐标，将各计算点连线，即为被测物体在剖切线AA截面的剖切曲线。结合单目视觉成像系统的极对称性，以Z轴为旋转中心，将该剖切线AA截面分步长旋转，分别计算出各剖截面对应的被测物体表面高度值，直至旋转角至360度为止，即可求出被测物体表面所有点的高度值。

Claims (3)

1.一种单目视觉系统的三维尺寸快速测量方法，其特征在于，包括以下步骤：S1将三色LED环形光源的安装高度、入射角度、分布密度分别进行严格标定，同时点亮三色LED环形光源，采用CCD彩色相机采集被测物体的照片；

S2建立世界坐标系，原点O_w(0，0)建立在视场的中心处，Z_w轴指向CCD彩色相机，X_w轴沿水平线方向；

在O_w-X_w-Z_w的二维坐标系中，O_c点为光心，坐标为O_c(0，l)，l为物距，设光源位置处在世界坐标系中的坐标为e(x_l，z_l)，被测物体上测量点在世界坐标系中的坐标为s(x_i，z_i)，该点成像后，在成像平面坐标系中的坐标为p(u，v)；

直线es为入射光线，反射光线为直线sp，入射光线es与反射光线sp的交点s(x_i，z_i)对应的z坐标即为被测物体在点(x_i，z_i)处的高度，其对应的Z轴坐标为Z_i；

定义入射光线es与水平线即X_w轴的夹角为α，反射光线sp与水平线即X_w轴的夹角为η，根据光的反射原理，反射光线sp的方程可表示为：

反射光线与水平线的夹角η为：

式中，f为相机的焦距；l为物距；(u₀，v₀)为成像平面坐标系的原点，即相机的光轴与成像平面的交点；(u，v)为成像平面上任意点坐标；dx、dy分别为每个像素在x、y方向上的物理尺寸；推导出入射光线es的方程式为：

z_es＝k_ex(x_es-x_l)+z_l＝tan(180-α)×(x_es-x_l)+z_l (3)

联立式(1)、(3)可求得入射光线es和反射光线sp的交点(x_i，z_i)：

式中，(x_l，z_l)为光源在世界坐标系中的坐标；α为入射光线es与水平线即X轴的夹角

S3利用入射光线相对于视场平面的入射角确定方法求解单目视觉系统的光学成像模型，得到被测物体表面所有点的高度信息。

2.根据权利要求1所述单目视觉系统的三维尺寸快速测量方法，其特征在于，步骤S3包括：建立被测物体被测表面的曲面朝向和图像亮度之间的关系，根据已知标定点的参数，计算测量点O_wi的入射光线与水平视场的夹角α_i，将求得的夹角α_i代入单目视觉系统的光学成像模型中，可得测量点的高度。

3.根据权利要求2所述单目视觉系统的三维尺寸快速测量方法，其特征在于，步骤S3包括：曲面朝向和图像亮度之间呈比例关系，设比例系数为k，则有：

式中，θ_i、θ_o分别为微观表面O_wi、O_wo处的倾角；g_i、g_o分别为从微观表面O_wi、O_wo处获得的灰度值；

已知标定点O_wo的参数，包括入射光线与水平线的夹角为α_o、微观表面的倾角θ_o、灰度值g_o，

计算测量点O_wi的入射光线与水平线的夹角α_i：

根据公式(2)计算出η_o和η_i，并代入公式(6)中，得入射光线与水平线的夹角α_i

式中，(u_i，v_i)为成像平面上测量点坐标；(u_o’，v_o’)为成像平面上标定点坐标；将公式(7)代入到公式(4)中，并且令

可求得z_i

z_i即为被测物体上测量点的高度值。