[go: up one dir, main page]

CN109785390B - 一种用于图像矫正的方法和装置 - Google Patents

一种用于图像矫正的方法和装置 Download PDF

Info

Publication number
CN109785390B
CN109785390B CN201711114580.7A CN201711114580A CN109785390B CN 109785390 B CN109785390 B CN 109785390B CN 201711114580 A CN201711114580 A CN 201711114580A CN 109785390 B CN109785390 B CN 109785390B
Authority
CN
China
Prior art keywords
camera device
point
images
image
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711114580.7A
Other languages
English (en)
Other versions
CN109785390A (zh
Inventor
郁理
苗旺
范鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rainbow Software Co ltd
Original Assignee
Rainbow Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rainbow Software Co ltd filed Critical Rainbow Software Co ltd
Priority to CN201711114580.7A priority Critical patent/CN109785390B/zh
Priority to US16/188,325 priority patent/US11205281B2/en
Publication of CN109785390A publication Critical patent/CN109785390A/zh
Application granted granted Critical
Publication of CN109785390B publication Critical patent/CN109785390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)

Abstract

本发明提供了一种用于图像矫正的方法和装置，应用于图像处理领域，该方法包括：接收两张图像，所述两张图像为从不同视点拍摄目标物体的图像，拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置；确定所述两张图像中对应的特征点对的位置；根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。上述方法能够使得对获得的不同视点的图像进行矫正，从而保证像素对齐，使得观看者不会有视觉不适的感觉。

Description

一种用于图像矫正的方法和装置
技术领域
本发明涉及一种用于图像处理的方法和装置，具体地，涉及一种用于图像矫正的方法和装置。
背景技术
目前，立体图像采集需要对应左右眼的视线分别采集两幅图像，此图像需要在非视差方向保证像素对齐从而达到较好的观看效果，而目前多视点图像采集装置获得的左右眼图像往往存在着形变，而无法保证像素对齐，会使观看者产生很大的视觉不适。
发明内容
本发明提供的一种用于图像矫正的方法和装置，能够解决现有技术中获得的左右眼图像往往存在着形变，而无法保证像素对齐，会使观看者产生很大的视觉不适的问题。
本发明的第一方面提供一种用于图像矫正的方法，所述方法包括：接收两张图像，所述两张图像为从不同视点拍摄目标物体的图像，拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置；确定所述两张图像中对应的特征点对的位置；根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。
根据本发明的第一方面，在本发明的第一方面的第一可执行方式中，所述根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐，包括：根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数；根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数；根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。
根据本发明的第一方面或本发明的第一方面的第一可执行方式，在本发明的第一方面的第二可执行方式中，所述确定所述两张图像中对应的特征点对的位置，包括：确定所述两张图像中候选的对应的特征点对的位置；去除所述候选的对应的特征点对中对应错误的特征点对。
根据本发明的第一方面或本发明的第一方面的第一可执行方式或本发明的第一方面的第二可执行方式，在本发明的第一方面的第三可执行方式中，所述特征点包括下述的一个：在至少一个方向上的变化量大于第一阈值的点；不随图片大小变化而发生位置变化的点。
根据本发明的第一方面的第一可执行方式到第三可执行方式中任一可执行方式，在本发明的第一方面的第四可执行方式中，所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定。
根据本发明的第一方面的第四可执行方式，在本发明的第一方面的第五可执行方式中，所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。
根据本发明的第一方面的第一可执行方式到第五可执行方式中任一，在本发明的第一方面的第六可执行方式中，所述特征点对包括第一点和第二点；所述根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数，包括：将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。
根据本发明的第一方面的第一可执行方式到第六可执行方式中任一可执行方式，在本发明的第一方面的第七可执行方式中，所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：旋转参数、焦距以及主点坐标。
根据本发明的第一方面或本发明的第一方面的第一可执行方式到第七可执行方式中任一，在本发明的第一方面的第八可执行方式中，所述方法还包括：根据图像中的内容在所述对齐后的两张图像中选取进行立体图拼接的图像，将选取的图像拼接成立体图。
本发明的第二方面提供一种用于图像矫正的装置，所述装置包括：接收器，用于接收两张图像，所述两张图像为从不同视点拍摄目标物体的图像，拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置；第一处理器，用于确定所述两张图像中对应的特征点对的位置；第一处理器，还用于根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。
根据本发明的第二方面，在本发明的第二方面的第一可执行方式中，所述第一处理器，具体用于根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数，根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数，根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。
根据本发明的第二方面或本发明的第二方面的第一可执行方式，在本发明的第二方面的第二可执行方式中，所述第一处理器，具体用于：确定所述两张图像中候选的对应的特征点对的位置；去除所述候选的对应的特征点对中对应错误的特征点对。
根据本发明的第二方面或本发明的第二方面的第一可执行方式或本发明的第二方面的第二可执行方式，在本发明的第二方面的第三可执行方式中，所述特征点包括下述的一个：在至少一个方向上的变化量大于第一阈值的点；不随图片大小变化而发生位置变化的点。
根据本发明的第二方面的第一可执行方式到第三可执行方式中任一可执行方式，在本发明的第二方面的第四可执行方式中，所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定。
根据本发明的第二方面的第四可执行方式，在本发明的第二方面的第五可执行方式中，所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。
根据本发明的第二方面的第一可执行方式到第五可执行方式中任一，在本发明的第二方面的第六可执行方式中，所述特征点对包括第一点和第二点；所述第一处理器，具体用于将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。
根据本发明的第二方面的第一可执行方式到第六可执行方式中任一可执行方式，在本发明的第二方面的第七可执行方式中，所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：旋转参数、焦距以及主点坐标。
根据本发明的第二方面或本发明的第二方面的第一可执行方式到第七可执行方式中任一，在本发明的第二方面的第八可执行方式中，所述第一处理器，还用于根据图像中的内容在所述对齐后的两张图像中选取进行立体图拼接的图像，将选取的图像拼接成立体图。
本发明的第三方面提供一种用于图像矫正的系统，所述系统包括第一摄像装置、第二摄像装置以及第二处理器，所述第一摄像装置和所述第二摄像装置，用于从不同视点拍摄目标物体的图像；所述第二处理器，用于获取所述第一摄像装置和所述第二摄像装置从不同视点拍摄的目标物体的图像，确定所述图像中对应的特征点的位置，根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。
根据本发明的第三方面，在本发明的第三方面的第一可执行方式中，所述第二处理器，具体用于根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数，根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数，根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。
根据本发明的第三方面或本发明的第三方面的第一可执行方式，在本发明的第三方面的第二可执行方式中，所述第二处理器，具体用于：确定所述两张图像中候选的对应的特征点对的位置；去除所述候选的对应的特征点对中对应错误的特征点对。
根据本发明的第三方面或本发明的第三方面的第一可执行方式或本发明的第三方面的第二可执行方式，在本发明的第三方面的第三可执行方式中，所述特征点包括下述的一个：在至少一个方向上的变化量大于第一阈值的点；不随图片大小变化而发生位置变化的点。
根据本发明的第三方面的第一可执行方式到第三可执行方式中任一可执行方式，在本发明的第三方面的第四可执行方式中，所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定。
根据本发明的第三方面的第四可执行方式，在本发明的第三方面的第五可执行方式中，所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。
根据本发明的第三方面的第一可执行方式到第五可执行方式中任一，在本发明的第三方面的第六可执行方式中，所述特征点对包括第一点和第二点；所述第二处理器，具体用于：将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。
根据本发明的第三方面的第一可执行方式到第六可执行方式中任一可执行方式，在本发明的第三方面的第七可执行方式中，所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：旋转参数、焦距以及主点坐标。
根据本发明的第三方面或本发明的第三方面的第一可执行方式到第七可执行方式中任一，在本发明的第三方面的第八可执行方式中，所述第二处理器，还用于根据图像中的内容在所述对齐后的两张图像中选取进行立体图拼接的图像，将选取的图像拼接成立体图。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被第三处理器执行时实现如本发明的第一方面、本发明的第一方面的第一可执行方式到本发明的第一方面的第八可执行方式中任一可执行方式中所述方法的步骤。
本发明的第五方面提供一种用于图像矫正的装置，包括存储器、第四处理器以及存储在所述存储器中并可在所述第四处理器上运行的计算机程序，所述计算机程序被第四处理器执行时实现如本发明的第一方面、本发明的第一方面的第一可执行方式到本发明的第一方面的第八可执行方式中任一可执行方式所述方法的步骤。
本发明提供的一种用于图像矫正的方法和装置，能够使得对获得的不同视点的图像进行矫正，从而保证像素对齐，使得观看者不会有视觉不适的感觉。
附图说明
图1为本发明实施例一提供的一种用于图像矫正的方法的流程图；
图2为本发明实施例一提供的一种用于选取用于立体图拼接的图像的方法示意图；
图3为本发明实施例二提供的一种用于图像矫正的装置结构示意图；
图4为本发明实施例三提供的一种用于图像矫正的系统结构示意图；
图5为本发明实施例四提供的一种用于图像矫正的装置结构示意图；
图6为本发明实施例五提供的一种用于图像矫正的装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细地描述。
本发明的说明书和权利要求书中上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。
其中，本发明实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或“例如”的任何实施例或设计方案不应该被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
应当说明的是，为了图示的简洁和清楚起见，附图中所示的元件没有必要按照比例进行绘制。例如，为了清楚，可以相对于其他元件，增大一些元件的尺寸。另外，在认为合适的地方，可以在附图间重复附图标记，以指示相对应或类似的元件。
本发明介绍的用于图像矫正的方法和装置可以用于生成立体图的摄像装置，如专业的多机位的摄像系统，或配置有多个摄像装置的摄像系统或终端，如配置有双摄像装置的终端，如带有双摄摄像头的手机，或带有双摄摄像头的平板电脑。
下面结合附图1对本发明实施例一提供的一种用于图像矫正的方法进行详细阐述。如图1所示，该方法包括：
步骤101，接收两张图像，所述两张图像为从不同视点拍摄目标物体的图像，拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置。
该两张图像可以是多张拍摄目标物体的图像中的两张。该两张图像可以为普通二维图像。所述普通二维图像包括黑白图像或彩色图像，该彩色图像可以为RGB(red greenblue，红绿蓝)图像。
可选的，上述的接收的动作可以为从存储装置中接收，该存储装置可以为RAM(Random Access Memory随机存取存储器)或闪存Flash Memory或ROM(Read-Only Memory只读存储器)等。
步骤102，确定所述两张图像中对应的特征点对的位置。
所述确定所述两张图像中对应的特征点对的位置，包括：确定所述两张图像中候选的对应的特征点对的位置，去除所述候选的对应的特征点对中对应错误的特征点对。具体地，可以采用RANSAC(Random Sample Consensus随机样本一致)算法来找出上述的对应错误的特征点对。上述对应的含义是两张图像中的像素点对应于同一目标物体的一部分。可选的，该特征点包括至少一个像素点。所述特征点包括下述的一个：在至少一个方向上的变化量大于第一阈值的点，不随图片大小变化而发生位置变化的点。总之，该特征点能够反映图像内容的特点。
步骤103，根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。
所述根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐，包括：根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数；根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数；根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。所述特征点对包括第一点和第二点，上述的关于第一参数的误差函数可以为由所述第一点的位置以及标定得到的参数计算得到的第一参数与由所述第二点的位置以及标定得到的参数计算得到的第一参数之间的误差。上述的关于第一参数的误差函数也可以根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数计算得到的第一参数的值与实际测得的第一参数的值之间的差值。如，上述的关于第一参数的误差函数可以为将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。具体地，上述投影的过程可以为将第一点的位置映射到其对应的摄像装置的三维坐标系下的点云，根据标定得到的第一点对应的摄像装置和第二点对应的摄像装置之间的外部参数，将上述点云映射到第二点对应的摄像装置的三维坐标系下，再将其投影到第二点所在图像的二维坐标系下。
所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定，如该关于旋转的参数可以是旋转矩阵。所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：旋转参数、焦距以及主点坐标。
具体地，首先定义矩阵F：
F＝(KL_new*RL_opt*KL_old -1)T*[u1]x*(KR_new*RR_opt*KR_old -1)；
其中，矩阵
Figure BDA0001465999930000071
为常量矩阵。F为3*3的矩阵。KL_old为第一摄像装置的内部参数，可以由标定得到。KR_old为第二摄像装置的内部参数，可以由标定得到。对所述误差函数进行处理，使得该误差函数的值最小或收敛可以得到优化后的第一摄像装置的内部参数KL_new，以及优化后的第二摄像装置的内部参数KR_new，以及优化后的第一摄像装置的旋转矩阵
Figure BDA0001465999930000072
和优化后的第二摄像装置的旋转矩阵
Figure BDA0001465999930000073
对于每一特征点对，假设第一摄像装置拍摄的图像的特征点坐标为
Figure BDA0001465999930000074
第二摄像装置拍摄的图像的特征点坐标为
Figure BDA0001465999930000075
定义向量
Figure BDA0001465999930000076
之后定义误差函数为：
Figure BDA0001465999930000077
其中α*(Rz_l′2+Rz_r′2)为正则项，α为正则项的系数，保证在使得误差函数最小的过程中Z轴的旋转不至于过大。Z轴为上述第一摄像装置和第二摄像装置的三维坐标系中的Z轴。
在获得优化过后的参数之后，可以计算上述第一摄像装置拍摄的图像和第二摄像装置拍摄的图像各自的单映性矩阵HL和HR，计算公式如下：
HL＝KL_new*RL_opt*KL_old -1；
HR＝KR_new*RR_opt*KR_old -1；
该矩阵可以用来获得变换后的图片的新的坐标：
Figure BDA0001465999930000078
其中，xold与yold为优化前的图像的坐标，优化后的图像的坐标xnew＝x′new/z′new，ynew＝y′new/z′new。其中，H可以为HL或HR，相应的坐标可以为第一摄像装置拍摄的图像或第二摄像装置拍摄的图像。
当得到上述的行对准矩阵R1和R2，以及获得的HL和HR，假设上述接收到的两张图像中的像素点的坐标为uori和vori，最终矫正后得到的对齐图的坐标为urec和vrec，那么计算公式为：
Figure BDA0001465999930000081
那么urec＝u′rec/w′rec，vrec＝v′rec/w′rec。对于第一摄像装置的拍摄的图像，H和R为R1和HL，对于第二摄像装置的拍摄的图像，H和R为HR和R2。
所述方法还包括：根据图像中的内容在所述对齐后的两张图像中选取进行立体图拼接的图像，将选取的图像拼接成立体图。
具体地，如图2所示，标记201表示经过矫正后的图像，标记202指示的虚线方框用于调整选取的需要进行拼接以生成立体图的图片。可以通过调整虚线框的大小和位置来选取用于拼接的图片区域，并且由于虚线框的位置和大小的改变，其内部的内容，如人脸，的位置也会相对改变。该步骤可以用于调整经过矫正后的图像中同样内容(如人脸)于拼接图中相对位置关系，从而调整人眼观看时的3D效果。将重新选取的不同视点图片的图片区域，按照常见立体图片格式，如side-by-side格式(左右拼接或上下拼接)、红蓝图等格式输出。
本发明实施例提供的一种用于图像矫正的方法，能够使得对获得的不同视点的图像进行矫正，从而保证像素对齐，使得观看者不会有视觉不适的感觉。
下面结合附图3对本发明实施例二提供的一种用于图像矫正的装置300进行详细阐述。如图3所示，该装置300包括接收器301以及第一处理器302。
接收器301，用于接收两张图像，所述两张图像为从不同视点拍摄目标物体的图像，拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置。
该两张图像可以是多张拍摄目标物体的图像中的两张。该两张图像可以为普通二维图像。所述普通二维图像包括黑白图像或彩色图像，该彩色图像可以为RGB图像。
可选的，上述的接收的动作可以为从存储装置中接收，该存储装置可以为RAM或闪存Flash Memory或ROM等。
第一处理器302，用于确定所述两张图像中对应的特征点对的位置。
所述第一处理器，具体用于：确定所述两张图像中候选的对应的特征点对的位置，去除所述候选的对应的特征点对中对应错误的特征点对。具体地，可以采用RANSAC(RandomSample Consensus随机样本一致)算法来找出上述的对应错误的特征点对。上述对应的含义是两张图像中的像素点对应于同一目标物体的一部分。可选的，该特征点包括至少一个像素点。所述特征点包括下述的一个：在至少一个方向上的变化量大于第一阈值的点，不随图片大小变化而发生位置变化的点。总之，该特征点能够反映图像内容的特点。
第一处理器302，还用于根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。
所述第一处理器，具体用于根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数，根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数，根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。所述特征点对包括第一点和第二点，上述的关于第一参数的误差函数可以为由所述第一点的位置以及标定得到的参数计算得到的第一参数与由所述第二点的位置以及标定得到的参数计算得到的第一参数之间的误差。上述的关于第一参数的误差函数也可以根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数计算得到的第一参数的值与实际测得的第一参数的值之间的差值。如，所述第一处理器具体用于将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。具体地，上述投影的过程可以为将第一点的位置映射到其对应的摄像装置的三维坐标系下的点云，根据标定得到的第一点对应的摄像装置和第二点对应的摄像装置之间的外部参数，将上述点云映射到第二点对应的摄像装置的三维坐标系下，再将其投影到第二点所在图像的二维坐标系下。
所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定，如该关于旋转的参数可以是旋转矩阵。所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：旋转参数、焦距以及主点坐标。
具体地，首先定义矩阵F：
F＝(KL_new*RL_opt*KL_old -1)T*[u1]x*(KR_new*RR_opt*KR_old -1)；
其中，矩阵
Figure BDA0001465999930000091
为常量矩阵。F为3*3的矩阵。KL_old为第一摄像装置的内部参数，可以由标定得到。KR_old为第二摄像装置的内部参数，可以由标定得到。对所述误差函数进行处理，使得该误差函数的值最小或收敛可以得到优化后的第一摄像装置的内部参数KL_new，以及优化后的第二摄像装置的内部参数KR_new，以及优化后的第一摄像装置的旋转矩阵
Figure BDA0001465999930000101
和优化后的第二摄像装置的旋转矩阵
Figure BDA0001465999930000102
对于每一特征点对，假设第一摄像装置拍摄的图像的特征点坐标为
Figure BDA0001465999930000103
第二摄像装置拍摄的图像的特征点坐标为
Figure BDA0001465999930000104
定义向量
Figure BDA0001465999930000105
之后定义误差函数为：
Figure BDA0001465999930000106
其中α*(Rz_l′2+Rz_r′2)为正则项，α为正则项的系数，保证在使得误差函数最小的过程中Z轴的旋转不至于过大。Z轴为上述第一摄像装置和第二摄像装置的三维坐标系中的Z轴。
在获得优化过后的参数之后，可以计算上述第一摄像装置拍摄的图像和第二摄像装置拍摄的图像各自的单映性矩阵HL和HR，计算公式如下：
HL＝KL_new*RL_opt*KL_old -1；
HR＝KR_new*RR_opt*KR_old -1；
该矩阵可以用来获得变换后的图片的新的坐标：
Figure BDA0001465999930000107
其中，xold与yold为优化前的图像的坐标，优化后的图像的坐标xnew＝x′new/z′new，ynew＝y′new/z′new。其中，H可以为HL或HR，相应的坐标可以为第一摄像装置拍摄的图像或第二摄像装置拍摄的图像。
当得到上述的行对准矩阵R1和R2，以及获得的HL和HR，假设上述接收到的两张图像中的像素点的坐标为uori和vori，最终矫正后得到的对齐图的坐标为urec和vrec，那么计算公式为：
Figure BDA0001465999930000108
那么urec＝u′rec/w′rec，vrec＝v′rec/w′rec。对于第一摄像装置的拍摄的图像，H和R为R1和HL，对于第二摄像装置的拍摄的图像，H和R为HR和R2。
所述第一处理器，还用于根据图像中的内容在所述对齐后的两张图像中选取进行立体图拼接的图像，将选取的图像拼接成立体图。
具体地，如图2所示，标记201表示经过矫正后的图像，标记202指示的虚线方框用于调整选取的需要进行拼接以生成立体图的图片。可以通过调整虚线框的大小和位置来选取用于拼接的图片区域，并且由于虚线框的位置和大小的改变，其内部的内容，如人脸，的位置也会相对改变。该步骤可以用于调整经过矫正后的图像中同样内容(如人脸)于拼接图中相对位置关系，从而调整人眼观看时的3D效果。将重新选取的不同视点图片的图片区域，按照常见立体图片格式，如side-by-side格式(左右拼接或上下拼接)、红蓝图等格式输出。
本发明实施例提供的一种用于图像矫正的装置，能够使得对获得的不同视点的图像进行矫正，从而保证像素对齐，使得观看者不会有视觉不适的感觉。
下面结合附图4对本发明实施例三提供的一种用于图像矫正的系统400进行详细阐述。如图4所示，该系统400包括第一摄像装置401、第二摄像装置402以及第二处理器403，
所述第一摄像装置401和所述第二摄像装置402，用于从不同视点拍摄目标物体的图像。
该两张图像可以是多张拍摄目标物体的图像中的两张。该两张图像可以为普通二维图像。所述普通二维图像包括黑白图像或彩色图像，该彩色图像可以为RGB(red greenblue，红绿蓝)图像。
所述第二处理器403，用于获取所述第一摄像装置和所述第二摄像装置从不同视点拍摄的目标物体的图像，确定所述图像中对应的特征点的位置，根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。
上述获取的动作可以为从存储装置中获取，该存储装置可以为RAM或闪存FlashMemory或ROM等。
所述第二处理器，具体用于：确定所述两张图像中候选的对应的特征点对的位置，去除所述候选的对应的特征点对中对应错误的特征点对。具体地，可以采用RANSAC(RandomSample Consensus随机样本一致)算法来找出上述的对应错误的特征点对。上述对应的含义是两张图像中的像素点对应于同一目标物体的一部分。可选的，该特征点包括至少一个像素点。所述特征点包括下述的一个：在至少一个方向上的变化量大于第一阈值的点，不随图片大小变化而发生位置变化的点。总之，该特征点能够反映图像内容的特点。
所述第二处理器，具体用于根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数，根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数，根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。所述特征点对包括第一点和第二点，上述的关于第一参数的误差函数可以为由所述第一点的位置以及标定得到的参数计算得到的第一参数与由所述第二点的位置以及标定得到的参数计算得到的第一参数之间的误差。上述的关于第一参数的误差函数也可以根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数计算得到的第一参数的值与实际测得的第一参数的值之间的差值。如，所述第二处理器具体用于将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。具体地，上述投影的过程可以为将第一点的位置映射到其对应的摄像装置的三维坐标系下的点云，根据标定得到的第一点对应的摄像装置和第二点对应的摄像装置之间的外部参数，将上述点云映射到第二点对应的摄像装置的三维坐标系下，再将其投影到第二点所在图像的二维坐标系下。
所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定，如该关于旋转的参数可以是旋转矩阵。所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：旋转参数、焦距以及主点坐标。
具体地，首先定义矩阵F：
F＝(KL_new*RL_opt*KL_old -1)T*[u1]x*(KR_new*RR_opt*KR_old -1)；
其中，矩阵
Figure BDA0001465999930000121
为常量矩阵。F为3*3的矩阵。KL_old为第一摄像装置的内部参数，可以由标定得到。KR_old为第二摄像装置的内部参数，可以由标定得到。对所述误差函数进行处理，使得该误差函数的值最小或收敛可以得到优化后的第一摄像装置的内部参数KL_new，以及优化后的第二摄像装置的内部参数KR_new，以及优化后的第一摄像装置的旋转矩阵
Figure BDA0001465999930000122
和优化后的第二摄像装置的旋转矩阵
Figure BDA0001465999930000123
对于每一特征点对，假设第一摄像装置拍摄的图像的特征点坐标为
Figure BDA0001465999930000124
第二摄像装置拍摄的图像的特征点坐标为
Figure BDA0001465999930000131
定义向量
Figure BDA0001465999930000132
之后定义误差函数为：
Figure BDA0001465999930000133
其中α*(Rz_l′2+Rz_r′2)为正则项，α为正则项的系数，保证在使得误差函数最小的过程中Z轴的旋转不至于过大。Z轴为上述第一摄像装置和第二摄像装置的三维坐标系中的Z轴。
在获得优化过后的参数之后，可以计算上述第一摄像装置拍摄的图像和第二摄像装置拍摄的图像各自的单映性矩阵HL和HR，计算公式如下：
HL＝KL_new*RL_opt*KL_old -1；
HR＝KR_new*RR_opt*KR_old -1；
该矩阵可以用来获得变换后的图片的新的坐标：
Figure BDA0001465999930000134
其中，xold与yold为优化前的图像的坐标，优化后的图像的坐标xnew＝x′new/z′new，ynew＝y′new/z′new。其中，H可以为HL或HR，相应的坐标可以为第一摄像装置拍摄的图像或第二摄像装置拍摄的图像。
当得到上述的行对准矩阵R1和R2，以及获得的HL和HR，假设上述接收到的两张图像中的像素点的坐标为uori和vori，最终矫正后得到的对齐图的坐标为urec和vrec，那么计算公式为：
Figure BDA0001465999930000135
那么urec＝u′rec/w′rec，vrec＝v′rec/w′rec。对于第一摄像装置的拍摄的图像，H和R为R1和HL，对于第二摄像装置的拍摄的图像，H和R为HR和R2。
所述第二处理器，还用于根据图像中的内容在所述对齐后的两张图像中选取进行立体图拼接的图像，将选取的图像拼接成立体图。
具体地，如图2所示，标记201表示经过矫正后的图像，标记202指示的虚线方框用于调整选取的需要进行拼接以生成立体图的图片。可以通过调整虚线框的大小和位置来选取用于拼接的图片区域，并且由于虚线框的位置和大小的改变，其内部的内容，如人脸，的位置也会相对改变。该步骤可以用于调整经过矫正后的图像中同样内容(如人脸)于拼接图中相对位置关系，从而调整人眼观看时的3D效果。将重新选取的不同视点图片的图片区域，按照常见立体图片格式，如side-by-side格式(左右拼接或上下拼接)、红蓝图等格式输出。
本发明实施例提供的一种用于图像矫正的系统，能够使得对获得的不同视点的图像进行矫正，从而保证像素对齐，使得观看者不会有视觉不适的感觉。
下面结合图5具体描述本发明实施例四提供的一种用于图像矫正的装置500，该装置500包括一种计算机可读存储介质501，所述计算机可读存储介质501存储有计算机程序，所述计算机程序被第三处理器502执行时实现如实施例一的方法的步骤。如图5所示，可选的，该装置500可以包括总线。
关于本实施例中部件功能的描述可以参见实施例一或二或三。
本发明实施例提供的一种用于图像矫正的装置，能够使得对获得的不同视点的图像进行矫正，从而保证像素对齐，使得观看者不会有视觉不适的感觉。
下面结合图6具体描述本发明实施例五提供的一种用于图像矫正的装置600，该装置600包括存储器601、第四处理器602以及存储在所述存储器601中并可在所述第四处理器602上运行的计算机程序，所述计算机程序被第四处理器602执行时实现如实施例一所述方法的步骤。可选的，如图6所示，该装置600还包括总线。
本发明实施例提供的一种用于图像矫正的装置，能够使得对获得的不同视点的图像进行矫正，从而保证像素对齐，使得观看者不会有视觉不适的感觉。
在上述的实施例中，可以在上述标定过程加入深度值检验，拍摄红外图像和彩色图像的同时获得深度图。对深度图中无任何旋转的标定板的深度值与实际测量值比较，如果小于规定的误差范围可继续标定；如果大于规定的误差范围则需修正深度传感器，然后重新标定。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述装置/终端设备中的执行过程。
所述装置/终端设备可以是手机、平板电脑、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述装置/终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，本发明的示意图仅仅是装置/终端设备的示例，并不构成对装置/终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述装置/终端设备还可以包括输入输出设备、网络接入设备、总线等。
上述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述装置/终端设备的控制中心，利用各种接口和线路连接整个装置/终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述装置/终端设备的各种功能。所述存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如视频数据、图像等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
上述各个实施例中的目标物体的成像可以目标物体的局部成像，也可以整体成像。无论是局部成像，或整体成像都适用或对局部成像，或整体成像相应做出调整后适用本发明提供的方法或装置，上述调整本领域普通技术人员不需要付出创造性劳动，应属于本发明的保护范围。

Claims (20)

1.一种用于图像矫正的方法，其特征在于，所述方法包括：
接收两张图像，所述两张图像为从不同视点拍摄目标物体的图像，拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置；
确定所述两张图像中对应的特征点对的位置；
采用随机样本一致算法去除候选的对应的特征点对中对应错误的特征点对；
根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐，包括：
根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数；
根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数；
根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像；
其中，所述特征点对包括第一点和第二点；
根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数，包括：
将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数；
所述误差函数包括正则项；
所述正则项通过根据所述第一摄像装置和第二摄像装置的关于旋转的参数的平方和与系数相乘确定；
根据图像中的内容在所述对齐后的两张图像中选取进行立体图拼接的图像，将选取的图像拼接成立体图，其中通过调整虚线框的大小和位置来选取用于拼接的图像。
2.根据权利要求1所述的方法，其特征在于，所述确定所述两张图像中对应的特征点对的位置，包括：
确定所述两张图像中候选的对应的特征点对的位置。
3.根据权利要求1所述的方法，其特征在于，所述特征点包括下述的一个：
在至少一个方向上的变化量大于第一阈值的点；
不随图片大小变化而发生位置变化的点。
4.根据权利要求1所述的方法，其特征在于，
所述关于旋转的参数对应于三维坐标系中的一个轴；
所述正则项确保在所述误差函数最小时不会在所述轴上过度旋转。
5.根据权利要求4所述的方法，其特征在于，所述关于旋转的参数对应于三维坐标系中的一个轴，包括：
所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。
6.根据权利要求1所述的方法，其特征在于，所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：
旋转参数、焦距以及主点坐标。
7.一种用于图像矫正的装置，其特征在于，所述装置包括：
接收器，用于接收两张图像，所述两张图像为从不同视点拍摄目标物体的图像，拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置；
第一处理器，用于确定所述两张图像中对应的特征点对的位置和采用随机样本一致算法去除候选的对应的特征点对中对应错误的特征点对，还用于根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐；
所述第一处理器，具体用于根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数，根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数，根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像；
其中，所述特征点对包括第一点和第二点；
所述第一处理器，具体用于将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数；
所述误差函数包括正则项；
所述正则项通过根据所述第一摄像装置和第二摄像装置的关于旋转的参数的平方和与系数相乘确定；
所述第一处理器，还用于根据图像中的内容在所述对齐后的两张图像中选取进行立体图拼接的图像，将选取的图像拼接成立体图，其中通过调整虚线框的大小和位置来选取用于拼接的图像。
8.根据权利要求7所述的装置，其特征在于，
所述第一处理器，具体用于：
确定所述两张图像中候选的对应的特征点对的位置。
9.根据权利要求7所述的装置，其特征在于，所述特征点包括下述的一个：
在至少一个方向上的变化量大于第一阈值的点；
不随图片大小变化而发生位置变化的点。
10.根据权利要求7所述的装置，其特征在于，
所述关于旋转的参数对应于三维坐标系中的一个轴；
所述正则项确保在所述误差函数最小时不会在所述轴上过度旋转。
11.根据权利要求10所述的装置，其特征在于，
所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。
12.根据权利要求7所述的装置，其特征在于，所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：
旋转参数、焦距以及主点坐标。
13.一种用于图像矫正的系统，其特征在于，所述系统包括第一摄像装置、第二摄像装置以及第二处理器，
所述第一摄像装置和所述第二摄像装置，用于从不同视点拍摄目标物体的图像；
所述第二处理器，用于获取所述第一摄像装置和所述第二摄像装置从不同视点拍摄的目标物体的图像，确定所述图像中对应的特征点的位置和采用随机样本一致算法去除候选的对应的特征点对中对应错误的特征点对，根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将两张图像对齐；
所述第二处理器，具体用于根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数，根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数，根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像；
其中，所述特征点对包括第一点和第二点；
所述第二处理器，具体用于：将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数；
所述误差函数包括正则项；
所述正则项通过根据所述第一摄像装置和第二摄像装置的关于旋转的参数的平方和与系数相乘确定；
所述第二处理器，还用于根据图像中的内容在所述对齐后的两张图像中选取进行立体图拼接的图像，将选取的图像拼接成立体图，其中通过调整虚线框的大小和位置来选取用于拼接的图像。
14.根据权利要求13所述的系统，其特征在于，
所述第二处理器，具体用于：
确定所述两张图像中候选的对应的特征点对的位置。
15.根据权利要求13所述的系统，其特征在于，所述特征点包括下述的一个：
在至少一个方向上的变化量大于第一阈值的点；
不随图片大小变化而发生位置变化的点。
16.根据权利要求13所述的系统，其特征在于，
所述关于旋转的参数对应于三维坐标系中的一个轴；
所述正则项确保在所述误差函数最小时不会在所述轴上过度旋转。
17.根据权利要求16所述的系统，其特征在于，
所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。
18.根据权利要求13所述的系统，其特征在于，所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：
旋转参数、焦距以及主点坐标。
19.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被第三处理器执行时实现如权利要求1-6任一权利要求所述方法的步骤。
20.一种用于图像处理的装置，包括存储器、第四处理器以及存储在所述存储器中并可在所述第四处理器上运行的计算机程序，其特征在于，所述计算机程序被第四处理器执行时实现如权利要求1-6任一权利要求所述方法的步骤。
CN201711114580.7A 2017-11-13 2017-11-13 一种用于图像矫正的方法和装置 Active CN109785390B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711114580.7A CN109785390B (zh) 2017-11-13 2017-11-13 一种用于图像矫正的方法和装置
US16/188,325 US11205281B2 (en) 2017-11-13 2018-11-13 Method and device for image rectification

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711114580.7A CN109785390B (zh) 2017-11-13 2017-11-13 一种用于图像矫正的方法和装置

Publications (2)

Publication Number Publication Date
CN109785390A CN109785390A (zh) 2019-05-21
CN109785390B true CN109785390B (zh) 2022-04-01

Family

ID=66433454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711114580.7A Active CN109785390B (zh) 2017-11-13 2017-11-13 一种用于图像矫正的方法和装置

Country Status (2)

Country Link
US (1) US11205281B2 (zh)
CN (1) CN109785390B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110636276B (zh) * 2019-08-06 2021-12-28 RealMe重庆移动通信有限公司 视频拍摄方法、装置、存储介质及电子设备
CN112348899A (zh) 2019-08-07 2021-02-09 虹软科技股份有限公司 标定参数的获取方法、装置、处理器及电子设备
CN113538588A (zh) * 2020-04-17 2021-10-22 虹软科技股份有限公司 标定方法、标定装置及应用其的电子设备
CN112116068B (zh) * 2020-08-27 2024-09-13 山东浪潮科学研究院有限公司 一种环视图像拼接方法、设备及介质
US11188046B1 (en) * 2020-11-03 2021-11-30 Samsara Inc. Determining alerts based on video content and sensor data
WO2023205960A1 (zh) * 2022-04-24 2023-11-02 西安诺瓦星云科技股份有限公司 显示屏图像处理方法、装置、系统及设备

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2767404B1 (fr) * 1997-08-12 1999-10-22 Matra Systemes Et Information Procede de production de donnees cartographiques par stereovision
US6639596B1 (en) * 1999-09-20 2003-10-28 Microsoft Corporation Stereo reconstruction from multiperspective panoramas
US6674892B1 (en) * 1999-11-01 2004-01-06 Canon Kabushiki Kaisha Correcting an epipolar axis for skew and offset
GB2372659A (en) * 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
JP4069855B2 (ja) * 2003-11-27 2008-04-02 ソニー株式会社 画像処理装置及び方法
JP4363295B2 (ja) * 2004-10-01 2009-11-11 オムロン株式会社 ステレオ画像による平面推定方法
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
JP2009515585A (ja) * 2005-11-14 2009-04-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ボリュメトリック位置合わせのための方法、システムおよびコンピュータプログラム
CN100468465C (zh) * 2007-07-13 2009-03-11 中国科学技术大学 基于虚拟图像对应的立体视觉三维人脸建模方法
TWI362628B (en) * 2007-12-28 2012-04-21 Ind Tech Res Inst Methof for producing an image with depth by using 2d image
KR101490689B1 (ko) * 2008-05-27 2015-02-06 삼성전자주식회사 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치
WO2011014419A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
CN101751555B (zh) * 2009-09-25 2012-02-08 中国科学院自动化研究所 一种形变指纹识别方法及系统
US20110080466A1 (en) * 2009-10-07 2011-04-07 Spatial View Inc. Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images
JP2011253376A (ja) * 2010-06-02 2011-12-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8494254B2 (en) * 2010-08-31 2013-07-23 Adobe Systems Incorporated Methods and apparatus for image rectification for stereo display
JP5648452B2 (ja) * 2010-12-03 2015-01-07 富士通株式会社 画像処理プログラムおよび画像処理装置
JP2012234258A (ja) * 2011-04-28 2012-11-29 Sony Corp 画像処理装置と画像処理方法およびプログラム
US9560334B2 (en) * 2011-09-08 2017-01-31 Qualcomm Incorporated Methods and apparatus for improved cropping of a stereoscopic image pair
CN102506757B (zh) * 2011-10-10 2014-04-23 南京航空航天大学 双目立体测量系统多视角测量中的自定位方法
JP5954668B2 (ja) * 2011-10-11 2016-07-20 パナソニックＩｐマネジメント株式会社 画像処理装置、撮像装置および画像処理方法
US20130163854A1 (en) * 2011-12-23 2013-06-27 Chia-Ming Cheng Image processing method and associated apparatus
US20140363097A1 (en) * 2013-06-06 2014-12-11 Etron Technology, Inc. Image capture system and operation method thereof
KR102214934B1 (ko) * 2014-07-18 2021-02-10 삼성전자주식회사 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법
CN104299261B (zh) * 2014-09-10 2017-01-25 深圳大学 人体三维成像方法及系统
US20160295194A1 (en) * 2015-03-30 2016-10-06 Ming Shi CO., LTD. Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
KR101729164B1 (ko) * 2015-09-03 2017-04-24 주식회사 쓰리디지뷰아시아 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법
WO2017051407A1 (en) * 2015-09-21 2017-03-30 Inuitive Ltd. Storing data retrieved from different sensors for generating a 3-d image
US20170113611A1 (en) * 2015-10-27 2017-04-27 Dura Operating, Llc Method for stereo map generation with novel optical resolutions
US10692262B2 (en) * 2017-01-12 2020-06-23 Electronics And Telecommunications Research Institute Apparatus and method for processing information of multiple cameras
CN106846415B (zh) * 2017-01-24 2019-09-20 长沙全度影像科技有限公司 一种多路鱼眼相机双目标定装置及方法
CN107292269B (zh) * 2017-06-23 2020-02-28 中国科学院自动化研究所 基于透视失真特性的人脸图像鉴伪方法、存储、处理设备

Also Published As

Publication number Publication date
CN109785390A (zh) 2019-05-21
US20190147616A1 (en) 2019-05-16
US11205281B2 (en) 2021-12-21

Similar Documents

Publication Publication Date Title
CN109785390B (zh) 一种用于图像矫正的方法和装置
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
US10460459B2 (en) Stitching frames into a panoramic frame
CN107925751B (zh) 用于多视点降噪和高动态范围的系统和方法
US10726580B2 (en) Method and device for calibration
US11282232B2 (en) Camera calibration using depth data
WO2020259271A1 (zh) 图像畸变校正方法和装置
CN109785225B (zh) 一种用于图像矫正的方法和装置
CN109474780B (zh) 一种用于图像处理的方法和装置
CN109754427A (zh) 一种用于标定的方法和装置
CN108846796B (zh) 图像拼接方法及电子设备
CN109598673A (zh) 图像拼接方法、装置、终端及计算机可读存储介质
CN109166076B (zh) 多相机拼接的亮度调整方法、装置及便携式终端
CN109920004B (zh) 图像处理方法、装置、标定物组合、终端设备及标定系统
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
US20190266802A1 (en) Display of Visual Data with a Virtual Reality Headset
US20170289516A1 (en) Depth map based perspective correction in digital photos
CN111757086A (zh) 有源双目相机、rgb-d图像确定方法及装置
CN115115521B (zh) 图像拼接方法、装置、计算机可读存储介质及终端设备
CN117939291A (zh) 内窥镜系统的摄像参数确定方法、装置、设备和存储介质
CN103533326A (zh) 用于立体视图对齐的系统和方法
CN115760560A (zh) 深度信息获取方法及装置、设备、存储介质
CN107743222B (zh) 一种基于采集器的图像数据处理方法及三维全景vr采集器
JP6732440B2 (ja) 画像処理装置、画像処理方法、及びそのプログラム
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant