CN114631310B - 图像传感器、控制方法、摄像头组件及移动终端 - Google Patents
图像传感器、控制方法、摄像头组件及移动终端 Download PDFInfo
- Publication number
- CN114631310B CN114631310B CN201980101407.4A CN201980101407A CN114631310B CN 114631310 B CN114631310 B CN 114631310B CN 201980101407 A CN201980101407 A CN 201980101407A CN 114631310 B CN114631310 B CN 114631310B
- Authority
- CN
- China
- Prior art keywords
- pixel information
- color pixel
- full
- color
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
- G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
一种图像传感器(10)、控制方法、摄像头组件(40)、及移动终端(90)。图像传感器(10)包括二维像素阵列(11)及透镜阵列(17)。二维像素阵列(11)包括多个彩色像素和多个全色像素。二维像素阵列(11)包括多个子单元,每个子单元包括多个单颜色像素和多个所述全色像素。透镜阵列(17)包括多个透镜(170),每个透镜(170)覆盖至少一个子单元中的多个像素(101)。
Description
技术领域
本申请涉及成像技术领域,特别涉及一种图像传感器、控制方法、摄像头组件、及移动终端。
背景技术
相关技术中,相位对焦的实现方式通常有以下两种:(1)在像素阵列中布置多对相位侦测像素来侦测相位差,每对相位侦测像素均包括一个被遮挡了左半部分的像素和一个被遮挡了右半部分的像素;(2)每一个像素均包括两个光电二极管,两个光电二极管组成相位侦测像素来侦测相位差。
发明内容
本申请实施方式提供一种图像传感器、控制方法、摄像头组件、及移动终端。
本申请实施方式的图像传感器包括二维像素阵列及透镜阵列。所述二维像素阵列包括多个彩色像素和多个全色像素,所述彩色像素具有比所述全色像素更窄的光谱响应。所述二维像素阵列包括多个子单元,每个所述子单元包括多个单颜色像素和多个所述全色像素。所述透镜阵列包括多个透镜,每个所述透镜覆盖至少一个所述子单元中的多个像素。
本申请实施方式的控制方法用于图像传感器。所述图像传感器包括二维像素阵列及透镜阵列。所述二维像素阵列包括多个彩色像素和多个全色像素,所述彩色像素具有比所述全色像素更窄的光谱响应。所述二维像素阵列包括多个子单元,每个所述子单元包括多个单颜色像素和多个所述全色像素。所述透镜阵列包括多个透镜,每个所述透镜覆盖至少一个所述子单元中的多个像素。所述控制方法包括:多个所述全色像素曝光以输出全色像素信息;根据所述全色像素信息计算相位差信息以进行对焦;在合焦状态下,所述二维像素阵列中的多个所述像素曝光以获取目标图像。
本申请实施方式的控制方法用于图像传感器。所述图像传感器包括二维像素阵列及透镜阵列。所述二维像素阵列包括多个彩色像素和多个全色像素,所述彩色像素具有比所述全色像素更窄的光谱响应。所述二维像素阵列包括多个子单元,每个所述子单元包括多个单颜色像素和多个所述全色像素。所述透镜阵列包括多个透镜,每个所述透镜覆盖至少一个所述子单元中的多个像素。所述控制方法包括:多个所述全色像素曝光以输出全色像素信息,及多个所述彩色像素曝光以输出彩色像素信息;根据所述全色像素信息及所述彩色像素信息计算相位差信息以进行对焦;在合焦状态下,所述二维像素阵列中的多个所述像素曝光以获取目标图像。
本申请实施方式的摄像头组件包括图像传感器。所述图像传感器包括二维像素阵列及透镜阵列。所述二维像素阵列包括多个彩色像素和多个全色像素,所述彩色像素具有比所述全色像素更窄的光谱响应。所述二维像素阵列包括多个子单元,每个所述子单元包括多个单颜色像素和多个所述全色像素。所述透镜阵列包括多个透镜,每个所述透镜覆盖至少一个所述子单元中的多个像素。
本申请实施方式的摄像头组件包括图像传感器及处理芯片。所述图像传感器包括二维像素阵列及透镜阵列。所述二维像素阵列包括多个彩色像素和多个全色像素,所述彩色像素具有比所述全色像素更窄的光谱响应。所述二维像素阵列包括多个子单元,每个所述子单元包括多个单颜色像素和多个所述全色像素。所述透镜阵列包括多个透镜,每个所述透镜覆盖至少一个所述子单元中的多个像素。所述图像传感器中的多个所述全色像素曝光以输出全色像素信息。所述处理芯片用于根据所述全色像素信息计算相位差以进行对焦。在合焦状态下,所述二维像素阵列中的多个所述像素曝光以获取目标图像。
本申请实施方式的摄像头组件包括图像传感器及处理芯片。所述图像传感器包括二维像素阵列及透镜阵列。所述二维像素阵列包括多个彩色像素和多个全色像素,所述彩色像素具有比所述全色像素更窄的光谱响应。所述二维像素阵列包括多个子单元,每个所述子单元包括多个单颜色像素和多个所述全色像素。所述透镜阵列包括多个透镜,每个所述透镜覆盖至少一个所述子单元中的多个像素。所述图像传感器中的多个所述全色像素曝光以输出全色像素信息,及多个所述彩色像素曝光以输出彩色像素信息。所述处理芯片用于根据所述全色像素信息及所述彩色像素信息计算相位差信息以进行对焦。在合焦状态下,所述二维像素阵列中的多个所述像素曝光以获取目标图像。
本申请实施方式的移动终端包括机壳及图像传感器,图像传感器安装在机壳内。所述图像传感器包括二维像素阵列及透镜阵列。所述二维像素阵列包括多个彩色像素和多个全色像素,所述彩色像素具有比所述全色像素更窄的光谱响应。所述二维像素阵列包括多个子单元,每个所述子单元包括多个单颜色像素和多个所述全色像素。所述透镜阵列包括多个透镜,每个所述透镜覆盖至少一个所述子单元中的多个像素。
本申请实施方式的移动终端包括图像传感器及处理器。所述图像传感器包括二维像素阵列及透镜阵列。所述二维像素阵列包括多个彩色像素和多个全色像素,所述彩色像素具有比所述全色像素更窄的光谱响应。所述二维像素阵列包括多个子单元,每个所述子单元包括多个单颜色像素和多个所述全色像素。所述透镜阵列包括多个透镜,每个所述透镜覆盖至少一个所述子单元中的多个像素。所述图像传感器中的多个所述全色像素曝光以输出全色像素信息。所述处理器用于根据所述全色像素信息计算相位差以进行对焦。在合焦状态下,所述二维像素阵列中的多个所述像素曝光以获取目标图像。
本申请实施方式的移动终端包括图像传感器及处理器。所述图像传感器包括二维像素阵列及透镜阵列。所述二维像素阵列包括多个彩色像素和多个全色像素,所述彩色像素具有比所述全色像素更窄的光谱响应。所述二维像素阵列包括多个子单元,每个所述子单元包括多个单颜色像素和多个所述全色像素。所述透镜阵列包括多个透镜,每个所述透镜覆盖至少一个所述子单元中的多个像素。所述图像传感器中的多个所述全色像素曝光以输出全色像素信息,及多个所述彩色像素曝光以输出彩色像素信息。所述处理器用于根据所述全色像素信息及所述彩色像素信息计算相位差信息以进行对焦。在合焦状态下,所述二维像素阵列中的多个所述像素曝光以获取目标图像。
本申请实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本申请某些实施方式的图像传感器的示意图;
图2是本申请某些实施方式的图像传感器的示意图;
图3是本申请某些实施方式的一种像素电路的示意图;
图4至图17是本申请某些实施方式的最小重复单元的像素排布及透镜覆盖方式的示意图;
图18是本申请某些实施方式的二维像素阵列及曝光控制线连接方式的示意图;
图19是本申请某些实施方式的控制方法的流程示意图;
图20是本申请某些实施方式的摄像头组件的示意图;
图21是不同色彩通道曝光饱和时间的示意图;
图22是本申请某些实施方式的控制方法的流程示意图;
图23和图24是本申请某些实施方式的控制方法的原理示意图;
图25至图30是本申请某些实施方式的控制方法的流程示意图;
图31至图34是本申请某些实施方式的控制方法的原理示意图;
图35是本申请某些实施方式的移动终端的示意图。
具体实施方式
下面详细描述本申请的实施方式,实施方式的示例在附图中示出,其中,相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。
请参阅图2和图4,本申请提供一种图像传感器10。图像传感器10包括二维像素阵列11及透镜阵列17。二维像素阵列11包括多个彩色像素和多个全色像素,彩色像素具有比全色像素更窄的光谱响应。二维像素阵列11包括多个子单元,每个子单元包括多个单颜色像素和多个全色像素。透镜阵列17包括多个透镜170,每个透镜170覆盖至少一个子单元中的多个像素101。
请参阅图2和图4,本申请还提供一种控制方法。本申请实施方式的控制方法用于图像传感器10。图像传感器10包括二维像素阵列11及透镜阵列17。二维像素阵列11包括多个彩色像素和多个全色像素,彩色像素具有比全色像素更窄的光谱响应。二维像素阵列11包括多个子单元,每个子单元包括多个单颜色像素和多个全色像素。透镜阵列17包括多个透镜170,每个透镜覆170盖至少一个子单元中的多个像素101。控制方法包括:多个全色像素曝光以输出全色像素信息;根据全色像素信息计算相位差信息以进行对焦;在合焦状态下,二维像素阵列11中的多个像素101曝光以获取目标图像。
请参阅图2、图4及图20,本申请提供一种摄像头组件40。摄像头组件40包括图像传感器10。图像传感器10包括二维像素阵列11及透镜阵列17。二维像素阵列11包括多个彩色像素和多个全色像素,彩色像素具有比全色像素更窄的光谱响应。二维像素阵列11包括多个子单元,每个子单元包括多个单颜色像素和多个全色像素。透镜阵列17包括多个透镜170,每个透镜170覆盖至少一个子单元中的多个像素101。
请参阅图2、图4及图20,本申请还提供一种摄像头组件40。摄像头组件40包括图像传感器10及处理芯片20。图像传感器10包括二维像素阵列11及透镜阵列17。二维像素阵列11包括多个彩色像素和多个全色像素,彩色像素具有比全色像素更窄的光谱响应。二维像素阵列11包括多个子单元,每个子单元包括多个单颜色像素和多个全色像素。透镜阵列17包括多个透镜170,每个透镜170覆盖至少一个子单元中的多个像素101。图像传感器10中的多个全色像素曝光以输出全色像素信息。处理芯片20用于根据全色像素信息计算相位差以进行对焦。在合焦状态下,二维像素阵列11中的多个像素101曝光以获取目标图像。
请参阅图2、图4及图20,本申请还提供一种摄像头组件40。摄像头组件40包括图像传感器10及处理芯片20。图像传感器10包括二维像素阵列11及透镜阵列17。二维像素阵列11包括多个彩色像素和多个全色像素,彩色像素具有比全色像素更窄的光谱响应。二维像素阵列11包括多个子单元,每个子单元包括多个单颜色像素和多个全色像素。透镜阵列17包括多个透镜170,每个透镜170覆盖至少一个子单元中的多个像素101。图像传感器10中的多个全色像素曝光以输出全色像素信息,多个彩色像素曝光以输出彩色像素信息。处理芯片20用于根据全色像素信息及彩色像素信息计算相位差信息以进行对焦。在合焦状态下,二维像素阵列11中的多个像素101曝光以获取目标图像。
请参阅图2、图4及图35,本申请还提供一种移动终端90。移动终端90包括机壳80及图像传感器10。图像传感器10安装在机壳80内。图像传感器10包括二维像素阵列11及透镜阵列17。二维像素阵列11包括多个彩色像素和多个全色像素,彩色像素具有比全色像素更窄的光谱响应。二维像素阵列11包括多个子单元,每个子单元包括多个单颜色像素和多个全色像素。透镜阵列17包括多个透镜170,每个透镜170覆盖至少一个子单元中的多个像素101。
请参阅图2、图4及图35,本申请还提供一种移动终端90。移动终端90包括图像传感器10及处理器60。图像传感器10包括二维像素阵列11及透镜阵列17。二维像素阵列11包括多个彩色像素和多个全色像素,彩色像素具有比全色像素更窄的光谱响应。二维像素阵列11包括多个子单元,每个子单元包括多个单颜色像素和多个全色像素。透镜阵列17包括多个透镜170,每个透镜170覆盖至少一个子单元中的多个像素101。图像传感器10中的多个全色像素曝光以输出全色像素信息。处理器60用于根据全色像素信息计算相位差以进行对焦。在合焦状态下,二维像素阵列11中的多个像素101曝光以获取目标图像。
请参阅图2、图4及图35,本申请还提供一种移动终端90。移动终端90包括图像传感器10及处理器60。图像传感器10包括二维像素阵列11及透镜阵列17。二维像素阵列11包括多个彩色像素和多个全色像素,彩色像素具有比全色像素更窄的光谱响应。二维像素阵列11包括多个子单元,每个子单元包括多个单颜色像素和多个全色像素。透镜阵列17包括多个透镜170,每个透镜170覆盖至少一个子单元中的多个像素101。图像传感器10中的多个全色像素曝光以输出全色像素信息,多个彩色像素曝光以输出彩色像素信息。处理器60用于根据全色像素信息及彩色像素信息计算相位差信息以进行对焦。在合焦状态下,二维像素阵列11中的多个像素101曝光以获取目标图像。
相关技术中,相位对焦通常是基于RGB排布的像素阵列来实现的,但这种相位对焦方式的场景适应性较低。具体地,在亮度较高的环境下,R、G、B三种像素可以接收到的较多的光线,能够输出信噪比较高的像素信息,此时相位对焦的准确度较高;但是在亮度较低的环境下,R、G、B三种像素能够接收到的光线较少,输出的像素信息的信噪比较低,此时相位对焦的准确度也较低。
基于上述原因,本申请提供一种图像传感器10(图2所示)、控制方法、摄像头组件40(图20所示)、及移动终端90(图35所示)。本申请实施方式的图像传感器10、控制方法、摄像头组件40、及移动终端90使用包括全色像素和彩色像素的二维像素阵列11来进行相位对焦,使得相位对焦在多类应用场景下的准确度均较高,相位对焦的场景适应性较好。
接下来首先介绍一下图像传感器10的基本结构。请参阅图1,图1是本申请实施方式的图像传感器10的示意图。图像传感器10包括二维像素阵列11、垂直驱动单元12、控制单元13、列处理单元14、水平驱动单元15。
例如,图像传感器10可以采用互补金属氧化物半导体(CMOS,ComplementaryMetal Oxide Semiconductor)感光元件或者电荷耦合元件(CCD,Charge-coupled Device)感光元件。
例如,二维像素阵列11包括以阵列形式二维排列的多个像素101(图2所示),每个像素101包括光电转换元件117(图3所示)。每个像素101根据入射在其上的光的强度将光转换为电荷。
例如,垂直驱动单元12包括移位寄存器和地址译码器。垂直驱动单元12包括读出扫描和复位扫描功能。读出扫描是指顺序地逐行扫描单位像素,从这些单位像素逐行地读取信号。例如,被选择并被扫描的像素行中的每一像素101输出的信号被传输到列处理单元14。复位扫描用于复位电荷,光电转换元件117的光电荷被丢弃,从而可以开始新的光电荷的积累。
例如,由列处理单元14执行的信号处理是相关双采样(CDS)处理。在CDS处理中,取出从所选像素行中的每一像素101输出的复位电平和信号电平,并且计算电平差。因而,获得了一行中的像素101的信号。列处理单元14可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。
例如,水平驱动单元15包括移位寄存器和地址译码器。水平驱动单元15顺序逐列扫描二维像素阵列11。通过水平驱动单元15执行的选择扫描操作,每一像素列被列处理单元14顺序地处理,并且被顺序输出。
例如,控制单元13根据操作模式配置时序信号,利用多种时序信号来控制垂直驱动单元13、列处理单元14和水平驱动单元15协同工作。
图像传感器10还包括设置在二维像素阵列11上的滤光片(图未示)。二维像素阵列11中的每一个像素的光谱响应(即像素能够接收的光线的颜色)由对应该像素的滤光片的颜色决定。本申请全文的彩色像素和全色像素指的是能够响应颜色与对应的滤光片颜色相同的光线的像素。
请参阅图2,图像传感器10还包括滤光片阵列16及透镜阵列17。沿图像传感器10的收光方向,透镜阵列17、滤光片16、二维像素阵列11依次设置,二维像素阵列11中的多个像素101可以接收穿过透镜阵列17及滤光片16的光线。滤光片阵列16包括多个滤光片160,滤光片阵列160可以部分或全部覆盖像素阵列11,每个滤光片160对应覆盖二维像素阵列11中的一个像素101。透镜阵列17包括多个透镜170,每个透镜170对应覆盖二维像素阵列11中的多个像素101。
图3是本申请实施方式中一种像素电路110的示意图。下面结合图3对像素电路110的工作原理进行说明。
如图3所示,像素电路110包括光电转换元件117(例如,光电二极管PD)、曝光控制电路116(例如,转移晶体管112)、复位电路(例如,复位晶体管113)、放大电路(例如,放大晶体管114)和选择电路(例如,选择晶体管115)。在本申请的实施例中,转移晶体管112、复位晶体管113、放大晶体管114和选择晶体管115例如是MOS管,但不限于此。
例如,参见图1和图3,转移晶体管112的栅极TG通过曝光控制线(图中未示出)连接垂直驱动单元12;复位晶体管113的栅极RG通过复位控制线(图中未示出)连接垂直驱动单元12;选择晶体管115的栅极SEL通过选择线(图中未示出)连接垂直驱动单元12。每个像素电路110中的曝光控制电路116(例如,转移晶体管112)与光电转换元件117电连接,用于转移光电转换元件117经光照后积累的电势。例如,光电转换元件117包括光电二极管PD,光电二极管PD的阳极例如连接到地。光电二极管PD将所接收的光转换为电荷。光电二极管PD的阴极经由曝光控制电路116(例如,转移晶体管112)连接到浮动扩散单元FD。浮动扩散单元FD与放大晶体管114的栅极、复位晶体管113的源极连接。
例如,曝光控制电路116为转移晶体管112,曝光控制电路116的控制端TG为转移晶体管112的栅极。当有效电平(例如,VPIX电平)的脉冲通过曝光控制线传输到转移晶体管112的栅极时,转移晶体管112导通。转移晶体管112将光电二极管PD光电转换的电荷传输到浮动扩散单元FD。
例如,复位晶体管113的漏极连接到像素电源VPIX。复位晶体管113的源极连接到浮动扩散单元FD。在电荷被从光电二极管PD转移到浮动扩散单元FD之前,有效复位电平的脉冲经由复位线传输到复位晶体管113的栅极,复位晶体管113导通。复位晶体管113将浮动扩散单元FD复位到像素电源VPIX。
例如,放大晶体管114的栅极连接到浮动扩散单元FD。放大晶体管114的漏极连接到像素电源VPIX。在浮动扩散单元FD被复位晶体管113复位之后,放大晶体管114经由选择晶体管115通过输出端OUT输出复位电平。在光电二极管PD的电荷被转移晶体管112转移之后,放大晶体管114经由选择晶体管115通过输出端OUT输出信号电平。
例如,选择晶体管115的漏极连接到放大晶体管114的源极。选择晶体管115的源极通过输出端OUT连接到图1中的列处理单元14。当有效电平的脉冲通过选择线被传输到选择晶体管115的栅极时,选择晶体管115导通。放大晶体管114输出的信号通过选择晶体管115传输到列处理单元14。
需要说明的是,本申请实施例中像素电路110的像素结构并不限于图3所示的结构。例如,像素电路110可以具有三晶体管像素结构,其中放大晶体管114和选择晶体管115的功能由一个晶体管完成。例如,曝光控制电路116也不局限于单个转移晶体管112的方式,其它具有控制端控制导通功能的电子器件或结构均可以作为本申请实施例中的曝光控制电路,单个转移晶体管112的实施方式简单、成本低、易于控制。
图4至图17示出了多种图像传感器10(图1所示)中像素101排布及透镜170覆盖方式的示例。参见图2、图4至图17,图像传感器10包括由多个彩色像素(例如多个第一颜色像素A、多个第二颜色像素B和多个第三颜色像素C)和多个全色像素W组成的二维像素阵列(也即图1所示的像素阵列11)。其中,彩色像素和全色像素通过其上覆盖的滤光片160能过通过的光线的波段来区分,彩色像素具有比全色像素更窄的光谱响应,彩色像素的响应光谱例如为全色像素W响应光谱中的部分。二维像素阵列11由多个最小重复单元组成(图4至图17示出了多种图像传感器10中的最小重复单元的示例),最小重复单元在行和列上复制并排列。每个最小重复单元均包括多个子单元,每个子单元包括多个单颜色像素及多个全色像素。例如,每个最小重复单元包括四个子单元,其中,一个子单元包括多个单颜色像素A和多个全色像素W,两个子单元包括多个单颜色像素B和多个全色像素W,剩余一个子单元包括多个单颜色像素C和多个全色像素W。
例如,最小重复单元的行和列的像素101的数量相等。例如最小重复单元包括但不限于,4行4列、6行6列、8行8列、10行10列的最小重复单元。例如,子单元的行和列的像素101的数量相等。例如子单元包括但不限于,2行2列、3行3列、4行4列、5行5列的子单元。这种设置有助于均衡行和列方向图像的分辨率和均衡色彩表现,提高显示效果。
在一个例子中,在最小重复单元中,全色像素W设置在第一对角线方向D1,彩色像素设置在第二对角线方向D2,第一对角线方向D1与第二对角线方向D2不同。
例如,图4是本申请实施方式中一种最小重复单元的像素101排布及透镜170覆盖方式示意图;最小重复单元为4行4列16个像素,子单元为2行2列4个像素,排布方式为:
W表示全色像素;A表示多个彩色像素中的第一颜色像素;B表示多个彩色像素中的第二颜色像素;C表示多个彩色像素中的第三颜色像素。
如图4所示,全色像素W设置在第一对角线方向D1(即图4中左上角和右下角连接的方向),彩色像素设置在第二对角线方向D2(例如图4中左下角和右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同。例如,第一对角线和第二对角线垂直。
需要说明的是,第一对角线方向D1和第二对角线方向D2并不局限于对角线,还包括平行于对角线的方向。这里的“方向”并非单一指向,可以理解为指示排布的“直线”的概念,可以有直线两端的双向指向。
如图4所示,一个透镜170覆盖一个子单元中的多个像素101,即覆盖2行2列4个像素101。当然,在其他例子中,一个透镜170也可以覆盖多个子单元中的多个像素101,例如,一个透镜170覆盖2个子单元中的多个像素101,一个透镜170覆盖3个子单元中的多个像素101,一个透镜170覆盖4个子单元中的多个像素101,一个透镜170覆盖6个子单元中的多个像素101等,在此不作限制。
例如,图5是本申请实施方式中又一种最小重复单元的像素101排布及透镜170覆盖方式示意图的示意图。最小重复单元为4行4列16个像素101,子单元为2行2列4个像素101,排布方式为:
W表示全色像素;A表示多个彩色像素中的第一颜色像素;B表示多个彩色像素中的第二颜色像素;C表示多个彩色像素中的第三颜色像素。
如图5所示,全色像素W设置在第一对角线方向D1(即图5中右上角和左下角连接的方向),彩色像素设置在第二对角线方向D2(例如图5中左上角和右下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。例如,第一对角线和第二对角线垂直。
如图5所示,一个透镜170覆盖4个子单元中的多个像素101,即覆盖4行4列16个像素101。当然,在其他例子中,一个透镜170也可以覆盖1个子单元中的多个像素101,或者一个透镜170覆盖2个子单元中的多个像素101,或者一个透镜170覆盖3个子单元中的多个像素101,或者一个透镜170覆盖5个子单元中的多个像素101等,在此不作限制。
例如,图6是本申请实施方式中又一种最小重复单元的像素101排布及透镜170覆盖方式的示意图。图7是本申请实施方式中又一种最小重复单元的像素101排布及透镜170覆盖方式的示意图。在图6和图7的实施例中,分别对应图4和图5的排布及覆盖方式,第一颜色像素A为红色像素R;第二颜色像素B为绿色像素G;第三颜色像素C为蓝色像素Bu。
需要说明的是,在一些实施例中,全色像素W的响应波段为可见光波段(例如,400nm-760nm)。例如,全色像素W上设置有红外滤光片,以实现红外光的滤除。在一些实施例中,全色像素W的响应波段为可见光波段和近红外波段(例如,400nm-1000nm),与图像传感器10中的光电转换元件(例如光电二极管PD)响应波段相匹配。例如,全色像素W可以不设置滤光片,全色像素W的响应波段由光电二极管的响应波段确定,即两者相匹配。本申请的实施例包括但不局限于上述波段范围。
例如,图8是本申请实施方式中又一种最小重复单元的像素101排布及透镜170覆盖方式的示意图。图9是本申请实施方式中又一种最小重复单元的像素101排布及透镜170覆盖方式的示意图。在图8和图9的实施例中,分别对应图4和图5的排布及覆盖方式,第一颜色像素A为红色像素R;第二颜色像素B为黄色像素Y;第三颜色像素C为蓝色像素Bu。
例如,图10是本申请实施方式中又一种最小重复单元的像素101排布及透镜170覆盖方式的示意图。图11是本申请实施方式中又一种最小重复单元的像素101排布及透镜170覆盖方式的示意图。在图10和图11的实施例中,分别对应图4和图5及覆盖的排布方式,第一颜色像素A为品红色像素M;第二颜色像素B为青色像素Cy;第三颜色像素C为黄色像素Y。
例如,图12是本申请实施方式中又一种最小重复单元的像素101排布及透镜170覆盖方式的示意图。最小重复单元为6行6列36个像素101,子单元为3行3列9个像素101,排布方式为:
W表示全色像素;A表示多个彩色像素中的第一颜色像素;B表示多个彩色像素中的第二颜色像素;C表示多个彩色像素中的第三颜色像素。
如图12所示,全色像素W设置在第一对角线方向D1(即图12中左上角和右下角连接的方向),彩色像素设置在第二对角线方向D2(例如图12中左下角和右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同。例如,第一对角线和第二对角线垂直。
如图12所示,一个透镜170覆盖一个子单元中的多个像素101,即覆盖3行3列9个像素101。当然,在其他例子中,一个透镜170也可以覆盖多个子单元中的多个像素101,例如,一个透镜170覆盖2个子单元中的多个像素101,一个透镜170覆盖3个子单元中的多个像素101,一个透镜170覆盖4个子单元中的多个像素101,一个透镜170覆盖6个子单元中的多个像素101等,在此不作限制。
例如,图13是本申请实施方式中又一种最小重复单元的像素101排布及透镜170覆盖方式的示意图。最小重复单元为6行6列36个像素101,子单元为3行3列9个像素101,排布方式为:
W表示全色像素;A表示多个彩色像素中的第一颜色像素;B表示多个彩色像素中的第二颜色像素;C表示多个彩色像素中的第三颜色像素。
如图13所示,全色像素W设置在第一对角线方向D1(即图13中右上角和左下角连接的方向),彩色像素设置在第二对角线方向D2(例如图13中左上角和右下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。例如,第一对角线和第二对角线垂直。
如图13所示,一个透镜170覆盖4个子单元中的多个像素101,即覆盖6行6列36个像素101。当然,在其他例子中,一个透镜170也可以覆盖1个子单元中的多个像素101,或者一个透镜170覆盖2个子单元中的多个像素101,或者一个透镜170覆盖3个子单元中的多个像素101,或者一个透镜170覆盖5个子单元中的多个像素101等,在此不作限制。
示例地,图12及图13的最小重复单元中的第一颜色像素A可以为红色像素R,第二颜色像素B可以为绿色像素G,第三颜色像素C可以为蓝色像素Bu。或者;图12及图13的最小重复单元中的第一颜色像素A可以为红色像素R,第二颜色像素B可以为黄色像素Y,第三颜色像素C可以为蓝色像素Bu。或者;图12及图13的最小重复单元中的第一颜色像素A可以为品红色像素M;第二颜色像素B可以为青色像素Cy;第三颜色像素C可以为黄色像素Y。
例如,图14是本申请实施方式中又一种最小重复单元的像素101排布及透镜170覆盖方式的示意图。最小重复单元为8行8列64个像素101,子单元为4行4列16个像素101,排布方式为:
W表示全色像素;A表示多个彩色像素中的第一颜色像素;B表示多个彩色像素中的第二颜色像素;C表示多个彩色像素中的第三颜色像素。
如图14所示,全色像素W设置在第一对角线方向D1(即图14中左上角和右下角连接的方向),彩色像素设置在第二对角线方向D2(例如图14中左下角和右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同。例如,第一对角线和第二对角线垂直。
如图14所示,一个透镜170覆盖一个子单元中的多个像素101,即覆盖4行4列16个像素101。当然,在其他例子中,一个透镜170也可以覆盖多个子单元中的多个像素101,例如,一个透镜170覆盖2个子单元中的多个像素101,一个透镜170覆盖3个子单元中的多个像素101,一个透镜170覆盖4个子单元中的多个像素101,一个透镜170覆盖6个子单元中的多个像素101等,在此不作限制。
例如,图15是本申请实施方式中又一种最小重复单元的像素101排布及透镜170覆盖方式的示意图。最小重复单元为8行8列64个像素101,子单元为4行4列16个像素101,排布方式为:
W表示全色像素;A表示多个彩色像素中的第一颜色像素;B表示多个彩色像素中的第二颜色像素;C表示多个彩色像素中的第三颜色像素。
如图15所示,全色像素W设置在第一对角线方向D1(即图15中右上角和左下角连接的方向),彩色像素设置在第二对角线方向D2(例如图15中左上角和右下角连接的方向)。第一对角线方向D1与第二对角线方向D2不同。例如,第一对角线和第二对角线垂直。
如图15所示,一个透镜170覆盖4个子单元中的多个像素101,即覆盖8行8列64个像素101。当然,在其他例子中,一个透镜170也可以覆盖1个子单元中的多个像素101,或者一个透镜170覆盖2个子单元中的多个像素101,或者一个透镜170覆盖3个子单元中的多个像素101,或者一个透镜170覆盖5个子单元中的多个像素101等,在此不作限制。
图4至图15所示例子中,每一个子单元内,相邻的全色像素W呈对角线设置,相邻的彩色像素也呈对角线设置。在另一个例子中,每一个子单元内,相邻的全色像素沿水平方向设置,相邻的彩色像素也沿水平方向设置;或者,相邻的全色像素沿垂直方向设置,相邻的彩色像素也沿垂直方向设置。相邻子单元中的全色像素可以呈水平方向设置或呈垂直方向设置,相邻子单元的中的彩色像素也可以呈水平方向设置或呈垂直方向设置。
例如,图16是本申请实施方式中又一种最小重复单元的像素101排布及透镜170覆盖方式的示意图。最小重复单元为4行4列16个像素101,子单元为2行2列8个像素101,排布方式为:
W表示全色像素;A表示多个彩色像素中的第一颜色像素;B表示多个彩色像素中的第二颜色像素;C表示多个彩色像素中的第三颜色像素。
如图16所示,在每一个子单元内,相邻的全色像素W的沿垂直方向设置,相邻的彩色像素也沿垂直方向设置。一个透镜170覆盖一个子单元中的多个像素101,即覆盖2行2列4个像素101。当然,在其他例子中,一个透镜170也可以覆盖多个子单元中的多个像素101,例如,一个透镜170覆盖2个子单元中的多个像素101,一个透镜170覆盖3个子单元中的多个像素101,一个透镜170覆盖4个子单元中的多个像素101,一个透镜170覆盖6个子单元中的多个像素101等,在此不作限制。
例如,图17是本申请实施方式中又一种最小重复单元的像素101排布及透镜170覆盖方式的示意图。最小重复单元为4行4列16个像素101,子单元为2行2列4个像素101,排布方式为:
W表示全色像素;A表示多个彩色像素中的第一颜色像素;B表示多个彩色像素中的第二颜色像素;C表示多个彩色像素中的第三颜色像素。
如图17所示,在每一个子单元内,相邻的全色像素W的沿水平方向设置,相邻的彩色像素也沿水平方向设置。一个透镜170覆盖一个子单元中的多个像素101,即覆盖2行2列4个像素101。当然,在其他例子中,一个透镜170也可以覆盖多个子单元中的多个像素101,例如,一个透镜170覆盖2个子单元中的多个像素101,一个透镜170覆盖3个子单元中的多个像素101,一个透镜170覆盖4个子单元中的多个像素101,一个透镜170覆盖6个子单元中的多个像素101等,在此不作限制。
图16和17的最小重复单元中,第一颜色像素A可以为红色像素R,第二颜色像素B可以为绿色像素G,第三颜色像素C可以为蓝色像素Bu。或者;图16和图17的最小重复单元中,第一颜色像素A可以为红色像素R,第二颜色像素B可以为黄色像素Y,第三颜色像素C可以为蓝色像素Bu。或者;图16和图17的最小重复单元中,第一颜色像素A可以为品红色像素M;第二颜色像素B可以为青色像素Cy;第三颜色像素C可以为黄色像素Y。
例如,图4至图17所示的任意一种排布的二维像素阵列11(图2所示)中的多个全色像素和多个彩色像素均可以由同一曝光控制线(图未示)控制。此时,全色像素的第一曝光时间与彩色像素的第二曝光时间相等。
例如,图4至图17所示的任意一种排布的二维像素阵列11(图2所示)中的多个全色像素和多个彩色像素均可以分别由不同的曝光控制线控制,从而实现全色像素的曝光时间和彩色像素的曝光时间的独立控制。其中,对于图4至图15所示的任意一种排布的二维像素阵列11,第一对角线方向相邻的至少两个全色像素的曝光控制电路的控制端(图未示)与第一曝光控制线(TX1)电连接,第二对角线方向相邻的至少两个彩色像素的曝光控制电路的控制端(图未示)与第二曝光控制线(TX2)电连接。对于图16和图17所示二维的像素阵列11,同一行或同一列的全色像素的曝光控制电路的控制端(图未示)与第一曝光控制线(TX1)电连接,同一行或同一列的彩色像素的曝光控制电路的控制端(图未示)与第二曝光控制线(TX2)电连接。第一曝光控制线可以传输第一曝光信号以控制全色像素的第一曝光时间,第二曝光控制线可以传输第二曝光信号以控制彩色像素的第二曝光时间。
图18是本申请实施方式中一个实施例的二维像素阵列11及曝光控制线连接方式的示意图。请参阅图18,二维像素阵列11中的像素排布为如下方式:
需要说明的是,为了方便图示说明,图18中仅示出了二维像素阵列11中的部分像素(一个最小重复单元),周边其它像素及连线以省略号“……”代替。
如图18所示,像素1101、1103、1106、1108、1111、1113、1116、及1118为全色像素W,像素1102、1105为第一颜色像素A(例如红色像素R),像素1104、1107、1112、1115为第二颜色像素B(例如绿色像素G),像素1114、1117为第三颜色像素C(例如蓝色像素Bu)。从图18中可以看出,全色像素W(像素1101、1103、1106和1108)中曝光控制电路的控制端TG与一条第一曝光控制线TX1连接,全色像素W(1111、1113、1116、和1118)中曝光控制电路的控制端TG与另一条第一曝光控制线TX1连接;第一颜色像素A(像素1102和1105)中曝光控制电路的控制端TG、第二颜色像素B(像素1104、1107)中曝光控制电路的控制端TG与一条第二曝光控制线TX2连接,第二颜色像素B(像素1112、1115)中曝光控制电路的控制端TG、第三颜色像素C(像素1114、1117)中曝光控制电路的控制端TG与另一条第二曝光控制线TX2连接。每条第一曝光控制线TX1可通过第一曝光控制信号控制全色像素的曝光时长;每条第二曝光控制线TX2可通过第二曝光控制信号控制彩色像素(例如第一颜色像素A和第二颜色像素B、第二颜色像素B和第三颜色像素C)的曝光时长。由此可实现全色像素和彩色像素曝光时长的独立控制。例如,可以实现在全色像素曝光结束时,彩色像素继续曝光,以达到理想的成像效果。
对于图4至图15所示的像素阵列11,第一曝光控制线TX1呈“W”型,第一曝光控制线TX1与相邻两行的全色像素中曝光控制电路的控制端电连接。第二曝光控制线TX2呈“W”型,第二曝光控制线TX2与相邻两行的彩色像素中曝光控制电路的控制端电连接。以图4为例,第一行和第二行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起,以实现全色像素曝光时间的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二曝光控制线TX2连接在一起,以实现彩色像素曝光时间的单独控制。第三行和第四行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起,以实现全色像素曝光时间的单独控制。第三行和第四行的彩色像素(B和C)由呈“W”型的第二曝光控制线TX2连接在一起,以实现彩色像素曝光时间的单独控制。
全色像素的曝光时间与彩色像素的曝光时间独立控制时,全色像素的第一曝光时间可以小于彩色像素的曝光时间。例如,第一曝光时间与第二曝光时间的比例可以为1∶2、1∶3或1∶4中的一种。例如,在光线比较暗的环境下,彩色像素更容易曝光不足,可以根据环境亮度调整第一曝光时间与第二曝光时间的比例为1∶2,1∶3或1∶4。其中,曝光比例为上述整数比或接近整数比的情况下,有利于时序的设置信号的设置和控制。
在某些实施方式中,可以根据环境亮度来确定第一曝光时间与第二曝光时间的相对关系。例如,在环境亮度小于或等于亮度阈值时,全色像素以等于第二曝光时间的第一曝光时间来曝光;在环境亮度大于亮度阈值时,全色像素以小于第二曝光时间的第一曝光时间来曝光。在环境亮度大于亮度阈值时,可以根据环境亮度与亮度阈值之间的亮度差值来确定第一曝光时间与第二曝光时间的相对关系,例如,亮度差值越大,第一曝光时间与第二曝光时间的比例越小。示例地,在亮度差值位于第一范围[a,b)内时,第一曝光时间与第二曝光时间的比例为1∶2;在亮度差值位于第二范围[b,c)内时,第一曝光时间与第二曝光时间的比例为1∶3;在亮度差值大于或等于c时,第一曝光时间与第二曝光时间的比例为1∶4。
请参阅图2和图19,本申请实施方式的控制方法用于上述任意一项实施方式所述的图像传感器10。控制方法包括:
01:多个全色像素曝光以输出全色像素信息,及多个彩色像素曝光以输出彩色像素信息;
02:获取环境亮度;
03:在环境亮度小于或等于第一预定亮度时,根据全色像素信息计算相位差以进行对焦;
04:在环境亮度大于或等于第二预定亮度时,根据彩色像素信息计算相位差以进行对焦;
05:在环境亮度大于第一预定亮度且小于第二预定亮度时,根据全色像素信息和彩色像素信息中的至少一种计算相位差信息以进行对焦;
06:在合焦状态下,二维像素阵列11中的多个像素101曝光以获取目标图像。
请参阅图2及图20,本申请实施方式的控制方法可以由本申请实施方式的摄像头组件40实现。摄像头组件40包括镜头30、上述任意一项实施方式所述的图像传感器10、及处理芯片20。图像传感器10可以接收穿过镜头30入射的光线并生成电信号。图像传感器10与处理芯片20电连接。处理芯片20可以与图像传感器10、镜头30封装在摄像头组件40的壳体内;或者,图像传感器10和镜头30封装在摄像头组件40的壳体内,处理芯片20设置在壳体外。步骤01可以由图像传感器10实现。步骤02、步骤03、步骤04、及步骤05均可以由处理芯片20实现。步骤06可以由图像传感器10和处理芯片20共同实现。也即是说,图像传感器10中的多个全色像素曝光以输出全色像素信息,图像传感器10中的多个彩色像素曝光以输出彩色像素信息。处理芯片20可以获取环境亮度。在环境亮度小于或等于第一预定亮度时,处理芯片20根据全色像素信息计算相位差以进行对焦。在环境亮度大于或等于第二预定亮度时,处理芯片20根据彩色像素信息计算相位差以进行对焦。在环境亮度大于第一预定亮度且小于第二预定亮度时,处理芯片20根据全色像素信息和彩色像素信息中的至少一种计算相位差信息以进行对焦。在合焦状态下,图像传感器10的二维像素阵列11中的多个像素101曝光,处理芯片20根据多个像素101的曝光结果获取目标图像。
其中,第一预定亮度小于第二预定亮度。环境亮度大于第一预定亮度且小于第二预定亮度可以理解为环境亮度位于预定亮度范围内。
在环境亮度大于第一预定亮度且小于第二预定亮度时,根据全色像素信息和彩色像素信息中的至少一种计算相位差信息以进行对焦包括以下几种情形:(1)仅根据全色像素信息计算相位差信息以进行对焦;(2)仅根据彩色像素信息中的至少一种计算相位差信息以进行对焦;(3)同时根据全色像素信息和彩色像素信息计算相位差信息以进行对焦。
可以理解,在包含多种色彩的像素的图像传感器中,不同色彩的像素单位时间接收的曝光量不同。在某些色彩饱和后,某些色彩还未曝光到理想的状态。例如,曝光到饱和曝光量的60%-90%可以具有比较好的信噪比和精确度,但本申请的实施例不限于此。
图21中以RGBW(红、绿、蓝、全色)为例说明。参见图21,图21中横轴为曝光时间、纵轴为曝光量,Q为饱和的曝光量,LW为全色像素W的曝光曲线,LG为绿色像素G的曝光曲线,LR为红色像素R的曝光曲线,LB为蓝色像素的曝光曲线。
从图21可以看出,全色像素W的曝光曲线LW的斜率最大,也就是说在单位时间内全色像素W可以获得更多的曝光量,在t1时刻即达到饱和。绿色像素G的曝光曲线LG的斜率次之,绿色像素在t2时刻饱和。红色像素R的曝光曲线LR的斜率再次之,红色像素在t3时刻饱和。蓝色像素B的曝光曲线LB的斜率最小,蓝色像素在t4时刻饱和。由图21可知,全色像素W单位时间内接收的曝光量是大于彩色像素单位时间内接收的曝光量的,也即全色像素W的灵敏度要高于彩色像素的灵敏度。
现有的相位对焦通常是基于拜耳阵列排布的图像传感器实现的,但这种相位对焦方式的场景适应性较低。具体地,在亮度较高的环境下,R、G、B三种像素可以接收到的较多的光线,能够输出信噪比较高的像素信息,此时相位对焦的准确度较高;但是在亮度较低的环境下,R、G、B三种像素能够接收到的光线较少,输出的像素信息的信噪比较低,此时相位对焦的准确度也较低。
本申请实施方式的控制方法及摄像头组件40,采用包括全色像素和彩色像素的图像传感器10来实现相位对焦,从而可以在亮度较低(例如亮度小于或等于第一预定亮度)的环境下采用灵敏度较高的全色像素来进行相位对焦,在亮度较高(例如亮度大于或等于第二预定亮度)的环境下采用灵敏度较低的彩色像素来进行相位对焦,而在亮度适中(例如大于第一预定亮度且小于第二预定亮度)的环境下采用全色像素和彩色像素中的至少一种来进行相位对焦。如此,可以避免在环境亮度较低时采用彩色像素进行相位对焦,因彩色像素输出的像素信息信噪比过低导致对焦不准确的问题,也可以避免在环境亮度较高时采用全色像素进行对焦,因全色像素过饱和导致对焦不准确的问题,由此使得相位对焦在多类应用场景下的准确度均较高,相位对焦的场景适应性较好。
此外,本申请实施方式的控制方法及摄像头组件40不需要对图像传感器10中的像素101进行遮挡设计,所有像素101都可以用于成像,不需要进行坏点补偿,有利于提升摄像头组件40获取的目标图像的质量。
另外,本申请实施方式的控制方法及摄像头组件40中的所有像素101都可以用于相位对焦,相位对焦的准确度更高。
请参阅图22,在某些实施方式中,全色像素信息包括第一全色像素信息及第二全色像素信息。第一全色像素信息及第二全色像素信息分别由位于透镜170(图2所示)的第一方位的全色像素及位于透镜170的第二方位的全色像素输出。一个第一全色像素信息与对应的一个第二全色像素信息作为一对全色像素信息对。根据全色像素信息计算相位差以进行对焦的步骤包括:
0711:根据多对全色像素信息对中的第一全色像素信息形成第一曲线;
0712:根据多对全色像素信息对中的第二全色像素信息形成第二曲线;及
0713:根据第一曲线及第二曲线计算相位差信息以进行对焦。
请再参阅图20,在某些实施方式中,步骤0711、步骤0712、及步骤0713均可以由处理芯片20实现。也即是说,处理芯片20可用于根据多对全色像素信息对中的第一全色像素信息形成第一曲线、根据多对全色像素信息对中的第二全色像素信息形成第二曲线、以及根据第一曲线及第二曲线计算相位差信息以进行对焦。
具体地,请结合图23,在一个例子中,以每个透镜170的圆心为原点建立x-y坐标系,透镜170的位于第二象限的部分属于第一方位P1,透镜170的位于第四象限的部分属于第二方位P2。对应到图23的像素阵列11的每一个子单元中,一个全色像素W位于透镜170的第一方位P1,另一个全色像素W位于透镜170的第二方位P2。第一全色像素信息由位于透镜170的第一方位P1的全色像素W输出,第二全色像素信息由位于透镜170的第二方位P2的全色像素W输出。例如,全色像素W11、W13、W15、W17、W31、W33、W35、W37、W51、W53、W55、W57、W71、W73、W75、W77位于第一方位P1,全色像素W22、W24、W26、W28、W42、W44、W46、W48、W62、W64、W66、W68、W82、W84、W86、W88位于第二方位P2。同一个子单元中的全色像素组成一对全色像素对,相应的,同一个子单元中的全色像素的全色像素信息组成一对全色像素信息对,例如,全色像素W11的全色像素信息与全色像素W22的全色像素信息组成一对全色像素信息对,全色像素W13的全色像素信息与全色像素W24的全色像素信息组成一对全色像素信息对,全色像素W15的全色像素信息与全色像素W26的全色像素信息组成一对全色像素信息对,全色像素W17的全色像素信息与全色像素W28的全色像素信息组成一对全色像素信息对等,依此类推。
请结合图24,在另一个例子中,以每个透镜170的圆心为原点建立x-y坐标系,透镜170的位于第二象限的部分属于第一方位P1,透镜170的位于第三象限的部分属于第二方位P2。对应到图24的像素阵列11的每一个子单元中,一个全色像素W位于透镜170的第一方位P1,另一个全色像素W位于透镜170的第二方位P2。第一全色像素信息由位于透镜170的第一方位P1的全色像素W输出,第二全色像素信息由位于透镜170的第二方位P2的全色像素W输出。例如,全色像素W11、W13、W15、W17、W31、W33、W35、W37、W51、W53、W55、W57、W71、W73、W75、W77位于第一方位P1,全色像素W21、W23、W25、W27、W41、W43、W45、W47、W61、W63、W65、W67、W81、W83、W85、W87位于第二方位P2。同一个子单元中的全色像素组成一对全色像素对,相应的,同一个子单元中的全色像素的全色像素信息组成一对全色像素信息对,例如,全色像素W11的全色像素信息与全色像素W21的全色像素信息组成一对全色像素信息对,全色像素W13的全色像素信息与全色像素W23的全色像素信息组成一对全色像素信息对,全色像素W15的全色像素信息与全色像素W25的全色像素信息组成一对全色像素信息对,全色像素W17的全色像素信息与全色像素W27的全色像素信息组成一对全色像素信息对等,依此类推。
在获取多对全色像素信息对之后,处理芯片20根据多对全色像素信息对中的第一全色像素信息形成第一曲线,并根据多对全色像素对中的第二全色像素信息形成第二曲线,再根据第一曲线和第二曲线计算出相位差信息。示例地,多个第一全色像素信息可以描绘出一条直方图曲线(即第一曲线),多个第二全色像素信息可以描绘出另一条直方图曲线(即第二曲线)。随后,处理芯片20可以根据两条直方图曲线的峰值所处的位置来计算出两条直方图曲线之间的相位差信息。随后,处理芯片20即可根据相位差信息及事先标定好的参数来确定出镜头30需要移动的距离。随后,处理芯片20可以控制镜头30移动需要移动的距离以使得镜头30处于合焦状态。
图24所示的二维像素阵列11中,全色像素对是沿垂直方向排列的,基于此种排列方式进行相位对焦时,若是遇到包含大量纯色竖条纹的场景,则第一曲线的峰值与第二曲线的峰值之间的差异可能较小,导致计算出来的相位差信息不够准确,进一步地会影响对焦的准确度。图23所示的二维像素阵列11中,全色像素对是沿对角线排列的,基于此种排列方式进行相位对焦时,无论是遇到包含大量纯色竖条纹的场景还是遇到包含大量纯色横条纹的场景,第一曲线的峰值与第二曲线的峰值之间的差异均不会过小,计算出来的相位差信息较为准确,从而能够提升对焦的准确度。
请参阅图25,在某些实施方式中,全色像素信息包括第一全色像素信息及第二全色像素信息。第一全色像素信息及第二全色像素信息分别由位于透镜170(图2所示)的第一方位的全色像素及位于透镜170的第二方位的全色像素输出。多个第一全色像素信息与对应的多个第二全色像素信息作为一对全色像素信息对。根据全色像素信息计算相位差信息以进行对焦,包括:
0721:根据每对全色像素信息对中的多个第一全色像素信息计算第三全色像素信息;
0722:根据每对全色像素信息对中的多个第二全色像素信息计算第四全色像素信息;
0723:根据多个第三全色像素信息形成第一曲线;
0724:根据多个第四全色像素信息形成第二曲线;及
0725:根据第一曲线及第二曲线计算相位差信息以进行对焦。
请再参阅图20,在某些实施方式中,步骤0721、步骤0722、步骤0723、步骤0724、及步骤0725均可以由处理芯片20实现。也即是说,处理芯片20可以用于根据每对全色像素信息对中的多个第一全色像素信息计算第三全色像素信息、根据每对全色像素信息对中的多个第二全色像素信息计算第四全色像素信息。处理芯片20还可以用于根据多个第三全色像素信息形成第一曲线、根据多个第四全色像素信息形成第二曲线、及根据第一曲线及第二曲线计算相位差信息以进行对焦。
具体地,请再结合图23,在一个例子中,以每个透镜170的圆心为原点建立x-y坐标系,透镜170的位于第二象限的部分属于第一方位P1,透镜170的位于第四象限的部分属于第二方位P2。对应到图23的像素阵列11的每一个子单元中,一个全色像素W位于透镜170的第一方位P1,另一个全色像素W位于透镜170的第二方位P2。第一全色像素信息由位于透镜170的第一方位P1的全色像素W输出,第二全色像素信息由位于透镜170的第二方位P2的全色像素W输出。例如,全色像素W11、W13、W15、W17、W31、W33、W35、W37、W51、W53、W55、W57、W71、W73、W75、W77位于第一方位P1,全色像素W22、W24、W26、W28、W42、W44、W46、W48、W62、W64、W66、W68、W82、W84、W86、W88位于第二方位P2。多个位于第一方位P1的全色像素与多个位于第二方位P2的全色像素组成一对全色像素对,相应的,多个第一全色像素信息与对应的多个第二全色像素信息作为一对全色像素信息对。例如,同一最小重复单元中的多个第一全色像素信息与该最小重复单元中的多个第二全色像素信息作为一对全色像素信息对,也即,全色像素W11、W13、W31、W33的全色像素信息与全色像素W22、W24、W42、W44的全色像素信息组成一对全色像素信息对,全色像素W15、W17、W35、W37的全色像素信息与全色像素W26、W28、W46、W48的全色像素信息组成一对全色像素信息对,全色像素W51、W53、W71、W73的全色像素信息与全色像素W62、W64、W82、W84的全色像素信息组成一对全色像素信息对,全色像素W55、W57、W75、W77的全色像素信息与全色像素W66、W68、W86、W88的全色像素信息组成一对全色像素信息对。
请再结合图24,在另一个例子中,以每个透镜170的圆心为原点建立x-y坐标系,透镜170的位于第二象限的部分属于第一方位P1,透镜170的位于第三象限的部分属于第二方位P2。对应到图24的像素阵列11的每一个子单元中,一个全色像素W位于透镜170的第一方位P1,另一个全色像素W位于透镜170的第二方位P2。第一全色像素信息由位于透镜170的第一方位P1的全色像素W输出,第二全色像素信息由位于透镜170的第二方位P2的全色像素W输出。例如,全色像素W11、W13、W15、W17、W31、W33、W35、W37、W51、W53、W55、W57、W71、W73、W75、W77位于第一方位P1,全色像素W21、W23、W25、W27、W41、W43、W45、W47、W61、W63、W65、W67、W81、W83、W85、W87位于第二方位P2。多个位于第一方位P1的全色像素与多个位于第二方位P2的全色像素组成一对全色像素对,相应的,多个第一全色像素信息与对应的多个第二全色像素信息作为一对全色像素信息对。例如,同一最小重复单元中的多个第一全色像素信息与该最小重复单元中的多个第二全色像素信息作为一对全色像素信息对,也即,全色像素W11、W13、W31、W33的全色像素信息与全色像素W21、W23、W41、W43的全色像素信息组成一对全色像素信息对,全色像素W15、W17、W35、W37的全色像素信息与全色像素W25、W27、W45、W47的全色像素信息组成一对全色像素信息对,全色像素W51、W53、W71、W73的全色像素信息与全色像素W61、W63、W81、W83的全色像素信息组成一对全色像素信息对,全色像素W55、W57、W75、W77的全色像素信息与全色像素W65、W67、W85、W87的全色像素信息组成一对全色像素信息对。
在获取多对全色像素信息对之后,处理芯片20根据每对全色像素信息对中的多个第一全色像素信息计算第三全色像素信息,并根据每对全色像素信息对中的多个第二全色像素信息计算第四全色像素信息。示例地,对于全色像素W11、W13、W31、W33的全色像素信息与全色像素W22、W24、W42、W44的全色组成的全色像素信息对,第三全色像素信息的计算方式可为:LT=(W11+W13+W31+W33)/4,第四全色像素信息的计算方式可为:RB=(W22+W24+W42+W44)/4。其余的全色像素信息对的第三全色像素信息及第四全色像素信息的计算方式与此类似,在此不再赘述。如此,处理芯片20可以得到多个第三全色像素信息及多个第四全色像素信息。多个第三全色像素信息可以描绘出一条直方图曲线(即第一曲线),多个第四全色像素信息可以描绘出另一条直方图曲线(即第二曲线)。随后,处理芯片20可以根据两条直方图曲线计算出相位差信息。随后,处理芯片20即可根据相位差信息及事先标定好的参数来确定出镜头30需要移动的距离。随后,处理芯片20可以控制镜头30移动需要移动的距离以使得镜头30处于合焦状态。
请参阅图26,在某些实施方式中,彩色像素信息包括第一彩色像素信息及第二彩色像素信息。第一彩色像素信息及第二彩色像素信息分别由位于透镜170(图2所示)的第三方位的彩色像素及位于透镜170的第四方位的彩色像素输出。一个第一彩色像素信息与对应的一个第二彩色像素信息作为一对彩色像素信息对。根据彩全色像素信息计算相位差以进行对焦的步骤包括:
0731:根据多对彩色像素信息对中的第一彩色像素信息形成第三曲线;
0732:根据多对彩色像素信息对中的第二彩色像素信息形成第四曲线;及
0733:根据第三曲线及第四曲线计算相位差信息以进行对焦。
请再参阅图20,在某些实施方式中,步骤0731、步骤0732、及步骤0733均可以由处理芯片20实现。也即是说,处理芯片20可根据多对彩色像素信息对中的第一彩色像素信息形成第三曲线、根据多对彩色像素信息对中的第二彩色像素信息形成第四曲线、以及根据第三曲线及第四曲线计算相位差信息以进行对焦。
具体地,请结合图23,在一个例子中,以每个透镜170的圆心为原点建立x-y坐标系,透镜170的位于第一象限的部分属于第三方位P3,透镜170的位于第三象限的部分属于第四方位P4。对应到图23的像素阵列11的每一个子单元中,一个彩色像素位于透镜170的第三方位P3,另一个彩色像素位于透镜170的第四方位P4。第一彩色像素信息由位于透镜170的第三方位P3的彩色像素输出,第二彩色像素信息由位于透镜170的第四方位P4的彩色像素输出。例如,彩色像素A12、B14、A16、B18、B32、C34、B36、C38、A52、B54、A56、B58、B72、C74、B76、C78位于第三方位P3,彩色像素A21、B23、A25、B27、B41、C43、B45、C47、A61、B63、A65、B67、B81、C83、B85、C87位于第四方位P4。同一个子单元中的彩色像素组成一对彩色像素对,相应的,同一个子单元中的彩色像素的彩色像素信息组成一对彩色像素信息对,例如,彩色像素A12的彩色像素信息与彩色像素A21的彩色像素信息组成一对彩色像素信息对,彩色像素B14的彩色像素信息与彩色像素B23的彩色像素信息组成一对彩色像素信息对,彩色像素A16的彩色像素信息与彩色像素A25的彩色像素信息组成一对彩色像素信息对,彩色像素B18的彩色像素信息与彩色像素B27的彩色像素信息组成一对彩色像素信息对等,依此类推。
请结合图24,在另一个例子中,以每个透镜170的圆心为原点建立x-y坐标系,透镜170的位于第一象限的部分属于第三方位P3,透镜170的位于第四象限的部分属于第四方位P4。对应到图24的像素阵列11的每一个子单元中,一个彩色像素位于透镜170的第三方位P3,另一个彩色像素位于透镜170的第四方位P4。第一彩色像素信息由位于透镜170的第三方位P3的彩色像素输出,第二彩色像素信息由位于透镜170的第四方位P4的彩色像素输出。例如,彩色像素A12、B14、A16、B18、B32、C34、B36、C38、A52、B54、A56、B58、B72、C74、B76、C78位于第三方位P3,彩色像素A22、B24、A26、B28、B42、C44、B46、C48、A62、B64、A66、B68、B82、C84、B86、C88位于第四方位P4。同一个子单元中的彩色像素组成一对彩色像素对,相应的,同一个子单元中的彩色像素的彩色像素信息组成一对彩色像素信息对,例如,彩色像素A12的彩色像素信息与彩色像素A22的彩色像素信息组成一对彩色像素信息对,彩色像素B14的彩色像素信息与彩色像素B24的彩色像素信息组成一对彩色像素信息对,彩色像素A16的彩色像素信息与彩色像素A26的彩色像素信息组成一对彩色像素信息对,彩色像素B18的彩色像素信息与彩色像素B28的彩色像素信息组成一对彩色像素信息对等,依此类推。
在获取多对彩色像素信息对之后,处理芯片20根据多对彩色像素信息对中的第一彩色像素信息形成第三曲线,并根据多对彩色像素对中的第二彩色像素信息形成第四曲线,再根据第三曲线和第四曲线计算出相位差信息。示例地,多个第一彩色像素信息可以描绘出一条直方图曲线(即第三曲线),多个第二彩色像素信息可以描绘出另一条直方图曲线(即第四曲线)。随后,处理芯片20可以根据两条直方图曲线的峰值所处的位置来计算出两条直方图曲线之间的相位差信息。随后,处理芯片20即可根据相位差信息及事先标定好的参数来确定出镜头30需要移动的距离。随后,处理芯片20可以控制镜头30移动需要移动的距离以使得镜头30处于合焦状态。
图24所示的二维像素阵列11中,彩色像素对是沿垂直方向排列的,基于此种排列方式进行相位对焦时,若是遇到包含大量纯色竖条纹的场景,则第三曲线的峰值与第四曲线的峰值之间的差异可能较小,导致计算出来的相位差信息不够准确,进一步地会影响对焦的准确度。图23所示的二维像素阵列11中,彩色像素对是沿对角线排列的,基于此种排列方式进行相位对焦时,无论是遇到包含大量纯色竖条纹的场景还是遇到包含大量纯色横条纹的场景,第三曲线的峰值与第四曲线的峰值之间的差异均不会过小,计算出来的相位差信息较为准确,从而能够提升对焦的准确度。
请参阅图27,在某些实施方式中,彩色像素信息包括第一彩色像素信息及第二彩色像素信息。第一彩色像素信息及第二彩色像素信息分别由位于透镜170(图2所示)的第三方位的彩色像素及位于透镜170的第四方位的彩色像素输出。多个第一彩色像素信息与对应的多个第二彩色像素信息作为一对彩色像素信息对。根据彩色像素信息计算相位差信息以进行对焦,包括:
0741:根据每对彩色像素信息对中的多个第一彩色像素信息计算第三彩色像素信息;
0742:根据每对彩色像素信息对中的多个第二彩色像素信息计算第四彩色像素信息;
0743:根据多个第三彩色像素信息形成第三曲线;
0744:根据多个第四彩色像素信息形成第四曲线;及
0745:根据第三曲线及第四曲线计算相位差信息以进行对焦。
请再参阅图20,在某些实施方式中,步骤0741、步骤0742、步骤0743、步骤0744、及步骤0745均可以由处理芯片20实现。也即是说,处理芯片20可以用于根据每对彩色像素信息对中的多个第一彩色像素信息计算第三彩色像素信息、根据每对彩色像素信息对中的多个第二彩色像素信息计算第四彩色像素信息。处理芯片20还可以用于根据多个第三彩色像素信息形成第三曲线、根据多个第四彩色像素信息形成第四曲线、及根据第三曲线及第四曲线计算相位差信息以进行对焦。
具体地,请再结合图23,在一个例子中,以每个透镜170的圆心为原点建立x-y坐标系,透镜170的位于第一象限的部分属于第三方位P3,透镜170的位于第三象限的部分属于第四方位P4。对应到图23的像素阵列11的每一个子单元中,一个彩色像素位于透镜170的第三方位P3,另一个彩色像素位于透镜170的第四方位P4。第一彩色像素信息由位于透镜170的第三方位P3的彩色像素输出,第二彩色像素信息由位于透镜170的第四方位P4的彩色像素输出。例如,彩色像素A12、B14、A16、B16、B32、C34、B36、C38、A52、B54、A56、B58、B72、C74、B76、C78位于第三方位P3,彩色像素A21、B23、A25、B27、B41、C43、B45、C47、A61、B63、A65、B67、B81、C83、B85、C87位于第四方位P4。多个位于第三方位P3的彩色像素与多个位于第四方位P4的彩色像素组成一对彩色像素对,相应的,多个第一彩色像素信息与对应的多个第二彩色像素信息作为一对彩色像素信息对。例如,同一最小重复单元中的多个第一彩色像素信息与该最小重复单元中的多个第二彩色像素信息作为一对彩色像素信息对,也即,彩色像素A12、B14、B32、C34的彩色像素信息与彩色像素A21、B23、B41、C43的彩色像素信息组成一对彩色像素信息对,彩色像素A16、B18、B36、C38的彩色像素信息与彩色像素A25、B27、B45、C47的彩色像素信息组成一对彩色像素信息对,彩全色像素A52、B54、B72、C74的彩色像素信息与彩色像素A61、B63、B81、C83的彩色像素信息组成一对彩色像素信息对,彩色像素A56、B58、B76、C78的彩色像素信息与彩色像素A65、B67、B85、C87的彩色像素信息组成一对彩色像素信息对。
请再结合图24,在另一个例子中,以每个透镜170的圆心为原点建立x-y坐标系,透镜170的位于第一象限的部分属于第三方位P3,透镜170的位于第四象限的部分属于第四方位P4。对应到图24的像素阵列11的每一个子单元中,一个彩色像素位于透镜170的第三方位P3,另一个彩色像素位于透镜170的第四方位P4。第一彩色像素信息由位于透镜170的第三方位P3的彩色像素输出,第二彩色像素信息由位于透镜170的第四方位P4的彩色像素输出。例如,彩色像素A12、B14、A16、B18、B32、C34、B36、C38、A52、B54、A56、B58、B72、C74、B76、C78位于第三方位P3,彩色像素A22、B24、A26、B28、B42、C44、B46、C48、A62、B64、A66、B68、B82、C84、B86、C88位于第四方位P4。多个位于第三方位P3的彩色像素与多个位于第四方位P4的彩色像素组成一对彩色像素对,相应的,多个第一彩色像素信息与对应的多个第二彩色像素信息作为一对彩色像素信息对。例如,同一最小重复单元中的多个第一彩色像素信息与该最小重复单元中的多个第二彩色像素信息作为一对彩色像素信息对,也即,彩色像素A12、B14、B32、C34的彩色像素信息与彩色像素A22、B24、B42、C44的彩色像素信息组成一对彩色像素信息对,彩色像素A16、B18、B36、C38的彩色像素信息与彩色像素A26、B28、B46、C48的彩色像素信息组成一对彩色像素信息对,彩色像素A52、B54、B72、C74的彩色像素信息与彩色像素A62、B64、B82、C84的彩色像素信息组成一对彩色像素信息对,彩色像素A56、B58、B76、C78的彩色像素信息与彩色像素A66、B68、B86、C88的彩色像素信息组成一对彩色像素信息对。
在获取多对彩色像素信息对之后,处理芯片20根据每对彩色像素信息对中的多个第一彩色像素信息计算第三彩色像素信息,并根据每对彩色像素信息对中的多个第二彩色像素信息计算第四全彩色像素信息。示例地,对于彩色像素A12、B14、B32、C34的彩色像素信息与彩色像素A21、B23、B41、C43的彩色像素信息组成的彩色像素信息对,第三彩色像素信息的计算方式可为:RT=a*A12+b&(B14+B32)+c*C34,第四全色像素信息的计算方式可为:LB=a*A21+b&(B23+B41)+c*C43,其中a、b、c为事先标定出的权值系数。其余的彩色像素信息对的第三彩色像素信息及第四彩色像素信息的计算方式与此类似,在此不再赘述。如此,处理芯片20可以得到多个第三彩色像素信息及多个第四彩色像素信息。多个第三彩色像素信息可以描绘出一条直方图曲线(即第三曲线),多个第四彩色像素信息可以描绘出另一条直方图曲线(即第四曲线)。随后,处理芯片20可以根据两条直方图曲线计算出相位差信息。随后,处理芯片20即可根据相位差信息及事先标定好的参数来确定出镜头30需要移动的距离。随后,处理芯片20可以控制镜头30移动需要移动的距离以使得镜头30处于合焦状态。
请参阅图28,在某些实施方式中,全色像素信息包括第一全色像素信息及第二全色像素信息,彩色像素信息包括第一彩色像素信息及第二彩色像素信息。第一全色像素信息、第二全色像素信息、第一彩色像素信息、及第二彩色像素信息分别由位于透镜170(图2所示)的第一方位的全色像素、位于透镜170的第二方位的全色像素、位于透镜170的第三方位的彩色像素、及位于透镜170的第四方位的彩色像素输出。一个第一全色像素信息与对应的一个第二全色像素信息作为一对全色像素信息对,一个第一彩色像素信息与对应的一个第二彩色像素信息作为一对彩色像素信息对。根据全色像素信息及彩色像素信息计算相位差以进行对焦,包括:
0751:根据多对全色像素信息对中的第一全色像素信息形成第一曲线;
0752:根据多对全色像素信息对中的第二全色像素信息形成第二曲线;
0753:根据多对彩色像素信息对中的第一彩色像素信息形成第三曲线;
0754:根据多对彩色像素信息对中的第二彩色像素信息形成第四曲线;及
0755:根据第一曲线、第二曲线、第三曲线、及第四曲线计算相位差以进行对焦。
请再参阅图20,在某些实施方式中,步骤0751、步骤0752、步骤0753、步骤0754、及步骤0755均可以由处理芯片20实现。也即是说,处理芯片20可以用于根据多对全色像素信息对中的第一全色像素信息形成第一曲线、及根据多对全色像素信息对中的第二全色像素信息形成第二曲线。处理芯片20还可以用于根据多对彩色像素信息对中的第一彩色像素信息形成第三曲线、及根据多对彩色像素信息对中的第二彩色像素信息形成第四曲线。处理芯片20还可以用于根据第一曲线、第二曲线、第三曲线、及第四曲线计算相位差以进行对焦。
其中,第一方位、第二方位、第三方位、第四方位与图22及图26所示实施方式的控制方法中的第一方位P1、第二方位P2、第三方位P3、第四方位P4的释义相同,在此不再赘述。全色像素信息对与彩色像素信息对与图22及图26所示实施方式的控制方法中的全色像素信息对与彩色像素信息对的释义也相同,在此也不再赘述。
在获取到多对全色像素信息对及多对彩色像素信息对后,处理芯片20可以根据多对全色像素信息对中的第一全色像素信息形成第一曲线,还可根据多对全色像素信息对中的第二全色像素信息形成第二曲线,还可根据多对彩色像素信息对中的第一彩色像素信息形成第三曲线,还可根据多对彩色像素信息对中的第二彩色像素信息形成第四曲线。随后,处理芯片20根据第一曲线及第二曲线计算出一个第一相位差信息,并根据第三曲线及第四曲线计算出一个第二相位差信息,再根据第一相位差信息和第二相位差信息计算出最终的相位差信息。在一个例子中,处理芯片20可以计算出第一相位差信息与第二相位差信息的均值并将该均值作为最终的相位差信息;在另一个例子中,处理芯片20可以赋予第一相位差信息第一权值,赋予第二相位差信息第二权值,其中,第一权值与第二权值不相等,处理芯片20再根据第一相位差信息、第一权值、第二位差信息、及第二权值计算出最终的相位差信息。随后,处理芯片20即可根据最终的相位差信息及事先标定好的参数来确定出镜头30需要移动的距离。随后,处理芯片20可以控制镜头30移动需要移动的距离以使得镜头30处于合焦状态。
请参阅图29,在某些实施方式中,全色像素信息包括第一全色像素信息及第二全色像素信息,彩色像素信息包括第一彩色像素信息及第二彩色像素信息。第一全色像素信息、第二全色像素信息、第一彩色像素信息、及第二彩色像素信息分别由位于透镜170(图2所示)的第一方位的全色像素、位于透镜170的第二方位的全色像素、位于透镜170的第三方位的彩色像素、及位于透镜170的第四方位的彩色像素输出。多个第一全色像素信息与对应的多个第二全色像素信息作为一对全色像素信息对,多个第一彩色像素信息与对应的多个第二彩色像素信息作为一对彩色像素信息对。根据全色像素信息及彩色像素信息计算相位差以进行对焦,包括:
0761:根据每对全色像素信息对中的多个第一全色像素信息计算第三全色像素信息;
0762:根据每对全色像素信息对中的多个第二全色像素信息计算第四全色像素信息;
0763:根据每对彩色像素信息对中的多个第一彩色像素信息计算第三彩色像素信息;
0764:根据每对彩色像素信息对中的多个第二彩色像素信息计算第四彩色像素信息;
0765:根据多个第三全色像素信息形成第一曲线;
0766:根据多个第四全色像素信息形成第二曲线;
0767:根据多个第三彩色像素信息形成第三曲线;
0768:根据多个第四彩色像素信息形成第四曲线;及
0769:根据第一曲线、第二曲线、第三曲线、及第四曲线计算相位差以进行对焦。
请再参阅图20,在某些实施方式中,步骤0761、步骤0762、步骤0763、步骤0764、步骤0765、步骤0766、步骤0767、步骤0768、及步骤0769均可以由处理芯片20实现。也即是说,处理芯片20可以用于根据每对全色像素信息对中的多个第一全色像素信息计算第三全色像素信息、根据每对全色像素信息对中的多个第二全色像素信息计算第四全色像素信息、根据每对彩色像素信息对中的多个第一彩色像素信息计算第三彩色像素信息、及根据每对彩色像素信息对中的多个第二彩色像素信息计算第四彩色像素信息。处理芯片20还可以用于根据多个第三全色像素信息形成第一曲线、根据多个第四全色像素信息形成第二曲线、根据多个第三彩色像素信息形成第三曲线、及根据多个第四彩色像素信息形成第四曲线。处理芯片20还可以用于根据第一曲线、第二曲线、第三曲线、及第四曲线计算相位差以进行对焦。
其中,第一方位、第二方位、第三方位、第四方位与图25及图27所示实施方式的控制方法中的第一方位P1、第二方位P2、第三方位P3、第四方位P4的释义相同,在此不再赘述。全色像素信息对与彩色像素信息对与图25及图27所示实施方式的控制方法中的全色像素信息对与彩色像素信息对的释义也相同,在此也不再赘述。第三全色像素信息及第四全色像素信息的计算方式与图25所示实施方式的控制方法中第三全色像素信息及第四全色像素信息的计算方式相同,在此不再赘述。第三彩色像素信息及第四彩色像素信息的计算方式与图27所示实施方式的控制方法中第三彩色像素信息及第四彩色像素信息的计算方式相同,在此不再赘述。
在获取到多个第三全色像素信息、多个第四全色像素信息、多个第三彩色像素信息、及多个第四彩色像素信息之后,处理芯片20可以根据多个第三全色像素信息形成第一曲线,还可以根据多个第四全色像素信息形成第二曲线,还可以根据多个第三彩色像素信息形成第三曲线、及根据多个第四彩色像素信息形成第四曲线。随后,处理芯片20根据第一曲线及第二曲线计算出一个第一相位差信息,并根据第三曲线及第四曲线计算出一个第二相位差信息,再根据第一相位差信息和第二相位差信息计算出最终的相位差信息。在一个例子中,处理芯片20可以计算出第一相位差信息与第二相位差信息的均值并将该均值作为最终的相位差信息;在另一个例子中,处理芯片20可以赋予第一相位差信息第一权值,赋予第二相位差信息第二权值,其中,第一权值与第二权值不相等,处理芯片20再根据第一相位差信息、第一权值、第二位差信息、及第二权值计算出最终的相位差信息。随后,处理芯片20即可根据最终的相位差信息及事先标定好的参数来确定出镜头30需要移动的距离。随后,处理芯片20可以控制镜头30移动需要移动的距离以使得镜头30处于合焦状态。
请参阅图2和图30,在某些实施方式中,二维像素阵列11中的多个像素101曝光以获取目标图像的步骤包括:
061:二维像素阵列11中的多个像素101曝光以输出全色原始图像及彩色原始图像;
062:处理全色原始图像,将每个子单元的所有像素101作为全色大像素,并输出全色大像素的像素值以得到全色中间图像;
063:处理彩色原始图像,以将每个子单元的所有像素101作为与该子单元中单颜色对应的单色大像素,并输出单色大像素的像素值以得到彩色中间图像;
064:处理彩色中间图像和全色中间图像以获取目标图像。
请参阅图2和图20,在某些实施方式中,步骤061可以由图像传感器10实现。步骤062、步骤063、及步骤064均可以由处理芯片20实现。也即是说,图像传感器10的二维像素阵列11中的多个像素101曝光以输出全色原始图像及彩色原始图像。处理芯片20可以用于处理全色原始图像,将每个子单元的所有像素101作为全色大像素,并输出全色大像素的像素值以得到全色中间图像。处理芯片20还可以用于处理彩色原始图像,以将每个子单元的所有像素101作为与该子单元中单颜色对应的单色大像素,并输出单色大像素的像素值以得到彩色中间图像。处理芯片20还可以用于处理彩色中间图像和全色中间图像以获取目标图像。
具体地,请结合图31,多个全色像素曝光后输出一帧全色原始图像,多个彩色像素曝光后输出一帧彩色原始图像。
全色原始图像包括多个全色像素W及多个空像素N(NULL),其中,空像素既不为全色像素,也不为彩色像素,全色原始图像中空像素N所处位置可视为该位置没有像素,或者可以将空像素的像素值视为零。比较二维像素阵列11与全色原始图像可知,对于二维像素阵列中的每一个子单元,该子单元包括两个全色像素W和两个彩色像素(彩色像素A、彩色像素B、或彩色像素C)。全色原始图像中也具有与二维像素阵列11中的每一个子单元对应的一个子单元,全色原始图像的子单元包括两个全色像素W和两个空像素N,两个空像素N所处位置对应二维像素阵列11子单元中的两个彩色像素所处的位置。
同样地,彩色原始图像包括多个彩色像素及多个空像素N,其中,空像素既不为全色像素,也不为彩色像素,彩色原始图像中空像素N所处位置可视为该位置没有像素,或者可以将空像素的像素值视为零。比较二维像素阵列11与彩色原始图像可知,对于二维像素阵列11中的每一个子单元,该子单元包括两个全色像素W和两个彩色像素。彩色原始图像中也具有与二维像素阵列11中的每一个子单元对应的一个子单元,彩色原始图像的子单元包括两个彩色像素和两个空像素N,两个空像素N所处位置对应二维像素阵列11子单元中的两个全色像素W所处的位置。
处理芯片20接收到图像传感器10输出的全色原始图像和彩色原始图像后,可以对全色原始图像作进一步处理得到全色中间图像,并对彩色原始图像作进一步处理得到彩色中间图像。
例如,全色原始图像可通过图32所示的方式变换为全色中间图像。如图32所示,全色原始图像包括多个子单元,每个子单元都包括两个空像素N和两个全色像素W。处理芯片20可以将每个包括空像素N和全色像素W的子单元中的所有像素作为与该子单元对应的全色大像素W。由此,处理芯片20即可根据多个全色大像素W形成一张全色中间图像。作为一个示例,处理芯片20可以通过以下方式将全色原始图像中每个子单元的所有像素作为与该子单元对应的全色大像素W:处理芯片20首先合并每个子单元中的所有像素的像素值以得到全色大像素W的像素值,再根据多个全色大像素W的像素值形成全色中间图像。具体地,对于每个全色大像素,处理芯片20可以将包括空像素N和全色像素W的子单元中的所有像素值相加,并将相加的结果作为对应该子单元的全色大像素W的像素值,其中,空像素N的像素值可以视为零。由此,处理芯片20即可获得多个全色大像素W的像素值。
例如,彩色原始图像可通过图33所示的方式变换为彩色中间图像。如图33所示,彩色原始图像包括多个子单元,每个子单元都包括多个空像素N和多个单颜色的彩色像素(也称单颜色像素)。具体地,某些子单元包括两个空像素N和两个单颜色像素A,某些子单元包括两个空像素N和两个单颜色像素B,某些子单元包括两个空像素N及两个单颜色像素C。处理芯片20可以将包括空像素N和单颜色像素A的子单元中的所有像素作为与该子单元中的单颜色A对应的单色大像素A,将包括空像素N和单颜色像素B的子单元中的所有像素作为与该子单元中的单颜色B对应的单色大像素B,将包括空像素N和单颜色像素C的子单元中的所有像素作为与该子单元中的单颜色C对应的单色大像素C。由此,处理芯片20即可根据多个单色大像素A、多个单色大像素B、及多个单色大像素C形成一张彩色中间图像。作为一个示例,处理芯片20可以合并每个子单元中的所有像素的像素值以得到单色大像素的像素值,从而根据多个单色大像素的像素值形成彩色中间图像。具体地,对于单色大像素A,处理芯片20可以将包括空像素N和单颜色像素A的子单元中的所有像素的像素值相加,并将相加的结果作为对应该子单元的单色大像素A的像素值,其中,空像素N的像素值可以视为零,下同;处理芯片20可以将包括空像素N和单颜色像素B的子单元中的所有像素的像素值相加,并将相加的结果作为对应该子单元的单色大像素B的像素值;处理芯片20可以将包括空像素N和单颜色像素C的子单元中的所有像素的像素值相加,并将相加的结果作为对应该子单元的单色大像素C的像素值。由此,处理芯片20即可获得多个单个大像素A的像素值、多个单色大像素B的像素值、以及多个单色大像素C的像素值。处理芯片20再根据多个单色大象素A的像素值、多个单色大像素B的像素值、以及多个单色大像素C的像素值形成一张彩色中间图像。
处理芯片20得到全色中间图像以及彩色中间图像后,可以融合全色中间图像和彩色中间图像以获取目标图像。
例如,全色中间图像及彩色中间图像可以通过图34所示的方式融合以得到目标图像。具体地,处理芯片20先分离彩色中间图像的色彩及亮度以得到色亮分离图像。图34中色亮分离图像中的L表示亮度,CLR表示色彩。具体地,假设单颜色像素A为红色像素R,单颜色像素B为绿色像素G,单颜色像素C为蓝色像素Bu,则:(1)处理芯片20可以将RGB空间的彩色中间图像转换为YCrCb空间的色亮分离图像,此时YCrCb中的Y即为色亮分离图像中的亮度L,YCrCb中的Cr和Cb即为色亮分离图像中的色彩CLR;(2)处理芯片20也可以将RGB的彩色中间图像转换为Lab空间的色亮分离图像,此时Lab中的L即为色亮分离图像中的亮度L,Lab中的a和b即为色亮分离图像中的色彩CLR。需要说明的是,图34所示色亮分离图像中L+CLR并不表示每个像素的像素值由L和CLR相加而成,仅表示每个像素的像素值是由L和CLR组成。
随后,处理芯片20融合色亮分离图像的亮度以及全色中间图像的亮度。示例地,全色中间图像中每个全色像素W的像素值即为每个全色像素的亮度值,处理芯片20可以将色亮分离图像中每个像素的L与全色中间图像中对应位置的全色像素的W相加,即可得到亮度修正后的像素值。处理芯片20根据多个亮度修正后的像素值形成一张亮度修正后的色亮分离图像,再利用色彩空间转换将亮度修正后的色亮分离图像转换为亮度修正彩色图像。
随后,处理芯片20对亮度修正彩色图像进行插值处理以得到目标图像,其中,目标图像中每个像素的像素值均包括A、B、C三个分量的信息。需要说明的是,图34的目标图像中的A+B+C表示的是每个像素的像素值由A、B、C三个色彩分量组成。
本申请实施方式的控制方法和摄像头组件40在镜头30合焦状态下获取清晰度较高的全色原始图像和彩色原始图像,并利用全色原始图像来修正彩色原始图像的亮度,使得最终的目标图像既具有较高的清晰度,又具有足够的亮度,目标图像的质量较好。
二维像素阵列11中的多个像素101曝光以输出全色原始图像及彩色原始图像的过程中,全色像素的第一曝光时间可以由第一曝光控制线控制,彩色像素的第二曝光时间可以由第二曝光控制线控制,从而可以在环境亮度较高(例如亮度大于或等于第一预定亮度)时,将第一曝光时间设置成小于第二曝光时间。由此,可以避免全色像素过饱和,从而无法利用全色原始图像来修正彩色原始图像的亮度的问题。
请参阅图35,本申请实施方式的移动终端90可以是手机、平板电脑、笔记本电脑、智能穿戴设备(如智能手表、智能手环、智能眼镜、智能头盔等)、头显设备、虚拟现实设备等等,在此不做限制。本申请实施方式的移动终端90包括图像传感器10、处理器60、存储器70和机壳80。图像传感器10、处理器60和存储器70均安装在机壳80中。其中,图像传感器10与处理器60连接。处理器60可以执行与摄像头组件40(图20所示)中的处理芯片20相同的功能,换言之,处理器60可以实现上述任意一项实施方式所述的处理芯片20所能实现的功能。存储器70与处理器60连接,存储器70可以存储处理器60处理后得到的数据,如目标图像等。处理器60可以与图像传感器10安装在同一个基板上,此时图像传感器10和处理器60可视为一个摄像头组件40。当然,处理器60也可以与图像传感器10安装在不同的基板上。
本申请实施方式的移动终端90采用包括全色像素和彩色像素的图像传感器10来实现相位对焦,从而可以在亮度较低(例如亮度小于或等于第一预定亮度)的环境下采用灵敏度较高的全色像素来进行相位对焦,在亮度较高(例如亮度大于或等于第二预定亮度)的环境下采用灵敏度较低的彩色像素来进行相位对焦,而在亮度适中(例如大于第一预定亮度且小于第二预定亮度)的环境下采用全色像素和彩色像素中的至少一种来进行相位对焦。如此,可以避免在环境亮度较低时采用彩色像素进行相位对焦,因彩色像素输出的像素信息信噪比过低导致对焦不准确的问题,也可以避免在环境亮度较高时采用全色像素进行对焦,因全色像素过饱和导致对焦不准确的问题,由此使得相位对焦在多类应用场景下的准确度均较高,相位对焦的场景适应性较好。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (37)
1.一种控制方法,用于图像传感器,其特征在于,所述图像传感器包括二维像素阵列及透镜阵列;所述二维像素阵列包括多个彩色像素和多个全色像素,所述彩色像素具有比所述全色像素更窄的光谱响应,所述二维像素阵列包括多个子单元,每个所述子单元包括多个单颜色像素和多个所述全色像素;所述透镜阵列包括多个透镜,每个所述透镜覆盖至少一个所述子单元中的多个像素;所述控制方法包括:
多个所述全色像素曝光以输出全色像素信息;以及多个所述彩色像素曝光以输出彩色像素信息;及获取环境亮度;
在所述环境亮度大于第二预定亮度时,根据所述彩色像素信息计算相位差信息以进行对焦;及
在所述环境亮度大于第一预定亮度且小于所述第二预定亮度时,根据所述全色像素信息和所述彩色像素信息中的至少一种计算相位差信息以进行对焦;及
在合焦状态下,所述二维像素阵列中的多个所述像素曝光以获取目标图像。
2.根据权利要求1所述的控制方法,其特征在于,所述控制方法还包括:
在所述环境亮度小于第一预定亮度时,根据所述全色像素信息计算所述相位差信息以进行对焦。
3.根据权利要求1或2所述的控制方法,其特征在于,所述全色像素信息包括第一全色像素信息及第二全色像素信息,所述第一全色像素信息及所述第二全色像素信息分别由位于所述透镜的第一方位的所述全色像素及位于所述透镜的第二方位的所述全色像素输出,一个所述第一全色像素信息与对应的一个所述第二全色像素信息作为一对全色像素信息对;根据所述全色像素信息计算所述相位差信息以进行对焦,包括:
根据多对所述全色像素信息对中的所述第一全色像素信息形成第一曲线;
根据多对所述全色像素信息对中的所述第二全色像素信息形成第二曲线;及
根据所述第一曲线及所述第二曲线计算所述相位差信息以进行对焦。
4.根据权利要求1或2所述的控制方法,其特征在于,所述全色像素信息包括第一全色像素信息及第二全色像素信息,所述第一全色像素信息及所述第二全色像素信息分别由位于所述透镜的第一方位的所述全色像素及位于所述透镜的第二方位的所述全色像素输出,多个所述第一全色像素信息与对应的多个所述第二全色像素信息作为一对全色像素信息对;根据所述全色像素信息计算所述相位差信息以进行对焦,包括:
根据每对所述全色像素信息对中的多个所述第一全色像素信息计算第三全色像素信息;
根据每对所述全色像素信息对中的多个所述第二全色像素信息计算第四全色像素信息;
根据多个所述第三全色像素信息形成第一曲线;
根据多个所述第四全色像素信息形成第二曲线;及
根据所述第一曲线及所述第二曲线计算所述相位差信息以进行对焦。
5.根据权利要求1或2所述的控制方法,其特征在于,所述彩色像素信息包括第一彩色像素信息及第二彩色像素信息,所述第一彩色像素信息及所述第二彩色像素信息分别由位于所述透镜的第三方位的所述彩色像素及位于所述透镜的第四方位的所述彩色像素输出,一个所述第一彩色像素信息与对应的一个所述第二彩色像素信息作为一对彩色像素信息对;根据所述彩色像素信息计算所述相位差以进行对焦,包括:
根据多对所述彩色像素信息对中的所述第一彩色像素信息形成第三曲线;
根据多对所述彩色像素信息对中的所述第二彩色像素信息形成第四曲线;及
根据所述第三曲线及所述第四曲线计算所述相位差信息以进行对焦。
6.根据权利要求1或2所述的控制方法,其特征在于,所述彩色像素信息包括第一彩色像素信息及第二彩色像素信息,所述第一彩色像素信息及所述第二彩色像素信息分别由位于所述透镜的第三方位的所述彩色像素及位于所述透镜的第四方位的所述彩色像素输出,多个所述第一彩色像素信息与对应的多个所述第二彩色像素信息作为一对彩色像素信息对;根据所述彩色像素信息计算所述相位差以进行对焦,包括:
根据每对所述彩色像素信息对中的多个所述第一彩色像素信息计算第三彩色像素信息;
根据每对所述彩色像素信息对中的多个所述第二彩色像素信息计算第四彩色像素信息;
根据多个所述第三彩色像素信息形成第三曲线;
根据多个所述第四彩色像素信息形成第四曲线;及
根据所述第三曲线及所述第四曲线计算所述相位差以进行对焦。
7.根据权利要求1或2所述的控制方法,其特征在于,所述全色像素信息包括第一全色像素信息及第二全色像素信息,所述彩色像素信息包括第一彩色像素信息及第二彩色像素信息,所述第一全色像素信息、所述第二全色像素信息、所述第一彩色像素信息、及所述第二彩色像素信息分别由位于所述透镜的第一方位的所述全色像素、位于所述透镜的第二方位的所述全色像素、位于所述透镜的第三方位的所述彩色像素、及位于所述透镜的第四方位的所述彩色像素输出,一个所述第一全色像素信息与对应的一个所述第二全色像素信息作为一对全色像素信息对,一个所述第一彩色像素信息与对应的一个所述第二彩色像素信息作为一对彩色像素信息对;根据所述全色像素信息及所述彩色像素信息计算所述相位差以进行对焦,包括:
根据多对所述全色像素信息对中的所述第一全色像素信息形成第一曲线;
根据多对所述全色像素信息对中的所述第二全色像素信息形成第二曲线;
根据多对所述彩色像素信息对中的所述第一彩色像素信息形成第三曲线;
根据多对所述彩色像素信息对中的所述第二彩色像素信息形成第四曲线;及
根据所述第一曲线、所述第二曲线、所述第三曲线、及所述第四曲线计算所述相位差以进行对焦。
8.根据权利要求1或2所述的控制方法,其特征在于,所述全色像素信息包括第一全色像素信息及第二全色像素信息,所述彩色像素信息包括第一彩色像素信息及第二彩色像素信息,所述第一全色像素信息、所述第二全色像素信息、所述第一彩色像素信息、及所述第二彩色像素信息分别由位于所述透镜的第一方位的所述全色像素、位于所述透镜的第二方位的所述全色像素、位于所述透镜的第三方位的所述彩色像素、及位于所述透镜的第四方位的所述彩色像素输出,多个所述第一全色像素信息与对应的多个所述第二全色像素信息作为一对全色像素信息对,多个所述第一彩色像素信息与对应的多个所述第二彩色像素信息作为一对彩色像素信息对;所述根据所述全色像素信息及所述彩色像素信息计算所述相位差以进行对焦,包括:
根据每对所述全色像素信息对中的多个所述第一全色像素信息计算第三全色像素信息;
根据每对所述全色像素信息对中的多个所述第二全色像素信息计算第四全色像素信息;
根据每对所述彩色像素信息对中的多个所述第一彩色像素信息计算第三彩色像素信息;
根据每对所述彩色像素信息对中的多个所述第二彩色像素信息计算第四彩色像素信息;
根据多个所述第三全色像素信息形成第一曲线;
根据多个所述第四全色像素信息形成第二曲线;
根据多个所述第三彩色像素信息形成第三曲线;
根据多个所述第四彩色像素信息形成第四曲线;及
根据所述第一曲线、所述第二曲线、所述第三曲线、及所述第四曲线计算所述相位差以进行对焦。
9.根据权利要求1所述的控制方法,其特征在于,所述二维像素阵列包括最小重复单元,每个所述最小重复单元包括多个所述子单元,在所述最小重复单元中,所述全色像素设置在第一对角线方向,所述彩色像素设置在第二对角线方向,所述第一对角线方向与所述第二对角线方向不同。
10.根据权利要求9所述的控制方法,其特征在于,所述第一对角线方向相邻的至少两个所述全色像素的第一曝光时间由第一曝光信号控制,所述第二对角线方向相邻的至少两个所述彩色像素的第二曝光时间由第二曝光信号控制。
11.根据权利要求10所述的控制方法,其特征在于,所述第一曝光时间小于所述第二曝光时间。
12.根据权利要求11所述的控制方法,其特征在于,所述第一曝光时间与所述第二曝光时间的比例为1:2,1:3或1:4中的一种。
13. 根据权利要求11所述的控制方法,其特征在于,所述图像传感器还包括:
第一曝光控制线,与所述第一对角线方向相邻的至少两个所述全色像素中的曝光控制电路的控制端电连接;及
第二曝光控制线,与所述第二对角线方向相邻的至少两个所述彩色像素中的曝光控制电路的控制端电连接;
其中,所述第一曝光信号经由所述第一曝光控制线传输,所述第二曝光信号经由所述第二曝光控制线传输。
14.根据权利要求13所述的控制方法,其特征在于,
所述第一曝光控制线呈“W”型,与相邻两行的所述全色像素中曝光控制电路的控制端电连接;
所述第二曝光控制线呈“W”型,与相邻两行的所述彩色像素中曝光控制电路的控制端电连接。
15. 根据权利要求9所述的控制方法,其特征在于,所述最小重复单元为4行4列16个像素,排布方式为:
WAWB
AWBW
WBWC
BWCW
其中,W表示所述全色像素;
A表示所述多个所述彩色像素中的第一颜色像素;
B表示所述多个所述彩色像素中的第二颜色像素;
C表示所述多个所述彩色像素中的第三颜色像素。
16. 根据权利要求9所述的控制方法,其特征在于,所述最小重复单元为4行4列16个像素,排布方式为:
AWBW
WAWB
BWCW
WBWC
其中,W表示所述全色像素;
A表示所述多个所述彩色像素中的第一颜色像素;
B表示所述多个所述彩色像素中的第二颜色像素;
C表示所述多个所述彩色像素中的第三颜色像素。
17.根据权利要求15或16所述的控制方法,其特征在于,
所述第一颜色像素A为红色像素R;
所述第二颜色像素B为绿色像素G;
所述第三颜色像素C为蓝色像素Bu。
18.根据权利要求15或16所述的控制方法,其特征在于,
所述第一颜色像素A为红色像素R;
所述第二颜色像素B为黄色像素Y;
所述第三颜色像素C为蓝色像素Bu。
19.根据权利要求15或16所述的控制方法,其特征在于,
所述第一颜色像素A为品红色像素M;
所述第二颜色像素B为青色像素Cy;
所述第三颜色像素C为黄色像素Y。
20.根据权利要求9、15、16任意一项所述的控制方法,其特征在于,所述全色像素的响应波段为可见光波段。
21. 根据权利要求9、15、16任意一项所述的控制方法,其特征在于,所述全色像素的响应波段为可见光波段和近红外波段,与所述图像传感器中的光电转换元件的响应波段相匹配。
22.一种摄像头组件,其特征在于,包括:图像传感器,所述图像传感器包括二维像素阵列及透镜阵列;所述二维像素阵列包括多个彩色像素和多个全色像素,所述彩色像素具有比所述全色像素更窄的光谱响应,所述二维像素阵列包括多个子单元,每个所述子单元包括多个单颜色像素和多个所述全色像素;所述透镜阵列包括多个透镜,每个所述透镜覆盖至少一个所述子单元中的多个像素;所述图像传感器中的多个所述全色像素曝光以输出全色像素信息;以及多个所述彩色像素曝光以输出彩色像素信息,及
处理芯片,所述处理芯片用于获取环境亮度;
在所述环境亮度大于第二预定亮度时,根据所述彩色像素信息计算相位差信息以进行对焦;及
在所述环境亮度大于第一预定亮度且小于所述第二预定亮度时,根据所述全色像素信息和所述彩色像素信息中的至少一种计算相位差信息以进行对焦;
在合焦状态下,所述二维像素阵列中的多个所述像素曝光以获取目标图像。
23.根据权利要求22所述的摄像头组件,其特征在于,所述处理芯片还用于:在述环境亮度小于第一预定亮度时,根据所述全色像素信息计算所述相位差以进行对焦。
24.根据权利要求22或23所述的摄像头组件,其特征在于,所述全色像素信息包括第一全色像素信息及第二全色像素信息,所述第一全色像素信息及所述第二全色像素信息分别由位于所述透镜的第一方位的所述全色像素及位于所述透镜的第二方位的所述全色像素输出,一个所述第一全色像素信息与对应的一个所述第二全色像素信息作为一对全色像素信息对;所述处理芯片还用于:
根据多对所述全色像素信息对中的所述第一全色像素信息形成第一曲线;
根据多对所述全色像素信息对中的所述第二全色像素信息形成第二曲线;及
根据所述第一曲线及所述第二曲线计算所述相位差信息以进行对焦。
25.根据权利要求22或23所述的摄像头组件,其特征在于,所述全色像素信息包括第一全色像素信息及第二全色像素信息,所述第一全色像素信息及所述第二全色像素信息分别由位于所述透镜的第一方位的所述全色像素及位于所述透镜的第二方位的所述全色像素输出,多个所述第一全色像素信息与对应的多个所述第二全色像素信息作为一对全色像素信息对;所述处理芯片还用于:
根据每对所述全色像素信息对中的多个所述第一全色像素信息计算第三全色像素信息;
根据每对所述全色像素信息对中的多个所述第二全色像素信息计算第四全色像素信息;
根据多个所述第三全色像素信息形成第一曲线;
根据多个所述第四全色像素信息形成第二曲线;及
根据所述第一曲线及所述第二曲线计算所述相位差信息以进行对焦。
26.根据权利要求22或23所述的摄像头组件,其特征在于,所述彩色像素信息包括第一彩色像素信息及第二彩色像素信息,所述第一彩色像素信息及所述第二彩色像素信息分别由位于所述透镜的第三方位的所述彩色像素及位于所述透镜的第四方位的所述彩色像素输出,一个所述第一彩色像素信息与对应的一个所述第二彩色像素信息作为一对彩色像素信息对;所述处理芯片还用于:
根据多对所述彩色像素信息对中的所述第一彩色像素信息形成第三曲线;
根据多对所述彩色像素信息对中的所述第二彩色像素信息形成第四曲线;及
根据所述第三曲线及所述第四曲线计算所述相位差信息以进行对焦。
27.根据权利要求22或23所述的摄像头组件,其特征在于,所述彩色像素信息包括第一彩色像素信息及第二彩色像素信息,所述第一彩色像素信息及所述第二彩色像素信息分别由位于所述透镜的第三方位的所述彩色像素及位于所述透镜的第四方位的所述彩色像素输出,多个所述第一彩色像素信息与对应的多个所述第二彩色像素信息作为一对彩色像素信息对;所述处理芯片还用于:
根据每对所述彩色像素信息对中的多个所述第一彩色像素信息计算第三彩色像素信息;
根据每对所述彩色像素信息对中的多个所述第二彩色像素信息计算第四彩色像素信息;
根据多个所述第三彩色像素信息形成第三曲线;
根据多个所述第四彩色像素信息形成第四曲线;及
根据所述第三曲线及所述第四曲线计算所述相位差以进行对焦。
28.根据权利要求22或23所述的摄像头组件,其特征在于,所述全色像素信息包括第一全色像素信息及第二全色像素信息,所述彩色像素信息包括第一彩色像素信息及第二彩色像素信息,所述第一全色像素信息、所述第二全色像素信息、所述第一彩色像素信息、及所述第二彩色像素信息分别由位于所述透镜的第一方位的所述全色像素、位于所述透镜的第二方位的所述全色像素、位于所述透镜的第三方位的所述彩色像素、及位于所述透镜的第四方位的所述彩色像素输出,一个所述第一全色像素信息与对应的一个所述第二全色像素信息作为一对全色像素信息对,一个所述第一彩色像素信息与对应的一个所述第二彩色像素信息作为一对彩色像素信息对;所述处理芯片还用于:
根据多对所述全色像素信息对中的所述第一全色像素信息形成第一曲线;
根据多对所述全色像素信息对中的所述第二全色像素信息形成第二曲线;
根据多对所述彩色像素信息对中的所述第一彩色像素信息形成第三曲线;
根据多对所述彩色像素信息对中的所述第二彩色像素信息形成第四曲线;及
根据所述第一曲线、所述第二曲线、所述第三曲线、及所述第四曲线计算所述相位差以进行对焦。
29.根据权利要求22或23所述的摄像头组件,其特征在于,所述全色像素信息包括第一全色像素信息及第二全色像素信息,所述彩色像素信息包括第一彩色像素信息及第二彩色像素信息,所述第一全色像素信息、所述第二全色像素信息、所述第一彩色像素信息、及所述第二彩色像素信息分别由位于所述透镜的第一方位的所述全色像素、位于所述透镜的第二方位的所述全色像素、位于所述透镜的第三方位的所述彩色像素、及位于所述透镜的第四方位的所述彩色像素输出,多个所述第一全色像素信息与对应的多个所述第二全色像素信息作为一对全色像素信息对,多个所述第一彩色像素信息与对应的多个所述第二彩色像素信息作为一对彩色像素信息对;所述处理芯片还用于:
根据每对所述全色像素信息对中的多个所述第一全色像素信息计算第三全色像素信息;
根据每对所述全色像素信息对中的多个所述第二全色像素信息计算第四全色像素信息;
根据每对所述彩色像素信息对中的多个所述第一彩色像素信息计算第三彩色像素信息;
根据每对所述彩色像素信息对中的多个所述第二彩色像素信息计算第四彩色像素信息;
根据多个所述第三全色像素信息形成第一曲线;
根据多个所述第四全色像素信息形成第二曲线;
根据多个所述第三彩色像素信息形成第三曲线;
根据多个所述第四彩色像素信息形成第四曲线;及
根据所述第一曲线、所述第二曲线、所述第三曲线、及所述第四曲线计算所述相位差以进行对焦。
30.一种移动终端,其特征在于,包括:图像传感器,所述图像传感器包括二维像素阵列及透镜阵列;所述二维像素阵列包括多个彩色像素和多个全色像素,所述彩色像素具有比所述全色像素更窄的光谱响应,所述二维像素阵列包括多个子单元,每个所述子单元包括多个单颜色像素和多个所述全色像素;所述透镜阵列包括多个透镜,每个所述透镜覆盖至少一个所述子单元中的多个像素,所述图像传感器中的多个所述全色像素曝光以输出全色像素信息以及多个所述彩色像素曝光以输出彩色像素信息;及
处理器,所述处理器用于获取环境亮度;
在所述环境亮度大于第二预定亮度时,根据所述彩色像素信息计算相位差信息以进行对焦;及
在所述环境亮度大于第一预定亮度且小于所述第二预定亮度时,根据所述全色像素信息和所述彩色像素信息中的至少一种计算相位差信息以进行对焦;
在合焦状态下,所述二维像素阵列中的多个所述像素曝光以获取目标图像。
31.根据权利要求30所述的移动终端,其特征在于,所述处理器还用于:在所述环境亮度小于第一预定亮度时,根据所述全色像素信息计算所述相位差以进行对焦。
32.根据权利要求30或31所述的移动终端,其特征在于,所述全色像素信息包括第一全色像素信息及第二全色像素信息,所述第一全色像素信息及所述第二全色像素信息分别由位于所述透镜的第一方位的所述全色像素及位于所述透镜的第二方位的所述全色像素输出,一个所述第一全色像素信息与对应的一个所述第二全色像素信息作为一对全色像素信息对;所述处理器还用于:
根据多对所述全色像素信息对中的所述第一全色像素信息形成第一曲线;
根据多对所述全色像素信息对中的所述第二全色像素信息形成第二曲线;及
根据所述第一曲线及所述第二曲线计算所述相位差信息以进行对焦。
33.根据权利要求30或31所述的移动终端,其特征在于,所述全色像素信息包括第一全色像素信息及第二全色像素信息,所述第一全色像素信息及所述第二全色像素信息分别由位于所述透镜的第一方位的所述全色像素及位于所述透镜的第二方位的所述全色像素输出,多个所述第一全色像素信息与对应的多个所述第二全色像素信息作为一对全色像素信息对;所述处理器还用于:
根据每对所述全色像素信息对中的多个所述第一全色像素信息计算第三全色像素信息;
根据每对所述全色像素信息对中的多个所述第二全色像素信息计算第四全色像素信息;
根据多个所述第三全色像素信息形成第一曲线;
根据多个所述第四全色像素信息形成第二曲线;及
根据所述第一曲线及所述第二曲线计算所述相位差信息以进行对焦。
34.根据权利要求30或31所述的移动终端,其特征在于,所述彩色像素信息包括第一彩色像素信息及第二彩色像素信息,所述第一彩色像素信息及所述第二彩色像素信息分别由位于所述透镜的第三方位的所述彩色像素及位于所述透镜的第四方位的所述彩色像素输出,一个所述第一彩色像素信息与对应的一个所述第二彩色像素信息作为一对彩色像素信息对;所述处理器还用于:
根据多对所述彩色像素信息对中的所述第一彩色像素信息形成第三曲线;
根据多对所述彩色像素信息对中的所述第二彩色像素信息形成第四曲线;及
根据所述第三曲线及所述第四曲线计算所述相位差信息以进行对焦。
35.根据权利要求30或31所述的移动终端,其特征在于,所述彩色像素信息包括第一彩色像素信息及第二彩色像素信息,所述第一彩色像素信息及所述第二彩色像素信息分别由位于所述透镜的第三方位的所述彩色像素及位于所述透镜的第四方位的所述彩色像素输出,多个所述第一彩色像素信息与对应的多个所述第二彩色像素信息作为一对彩色像素信息对;所述处理器还用于:
根据每对所述彩色像素信息对中的多个所述第一彩色像素信息计算第三彩色像素信息;
根据每对所述彩色像素信息对中的多个所述第二彩色像素信息计算第四彩色像素信息;
根据多个所述第三彩色像素信息形成第三曲线;
根据多个所述第四彩色像素信息形成第四曲线;及
根据所述第三曲线及所述第四曲线计算所述相位差以进行对焦。
36.根据权利要求30或31所述的移动终端,其特征在于,所述全色像素信息包括第一全色像素信息及第二全色像素信息,所述彩色像素信息包括第一彩色像素信息及第二彩色像素信息,所述第一全色像素信息、所述第二全色像素信息、所述第一彩色像素信息、及所述第二彩色像素信息分别由位于所述透镜的第一方位的所述全色像素、位于所述透镜的第二方位的所述全色像素、位于所述透镜的第三方位的所述彩色像素、及位于所述透镜的第四方位的所述彩色像素输出,一个所述第一全色像素信息与对应的一个所述第二全色像素信息作为一对全色像素信息对,一个所述第一彩色像素信息与对应的一个所述第二彩色像素信息作为一对彩色像素信息对;所述处理器还用于:
根据多对所述全色像素信息对中的所述第一全色像素信息形成第一曲线;
根据多对所述全色像素信息对中的所述第二全色像素信息形成第二曲线;
根据多对所述彩色像素信息对中的所述第一彩色像素信息形成第三曲线;
根据多对所述彩色像素信息对中的所述第二彩色像素信息形成第四曲线;及
根据所述第一曲线、所述第二曲线、所述第三曲线、及所述第四曲线计算所述相位差以进行对焦。
37.根据权利要求30或31所述的移动终端,其特征在于,所述全色像素信息包括第一全色像素信息及第二全色像素信息,所述彩色像素信息包括第一彩色像素信息及第二彩色像素信息,所述第一全色像素信息、所述第二全色像素信息、所述第一彩色像素信息、及所述第二彩色像素信息分别由位于所述透镜的第一方位的所述全色像素、位于所述透镜的第二方位的所述全色像素、位于所述透镜的第三方位的所述彩色像素、及位于所述透镜的第四方位的所述彩色像素输出,多个所述第一全色像素信息与对应的多个所述第二全色像素信息作为一对全色像素信息对,多个所述第一彩色像素信息与对应的多个所述第二彩色像素信息作为一对彩色像素信息对;所述处理器还用于:
根据每对所述全色像素信息对中的多个所述第一全色像素信息计算第三全色像素信息;
根据每对所述全色像素信息对中的多个所述第二全色像素信息计算第四全色像素信息;
根据每对所述彩色像素信息对中的多个所述第一彩色像素信息计算第三彩色像素信息;
根据每对所述彩色像素信息对中的多个所述第二彩色像素信息计算第四彩色像素信息;
根据多个所述第三全色像素信息形成第一曲线;
根据多个所述第四全色像素信息形成第二曲线;
根据多个所述第三彩色像素信息形成第三曲线;
根据多个所述第四彩色像素信息形成第四曲线;及
根据所述第一曲线、所述第二曲线、所述第三曲线、及所述第四曲线计算所述相位差以进行对焦。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2019/119673 WO2021097701A1 (zh) | 2019-11-20 | 2019-11-20 | 图像传感器、控制方法、摄像头组件及移动终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114631310A CN114631310A (zh) | 2022-06-14 |
| CN114631310B true CN114631310B (zh) | 2024-04-23 |
Family
ID=75980266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980101407.4A Active CN114631310B (zh) | 2019-11-20 | 2019-11-20 | 图像传感器、控制方法、摄像头组件及移动终端 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20220279108A1 (zh) |
| EP (1) | EP4060986A4 (zh) |
| CN (1) | CN114631310B (zh) |
| WO (1) | WO2021097701A1 (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101079966A (zh) * | 2006-02-09 | 2007-11-28 | 索尼株式会社 | 固态成像设备、用于驱动固态成像设备的方法和相机 |
| CN105409205A (zh) * | 2013-07-23 | 2016-03-16 | 索尼公司 | 摄像装置、摄像方法及程序 |
| CN106375739A (zh) * | 2015-07-24 | 2017-02-01 | 三星电子株式会社 | 图像传感器及其信号处理方法 |
| CN106982328A (zh) * | 2017-04-28 | 2017-07-25 | 广东欧珀移动通信有限公司 | 双核对焦图像传感器及其对焦控制方法和成像装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8139130B2 (en) * | 2005-07-28 | 2012-03-20 | Omnivision Technologies, Inc. | Image sensor with improved light sensitivity |
| JP5116389B2 (ja) * | 2007-07-25 | 2013-01-09 | キヤノン株式会社 | 撮像装置及び制御方法 |
| US9749556B2 (en) * | 2015-03-24 | 2017-08-29 | Semiconductor Components Industries, Llc | Imaging systems having image sensor pixel arrays with phase detection capabilities |
| US9807294B2 (en) * | 2015-08-05 | 2017-10-31 | Omnivision Technologies, Inc. | Image sensor with symmetric multi-pixel phase-difference detectors, and associated methods |
| CN107040724B (zh) * | 2017-04-28 | 2020-05-15 | Oppo广东移动通信有限公司 | 双核对焦图像传感器及其对焦控制方法和成像装置 |
-
2019
- 2019-11-20 CN CN201980101407.4A patent/CN114631310B/zh active Active
- 2019-11-20 WO PCT/CN2019/119673 patent/WO2021097701A1/zh not_active Ceased
- 2019-11-20 EP EP19953436.3A patent/EP4060986A4/en not_active Withdrawn
-
2022
- 2022-05-19 US US17/748,489 patent/US20220279108A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101079966A (zh) * | 2006-02-09 | 2007-11-28 | 索尼株式会社 | 固态成像设备、用于驱动固态成像设备的方法和相机 |
| CN105409205A (zh) * | 2013-07-23 | 2016-03-16 | 索尼公司 | 摄像装置、摄像方法及程序 |
| CN106375739A (zh) * | 2015-07-24 | 2017-02-01 | 三星电子株式会社 | 图像传感器及其信号处理方法 |
| CN106982328A (zh) * | 2017-04-28 | 2017-07-25 | 广东欧珀移动通信有限公司 | 双核对焦图像传感器及其对焦控制方法和成像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021097701A1 (zh) | 2021-05-27 |
| US20220279108A1 (en) | 2022-09-01 |
| EP4060986A4 (en) | 2022-11-30 |
| EP4060986A1 (en) | 2022-09-21 |
| CN114631310A (zh) | 2022-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12184999B2 (en) | Solid state image sensor and electronic equipment for improving image quality | |
| CN204633945U (zh) | 图像传感器、成像系统和处理器系统 | |
| CN111385543B (zh) | 图像传感器、摄像头组件、移动终端及图像获取方法 | |
| CN111586323A (zh) | 图像传感器、控制方法、摄像头组件和移动终端 | |
| CN110649057B (zh) | 图像传感器、摄像头组件及移动终端 | |
| WO2021179806A1 (zh) | 图像获取方法、成像装置、电子设备及可读存储介质 | |
| CN111447380B (zh) | 控制方法、摄像头组件和移动终端 | |
| CN110784634B (zh) | 图像传感器、控制方法、摄像头组件及移动终端 | |
| WO2021212763A1 (zh) | 高动态范围图像处理系统及方法、电子设备和可读存储介质 | |
| WO2021196553A1 (zh) | 高动态范围图像处理系统及方法、电子设备和可读存储介质 | |
| CN114845015B (zh) | 图像传感器、控制方法、成像装置、终端及可读存储介质 | |
| CN111314592A (zh) | 图像处理方法、摄像头组件及移动终端 | |
| WO2021062663A1 (zh) | 图像传感器、摄像头组件及移动终端 | |
| WO2021159944A1 (zh) | 图像传感器、摄像头组件及移动终端 | |
| WO2021062661A1 (zh) | 图像传感器、摄像头组件及移动终端 | |
| WO2021062662A1 (zh) | 图像传感器、摄像头组件及移动终端 | |
| WO2022007215A1 (zh) | 图像获取方法、摄像头组件及移动终端 | |
| JP2022192062A (ja) | 画像センサ、カメラモジュール、モバイル端末及び画像収集方法 | |
| CN114631310B (zh) | 图像传感器、控制方法、摄像头组件及移动终端 | |
| WO2021046691A1 (zh) | 图像采集方法、摄像头组件及移动终端 | |
| CN114424517B (zh) | 图像传感器、控制方法、摄像头组件及移动终端 | |
| CN111031297B (zh) | 图像传感器、控制方法、摄像头组件和移动终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |