CMOS图像传感器——黑电平校正

        黑电平（black level ），也称作Optical Black，很多人也称呼为OB，指的是光学暗区，即黑色数据的最低电平值，指在经过一定校准的显示装置上，没有一行光亮输出的视频信号电平，通常指图像数据为0时对应的sensor信号电平值。
        在CMOS图像传感器对图像进行处理的过程中，黑电平是客观存在于图像的信号中的，由于传感器中四个颜色通道的物理结构和生产工艺存在不同，传感器在感光时因积分时间的影响和滤色镜的不同，传感器会导致在四个颜色通道内产生的黑电平不一致。并且即使传感器不感光，传感器内的黑电平也会因为四个颜色通道内的不同而产生差异。此外，传感器中同一个颜色通道内的黑电平也会随着温度、工作电压以及积分时间等因素的变化而变化，因此，CMOS 传感器中图像的四个颜色通道的黑电平往往会产生偏差，导致输出图像的颜色表现范围、饱和度产生变化。为此，通常需要对黑电平进行调整。
一、成因

黑电平的成因主要有以下两个：
1、人为增加

        CMOS传感器采集的信息经过一系列转换生成原始RAW格式数据。简单流程为：信号传递流程：AS（analog signal）→AD（模/数转换）→DS（digital signal）→ISP。 AD一般都有一个灵敏度，信号必须大于一个阈值才能够进行转换， 可能无法将电压值很小的一部分转换出来，因此，sensor厂家一般会在AD的输入之前加上一个固定的偏移量，，目的是为了让暗部的细节完全保留，当然同时也会损失一些亮部细节，由于对于图像来说，我们的关注度更倾向于暗部区域，而且ISP后面会有很多增益模块，因此亮区的一点点损失是可以接受的。

2、暗电流

        从CMOS图像传感器的工作原理来看，暗电流是无光照的条件下观测到的电流，是一种非理想因素，暗电流会积分成为暗电荷并存储在像素内的电荷储存节点。暗电荷的数量与积分时间成正比，同时也和温度有关系。因此，即使在无光照条件下，也会存在电平值，全黑状态下输出的电平并不一定稳定为0，而信号的不稳定会导致部分图像的偏色。人为将全黑状态的数值固定钳制在黑电平这个值，很大程度上是为了保证信号的稳定性，以保证全图图像效果表现一致。

二、校正

        black level correction一般会分为sensor端和ISP端两部分。
1、sensor端

        目前sensor的像素阵列都会把一部分行盖起来，不进行曝光，得到OB的信号。 这样就能通过OB区无光照是的值来校正有效像素去的值。最简单的操作就是对OB去的像素值去平均，然后每个像素值减去这个值完成校正。

        当然，除了这种简单的做法，各厂商也推出了自己的校正算法。以比亚迪的专利进行说明：

        还有利用遮黑像素暗电流特性进行校正的。测试数据表明，遮黑像素行中的暗电流与成像像素行的暗电流存在固定的不一致性，也就是线性关系。这主要是暗像素的物理遮罩产生的机械应力以及暗像素行与成像像素行所处电路不可能完全一样等原因引起的。

        因此仅通过设置遮黑像素，读出遮黑像素PIXEL 值校正成像像素的方式不能满足高端CMOS 图像传感器的暗像素校正要求，可以通过设置校正因子，在得到遮黑像素行暗电流值的基础上乘以校正因子，得到的校正值用以校正成像像素区域暗电流。对于给定工艺的图像传感器遮黑像素行与成像像素行暗电流间的线性关系是一定的。
2、ISP端 

（1）遮光帧校正

        其主要做法是：第一帧图像不进行曝光，通过读取未曝光的成像像素中暗电流的值，在下一帧图像的像素值中减去暗像素值，也就是读取曝光前的成像像素的像素值，随后的所有图像都采取这一校正值进行校正，下图为该方法的校正流程图：

         第一帧图像为未曝光的参考帧图像，其作用是提供之后各帧用以进行暗像素校正的暗电流值，之后的各帧正常曝光，采用统一的暗像素校正值，即第一帧图像读出的像素值。遮光帧校正算法有其明显的弊端，其一是第一帧一定不能曝光，系统反应时间较长，其二是所有正常曝光的图像都采用同一个校正值，影响校正效果，这是因为在视频模式也就是图像传感器连续工作的模式下，CMOS 图像传感器会随时间变得越来越热，而暗电流与温度呈指数关系，此时暗电流较刚工作时变化很大，不适合采取同一校正值进行校正。
（2）一次函数法

        利用黑电平随温度和gain的漂移曲线，利用一次函数的方式进行校正。
三、应用

        由于Black Level是所有信号的基础值，在做图像效果调试时，减掉的黑电平值需要是准确的，理想情况下，我们想象全黑下的整副图像的信号值都是一样的，都是64，我们在做BLC时只要把这个值扣掉就可以了。

         然而实际应用中并没有那么简单，Black Level受到很多因素的影响，比如增益，温度，PCB Layout等等。而且这种影响比较随机，不是想象中整体图像信号值的增加或减少，而有可能是左上角增大了，右下角减小了，或者左侧整体增大了，而右侧整体减少了，也就造成了整体画面的Black Level分布不均匀。如下图，当加大增益值，原图黑电平值在边缘出现偏移64的情况，经BLC校准之后，尚有部分信号余留：

         此外，如果Black level不准确，会容易造成图像整体偏色。

        当Black Level值扣除过少时，整体图像画面灰蒙蒙的，整画面对比度没有那么高，图像偏紫红；当Black Level值扣除过多时，整体画面暗沉沉，动态范围变低细节损失多，黑色部分偏色无法通过白平衡纠正，图像偏黑绿。
        此外，单纯的从模拟增益上看，OB的分布满足如下规律：

         随着增益的增加，OB的均值可能不变，但是方差会变大。主要是因为sensor内OB扣除是在Again之后做的，所以随着Again的增加，噪声的影响增大，导致了OB的方差增加。
        这个时候如果还是按照OB的均值扣除，画面暗处就有可能出现偏色的问题。主要是因为OB方差的变大，如果ISP再按照OB平均值扣除，那么就可能会有较多的黑电平残留，受白平衡（Rgain、Bgain）的影响，故画面暗处会偏紫此时的解决方法为：

• 多扣一点OB，缺点为破坏了噪声形态会引入较多噪点。
  
• 分通道扣除OB，缺点为偏色的情况会受环境色温影响。
  

        而且OB还会随着温度的变化而发生变化，如果OB的扣除没有跟随温度变化的话，也会出现偏色问题。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！