2.2 sensor系统
图2.2 像素结构示例
图2.2中是sensor中像素的一个经典的结构示意。可以看到所有相关的组成单元：微透镜，电子零件和感光区。接下来部分会分析这些单元，表述其优劣势和其对形成最终图像的影响。
2.2.1 微透镜
图2.3 不同像素填充因子的补偿策略：(a)高填充因子像素，捕获所有入射光；(b)低填充因子像素，使用微透镜将入射光汇合到有效区
捕获光的灵敏程度(光灵敏度)是图像sensor最重要的特性之一。其主要取决于感光区的设计(图2.3)，以及设计和技术相同情况下，取决于感光区的大小(图2.2)。填充因子是感光区和像素大小的比例(变化范围30%-100%)。当填充因子较低时需要通过使用微透镜改善。微透镜是单独地放置在每个像素表面的透镜，用来聚光到感光区。微透镜可提高有效填充因子(有效折射区域和全部透镜阵列占用区域的比例)至大约70%，显著提高灵敏度(非电荷容量)。图2.3展示了有无微透镜像素的不同之处。
2.2.2 透镜和微透镜像差
串扰
图2.4 不同类型的串扰：(a)输入光被探测器正确捕获，无串扰效应；(b)光串扰：部分过滤光未被各自的探测器捕获而是去到相邻探测器，图示情况下红光被绿色集电器收集；(c)电子串扰：部分光子分散在硅层并被不同类型的探测器收集，图示情况下红色光子通过硅层被相邻的绿色探测器收集。
如图2.4(a)所示，一个理想像素充电情况，所有角度的光子贯穿CFA中的过滤单元按颜色过滤并累积在过滤单元下面的光电探测器中。光串扰发生在光子以某个角度贯穿CFA中的某个过滤单元，进入到相邻像素的光电探测器(光电二极管)，而不是该过滤单元下面的光电探测器。这会污染相邻像素的电荷包，如图2.4(b)。此外还有电子串扰，发生在光子在产生电子前穿过红色滤波进入硅层。这导致不同颜色的响应不一致，图2.4(c)表示电荷损失于基片和电子漂移到错误的像素。
色差
图2.5 色差影响下的图像的局部
图2.6 纵向和横向色差
色差是一个术语，表示一个图像系统在图像或最少图像某些区域中放置不正确的颜色。色差是由于镜头对不同波长的光有不同的折射率引起的。这意味着各颜色通道的焦距不同，因此色差会产生可见的颜色边纹和颜色模糊。图2.5是色差的一个例子。这种色差是典型地遍布总张图像，但在高对比的边缘最为明显。色差一般被定义为2种类型(见图2.6)：
l 纵向色差
l 横向色差(亦称为放大色差)
图2.7 R和B通道失真
纵向色差由于波长不同导致图像平面上失焦，横向色差由于焦点转移产生。前者造成模糊失真，后者导致颜色通道的转移失真。图像处理设置通常根据绿色通道聚焦图像平面，如图2.7，因为绿色分量对亮度影响最大。因此和其他2个颜色通道相比，绿色通道显示出更少的色差。
矫正色差的2种主要方法：
l 光学改良的镜头；
l 采集到的图像进行信号处理。
第一种方法往往成本高且难以实现。另一方面，信号处理算法可以用廉价且有效的方式矫正这个缺陷。
图2.8 棋盘模式用于矫正(左)和用于测试(右)
在标准模式(如棋盘模式)下测量放大色差是最简单的技术。图2.8(左边)是一个用于矫正的模式示例。第二个密度更低的棋盘模式(测试图)，如图2.8(右边)，用于对结果的独立验证。尤其如文献( J. Mallon and P. F. Whelan, “Calibration and removal of lateral chromatic aberration in images,” Pattern Recognition Letters, vol. 28, no. 1, pp. 125-135, 2007.)中探讨的，预先准备好无色差标准模式的参考数据，然后实际拍摄标准模式，通过比较拍摄所得数据和参考数据检测出颜色偏移。
用于矫正色差的常规图像处理算法通常利用光学系统的补充信息计算由于放大色差引起的颜色偏移。文献(E. C. Haseltine and W. G. Redmann, “Electronic and computational correction of chromatic aberration associated with an optical system used to view a color video display” U.S. Patent 5369450, November 1994.)提出一个方法，通过引入不同的几何变形到目标图像的颜色成分用以矫正纵向色差。这个变形会很大程度抵消由镜头单元形成的实际图像的红绿蓝颜色成分在图像高度上差异。这个通过确定一个或多个特定颜色变形函数完成(考虑到红绿蓝图层下镜头的不同的纵向放大率参数)，函数作用于一个或多个颜色成分的几何特征。不同的变形函数可能会作用于红色和蓝色成分上，使其和绿色成分一致。
紫边现象
图2.9紫边影响下的图像的局部
虽然特定条件下色差也可能是紫色的，“紫边现象”通常是值由微透镜引起的一种典型的图像设备现象。紫边可被认为“微透镜层级的色差”。因此，紫边现象肉眼可见并且贯穿每帧图像。图2.9展示了一副紫边影响下的图像。对比强烈的边缘位置最为明显，特别处于背光情况下。Blooming(光晕或高光溢出)会使紫边现象更可见。实际上图像设备通常测量场景的曝光时间，最亮的区域在不得溢出势阱的情况下可能多的累积电荷，得到最高的动态范围并且响应直接取决于击打在光电二极管上光子数量。这种曝光控制正常情况下能有效工作，但是场景的曝光测量是依据一些区域的平均亮度。如果场景包含小区域，这些小区域和场景平均亮度相比格外的亮，这些亮区域会导致数量非常多的光子，成为sensor上的小事故。这些光子在sensor中产生电荷，通过充分数量的累积，开始泄漏出像元势阱到周围的像元中(Blooming效应)。
当电荷从一个光电二极管势阱泄漏到周围的光电二极管势阱，结果是周围区域引入了假的更大的信号。假如周围像元本应不产生信号因这些区域场景为黑，这个假的信号就会尤为明显。从亮到暗过度明显的地方Blooming效应最可见。我们已经知道镜头偏差会造成亮白光的红蓝分量出现在不正确的sensor位置。电荷泄漏会放大该现象，通过从正确位置散布sensor响应电荷至更远处，去马赛克处理还会额外增强这种位置错误。
图2.10 CMY颜色空间中紫色所处位置
大部分矫正紫边效应的算法技巧是构建二值图，区别过曝区域和非过曝区域。检测靠近过曝区域的紫色区域，降低其饱和度。部分技术会依据周围像素的饱和度，防止过度降低饱和度，保证高质量图像。部分其他技术通过检测CrCb域的Magenta和Cyan颜色范围来确定是否存在紫边现象，如图2.10。
文献(T. Masuno, M. Ohki, and R. Yamada, “Image processing apparatus and image processing method as well as computer program,” U.S. Patent 7529405, May 2009)中介绍了一个令人感兴趣的技术，用于去除紫边现象，假定紫边主要出现在过曝的高亮区域周边，然后计算每个像素的伪色程度，根据伪色程度进行合适的矫正。像素满足如下条件：
l 像素周边存在过曝像素；
l 像素显示紫色；
l 像素具有高饱和度。
上述像素被认定为紫边像素。通过平均周围未显示伪色的像素进行矫正处理。