光
首先来看看可见光在电磁波谱里的位置，光在电磁波谱里的范围是非常窄的
一般人的眼睛能感知的电磁波的频率在380~750THz，波长在780～400nm之间，但有些人能够感知到频率大约在340~790THz，波长大约在880～380nm之间的电磁波。
正常人眼睛对绿光最敏感。
在图像处理领域，我们主要关注波长为200-1100 nm这段范围内的光，主要包含3部分：
可见光：400 - 750 nm
近紫外光：200-400nm
近红外光：750 - 1100nm
光的波粒二象性: 是粒子也是电磁波。
一个光的粒子叫做光子，光子具有能量（频率越高能量越大）。能量大小决定了波长，一种波长对应着一种颜色。
E = 光子的能量，h = 普朗克常数，c = 光的速度，λ = 光的波长
光电效应
在高于某特定频率（极限频率threshold frequency）的电磁波照射下，某些物质内部电子吸收能量后逸出而形成电流的现象。
在sensor半导体材料中，光子击打到硅表面时会逐出电子
释放出的电子数量取决于光子的强度
上图展示了单个原子的一个电子被光击打后释放了一个电子的过程
量子效率（Quantum Efficiency）
量子效率是一种对光敏器件电光敏性的测量方法，表示光转换为电的比率。光子在撞击光活性表面时产生电子-空穴对的百分比越高，量子效率越高。
假设QE为60%，代表每个10个光子达到一个像素时，有6个电子被释放。
下图为ChemiScope 6000 CCD相机量子效率曲线图
满井容量（Full Well Capacity）
CCD 或CMOS 每个像素的势井所能容纳的最大电子数，这个概念很好理解，想象每个像素下面有一个小隔间用来存放光电转换后释放出的电子，小隔间挤满的时候电子个数就是满井容量。
| 像素规格 | FWC |
| 小 | 4000 |
| 中 | 10000 |
| 大 | 50000 |
更大的FWC会使灵敏度更高，信噪比更好，动态范围更大。
CCD和CMOS Sensor
CCD(charge coupled device)指电荷耦合器件。
CMOS(CompementaryMetalOxideSemiconductor)指互补金属氧化物半导体，图像领域作为低成本的感光器件。
CCD和CMOS都是市场上常见的感光器件。
CCD和CMOS网上的资料很多，本文重点关注与CCD和CMOS在读出数据的差异。
CCD
先来看一下CCD里单个像素的结构
黄色部分是微透镜，微透镜能够增加像素的光子收集区域，并且将光子聚焦到感光区域上。
红色部分是滤光片，这个以红色为例，这个像素会收集红色光的信息。
最下面的结构从上至下，从左到右分别是光电二极管（感光元件）、TG传输门、V-CCD垂直寄存器。像素电荷通过TG（transfer gate），从PD（光电二极管）转移到V-CCD（垂直寄存器）。
上图展示了CCD读取像素数据的过程。我们可以将CCD的内部结构分成两部分，上图右边3*3的9个水桶，每个水桶可以看做是一个像素，雨水代表光线。上图左侧的3个桶是CCD内部用来串行读出一行像素数据用的暂存寄存器，左下角的量杯可以看做ADC，将实际的像素值测量出来。
在曝光的时间里，右侧3*3水桶接收雨水，等曝光时间结束后：
1. 3*3阵列里的每一排同时沿着箭头方向将收集到的水（电荷）转移到相邻的水桶中去，最前面的一排水桶的水到了暂存寄存器中，第二排的水转移到了第一排，以此类推。
2. 然后最左侧的3个水桶沿着箭头方向将水依次串行倒入量杯中进行测量（中间还会存在放大器将信号放大），转换为对应位置像素值。
3. 当一行完成测量后，重复步骤1-2，直到所有桶的水都被测量为止。
CCD的主要问题
Blooming效应
当场景中存在亮度较高的点光源或亮区域时，CCD在亮点光源附近区域会存在Blooming效应，也叫做“开花”、“光晕”、“光溢出”（可以理解为亮瞎了狗眼，呵呵）。
这个问题发生的原因是CCD传感器的像素在受到强光照射时，亮点区域像素光照太强，光电二极管在强光下产生的光电子数超过了CCD电荷存储区可存储的最大电子数而溢出，溢出的电子将沿行或列的方向进入到了相邻像素，“污染”了相邻图像区域 (专业说法是：使相邻区域也饱和了)。如下图照片中太阳周围一片像素的值基本都饱和了。
Smearing现象
CCD图像中发生了弥散（漏光，拖尾）。此问题发生的原因和Blooming类似。
FT型CCD，当电荷从感光区转移到存储区的过程中，感光区实际还在感光，产生电荷，这些电荷会污染已经存在的电荷。想要减小影响，必须让CCD的转移时间尽可能短，或者在转移时关掉快门。
IT型CCD，当强光照在CCD传感器上，由于光斜射、工艺等原因，电荷可能被邻近的存储区所接收，会导致一个随机扩散过程，使电荷跑到了存储区。
想了解FT,IT，FIT型CCD的意思，参考下面这个链接 三种CCD的优缺点分别是什么？（IT CCD即内线转移CCD、 FIT CCD即帧内线转移、 FT CCD即帧转移CCD）_百度知道https://zhidao.baidu.com/question/186640221.html
CMOS
传统的前照式CMOS（Frontside Illumination, FSI）
从上到下依次为微透镜、颜色滤波片、线路层和光接收表面以及光电二极管。
这种结构CMOS总面积约等于 光接收表面的面积 + 线路层有效面积。如果线路层有效面积大，CMOS能收集的光线就少，这样图像质量就会变差。可以看出这种结构对光的利用率较低。
背照式CMOS（Backside-Illuminated，BSI）
为了改善前照式CMOS问题，出现了背照式CMOS。背照式CMOS的线路层和光电二极管层位置做了交换。这样光线几乎就没有遮挡进入了光电二极管，光线利用率极高，成像质量也就更好了。但带来这个好处的同时，背照式CMOS由于线路层密度变得更高，电路之间干扰也变大了。低感光度下信噪比可能会有所下降。
背照式CMOS概念提出在1990年代，但对当时的生产加工要求很高，还无法量产。2007年OmniVision对外展示了BSI的样品。直到2009年2月，SONY首次实现了量产BSI CMOS，注册了Exmor R商标。首批使用Exmor R CMOS的相机有SONY HDR-XR520,HDR-XR500,DSC-WX1等。
堆栈式CMOS（Stacked）
CMOS的制作过程和CPU类似，需要特殊的光刻机对晶圆进行蚀刻以便形成像素区域和处理电路区域。为了提高像素收集光的效率，需要引入光波导管。光波导管干刻过程中，晶圆和像素区域会受损伤，这时候要进行一个叫“退火”的步骤，让晶圆和像素区域恢复，需要将整块CMOS加热。但加热后同在一块晶圆上的处理回路肯定会受到影响，前面已经做好了的电容电阻的值退火后会改变，对电信号读出测量有影响。
另外，如果CMOS的制程是65nm，像素区和处理回路在同一块晶圆上制作，因此它们只能使用相同的制程。虽然对于像素区域来说，65nm已经足够了。但对于处理回路来说，65nm能容纳的晶体管数量显然不如使用更低的45nm或30nm多，这样处理回路的性能也会受到限制。
为了解决这些问题，SONY的工程师提出了堆栈式CMOS。将像素区域和处理回路分开，像素区用65nm制程制作，处理回路用更高规格的制程制作，然后将两者拼到一起。这样就解决了之前的问题。
堆栈式CMOS有背照式CMOS的优点，还克服了其在制作的限制和缺陷。由于处理回路改善，摄像头也能提供更多功能比如硬件HDR，慢动作拍摄等。同时由于像素和处理回路分开，还附带来了体积更小、性能和功耗反而更强的好处。
CMOS的像素数据读取
无论是哪种CMOS，由于每个像素都有独立的处理回路，因此读取像素的值不用按照CCD那种串行移位的方式进行，每个像素的值都能立即单独读出，因此速度较CCD有了较大的提升。
这里所说的处理回路，关于ADC的使用，主要有两种：一种是每个像素有一个单独的ADC，称为像素级ADC；还有一种是每列使用一个ADC，称为列并行ADC。想要了解更多，参考这里：
CMOS图像传感器系统中的列并行高速ADC的研究设计 - 豆丁网
https://www.jstage.jst.go.jp/article/transele/E101.C/7/E101.C_444/_pdf/-char/ja
下图为一个使用了列并行ADC的CMOS读取电路框图
图中的每个“C+A”的 方格代表每个像素单独的处理回路，C是微型电容(miniaturized capacitor)，A是放大器(Amplifier)。读取数据的时候，所有列的ADC同时工作采集一行的数据，采集完成后送出至外部模块。
如果是像素级ADC，则不需要这么麻烦，直接转换就好了。
CCD和CMOS对比
| 对比项 | CCD | CMOS |
| 性能 | 同步信号控制下串行逐行移位读取，速度较慢 | 每个像素有单独电路，信号读取简单，速度较CCD快很多 |
| 成像质量 | CCD技术起步早，采用PN结或二氧化硅隔离层隔离噪声，有一定优势，但随着技术发展，已无压倒性优势 | 早期CMOS由于光电传感元件、电路间距离很近，光、电、磁干扰严重，成像质量差。随着CMOS电路消噪技术发展，和CCD已相差无几 |
| 噪点 | 只有一个放大器放在芯片边缘，噪点较少 | 每个像素都搭配一个放大器，放大器之间难以做到一致，噪点相对较多 |
| 功耗 | 被动式采集图像，必须外加电压让每个像素中的电荷移动到传输通道，功耗高于CMOS。 | 主动式采集图像，像素中的电荷直接由旁边的晶体管放大输出，功耗较低。 |
| 成本 | 采用电荷传递方式，只要其中一个像素异常，会导致整排数据失效。良品率低，制造要求高，成本高于CMOS。 | 和一般半导体电路使用相同的CMOS工艺，可以轻易集成周边电路到芯片中，成本较低。 |