学习目标：数字图像处理
学习内容：
MOOC课 武汉大学 《数字图像处理》自学
https://www.icourse163.org/learn/WHU-1002332010?tid=1450249452#/learn/content?type=detail&id=1214403361
笔记：
一、绪论
1.1：数字图像处理的概念
- 彩色图像和非彩色图像，彩色图像由三色图组成，非彩色图像由黑白和各种灰色组成黑白图像，记录物体的光强度。
- 模拟图像和数字图像，按图像空间坐标和亮度（或色彩）的连续性可分为模拟图像和数字图像。模拟图像可用连续函数来描述，光照位置和光照强度均为连续变化的。数字图像可用矩阵或数组来描述，空间位置和亮度都为离散的整数值。
- 数字图像需要借助计算机才能够显示，数字图像处理也称为计算机图像处理。
1.2：数字图像处理的内容和特点
狭义图像处理：图像到图像的操作，包括图像增强、图像压缩等，处理对象为像素。
图像分析：对图像中的目标进行检测和测量，从而获得图像描述 的处理，处理对象为目标。
图像理解：在图像分析的基础上，对图像中的目标用符号加以表示，并研究符号的属性和符号间的关系。
- 图像的数字化：由模拟图像获取满足需求的数字图像
- 图像变换 ：处理问题简化、有利于特征提取、加强对图像信息的理解，重点：傅里叶变换的算法、性质和应用。
- 图像增强：增强图像的有用信息，削弱噪声的干扰。
- 图像的回复与重建：把退化、模糊了的图像复原。包括图像辐射校正和几何校正的内容。
- 图像编码：简化图像的表示，压缩图像数据，便于存储和传输。
1.3：数字图像处理的应用
数字图像处理的特点
精度高：数字化中不管用多少比特表示，只需要改变程序的参数，处理方法不变，而模拟图像需要对装置进行改进
再现性好：以数组或数组集合表示，数据不易丢失或遭破坏，而模拟图像处理中，容易受各种干扰因素影响。
通用性、灵活性强：对于各种图像，虽然所用设备和精度各不相同，但将图像数字化后，对于计算机而言，都可进行相同处理操作。同时，可以对图像进行各种处理，如：合成、拼接、放大、缩小等。
笔记：
二、数字图像获取
2.1数字图像化：
图像数字化—把一幅图画分割成一个个小区域（像元或像素），并将各小区域用整数值来表示，形成一幅点阵的数字图像。
数字图像化的过程包括
- 采样
- 量化
像素属性=（位置，灰度/颜色）
一、数字图像的表示
数字图像用矩阵来描述
数字图像根据灰度级数的差异可分为：黑白图像、灰度图像、彩色图像
黑白图像:每个像素只能是黑或者白，没有中间过渡，又称为二值图像。像素值为0或1
灰度图像:每个像素的信息由一个量化的灰度来描述，没有彩色信息。 八比特数值表示，[0,255]。
彩色图像: RBG红绿蓝三个通道分量构成，分别由不同的灰度级描述，每一个灰度级使用一个字节，即彩色图像一个像素需要三个字节。24位表示三个通道
二、图像数字化过程
- 采样：将空间上连续的图像变换为离散点的操作
采样间隔：采样点之间的距离
采样孔径：采样采用的形状和大小
采样方式：有缝、无缝、重叠 - 量化： 像素灰度转换为离散的整数值的过程
图像数据量：MN、灰度级为G的图像所需的存储空间MN*g(bit)为图像数据量
三、采样、量化参数与数字化图像间的关系
数字化方式可分为均匀采样、量化和非均匀采样、量化
“均匀”：采样、量化为等间隔方式。图像数字化一般采用均匀采样和均匀量化方式
非均匀采样：根据图像细节的丰富程度改变采样间距，细节丰富的地方采样间距小，否则间距大。
非均匀量化：对图像层次少的区域采用间隔大量化，对图像层次丰富的区域采用间隔小来能量化。
采样间隔越大，图像像素数越少，空间分辨率低，质量差
采样间隔越小，图像像素数越多，空间分辨率高，质量好，但数据量大
2.2图像灰度直方图
概念：反应一幅图像中各灰度级像素出现的频率和灰度级的关系。以灰度级为横坐标，频率为纵坐标，绘制直方图。是图像的一个重要特征，反应了图像灰度分布的状况。
性质：只能反映灰度分布情况，不能反应图像像素的位置，丢失了像素的位置信息。一幅图像，多个区域的直方图之和为原图像的直方图。
应用：
- 判断图像量化是否恰当
- 用于确定图像二值化的阈值
2.3图像处理算法的形式
基本功能形式：
- 单幅图像->单幅图像
- 多幅图像->单幅图像
- 单（或多）幅图像->数字或符号等
几种具体算法形式： - 局部处理：
邻域：像素周围的像素构成的集合，常用：4-邻域、8-邻域
概念：对于输入图像 ,某一输出像素的值由输入像素及其邻域的像素值确定。这种处理称为局部处理。
点处理：局部处理中,当输出值仅与输入值有关,则称为点处理
大局处理：局部处理中，输出像素的值取决于输入图像大范围或全部像素的值
迭代处理：反复对图像进行某种运算直至满足所给条件,从而得到输出图像(如：图像的细化过程)
跟踪处理：选择满足适当条件的像素作为起始像素。检查输入图像和已得到的输出结果，求出下一步应该进行处理的像素，进行规定的处理，然后决定是继续处理下面的像素还是终止。 特点：目标像素的处理依赖于前一个像素的位置和处理条件。
窗口处理和模板处理：只对画面中的特定部分进行处理
串行处理和并行处理：
串行处理后一像素输出结果依赖于前面像素处理的结果,并且只能依次处理各像素,而不能同时对个像素进行相同处理（处理算法要按一定顺序进行）
并行处理对图像内的各像素进行相同形式运算的一种处理形式各输出值可以独立进行运算。
卷积运算-3*3滤波器做八邻域像素和(局部处理例子)
2.4图像的数据结构与特征
图像数据结构：图像像素灰度值的存储方式，常用方式为，图像各像素灰度值用一维或二维数组相应的各元素加以存储。
其他存储方式
组合方式：一个字长存放多个像素灰度值
比特面方式:将所有像素灰度的相同比特位用一个二维数组表示，形成比特面，N个比特位得到N个比特面
分层结构：从原始图像开始依次构成像素数越来越少的系列图像，使数据表示具有分层性
树结构：对二值图像接连不断进行二等分，如果被分割部分中的全体图像具有相同特征时，这部分不再分割。（用于特征提取和信息压缩等）
多重图像数据存储：
- 逐波段存储，分波段处理时采用
- 逐行存储，逐行扫描记录设备采用
- 逐像素存储，用于分类
图像文件格式：按不同的方式进行组织或存储数字图像像素的灰度，得到不同格式的图像文件。
RAW、BMP、TGA、PCX、GIF、TIFF格式
- 描述图像的高度、宽度以及各种物理特征
- 彩色定义
- 描述图像的位图数据体
RAW格式
将像素按行列号顺序存储在文件中。只含图像像素数据，不含信息头。因此，在读图像时，需要事先知道图像大小
BMP格式
- 14字节的文件头
- 40字节的信息头
- 8字节的颜色定义
- 位图数据
GIF格式
给予颜色列表，最多支持8位，支持在一幅GIF文件中存放多幅彩色图像，并且可以按照一定的顺序和时间间隔将多幅图像依次读出并显示在屏幕上，形成简单的动画效果
TIFF文件
- 文件头
- 标识信息区
- 图像数据区
开放易于扩展的数据格式，能支持大数据量和不同定义方式的影像数据，广泛应用于遥感、地理信息领域
图像的特征类别
图像的特征与噪声
图像的特征与噪声：
- 图像的特征类别：
1、自然特征：光谱特征、几何特征、时相特征
2、人工特征 ：直方图特征、灰度边缘特征、（线、角点、纹理）特征
按提取特征范围：点特征、局部特征、区域特征、整体特征- 特征提取与特征空间：
1、特征提取：获取图像特征信息的操作，可以获得特征图像和特征参数
2、特征空间： 把从图像提取的M个特征量，用M维向量表示。对于各特征量的M维空间叫做特征空间- 图像噪声：
1、噪声种类：
外部噪声：天体放电干扰、电磁波从电源线窜入系统等产生的噪声
内部噪声：系统内部产生
2、噪声特征：对灰度图像来说，可看做二维亮度分布，则噪声可看做对亮度的干扰
3、噪声的模型：
设f(x,y)为理想图像,n(x,y)为噪声,实际输出图像为g(x,y)
加性噪声模型：与图像光强大小无关,g(x,y)=f(x,y)+n(x,y)
乘性噪声模型：与图像光强大小有关，随亮度大小变化而变化，
g(x,y)=f(x,y)[1+n(x,y)]
4、图像系统常见的噪声:光电管、摄像管、前置放大器、光学
笔记：
三、图像变换
3.1图像变换的预备知识
图像傅里叶变换：通过某种变换关系将空间图像用另一种方式来表达。
目的和用途
- 使图像处理问题简化
- 有利于图像特征提取
- 有助于从概念上增强对图像信息的理解
通常是一种二维正交变换：- 正交变换必须是可逆的
- 正变换和反变换的算法不能太复杂
- 正交变换的特点是在变换域中图像能量将集中分布在低频率成分上，边缘、线状信息反映在高频率成分上，有利于图像处理。
傅里叶变换
一个周期为T的函数f(t)在[-T/2,T/2]上满足狄利克雷条件,则在[-T/2,T/2)可以展开成傅里叶级数。
（没听懂，傅里叶变换需要再去了解了解）
狄利克雷条件
- 在一周期内，连续或只有有限个第一类间断点
（可去间断点和跳跃间断点称为第一类间断点）
可去间断点：函数在该店左极限、有极限存在且相等，但不等于该店函数值或函数在该点无定义。
跳跃间断点：函数在该点左极限、右极限存在,但不相等。 - 在一周期内，极大值和极小值的数目应是有限个
- 在一周期内，信号是绝对可积的
一般我们遇到的周期信号都能满足狄利克雷条件,一个信号内存在傅里叶变换的充分不必要条件。
傅里叶变换可以看做数学上的棱镜,将函数基于频率分解为不同的成分，通过傅里叶变换能够使我们通过频率成分来分析一个函数。
主要知识点为傅里叶变换以及快速傅里叶变换,问题很大，听不太懂，需要对傅里叶变换多补习补习。
3.2傅里叶变换及其性质
二维离散傅里叶变换的性质
可分离性：二维离散傅里叶变换DFT可分离性的基本思想是二维DFT可分离为两次一维DFT 。快速傅里叶变换需要图像的行列数均满足2的n次方，如不满足，需要补0.
周期性和共轭对称性：离散信号的频谱具有周期性，其正变换和逆变换都是以点数N为周期的。
共轭对称性：傅里叶变换结果是以原点为中心的共轭对称函数
平移性：？？？
旋转性：如果f(x,y)旋转了一个角度，那么f(x,y)旋转后的图像的傅里叶变化也旋转了相同的角度。
卷积与相关定理：卷积定理包括空间域卷积和频率域卷积,卷积是空间域滤波和频率域滤波之间的纽带：
两个空域信号的卷积等价于其频率域信号的卷积
两个信号频率域上的卷积等价于空间域的相乘
相关定理：把积分求和过程转化为了频域相乘,因此，也使得相关分析的计算简化
问题：
空域？、频域？、频谱？、直流？
听得太懵了,是因为对傅里叶变换不了解吗，但是很多不了解的词语，没有给出解释，直接就使用了。目前不太听得懂，通过其他渠道多了解一些知识以后，再重新理解一遍吧。–2020.9.26
空间域：由图像像元组成的空间。（大概就是图像的灰度值空间）在图像空间中以长度（距离）为自变量直接对像元值进行处理称为空间域处理。（说人话，大概是直接对数字图像中的像素值进行处理）
频率域
笔记：
四、图像增强
4.1图像增强的点运算
概念：采用一系列技术改善图像的视觉效果，或将图像转化成一种更适合于人或机器进行分析和处理的形式。
主要方法（按照图像的作用域):
- 空间域增强：直接对图像各像素进行处理
- 频率域增强：对图像经傅里叶变换后的频谱成分进行处理，然后逆傅里叶变换得到需要的图像。
目的：
- 改善图像视觉效果
- 突出图像中感兴趣的信息，抑制不需要的信息，来提高图像的使用价值。
- 转换成更适合于人和机器分析处理的形式
- 增强后的图像不一定保真
对比度增强
扩大图像中感兴趣特征的目标：
- 灰度变换法：线性变化、对数变换、指数变换
- 直方图调整法：直方图均衡化、直方图规定化
| 灰度变换 | 调整图像的灰度动态范围或调整图像的对比度 |
|---|---|
| 线性变换法 | 图像生成时存在曝光不足或过度的情况，图像灰度可能局限在一个很小的范围内，通过线性变换对图像中每一个像素灰度进行线性拉伸 |
| 分段线性变换法 | 突出感兴趣目标所在的灰度区间 |
| 非线性灰度变换法 | 使用非线性函数作为映射函数，对图像灰度进行非线性变换 |
非线性
- 对数变换：低灰度区有较大拉伸，高灰度区压缩
- 指数变换：高灰度区有较大拉伸
灰度直方图
- 概念：反应每一灰度级与这个灰度级出现频率之间的关系
| 直方图均衡化 | 将原图像通过某种变换，得到一副灰度直方图均匀分布的图像 |
|---|
直方图均衡化：公式太多，讲得太快
主要通过一系列公式将灰度值进行变换，将原来的灰度值映射到一个新的范围内，均衡灰度值,减少灰度级数
–2020.9.27
贴一个链接,讲得挺好的
https://blog.csdn.net/schwein_van/article/details/84336633
主要说明直方图均衡化就是将,直方图的灰度分布从一个较小的范围,扩散到较大的范围中，并使灰度值均匀分布，从而获得较大的灰度动态范围和对比度，同时图像的细节也更为丰富。主要推导公式暂时未看
2020.9.28
4.2图像的空间域平滑
图像去噪：为了抑制图像噪声改善图像质量进行的处理。噪声可能是在图像获取和传输等过程中造成的，噪声会使图像恶化，质量下降，图像模糊，特征淹没，对图像分析很不利。
几种空间域的图像平滑方法
- 邻域平均法
- 超限像素平滑法
- 有选择保边缘平滑法
- 中值滤波法
邻域平均法：直接在空间域上进行平滑处理
思想：假设图像由许多**灰度恒定的小块组成，相邻的像素之间存在很高的空间相关性，而噪声则是统计独立的。**所以可以用邻域内各像素的灰度平均值代替像素原来的灰度值，实现图像的平滑
所以：邻域平均法是将当前像素邻域内各像素的灰度平均值作为像素的输出值，用这种方法对图像去噪。
相当于使用模板与图像做卷积
假设图像中的噪声是随机不相关的加性噪声，窗口内各点的噪声是独立同分布的，经过上面平滑后，信号与噪声的方差比可以提高M倍。
方法特点：算法简单，
缺点：在降低噪声的同时会使图像产生模糊，特别是在边缘和细节处（挺好理解的,边缘本身与邻域的灰度值会有所区别，才显示出边缘，经过处理后，灰度值改变为均值，对比下降）而且邻域越大，去噪能力增强的同时模糊程度越严重。
为了克服简单局部平均法的缺点，目前提出了许多保边缘、细节的局部平滑算法。
超限像素平滑法：对邻域平均法稍加改进
把原像素和邻域平均获得的像素做一个差的绝对值运算，再与一个选定的阈值进行比较，如果超过指定阈值，则使用邻域平均的结果进行填充，否则保留原像素值。
方法特点：对抑制椒盐噪声比较有效，对保护仅有微小灰度差的细节和纹理也有效。
同局部平滑法想补，超限像素平滑法去椒盐噪声的效果更好。而且可以保护有微小灰度差的细节和纹理
有选择保边缘平滑法
对任一像素，使用9个掩模（以我的理解是邻域的选取形状），包括一个3*3的正方形，4个五边形和4个六边形。计算各掩模的均值和方差
选择方差最小的掩模均值，作为该像素点的输出值。
方差小的话，说明区域内灰度值均匀(图像中物体和物体之间的不同区域，灰度值会有较大的差异)
中值滤波法
对窗口内的像素灰度值进行排序，用中值代替窗口中心像素的灰度值，这是一种非像素的图像平滑法。
对脉冲干扰和椒盐噪声的抑制效果好，在抑制随机噪声的同时能有效保护边缘少受模糊。但它对点、线等细节较多的图像却不太合适。
最重要的环节：选择窗口尺寸的大小。需要通过从小窗口到大窗口的中值滤波实验，再从中取出合适尺寸的窗口。
选择不同形状的滤波器：方形或圆形的窗口适宜于外轮廓线较长的物体图像，而十字形窗口对有尖顶角状的图像效果好
能够有效消除椒盐噪声，而且比邻域、超限像素平均法更为有效
4.3图像的空间域锐化
加运算定义：图像锐化的目的是增强图像的边缘或轮廓
图像平滑时通过积分过程使图像边缘模糊，而图像锐化是通过微分使图像边缘突出、清晰。
最常使用的图像锐化法–梯度法
一阶偏导数可以由一阶差分近似
- 用梯度来代替图像
- 设定阈值，当超过阈值时，使用梯度替代
- 把明显的边缘用一个固定的灰度级表示
- 把背景用一个固定的灰度级表示
- 把边缘和背景分别用两个灰度级表示，生成二值图像
五种不同的输出方法
拉普拉斯增强算子：线性二阶微分算子
二阶偏导数可以由二阶差分近似
高通滤波法：用高通滤波算子和图像卷积来增强边缘