第三章 图像处理 笔记

第三章 图像处理

摘要：计算机视觉第三章 图像处理笔记

线性滤波器（均值滤波，高斯滤波）、非线性滤波器（最大值滤波器、最小值滤波器、中值滤波器）、边缘检测（Roberts算子、Sobel算子、Prewitt算子、拉普拉斯算子、canny算子）、傅里叶变换

图像是计算机视觉的输入，对图像的处理是计算机视觉的基础。图像可以视为一个二维的数组或矩阵，图像的基本单位是像素。

对于灰度图像，每个像素用0~255中的一个数值来表示该像素的明暗程度；

对于彩色图像，每个像素使用一个向量来表示该像素的颜色。

灰度值越小，则对应的图像区域越暗。如图3-1

图像处理就是通过改变像素的值来达到某种效果或者目的。

3.1线性滤波器

线性滤波器是提取图像特征时经常使用的一个工具，通过卷积提取图像的一个邻域中的特征。

• 卷积输入：图像I1，输出：图像I2。
• 输出图像中的每一个像素是对输入图像中相应位置的像素邻域中的像素值进行加权求和得到的。
• 卷积的作用：平滑图像或求导数（检测边缘）
• 不同卷积核由不同的作用。3*3的全是1的卷积核作用：求均值（均值滤波）

• 卷积的作用1——平滑图像：均值滤波、高斯滤波

• 均值滤波（卷积的作用：平滑图像）

  • 3*3的全是1的卷积核作用：求均值。可以用来对图像进行均值滤波来去除图像中的噪声。

  • 缺陷：不能很好地保护图像细节，在图像去噪的同时也破坏了图像的细节部分，使图像变得模糊，不能更好的去除噪声。

• 高斯滤波（卷积的作用：平滑图像）

  • 高斯滤波器是低通滤波器

  • 作用：是比较常用的去噪方式。

  • 基本思想：

    • 使用高斯核对图像进行卷积来去除噪声，以平滑图像。
    • 距离目标像素较近的位置权重比较大，距离目标像素较远的位置权重较小。

  • 优点：

    • 二维高斯函数是旋转对称的，在各个方向上的平滑程度相同，不会改变原图像的边缘走向。
    • 高斯函数是单值函数，高斯卷积核的中心点为极大值，在所有方向上单调递减，由于距离中心点较远的像素对中心点像素的影响不会过大，因此保证了其特征点和边缘特性。
    • 在频域上，滤波过程不会被高频信号污染。

  • ​ 方差： 高斯核的方差对于平滑和去噪的效果影响很大：

    • 方差很小时，由于远离目标像素位置权重很小，因此平滑基本没有效果；

    • 方差很大时，由于目标像素周围像素的权重较大，因此平滑效果就会很明显，从而可以在付出图像模糊的代价下去除噪声，即具有较大方差的高斯核会使图像细节丢失很多。

    • 卷积核方差影响效果总结：

      • 方差很小，平滑没效果。
      • 方差很大，图像模糊，细节丢失多。

      以下 详见3.3.1

      高斯滤波器为低通滤波器，其方差越大，对应的通频带越窄，对较高频率的噪声的抑制作用越大，可以避免虚假边缘；同时，信号的而边缘也被平滑了，会造成某些边缘点的丢失。

      ​ 方差越小，则对应的通频带越宽，可以检测到图像更高频率的细节，但由于对噪声的抑制能力相对下降，因此容易出现虚假边缘。

  • 可分离性

    • 高斯函数具有可分离性，因此尺寸较大的高斯核可以采用可分离滤波器实现加速。
      • 即首先将图像与一维高斯核进行卷积，然后再将卷积结果与方向垂直的相同一维高斯核再进行卷积，因此，二维高斯滤波的计算量随滤波模板宽度呈线性增长而不是呈平方增长。
      • 可分离滤波器可以将计算复杂度从O（MNPQ）降到O(MN(P+Q))，其中M,N,P,Q分别为图像和滤波器的窗口大小。

• 卷积的作用2——求图像的导数，从而检测边缘

• 卷积核可以视为一个滤波器，卷积核的权重称为滤波器的核，因此有时也把卷积称为滤波。

• 可以把这些权重排列为一个向量，如3*3的卷积核写为一个9维的向量，然后把对应窗口内的像素也写成一个9维的向量，因此卷积/滤波的结果就是权重向量与像素向量的点积。这个点积的值也被称为滤波的响应。

• 滤波器在与它们相似的图像区域上响应比较强，在与它们不相似的区域响应比较弱，因此可以把滤波器视为一个模式检测器（Pattern Detector）.

  模式检测器：即某一模式的滤波器在图像各处滤波，响应比较强的地方就是比较像滤波的地方。

  例如，使用左大右小的滤波器，在图像上左边比右边亮的区域，响应就会比较大。

  问题：直接使用滤波器进行滤波来检测模式不是一个很好地选择，这是由于滤波是线性的计算，在图像整体比较亮的区域其响应值也会比较大。

  例如：对于[1,3,1]这个模式，滤波器[3,3,3]的响应比滤波器[1,3,1]的响应更大，但是[3,3,3]与[1,3,1]并不相似。

  常用方法：使用归一化相关系数（Normalized Correlation）来表示滤波的响应值，即计算滤波器向量与像素向量之间夹角的余弦值。

  结果取值范围为1~-1。

  若值为1，则表示两个模式完全一样；

  若值为-1，则表示两个模式对比度相反。

  这个简单的算法可以用来高效的检测一些模式。

  问题：当使用滤波器来检测某些模式的时候，并不知道该模式的大小。如果对于不同分辨率的图像都是用同一个滤波器来卷积，那么在不同大小的图像上，该滤波器将对不同的模式有较强的响应。

  反过来说，如果想检测一个图像细节，那么在不知道所检测图像尺度的前提下使用某一大小的滤波器，并不能保证能检测到目标，而高斯金字塔就是用来解决尺度问题的。

  解决：高斯金字塔（解决尺度问题）图3-4
  

高斯金字塔本质上为信号的多尺度表达方法，即将图像进行多次的高斯模糊，并且向下取样，从而产生不同尺度下的多组图像以进行后续的处理。

在不同尺度的图像上进行滤波，可以解决所要寻找的模式可能在图像上有不同大小的问题。

得到高斯金字塔后，就可以在金字塔的各层上使用相同大小的滤波器来检测与滤波器相似的模式了。

3.2非线性滤波器

常见非线性滤波器：最大值滤波器、最小值滤波器、中值滤波器

使用邻域中的最大值、最小值、中值来代替中心像素的值。

非线性滤波器也可以用来去除图像中的噪声

• 椒盐噪声（脉冲噪声）：是一种随即出现的白点（盐）或者黑点（椒），可能是亮的区域由黑色像素或者暗的区域有白色像素，或者两者皆有。
  • 产生原因：可能是由于影像信号受到突然的强烈干扰而产生的。
  • 例如：失效的感应器导致像素为最小值，而饱和的感应器则导致像素值为最大值。
  • 去除椒盐噪声：中值滤波器效果较好。
    • 分析：传统低通滤波器（均值滤波/高斯滤波等）的滤波效果并不理想。
    • 原因：由于噪声点的像素值与其邻域中的像素值得差别往往很大，因此均值（高斯滤波是加权求均值）与邻域中其他像素的真实值的差别也会较大，导致其他非噪声的像素值也发生较大变化。
    • 解决：中值滤波器取得较好的效果。如图3-6
      

3.3边缘检测

线性滤波器可以用来检测图像中的边缘，通过边缘检测能够大幅减少数据量，在保留重要的结构属性的同时还可剔除无关信息。

像素与其邻域内的像素差异较大的地方（边缘）往往存在很大的信息量。

这些地方的梯度一般也较大。噪声位置的梯度一般也比较大，因此，检测边缘和抑制噪声是一对不可调和的矛盾。

3.3.1边缘检测算子

在边缘处，由于边缘包含大多数的形状信息，因此像素的值也会发生突然的变化。

检测边缘思想：在图像各处求各个方向的梯度，梯度较小的位置肯定不是边缘，而梯度较大，并且局部最大的位置才是边缘。

做法：求梯度之前通常通过滤波来平滑图像。通常使用高斯核来进行平滑，然后再求导数，与直接使用高斯核的导数来滤波是等价的。

1. 一阶导数边缘算子（使用一阶导数）

   • 常见：Roberts算子、Sobel算子、Prewitt算子

   • 思想：在图像中，边缘是像素值变化剧烈的位置，函数的一阶导数能够反映函数的变化率。

     ​ 利用这一特性可以通过求解图像的一阶导数来确定图像的边缘。

   • 做法：

     • 首先，通过合适的微分算子计算出图像的梯度矩阵；
     • 其次，对梯度矩阵进行二值化从而得到图像的边缘。

   • • Roberts算子:
       • 计算的是互相垂直方向上的像素值的差分，采用对角线方向相邻像素之差进行梯度幅度检测。
     • Sobel算子：
       • 在以像素为中心的3*3邻域内做灰度加权运算，加权的处理可以降低边缘的模糊程度。
     • Prewitt算子：
       • 是一种类似于Sobel算子的边缘模板算子，通过对图像进行两个方向的边缘检测，将其中响应最大的方向作为边缘。

   • 优点：对于灰度渐变和噪声较多的图像处理效果较好

   • 缺点：对边缘定位不是很准确、检测的边缘不是单像素

   • 适用于：对精度要求不高的情况。

2. 二阶导数边缘算子（使用二阶导数）

另外一种常见的边缘检测方法：采用像素变化的二阶导数信息。

以灰度图像为例，像素变化的二阶导数就是灰度梯度的变化率。这也被称为拉普拉斯算子（Laplancian）。

拉普拉斯算子（Laplancian）：

• 在对图像进行计算时，可以采用四邻域和八邻域的拉普拉斯算子模板进行二阶导数的计算。如图3-7
  

• 理想的连续变化情况下，在二阶导数中检测过零点将得到梯度中的局部最大值。

• 问题：

  拉普拉斯算子具有各向同性和旋转不变形，是一个标量算子，但是二阶导数算子也存在一定问题。eg：如对图像中的噪声相当敏感以及会产生双像素宽的边缘以及不能提供边缘方向的信息等。

• 解决：

  Marr和Hildreth提出了高斯拉普拉斯算子（Laplacian of Gaussian,LOG），因此该方法也被称为Marr边缘检测法。LOG算子的函数形状像一个草帽，所以也被称为墨西哥草帽算子。

  即别名：高斯拉普拉斯算子（Laplacian of Gaussian,LOG）=Marr边缘检测法=墨西哥草帽算子

高斯拉普拉斯算子（Laplacian of Gaussian,LOG）：

方法步骤：

• 首先使用一个二维高斯函数对图像进行低通滤波，即使用二维高斯函数与图像进行卷积实现对图像的平滑；
• 并在平滑后计算图像的拉普拉斯值；
• 最后，检测拉普拉斯图像中的过零点，以此作为边缘点。

优点：克服了拉普拉斯算子抗噪能力比较差的缺点

问题：但是由于在抑制噪声的同时也可能将原有的图像边缘平滑掉，造成这些边缘无法被检测。因此，对于高斯函数中的参数选择很重要。

解决：

高斯滤波器为低通滤波器，其方差越大，对应的通频带越窄，对较高频率的噪声的抑制作用越大，可以避免虚假边缘；同时，信号的而边缘也被平滑了，会造成某些边缘点的丢失。

​ 方差越小，则对应的通频带越宽，可以检测到图像更高频率的细节，但由于对噪声的抑制能力相对下降，因此容易出现虚假边缘。

3.3.2Canny边缘检测算法

地位：是1986年由John F.Canny提出的一种基于图像梯度计算的边缘检测算法，是计算机视觉中应用最广泛的边缘检测算法。

平滑去噪和边缘检测是一对矛盾，Canny发现应用高斯函数的一阶导数，在二者之间可以获得最佳的平衡。

Canny边缘检测算法的具体步骤：

1. 使用高斯函数的一阶导数进行去噪和梯度计算，得到每个像素上梯度的方向和幅值。

2. 进行局部非最大值抑制。即比较每一像素和其梯度方向上相邻的两个像素，如果该像素梯度的幅值不是局部最大值，则将其梯度幅值置为零，即只保留梯度方向幅值最大的那个像素，将有多个像素宽的边缘细化为只有一个像素宽。

   比较相邻像素：

   梯度为水平，将其与左右相邻两个像素进行比较；

   梯度为上下，将其与上下相邻两个像素进行比较；

   梯度为右上，将其与右上左下相邻两个像素进行比较。

3. 根据阈值进行选取，即梯度幅值大于某一阈值的像素才认为是边缘。

   传统的基于一个阈值的方法，若选择的阈值过小，则起不到过滤非边缘的作用；

   若选择的阈值过大，则容易丢失真正的图像边缘。

   Canny提出了基于双阈值的方法很好地实现了边缘提取，在实际应用中，双阈值还有边缘连接的作用。

   设置两个阈值，其中Th为高阈值，Tl为低阈值，则有：

   ①丢弃梯度幅值低于Tl的像素

   ②保留梯度幅值高于Th的像素为强边缘

   ③梯度幅值在Tl与Th之间的像素，若其连接到强边缘则保留，否则丢弃。

3.4傅里叶变换

傅里叶认为所有波都是由不同幅度、频率以及相位的正弦波所组成的，即时域的周期性连续信号可以在频域上由不同频率和幅度的正弦波叠加组成。

例如，一个方波可以由无穷多个不同频率和幅度的正弦波叠加组成。

如图3-9所示，把时域和频域放在一个坐标系中进行说明。

傅里叶变换就是求取这些不同频率的正弦波的幅值。

因为它们的频率是基于原时域波形而有规律地变化，所以频率是已知的，同时，还包括一个为了符合原波形的幅度而引出的直流分量。

• 数字信号也是一种信号，对其进行傅里叶变换得到的是频谱数据。

• 对于数字图像这种离散的信号，频率大小表示信号变化的剧烈程度，或者是信号变化的快慢。

• 频率越高，则变化越剧烈；频率越低，则信号越平缓。

• 对应于图像中，高频信号往往是图像中的边缘信号和噪声信号，而低频信号则包含图像轮廓及背景等信号。

  应用：

1. 图像去噪

   傅里叶变换可以用于图像去燥，可以根据需要在频域对图像进行处理。

2. 图像增强即锐化

   • 图像增强需要增强图像的细节，而图像的细节往往就是图像中高频的部分，所以增强图像中的高频信号能够达到图像增强的目的。

   • 图像锐化的目的是使模糊图像变得更加清晰，其主要方式是增强图像的边缘部分，即增强图像中灰度变化剧烈的部分，所以通过增强图像中的高频信号能够增强图像边缘，从而达到图像锐化的目的。