分割是处理图像数据前最重要的步骤之一，其主要目标是将图像划分为与其中含有的真实世界的物体或区域强相关性的组成部分。
分割方法根据所使用的主要特征可划分为三组：第一组是有关图像或部分的全局知识（global knowledge），这一般由图像特征的直方图来表达。第二部分是基于边缘的（edge-based）分割，而第三组是基于区域（region-based）分割，在边缘检测或区域增长中可以使用多种不同的特征，例如，亮度、纹理、速度场等。
6.1 阈值化
当存在物体和背景的灰度变化，这种变化可能是由非均匀照明、非一致的输入设备参数或其他一些因素造成的。在这种情况下，使用变化的阈值——自适应阈值化（adaptive thresholding）——进行分割有时可以产生好的结果，这时的阈值是局部图像特征的函数，在图像范围内是变化的。局部阈值是位置相关的。
一种选择是将图像划分为子图像，在每个子图像中独立地确定一个阈值；此时，如果某些子图像中不能确定阈值，可以根据其相邻子图像插值得到。然后每个子图像依据局部阈值来处理。
6.1.1 阈值检测方法
阈值检测方法是基于直方图形状分析的。当直方图是二模态，即只有两个峰时，阈值应该满足最小分割错误的要求——直觉地取在两个极大值之间的具有最小直方图数值的那个灰度值作为阈值。当直方图是多模态的，在任意两个极大值之间的极小值处可以取得较多阈值；每个阈值会给出不同的分割结果，如下式所示：
要确定直方图是二模态还是多模态并不简单，要确定直方图局部极大值是否显著通常是不可能的。一半白的一半黑的两部分图像和一幅随机分布着白和黑像素的图像（即一幅胡椒盐噪声图像）具有相同的直方图。
建立一个具有较好峰谷比率的直方图。一种选择是给直方图贡献加权，抑制具有高图像梯度的像素的影响。也就是说，直方图主要由物体和背景的灰度值组成，而边界的灰度（具有较高梯度）没有贡献，使得确定阈值变得较容易。另一种类似的方法只用高梯度像素形成灰度直方图，意味着直方图主要由边界的灰度组成且应该是单模态，其峰对应于物体和背景间的灰度。分割阈值可以确定为峰值处的灰度值，或峰值处一部分的均值。
6.1.2 最优阈值化
最优阈值化（optimal thresholding）寻求将图像的直方图用两个或更多个正态分布的概率密度函数的加权和来构建。阈值取为离这些正态分布最大值之间的最小概率处最近的灰度值，其结果是具有最小错误的分割（被错误分割的像素数目最小）。难点在于估计正态分布参数以及这些分布被当作正态分布所具有的不确定性。如果按照使物体和背景间的灰度变化最大化来选择最优阈值，就可以克服这些难点。
Otsu算法是流行的一种自动阈值检测的方法。其背后的思想是测试每一个可能的阈值，然后计算前景和背景的灰度级方差。当这些方差的加权和最小时，我们可以推导得到这个阈值在某种”最佳“的意义上分离了直方图，因为背景和前景的分布都达到了”最紧致“状态。对于正在考察的阈值，这些权重与像素来自于前景和背景的概率有关。
6.1.3 多光谱阈值化
彩色图像通常由红、蓝、绿谱段呈现；多光谱遥感图像或气象卫星图像通常具有更多的谱段。一种分割方法在每个谱段中独立地确定阈值，然后综合起来形成单一的分割图像。
多光谱分割通常是基于每个像素或其小邻域中对应于n谱段的n维灰度向量进行的。这种分割方法在遥感中应用得很广泛，它是将分类处理应用于n维向量的结果。一般来说，区域是由在所有谱段具有相似性质的像素构成的，具有相似的n维描述向量。
6.2 基于边缘的分割
基于边缘分割的最常见的问题是在没有边界的地方出现了边缘以及在实际存在边界的地方没有出现边缘，这是由图像噪声或图像中的不适合的信息造成的。显然这些情况对分割结果有负面影响。
6.2.1 边缘图像阈值化
简单检测子的一个问题是变粗。如果边缘带有方向信息（比如Sobel），可以通过施加某种形式的非最大抑制来抑制单个边界领域内的多个响应，以实现部分矫正。
6.2.2 边缘松弛法
松弛法是一种用于改进某种属性估计的方法，它主要利用了该属性值在一个中间领域的估计值。与之有关的地方包括区域标注，从X到形状，以及光流。
6.2.3 边界跟踪（这部分没有看懂）
扩展（extended）边界提供了较内边界和外边界更好的边界性质；扩展边界的主要优点是它们定义了相邻区域的单一的共同边界，可以用标准的像素坐标来标识。
6.2.4 作为图搜索的边缘跟踪（这部分没有看懂）
图搜索A-算法
解决死循环问题的简单方法是不允许反向搜索。
将图像数据拉直这种预处理步骤十分有利于计算。按这种方式表示的边界在跟踪时不允许反向搜索。如果要检测诸如道路、河流、脉管等细而长的物体边界，这种方法可能会非常有用。
6.2.5 作为动态规划的边缘跟踪
（暂时跳过）
6.2.6 Hough变换
模版匹配存在形状变形、旋转、缩放等问题导致与在待处理的数据中物体的表示相差太大。Hough变换可以解决这个问题，甚至可用于重叠的或部分遮挡的物体的分割。
Hough变换的一个重要性质是，它对图像中直线的残缺部分、噪声以及其他共存的结构不敏感。这是由从图像空间到累计空间的变换的鲁棒性引起的，直线残缺的部分只会造成较低的局部极值，这是因为对相应的累计单元有贡献的边缘像素减少了的缘故。
参数空间中的三个局部极大值对应于三个圆形物体的中心。
广义Hough变换可以用来检测任意的形状，但是它需要完全定义目标物体的精确形状，才能获得精确的分割。
6.2.7 使用边界位置信息的边界检测
6.2.8 从边界构造区域
用于形成纹理单元。
6.3 基于区域的分割
从区域的边界构造区域以及检测存在的区域的边界是容易做到的。然而，由基于边缘的方法产生的分割和由区域增长方法得到分割，通常并不总是相同的，将其结果结合起来很可能对它们二者都有提升。区域增长技术在有噪声的图像中一般会更好一些，其中的边界非常难以检测。
6.3.1 区域归并
区域归并的结果一般依赖于区域被归并的次序（因此如果分割开始于左上角或右下角，分割的结果可能不同）。这是因为归并的次序可能会造成两个相似的邻接区域和
没有被归并起来，即如果使用了
的较早归并所产生的新特征不再允许与
归并，但是如果归并过程使用了另一种次序，这一归并可能会实现了。
超栅格数据结构使得可以精确地处理边缘和边界，但是这种数据结构的一大缺点是它不适合表达区域，而将每个区域作为图像的一部分表示出来是必要的，特别是在将有关区域和邻接区域的语义信息包含在内时更是如此。
6.3.2 区域分裂
6.3.3 分裂与归并
6.3.4 分水岭分割
区域边缘对应于高的分水岭线，而低梯度的区域内部对应于集水盆地。
6.3.5 区域增长后处理
使用区域增长方法分割后的图像，时常由于参数设置的非最优性造成的结果，不是含有太多的区域（欠增长）就是含有过少的区域（过增长）。为了改进分类结果，人们提出了各种后处理方法。有些方法将区域增长得到的分割信息与基于边缘的分割结合起来。
简单的后处理是基于一般性的启发式，在分割后的图像中减少小区域的数目。
6.4 匹配
匹配算法：Hough变换、形状不变量、蛇形、图匹配、PDMs/AAMs、对应、假设和验证、SIFT等。
6.4.1 模板匹配
6.4.2 模板匹配的控制策略
如果模式与图像数据在某个特殊的图像位置处是高度相关的，那么该模式在这个位置的某个邻域内与图像数据的相关性一般也是好的。即相关性在最佳匹配位置周围变化是缓慢的。如果是这种情况，匹配可以首先在低分辨率下测试，然后仅在好的低分辨率匹配的邻域内寻找精确的匹配。
由于找到错匹配远比找到匹配的机会大得多，应该尽可能早地检测出错匹配。
6.5 分割的评测问题
6.5.1 监督式评测
错误分类区域——相互重叠区域（mutual overlap）
也称为Dice评测，该方法是以计算真值（ground truth）和分割区域的重叠部分为基础的。
边界定位错误
考虑分割结果与真值的像素间欧式距离的方法。通过找两个集合元素的最短距离的最大值的方法来计算。是有向距离，有方向性。
边界定位错误通常情况下对整个分割边界上的所有点求平均，用平均值标准差的形式来表示。有符号的平均边界位置误差代表了计算机分割结果的全局偏向，而其标准差代表了整个分割结果偏离标准位置的程度。
6.5.2 非监督式评测