在对处理后的图像数据进行分析之前，图像分割是最重要的步骤之一，它的主要目标是将图像划分为与其中含有的真实世界的物体或区域有强相关性的组成部分。
可以将目标定位于完全分割，其结果是一组唯一对应于输入图像中物休的互不相交的区域；也可以将目标定位于部分分割，其中区域并不直接对应于图像物体。
为了完成该分割，通常必须与使用有关问题领域专门知识的较高层次处理相协作。但是，有完整的一类分割问题可以仅用低层处理就可以成功地解决。在这种情况下，通常图像由在均匀背景上的对比度强的物体组成。
如果目标是部分分剖， 则图像被划分为分开的相对T某个选择的性质是同态的区域， 性质可以是亮度、彩色、反射率、纹理等。
图像数据的不确定性是主要的分割问题之一，通常伴随着信息噪声。分割方法根据所使用的主要特征可以划分为三组：
- 第一组是有关图像的全局知识，一般由图像特征的直方图来表达；
- 第二组是基于边缘分割；
- 第三组是基于区域分割，在边缘检测或区域增长中可以使用多种不同的特征。
阈值化
灰度阈值化是最简单的分割处理。很多物体或图像区域表征为不变的反射率或其表面光的吸收率，可以确定一个亮度常量即阈值（threshold）来分割物体和背景。阈值化计算代价小速度快， 它是最老的分割方法，且在简单的应用中仍然广泛地使用着：实时地做阈值化是容易的。
阈值化是输入图像f到输出（分割后） 二值图像g的变换：
完全分割可以在简单的场景中通过阈值化处理得到。如果物体彼此不接触，且它们的灰度与背景的灰度明显地不同，则阈值化就是又给合适的分割方法。
选择正确的阈值是分割成功的关键， 这种选择可以通过交互方式确定， 也可以根据某个阈值检测方法来确定。只有在非常特殊的情况扎在整个图像上使用单个阈值——全局阈值化 才会成功：即便是对于非常简单的图像也有可能存在物体和背景的灰度变化，这种变化可能是由非均匀照明、非一致的输入设备或其它一些因素造成的。在这种情况下，使用变化的阈值—— 自适应阈值化 ——进行分割有时可以产生好的结果。
阈值化可以用于除灰度图像以外的其他矩阵：这些矩阵可以代表梯度、 局部纹理性质或任何其他的图像分解特征的数值的情况。
阈值检测方法
如果事先知道图像分割的某种性质，就可以简化阈值选择的任务，因为它可以按照确保该性质得以满足的条件来选择。
更为复杂的阈值检测方法是基于直方图形状分析的。如果图像由有别于背景灰度值的具有近似相同灰度的物体所组成， 所产生的直方图是二模态的。物体像素构成其中一个峰，而背景元素构成另一个峰。
要确定直方图是二模态的还是多模态的可能并不简单，要确定直方图局部极大值是否显著常常是不可能的。
阈值化是一种非常流行的图像分割工具，除了我们已经讨论的之外，还有很多各种各样的阈值检测技术。
最优阈值化
另一种被称为最优阈值化的方法寻求将图像的直方图用两个或更多个正态分布的概率密度函数的加权和来构建。阈值取为这些正态分布最大值之间的最小概率处的灰度值，其结果是具有最小错误的分割。
Otsu 算法
Otsu 算法其背后的思想是测试每一个可能的阈值，然后计算前景和背景的灰度级方差。当这些方差的加权和最小时，我们可以推导得到这个阈值在某种 “ 最佳” 的意义上分离了直方图，因为背景和前景的分布都达到了 “ 最紧致” 状态。
多光谱阈值化
许多实际的分割问题需要比单一谱段所含的更多的信息。彩色图像是一个自然的例子，其中信息通常由红、蓝、绿谱段呈现；多光谱遥感图像或气象卫星图像通常具有更多的谱段。一种分割方法在每个谱段中独立地确定阀值，然后综合起来形成单一的分割图像。
多光谱分割通常是基于每个像素或其小邻域中对应于n谱段的n维灰度向量进行的。这种分割方法在遥感中应用得很广泛，它是将分类处理应用于n维向量的结果。