由于每个算法都基于某些特定的假设，并且均含有一些缺点，故需要通过大量的实践为特定的问题选择合适的算法。
没有任何一种分类器可以在所有的问题中都有良好的表现，即对于每一种分类算法，总有一定的问题是无法良好的解决的。实践表明，只有比较了多种学习算法的性能才能为特定的问题挑选出合适的模型。这些模型针对不同的数量的特征或者样本、数据集中噪声的数量，以及类别时候线性可分等问题时，表现各不同。
总而言之，分类算法的性能，计算能力和预测能力，在很大程度上都依赖用于模型训练的相关数据。训练机器学习算法所涉及的五个主要步骤可概述为：
- 特征的选择
- 确定性能评价标准
- 选择分类器及其优化算法
- 对模型性能的评估
- 算法的调度