小结某些机器学习算法归纳偏置

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u012750702/article/details/54381632

主要参考书：《Machine Learning》Tom M.Mitchell

对归纳偏执的理解：
  某个机器学习算法在使用或者说泛化的过程中，所需要遵守的约束条件，只有当这些条件满足时，才能说这一算法是有效或者能适用的。

概念学习：
  目标概念在假设空间中。
  另外，隐含的归纳偏执是所有属性起作用的程度一致。
  无论是FIND-S算法还是候选消除法，如果不满足归纳偏执的话会导致无法找到满足条件的变形空间。

决策树：
  ID3算法：优先选择较短树，或者说更靠近根节点的树优先，或者说信息增益高的属性优先。
  因较短的树能够覆盖更大的假设空间。

SVM：
  数据间的平滑插值。
  也就是说如果两数据输入位置离得近，则输出也离得近（相对于第三个数据来说）。
  也可以理解成决策面是连续平滑曲面。