版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/STILLxjy/article/details/85221994
机器学习中，神经网络是如何将线性不可分的样本，进行很好的分类的？
如上图所示，左图中的蓝色的圆圈和红色的叉叉是线性不可分的。
如上图中右图所示，我们发现它们是可以被一个圆分开的。假设黑色圆圈的公式为： x1^2 + x2^2 + 0.6 = 0，则可以使用如下公式将蓝色的圆圈和红色的叉叉很好的分开。
特征转换 :
如上图所示，我们将x-空间的特征，转换为z-空间中的特征。
在左图x-空间中，坐标的属性为x1 和 x2,
在右图z-空间中，坐标的属性为x1的平方和 x2的平方。
经过上述坐标变换之后，在右图中蓝色的圆圈和红色的叉叉就变得线性可分了。
如果我们将我们观测的属性进行转换后，我们就可以将一些线性不可分的情况，转换为线性可分的。
特征转换（观测属性转换）的流程：
如上图所示，我们可以将初始的观测属性x（特征）进行一定的转换后，使得在新的观测属性空间z中我们可以很好的解决我们的问题，（上图中是找到一条线直线，将圆圈和叉叉进行分开），然后将在新观测空间中求得的解反向映射到初始的观测空间中。
神经网络中的每一个隐藏层所做的事情，其实就是将输入层输入的观测属性 X，进行如上所述的观测空间的转换（观测特征的转换），然后使得转换后的观测属性，更便于对我们待解决问题的求解。
所以只要经过足够多的特征转换，求解我们的问题的难度就会越来越简单。
不过，要进行特征的转换，使得更高层的特征空间可以表示低层特征空间中的所有情况，是有一定的代价的。