深度学习是类神经网络的延申，如果有很多层时，如何克服一些问题，比如如何选择好的初始值，denoising auto decoder， 做pre-training，与PCA有很大的关系
RBF：SVM+Gaussian Kernel，就会在无限多维中找胖胖的边界，也可以看作是拿一堆Gaussian，把它们做线性组合，中心在svm这些资料点上面。
radial：算的函数值只与距离有关，即x与Xn的距离
x与Xn越近，给投越多的票。拿小gn做线性组合，每个小gn就是一个radial hypotheses。
类神经网络：第一层做内积，然后再经过S型转换
RBF：第一层是算到中心点的距离，再经过Gaussian或其它函数转换，才输出。
最后要决定，那些中心点，以及哪些系数做组合。
用x空间的距离来计算。距离越近，相似性越高，Gaussian只是一种函数
因为：第4项没办法用距离表示。
把所有的data都当作中心。看到的每一笔资料对周围的所有资料有影响力beta，相当于根据距离的远近进行投票。
只选最靠近中心点的那个点的意见，做选择。 而不是让所有的点投票。利用Gaussian函数衰减块的特点。
K个最邻近的人投票：KNN算法
给data分群，每个群找一个好的x，代表这一群的意思
每个点，到自己的代表的距离的差方越小越好，表示自己与代表的意见有多么的不合
每个点只能属于一个群。每个点与固定的中心点，最近的那个群，属于该点的归类。
分群已经决定，求最佳的miu m
从原始资料中，如何决定S？随意选k个当作起始点miu，然后再从这k个分组，找出不同的分组的共识是什么。 随机选取miu
算法：一路让Ein下降，知道Ein为零，停止迭代。交互的最佳化
通过Validation做选择。
第一个维度大于0
方块：为开始的中心点。与data如何群聚无关。
第一步，靠每个方块近的点，被归类在其附近的分组。
根据新的分类，决定新的中心点应该在哪里？中心点移到每一群的中心点。然后在其决定，该如何分类
方块，中心点有所移动，再吸纳一些点，再取平均
只要群的数量选择合适，kmeans经过足够的迭代，总会得到合理的分群。
用Kmeans中心点作为RBF特征转换。如果第一层做的合理，第二层会比较容易解决。
Full RBF Network，nearest neighbor：实际不常用，因为计算量太大。
踩刹车的力度大，lamada 大。
