emmm 现在开始想尝试只看红色石头的笔记，然后有什么补充的地方才写一写，看看这样效果好不好，进度快不快（肯定快啦）~ 因为内容都没啥就结合在一起了。
6 Support Vector Regression
P22 6.1
这里 β T K β β^TKβ βTKβ，这么写是因为：如果是 β 3 T K β 5 β^T_3Kβ_5 β3TKβ5的话，那么乘K的是K(3,5)，就得到要乘在两个β上的系数。
K加个T也不变，因为他是个对称的矩阵，然后加上 I I I是因为λ是个系数而已，要多弄个矩阵 。
P23 6.2
P24 6.3
？？？为什么是减
答：这里按照第四章推一推就行了
然后这里，颜色之间对应/类比过去就行了，比如：
1 ( y n − w T z n − b ) ≤ ε + 1(y_n-w^Tz_n-b)\leqε+ 1(yn−wTzn−b)≤ε+ξ^n ：
化简一下是： w T z n + b ≥ wTz_n+b≥ wTzn+b≥ y n y_n yn - ε - ξ^n
类比 y n ( w T z n + b ) ≥ 1 − ξ n y_n(w^Tz_n+b) ≥ 1-ξ_n yn(wTzn+b)≥1−ξn，
1就是 y n y_n yn， y n y_n yn - ε 就是1，其他同理
P25 6.4
总结
7 Blending and Bagging
尝试了一章不记笔记 记得很详细，感觉。。还行？不过SVM完结了，还是要复习一下。
P26 7.1
之前是做选择（validation），接来下要讲的aggregation是在一堆（可能都不大好）的hypothesis里面，运用集体的智慧来解决问题，一堆弱弱的合起来可能会很强。
8 Adaptive Boosting
进度快了很多（当然啦）
P30 8.1
P31 8.2
P32 8.3
其实做了这么多让g不一样的操作（这些g应该不会非常好），就是为了让g有不同，这些g又比较简单，只是在某个角度做到让错误更小，就好像8.1小学生认识苹果一样，g在某些方法表现得还可以，但是并不太能用。
8.x节也说了，有了不同的g（不同的声音），做出的算法（现在不知道啥算法，噢噢adaptive boosting），效果才好，如果都是差不多的话，也没有就平均的意义了。
9 Decision Tree
P35 9.1
Decision Tree 模型很多，也没有什么理论上的保证，但是经验上，用起来还不错，这里教一个符合本课程的 Decision Tree。
P36 9.2
就讲有两个class，一个是μ，另一个就是 1 - μ，然后代入。= = 看我几遍，μ = N 1 N \frac{N1}{N} NN1，应该就是给定的了，因为 K = 2，直接 1 - μ 就可以了。
P36 9.3
P37 9.4
10 Random Forest
P38 10.1
视频最后 这里不是很懂，为什么可以这么做，pi ∈ basis是啥？
已解决，就是为了避免不重要的feature的干扰，看看哪个feature更重要，配合importance(i)使用
P39 10.2
P40 10.3
P41 10.4
11 Gradient Boosted Decision Tree
P42 11.1
P43 11.2
求导怎么求的？
P44 11.3
P45 11.4
总结篇，一堆东西下来真的挺乱的，看了别人笔记然后自己再看看林老师的总结，感觉顺了些，不过还是得自己上手实现才是真的懂吧~ 接下来就是神经网络和深度学习了，一直不知道ML、NN、DL有什么不同，激动！٩(๑>◡<๑)۶
12 Nerual Network
P46 12.1
P47 12.2
P48 12.3
P49 12.4
13 Nerual Network
P50 13.1
P51 13.2
P52 13.3
P50 13.4
这里有点疑惑，不知道为啥是 W T W^T WT，其实在纸上写写就知道了， W W W是 d x d~ ，自然 W T W^T WT就是 d~ x d 了，然后 x 是 d x 1 维度。淡黄色那里虽然写的是 h ( x ) = W W T x h(x) =WW^Tx h(x)=WWTx，其实是 h ( x ) = W ( W T x ) h(x) =W(W^Tx) h(x)=W(WTx)，先要计算括号内的，纸上写写就知道得出来的矩阵乘不了。
补充：看了吴恩达第一周的矩阵复习，发现自己讲错了，矩阵乘法服从结合律不服从交换律：
Matrices are not commutative: A ∗ B A ∗ B A∗B ≠ B ∗ A B ∗ A B∗A
Matrices are associative: ( A ∗ B ) ∗ C = A ∗ ( B ∗ C ) (A∗B)∗C=A∗(B∗C) (A∗B)∗C=A∗(B∗C)
这节推导有点硬核啊，就要去看线性代数和拉格朗日定理。
说这个跟PCA很像，红色石头推荐了介绍PCA的数学原理的网站，有时间看看。。。
14 15 16
终于刷完了！！！呕了，最后第16章林老师的总结非常非常好！！总结下来大部分都知道是个啥，不过不知道实际实现起来怎么样，毕竟之前听了师兄讲了算法后，也不一定会写hhh。不过PCA那里真的是很无力，只有模模糊糊的印象。看的时候有些东西不记得是啥，翻回去看就想起来了，感觉就。。。其实就是很多名词，其实也不难（可能没有实现吧2333）
最后截一张机器学习的丛林吧：
看到最后一章，感觉还是挺疲惫的，不过最后一章最后总结的时候，有种感觉就是 " 还是想学更多！！" 很感谢林老师领入门~
现在 开始吴恩达咯！！！！