还是用前向算法的图, 然后仔细一看分类输出, 发现好像错了, 这该如何去反向修改权值呢? 因其是网络结构, 改变一点, 必然会引起一连串的改动, 这个过程, 如何来描述呢?
数学推导
声明变量
首先,且极为重要的一步就是, 变量定义. 跟写代码的逻辑其实是差不多的.
声明: 以下用的的字母, 均为向量(W是矩阵), 带了下标,就是其 某个分量, 是个实数值
\(x_i\) 表示 输入层 的第 i 个节点(特征) 的值
\(w_{ij}\) 表示 第 i 个节点中, 第 j 个分量的权值, W 是一个矩阵.
\(b_j\) 表示 某隐含层第 j 个节点的 偏置 Bias
\(h_j\) 表示 某隐含层 的通过 激活函数得到的 第 j 个节点的 激活值
\(w_{jk}\) 表示 某隐含层第 j 节点的 激活值 的 第 k 个分量的权值, W是一个矩阵
- \(a_k\) 表示 输出层 第 k 个节点的值
\(o_k\) 表示 输出层 经过 Softmax 得到的第 k 个节点 的 观测值
\(t_k\) 表示 最终标记值
感觉, 分量也不太准确, 像 \(w_{ij}\) 描述为 第 i 个节点, 对下一层的 第 j 个节点的权重值, 会更好一点.
推导整体思路
绝大多数的ML算法推导, 套路都是一样的, 始终围绕两个核心的话题:
如何定义损失函数 ?
如何优化损失函数 ?
我渐渐感到, 随着学习经验的累积, ML 其实并不难哦, 当然有前提是 必须熟练编程.
都只是用到了一些, 基础的数学理论而已, 高频率的词汇, 如, 求偏导数(梯度), 向量/矩阵求导, 高斯分布, 极大似然, 泰勒级数展开, 拉格朗日乘子, p范数, 期望与方差, 参数估计, 矩阵分解 ..
其实就是大一, 大二 所学的高等数学基础. 也似乎理解了前段时间, 丘成桐教授的一篇文, 大意是说, 人工智能的数学理论, 30年来都止步不前, 没有任何突破性的进展.
损失函数, 这里其实就是 输出值 和 标记值 误差平方和 呀
\(min \ L = \sum \limits_k \frac {1} {2} (t_k - o_k)^2\)
通过上面的定义, 需要优化的变量有: \(b_k, w_{jk}, b_j, w_{ij}\) 优化算法的套路, 就是对要优化的变量进行 求偏导(梯度), 然后沿着 梯度的 反方向, 通过一个步长, 去调整优化. 使得误差尽可能的小, 就是如此朴素的思想而已, 真的没有创新.
四大公式
这里先不细节, 先走一遍主逻辑, 再细节的来推导每一步是为什么, 这也是我写代码的逻辑, 嗯, 主要怕逻辑混乱哈.
\(\nabla {w_{jk}} = h_j(o_k - t_k) \ ..................(1)\)
为了上公式更加简洁, 将误差记为: \(\delta_k = (o_k - t_k)\)
\(\nabla {b_k} = (o_k - t_k) \ ......................(2)\)
\(\nabla {b_j} = \sum\limits_k \delta_k \ w_{jk} (1+h_j)(1-h_j) \ ... ... (3)\)
\(\nabla {w_{ij}} = x_i \sum \limits _k \delta_k w_{jk} (1+h_j)(1-h_j) \ ...(4)\)
假设就关注一波, 这个 \(w_{ij} = 0.5\) 这个值. (画图, 对每个值, 变量的直观理解, 极为重要哈)
case1: 隐含层权值 \(w_{jk}\) 更新
那, 能够影响到 0.5 的这个值的有: 预测的输出 \(o_k\), 标签值 \(t_k\), 还有它前面一层的激活值 \(h_j\) 根据公式1:
\(\nabla {w_{jk}} = h_j(o_k - t_k) \ ..................(1)\)
\(= 0.84 * (0.57 - 0) = 0.479\)
然后如果要调 0.5 这个参数, Update = 当前参数值 - 梯度 * 学习率
\(= 0.5 - 0.479 * 0.01 = 0.495\) (假设 Learning_rate 或 步长为 0.01)
图上来看, 将 0.5 减小了的话, 输出值 0.57也会变小, 然后会更接近标签值 0
case2: 强化 - 隐含层权值 \(w_{jk}\) 更新
同理, 对于 0.4 的更新也是一样的分析. 首先, 能影响到 0.4的值有, 预测值输出 \(o_k\), 标签值 \(t_k\) , 前一层的激活值 \(h_j\)
\(\nabla {w_{jk}} = h_j(o_k - t_k) \ ..................(1)\)
\(= 0.84 * (0.43-1) = - 0.478\)
假设步长为 0.1
Update = \(0.4 - (-0.478 * 0.1 = 0.447\)
图上来看, 将 0.4 增大了的话, 输出值 0.43 也会增大, 然后更接近 标签值 1
case: 输入层-过渡 隐含层权值 \(w_{ij}\) 更新
同理, 对于左上边第一根线的 0.1, 可能不太直观哦, 瞥一眼公式 (4)
\(\nabla {w_{ij}} = x_i \sum \limits _k \delta_k w_{jk} (1+h_j)(1-h_j) \ ...(4)\)
跟 \(x_i, o_k, t_k, w_{jk}, h_j\) 都是有联系的.
注意理解 \(\sum\) 的作用变量哦, 无关的看作常数即可, 积分也是一样滴
\(= 0.5([(0.57-0) * 0.5] + [(0.43-1)*0.4] * (1+0.84) (1-0.84) \\ =0.0084\)
同样用梯度更新的方式, 假设步长为 0.1.
update = 0.1 - 0.1 * 0.0084 = 0.09916
也就是将这个权重值调整小, 跟着它向前的这条线路呢, 最终的 \(o_t= 0.57\) 也会小, 也恰好接近于我的期望值
推导详细过程
本质上是函数求导的链式法则.
平方误差 + Softmax 的梯度
设 Softmax 的输入向量为 a \(= (a_1, a_2, a_3, ...a_k)^T\), 其中, \(a_i = \sum\limits_j W_{ji} h_j + b_i\)
W是个向量, W_ji 表示前层的第 j 个节点的 第 i个权值. \(W_{ji} h_j\) 是一条线的权值和激活节点的值,相关的所有的线条加起来, 不就得到, 第 a_i 个输出节点的值了呀.
设 Softmax 的输出向量为 o \(= (o_1, o_2, o_3, ...o_k) ^T, 其中, o_j = \frac {e^{a_j}}{\sum \limits_k e^{a_k}}\) (归一化, 非常直观, 部分 / 部分总和嘛)
设 真实值的标签值为 t \(=(0, 1, 0, 1, 0, 0...)^T\) 假设这里是一个分类问题.
则误差函数为 \(L = \frac {1}{2} \sum \limits_k(o_k - t_k)^2\)
所有的求导都是偏导哈, 然后注意变量的这种链式关系(如上图): a -> o -> t , 分别是 n:1, 1: 1的关系
\(\nabla a_i = \frac {\partial _{0.5 \sum_k (o_k-t_k)^2}}{\partial a_i}\)
有中间变量 o, 即利用求导的链式法则 dt/da = dt/do * do/ da (上过高中就应该能掌握)
\(= \sum_k \frac {\partial (o_k-t_k)}{o_k} \frac {d\ o_k}{d\ a_i}\)
逐个击破, 先整 $\frac {d o_k}{d a_i} $
根据 Softmax 的定义, \(o_j = o_j = \frac {e^{a_j}}{\sum \limits_k e^{a_k}}\)
\(\frac {d\ o_j}{d\ a_i}= \frac {d\ \frac {e^{a_j}}{\sum \limits_k e^{a_k}}}{d\ a_i}\) 这里 a_j 是属于 k...K 的一个值.
当 i = j 的时候, 也就是 ai-> oi 就是图中输出层那里的 一 一 对应关系,
tips: 应用高数学的 分式 求导法则, 及大一学的 求偏导时, 将与之无关变量看作 常数
\(=\frac{e^{a_j} \sum_k e^{a_k} -e^{a_j} e^{ai} } {(\sum \limits_k e^{a_k})^2}\) 虽然是有求和, 但只有 i = j 的时候, 求导才对该变量有效, 取其余之是无关的.
\(=\frac{e^{a_j} ({\sum_k e^{a_k}} - e^{ai}) } {(\sum \limits_k e^{a_k})^2}\)
\(=\frac{e^{a_j}} {\sum \limits_k e^{a_k}} \ \frac{\sum _k e^{a_k}-e^{a_i}} {\sum \limits_k e^{a_k}}\)
\(=o_j (1-o_j).....(1)\)
当 i 与 j 不相等时, 跟上面一样的求导, 不同在于有很多无关项, 跟求导变量无关, 因此为0
\(\frac {d\ o_j}{d\ a_i}= \frac {d\ \frac {e^{a_j}}{\sum \limits_k e^{a_k}}}{d\ a_i}\)
\(=\frac{0 -e^{a_j} e^{ai} } {(\sum \limits_k e^{a_k})^2}\)
\(=\frac{-e^{a_j}} {\sum \limits_k e^{a_k}} \ \frac{e^{a_i}} {\sum \limits_k e^{a_k}}\)
\(=-o_j o_i .........(2)\)
因此,
\(\nabla a_i = \sum_k \frac {\partial (o_k-t_k)}{o_k} \frac {d\ o_k}{d\ a_i} = \sum \limits _k(o_k -t_k) [o_k (1_{ki}-o_i)]\)
继续
一定要记住变量代表啥哦, ai 就是 softmaxt 的输入啦, 也就是 最上面图中的 b_k 呀, 名字变了正常, 习惯嘛, 本质没变的
由 \(a_i = \sum \limits_j Wji \ h_j + b_i\)
\(\frac {\partial a_i}{\partial w_{pq}} = \sum\limits_j h_j \ \frac {\partial Wji}{Wpq} = \sum\limits_j h_j \ 1_{jp} \ 1_{iq} = h_p 1_{lq}\)
因此
\(\frac {\partial L}{\partial Wpq} = \sum \limits_i \frac{\partial L}{\partial a_i} \frac {\partial a_i}{\partial pq}\)
\(=\sum\limits_i \sum\limits_k (o_k - t_k) [o_k(1_{ki} -o_i)] * h_p 1_{lq}\)
小结
其实推导的过程, 就是 多元函数求偏导, 利用链式法则.
只要弄清楚, 输入层 -> 隐含层 -> 输出层 这个顺序所对应的 中间变量, 即明确目标是**对 权重值 Wij 来调整. 然后围绕这个权重相关的变量, 进行链式求导就好了呀, 其实真的不难的. 唯一可能比较难整的, 是变量的下标. 怎么理解呢, 只能在脑海里补充呀, 哪些是相关的, 无关, 变化的是什么这些. 只能自己去花时间领悟了呀, 一旦把一个问题, 从根源上去认识, 那, 真的就具备了看更宽阔天地的能力, 继续修炼, 真理来自内心的.