Machine Learning - Coursera week5 cost function and backpropagation 2

1. 回归cost function

cost function for a neural network is:
$\begin{gather*}J(\Theta) = - \frac{1}{m} \sum_{t=1}^m\sum_{k=1}^K \left[ y^{(t)}_k \ \log (h_\Theta (x^{(t)}))_k + (1 - y^{(t)}_k)\ \log (1 - h_\Theta(x^{(t)})_k)\right] + \frac{\lambda}{2m}\sum_{l=1}^{L-1} \sum_{i=1}^{s_l} \sum_{j=1}^{s_l+1} ( \Theta_{j,i}^{(l)})^2\end{gather*}$

simple non-multiclass classification (k = 1) and disregard regularization, the cost is computed with:

$cost(t) = y^{(t)}log(h_{\Theta}(x^{(t)})+(1-y^{(t)})log(1-h_{\Theta}(x^{(t)})$

The$\delta_j^{(l)}$ is the error for $a_j^{(l)}$ ,

$$\delta_j{(l)} = \frac{\partial cost(t)}{\partial_{z_j^{(l)}}}$$

2. 计算$\delta_j^{(l)}$

回顾一下前向传播，某一个节点的值是如何计算的。我们将把(xi，yi )输入到这个网络当中, $x_i^1$和$x_i^2$将是我们对输入层的设置. 当我们进入第一个隐层， 我们会计算$z_1^{(2)}$和$z_2^{(2)}$.然后我们来用冲击函数计算他们的激励值有$a_1^{(2)}$和$a_2^{(2)}$。之后我们把这些值乘以相应的权重如$\theta_{10}^{(2)}$,$\theta_{11}^{(2)}$,$\theta_{12}^{(2)}$并赋予给$z_1^{(3)}$，再使用sigmoid函数激活得到$a_1^{(3)}$。 类似的，我们一直得到$z_1^{(4)}$和最后的结果$a_1^{(4)}$.

误差反向传播与正向传播很像，我们先看他的代价函数。考虑最简单的一个输出的情况：
$\begin{gather*}J(\Theta) = - \frac{1}{m} \sum_{t=1}^m \left[ y^{(t)} \ \log (h_\Theta (x^{(t)}))+ (1 - y^{(t)})\ \log (1 - h_\Theta(x^{(t)}))\right] + \frac{\lambda}{2m}\sum_{l=1}^{L-1} \sum_{i=1}^{s_l} \sum_{j=1}^{s_l+1} ( \Theta_{j,i}^{(l)})^2\end{gather*}$
不考虑正则化:

$$J(\Theta) = - \frac{1}{m} \sum_{t=1}^m \left[ y^{(t)} \ \log (h_\Theta (x^{(t)}))+ (1 - y^{(t)})\ \log (1 - h_\Theta(x^{(t)}))\right]$$
上面简化的代价函数所做的事情就和下面的函数是一样的：
$$cost(t) = y^{(t)}log(h_{\Theta}(x^{(t)})+(1-y^{(t)})log(1-h_{\Theta}(x^{(t)})$$
这个函数的作用等价于逻辑回归时使用的均方误差，描述模型的输出和真实值的接近程度。

反向传播在做什么

首先，设置delta项 $\delta_1^{(4)}$,正如我们对前向传播算法对训练数据i的做法一样。 $\delta_1^{(4)}=a_1^{(4)}-y_i$就是我们预测结果和真实结果的误差。我们 $\delta_1^{(4)}$反向传播回去，得到 $\delta_1^{(3)}$, $\delta_2^{(3)}$. 进一步往前，得到 $\delta_1^{(2}$和 $\delta_2^{(2)}$. 看起来就像是前向传播,只不过我们现在反过来做了. 看看最后我们如何得到$\delta_2^{(2)}$. 所以我们得到$\delta_2^{(2)}$ 和前向传播类似，它与权重$\Theta_{11}^{(2}$和 $\Theta_{22}^{(2)}$，以及下一层的误差结果$\delta_1^{(3)}$, $\delta_2^{(3)}$相关，把这个值乘以它权值，最后做加权求和就得到了$\delta_2^{(2)}$。同理这里还要知道$\delta_2^{(3)}$，这就等于$\delta_1^{(4)}$乘以它的权重。我们一般不考虑偏置单元。