循环神经网络（Recurrent Neural Network, RNN）

总结自吴恩达老师的网易深度学习工程师微专业

1. 前向传播

$a^{t}=g^{(a)}(W_{aa}a^{<t-1>}+W_{ax}x^{<t>}+b_a)$
$\hat y^{<t>}=g^{(y)}(W_{ya}a^{<t>}+b_y)$
or, 简化版
$a^{t}=g^{(a)}(W_a[a^{<t-1>}, x^{<t>}]+b_a)$
$\hat y^{<t>}=g^{(y)}(W_ya^{<t>}+b_y)$

Note

1. 一般而言，初始激活向量为： $a^{<0>}=\vec0$
2. 通常， $g^{(a)}$选择 $tanh$函数（ $tanh$函数梯度消失的问题会用其他方式解决），有时也会选用 $relu$函数。
3. $\hat y^{<t>}=g^{(y)}(W_{ya}a^{<t>}+b_y)$如果是二分类问题，使用 $sigmoid$函数，如果是多分类问题，可以使用 $softmax$函数。

2. 损失函数

为了进行反向传播计算，使用梯度下降等方法来更新RNN的参数，我们需要定义一个损失函数，如下：
$L(\hat y,y)=\sum^{T_y}_{t=1}L^{<t>}(\hat y^{<t>},y^{<t>})=\sum^{T_y}_{t=1}-(y^{<t>}log(\hat y^{<t>})+(1-y^{<t>})log(1-\hat y^{<t>}))$

3. BPTT

RNN的反向传播将在后续部分有专门的介绍。