AI（008） - 循环神经网络（Recurrent Neural Network）

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/darkrabbit/article/details/80823202

循环神经网络（Recurrent Neural Network）

AI-第五期-DarkRabbit

这篇文章是对循环神经网络的一个概念性总结，对应：

• 第十一周：（01）循环神经网络
• 第十一周：（04）LSTM
• 维基百科（en）：
  
  • “Recurrent neural network” 词条
  • “Long short-term memory” 词条
  • “Backpropagation through time” 词条

公式在CSDN的app中会显示乱码，请在其它方式阅读

---

目录

---

1 什么是循环神经网络

循环神经网络是一种人工神经网络（Artificial Neural Network），它的神经元间的连接沿序列（sequence）构成有向图，这使得它能表现出动态时间行为，所以有些地方也称为时间递归神经网络。

2 常用结构（Architectures）

2.1 基本结构（Basic）

基本循环神经网络结构（图片来自 Wikipedia）：

从图中可以看出（ $t$ 为时间，除时间外所指均为向量或矩阵，下同）：

• 输入层（input）：在 $t$ 时刻的输入 $x_t$ 。
• 隐藏层（hidden）：在 $t$ 时刻的值 $h_t$ ，它取决于权重为 $U$ 的 $x_t$ 与 权重为 $V$ 的 $h_{t-1}$ 。
• 输出层（output）：在 $t$ 时刻的输出 $o_t$ ，它取决于权重为 $W$ 的 $h_t$ 。

用公式表示即是：

$$\begin{array}{rlr} o_t &= \sigma_o(W h_t) & (1) \\[1ex] h_t &= \sigma_h(Ux_t + Vh_{t-1}) & (2) \end{array}$$

其中 $\sigma(\cdot)$ 为对应的激活函数。

从公式(2)表现为递归形式来看，输出 $o_t$ 是受到之前所有输入的影响（$x_t, x_{t-1}, \cdots$）。展开式为：

$$\begin{aligned} o_t &= \sigma_o(W h_t) \\ &= \sigma_o(W \cdot \sigma_h(Ux_t + Vh_{t-1})) \\ &= \sigma_o(W \cdot \sigma_h(Ux_t + V \cdot \sigma_h(Ux_{t-1} + Vh_{t-2}))) \\ &= \sigma_o(W \cdot \sigma_h(Ux_t + V \cdot \sigma_h(Ux_{t-1} + V \cdot \sigma_h(Ux_{t-2} + V \cdot \sigma_h(\cdots))))) & (3) \\ \end{aligned}$$

2.2 简单结构（Simple Recurrent (Neural) Networks，SR(N)N）

简单循环网络（SRN）通常是指 Elman networks 与 Jordan networks 。

Elman 网络的结构（图片来自 Wikipedia）：

Elman 网络是一个三层网络（图中 $x, y, z$ ），附带一个“上下文单元”（context units，图中 $u$ ）。隐层与这些单元相连接，权重为1。

Jordan 网络和 Elman 网络非常相似。只是这些“上下文单元”不是和隐层相连，而是与输出层相连。这些“上下文单元”被称为状态层（state layer）。

它们的公式表示都为：

$$\begin{array}{rlc} y_t &= \sigma_y(W_y h_t + b_y) & (4) \\[1ex] h_t &= \sigma_h(W_h x_t + U_h h_{t-1} + b_h) & (5) \end{array}$$

2.3 长短期记忆网络（Long Short-Term Memory，LSTM）

LSTM 避免了梯度消失的问题。

LSTM 结构如下（图片来自 Wikipedia）：

一个 LSTM 包含一个记忆细胞（memory cell，图中 $c_t$ ），一个遗忘门（forget gate，图中 $\sigma, F_t$ ）一个输入门（input gate，图中 $\sigma, I_t$ ）和一个输出门（output gate，图中 $\sigma, O_t$ ）。

从图中就可以看出，在 LSTM 有：

• 遗忘门：决定了上一时刻 $c_{t-1}$ 保留多少内容。
• 输入门：决定了这一时刻 $x_t$ 保留多少内容。
• 输出门：决定了这一时刻 $c_t$ 有多少内容输出到 $h_t$。
• 输入：在 $t$ 时刻的输入 $x_t$ ，在 $t-1$ 时刻的输出 $h_{t-1}$ 和 $c_{t-1}$ 。
• 输出：在 $t$ 时刻的输出 $h_t$ 和 $c_t$ 。

用公式表示即是：

$$\begin{array}{rlc} F_t &= sigmoid(W_F x_t + U_F h_{t-1} + b_F) & (6) \\[1ex] I_t &= sigmoid(W_I x_t + U_I h_{t-1} + b_I) & (7) \\[1ex] O_t &= sigmoid(W_O x_t + U_O h_{t-1} + b_O) & (8) \\[1ex] c_t &= F_t \circ c_{t-1} + I_t \circ \tanh(W_c x_t + U_c h_{t-1} + b_c) & (9) \\[1ex] h_t &= O_t \circ \tanh(c_t) & (10) \end{array}$$

其中 $\circ$ 是哈达马乘积（Hadamard product）矩阵运算，也记作 $\ast$ ，部分文章也写作 $\odot$ 。

3 基于时间的反向传播算法（Backpropagation Trough Time，BPTT）

BPTT 是一种基于梯度的技术，可以用来计算 Elman 网络。

具体的计算可以参考这篇文章

Recurrent Neural Networks Tutorial, Part 3 – Backpropagation Through Time and Vanishing Gradients