1. RNN的结构。循环神经网络的提出背景、优缺点。着重学习RNN的反向传播、RNN出现的问题（梯度问题、长期依赖问题）、BPTT算法。
其中每个圆圈可以看作是一个单元，而且每个单元做的事情也是一样的，因此可以折叠呈左半图的样子。用一句话解释RNN，就是一个单元结构重复使用。
RNN是一个序列到序列的模型，假设xt−1,xt,xt+1xt−1,xt,xt+1是一个输入：“我是中国“，那么ot−1,otot−1,ot就应该对应”是”，”中国”这两个，预测下一个词最有可能是什么？就是ot+1ot+1应该是”人”的概率比较大。
因此，我们可以做这样的定义：
Xt:表示t时刻的输入，ot:表示t时刻的输出，St:表示t时刻的记忆
2. 双向RNN
有些情况，比如有一部电视剧，在第三集的时候才出现的人物，现在让预测一下在第三集中出现的人物名字，你用前面两集的内容是预测不出来的，所以你需要用到第四，第五集的内容来预测第三集的内容，这就是双向RNN的想法。如图是双向RNN的图解：
从前往后：S1t→=f(U1→∗Xt+W1→∗St−1+b1→)
从后往前:S2t→=f(U2∗Xt→+W2→∗St−1+b2→)
输出：ot=softmax(V∗[S1t→;S2t→])
这里的[S1t→;S2t→][St1→;St2→]做的是一个拼接，如果他们都是1000X1维的，拼接在一起就是1000X2维的了。
双向RNN需要的内存是单向RNN的两倍，因为在同一时间点，双向RNN需要保存两个方向上的权重参数，在分类的时候，需要同时输入两个隐藏层输出的信息。
3. 递归神经网络
Longshort term memory，循环神经网络的变形结构，在普通RNN基础上，在隐藏层各神经单元中增加记忆单元，从而使时间序列上的记忆信息可控，每次在隐藏层各单元间传递时通过几个可控门（遗忘门、输入门、候选门、输出门），可以控制之前信息和当前信息的记忆和遗忘程度，从而使RNN网络具备了长期记忆功能，对于RNN的实际应用，有巨大作用。
4. LSTM、GRU的结构、提出背景、优缺点。
优点：比RNN具备长期记忆功能，可控记忆能力。缺点：网络结构上比较复杂，门多，对效率又影响。于是，在此基础上，2014年，更加简化实用的结构形式GRU(gate recurrent unit)提高了效率，它把输入门和遗忘门进行了合并，把St和Ct，即记忆单元和输出单元进行了合并。
5. 针对梯度消失（LSTM等其他门控RNN）、梯度爆炸（梯度截断）的解决方案。
BPTT。（backpropagation through time）
BPTT算法是针对循环层的训练算法，它的基本原理和BP算法是一样的，也包含同样的三个步骤：
5.1 首先确定参数的初始化值，然后前向计算每个神经元的输出值；不过它的输出值比RNN和NN要多，因为有几个门，对于LSTM而言，依据前面介绍的流程，按部就班地分别计算出ft，it，ct，ot和st。
5.2 反向计算每个神经元的误差项值，它是误差函数E对神经元j的加权输入的偏导数；与传统RNN类似，LSTM误差项的反向传播包括两个层面：一个是空间上层面的，将误差项向网络的上一层传播。另一个是时间层面上的，沿时间反向传播，即从当前t时刻开始，计算每个时刻的误差。
5.3 计算每个权重（即参数）的梯度。最后再用随机梯度下降算法更新权重。
6. Memory Network（自选）
Memory-Network可以用于MRC,KB-QA,多轮对话系统和语言模型建模.根据本人的理解,就是用于处理有历史信息(阅读理解中的文档,多轮对话的历史对话,以及语言建模中的前面的单词或字)的问题。
7. Text-RNN的原理。
结构：降维--->双向lstm ---> concat输出--->平均 -----> softmax
8. 利用Text-RNN模型来进行文本分类。
https://github.com/gaussic/text-classification-cnn-rnn
9. Recurrent Convolutional Neural Networks（RCNN）原理。
模型结合RNN和CNN来实现文本分类任务，其实就是一个前向后向RNN+最大池化层。
在tensorflow上面实现之后的准确率不比TextCNN高，且运行速度慢了很多。
10. 利用RCNN模型来进行文本分类（自选）