RNN：循环和递归神经网络

任务

RNN的结构。循环神经网络的提出背景、优缺点。着重学习RNN的反向传播、RNN出现的问题（梯度问题、长期依赖问题）、BPTT算法。
双向RNN
递归神经网络
LSTM、GRU的结构、提出背景、优缺点。
针对梯度消失（LSTM等其他门控RNN）、梯度爆炸（梯度截断）的解决方案。
Memory Network（自选）
Text-RNN的原理。
利用Text-RNN模型来进行文本分类。
Recurrent Convolutional Neural Networks（RCNN）原理。
利用RCNN模型来进行文本分类。

RNN

RNN提出来的背景

大多数人造神经网络，如前馈神经网络，都没有记忆它们刚刚收到的输入。例如，如果提供前馈神经网络的字符“WISDOM”，当它到达字符“D”时，它已经忘记了它刚刚读过字符“S”，这是一个大问题。无论训练该网络是多么的辛苦，总是很难猜出下一个最有可能的字符“O”。这使得它成为某些任务的一个相当无用的候选人，例如在语音识别中，识别的好坏在很大程度上受益于预测下一个字符的能力。RNN提出来是为解决序列化的问题。
优点：

• 加入了上一时刻隐藏层的输出，处理了时序问题

缺点：

• 只能保存上一次比较短暂的内容，序列较长时，序列在前的信息对后面序列的作用越来越弱。

RNN结构图如下所示：

有几点说明一下：

• 左边的是一个简洁的网络，右边是展开的网络，
• 注意细节，重点关注在一个神经元上，作用在每个神经元上的$W、U、V$都是一样的
• $[x_1,x_2,x_3,...,x_n]$表示一个样本，怎么理解呢？$x_1$就是一个$x_{t-1}$，具体要看怎么应用，比如用在文本领域，$x_{t-1}$就表示一个单词的词向量，一个句子有多个单词，一个文档有多个单词，这些单词被分词后按照先后顺序就是一个序列，也就形成了$[x_1,x_2,x_3,...,x_n]$。
• $s_t$为隐藏层的第t步的状态，它是网络的记忆单元。 st根据当前输入层的输出与上一步隐藏层的状态进行计算。 s t = f ( U ∗ x t + W ∗ s t − 1 ) s_t=f(U*x_t+W*s_{t−1}) s