CNN与RNN的区别所在

1.神经网络与循环神经网络的区别：

神经网络是一个特殊的模型，当你输入数据和标签时，它从中推导出规则，所以它像一个函数，你输入数据和标签从而获得规则，但该函数并未考虑输入序列直接的联系。
$$f(datas,labels)=rules$$

2.序列

斐波那契数列：
$$1,2,3,5,8,13,21,34,55,89$$
变量表示：$$n_0,n_1,n_2,n_3,n_4,n_5,n_6,n_7,n_8,n_9$$

递推公式：
$$n_x=n_{(}x-1)+n_{(}x-2)$$

如图：1和2输入到第一个加法函数，然后输出3，2和3输入第二个加法函数，然后输出5，3和5输入第三个加法函数输出8，以此类推。

3.RNN网络结构

这就是循环神经网络RNN的结构，其中x为输入，y为输出，同时还有一个来自上一个函数的输出量，输入到当前函数。
当我们将它们连接在一起时，它们的结构就是这个样子。

它的结构是这样的：其中x₀输入函数中返回y₀，同时还有一个输出量输入到下一个函数，这个输出量连同x₁一起输入到函数中，产生y₁以及另外一个输出，这个输出一起与x₂输入到函数中，产生y₂并生成一个新的输出，这个过程不断循环，这就是循环神经网络的基本原理。
这种方法处理文本分类时存在很大的问题，
例如：

• Today has a beautiful blue <…>，
  最后的单词很可能使sky，因为blue是关键词，在此背景下，当我们讨论美丽的蓝色事物时，我们很有可能说的是美丽的蓝天，因此，参考一个词的上下文语境，对我们理解这个词的含义很有帮助。
  Today has a beautify blue sky
• I lived in Ireland ,so zt school they made me learn how to speak <…>
  你可能认为答案是irash，但更有可能的答案是Gaelic，这是因为首先从语法的角度，irash是用来表示爱尔兰人，而Gaelic是用来表示爱尔兰语言的。更重要的是上下文的关键词给了我们关于这个语言的关键信息。因此，我们需要分析整个句子来了解上下文的含义。

4.LSTM长短期记忆网络

一种先进的循环神经网络结构—LSTM被提出，用来分析文本的上下文含义。

• 除了标准的RNN结构外，它还增加了一种Cell state的结构用于实现长期记忆。
  
• Cell state的记忆可以使双向的，因为后文的内容也可以影响到前面的状态。