RNN/LSTM记录

RNN、LSTM、Transformer 经典结构解析！

problem：传统的深度神经网络输入信息没有顺序。比如，NLP领域中，我们输入单词经常使用embedding，将单词映射为词向量，然后输入到神经网络。但这种输入方式有一些问题，“我 爱 你”和“你 爱 我”在传统的神经网络中不能很好的识别。虽然，有人提出n-gram信息加入到输入层，比如fasttext，这在一定程度上解决了短句子单词间的顺序问题，但是这种方法也有一些弊端，就是我们无法捕获长句子的单词依赖！

tip：本人比较小白，看到july大佬的文章受益匪浅，现在其文章基础上加上自己的归纳、理解，以及gpt的答疑，如果有侵权会删。

原文链接：https://blog.csdn.net/zhaojc1995/article/details/80572098 本文部分参考和摘录了以下文章，在此由衷感谢以下作者的分享！ https://zhuanlan.zhihu.com/p/28054589 https://blo

循环神经网络，从名字上理解“循环”，即为构成一个往复的结构，它有着这样的特点，

李沐大神 动手学深度学习 笔记

分析： 深度理解影响用户购买决策的关键行为路径和因素。预测： 高精度地预测一个用户在未来的特定时间窗口内（如下个季度）购买新能源汽车的概率。应用： 为精准营销、个性化推荐和库存管理提供数据驱动的决策支持。数据源：用户画像数据： demographic（年龄、性别、收入、城市）、家庭结构、是否有车位等。线上行为数据：网站/App日志： 浏览车型页、查看配置、对比车型、查看评测文章/视频、计算贷款和补贴、搜索关键词、停留时长等。社交媒体数据： 在微博、抖音、汽车论坛上关注、点赞、评论、分享相关内容。线下行为数据

文章目录1、截至2月23日14:401.1、基本思路1.2、数据预处理1.3、网络结构1.4、训练网络 1、截至2月23日14:40 1.1、基本思路 从测试的角度来看，输入数据维度：(months,lats,lons,features)(months, lats, lons, features)(months,lats,lons,features) 其中，months=24,lats=24,lons=72,features=4months=24, lats=24,lons=72,features=4mon

循环神经网络

文章目录前言一、RNN循环神经网络1.1 RNN的结构1.2 BRNN的结构1.3 梯度消失和梯度爆炸二、LSTM1.引入库2.读入数据三、GRU引用 前言 全连接神经网络（Full Connected Neural Networks, FCNN）具有局限性，其同一层的节点之间是无连接的，当需要用到序列之前时刻的信息时，FCNN无法办到。由于FCNN一个序列的不同位置之间无法共享特征，所以只能单独的处理一个个的输入，即前一个输入和后一个输入之间没有关系，无法处理在时间或空间上有前后关联的输入问题。 重点介绍

注：本文为个人学习总结，摘录原文在参考资料中，如需详细资料，请阅读原文。 循环神经网络及变型总结一、RNN（循环神经网络）二、LSTM（长短时记忆网络）三、GRU(Gated Recurrent Unit)四、BLSTM（双向LSTM）五、ConvLSTM（卷积LSTM）六、总结参考资料： 一、RNN（循环神经网络） 循环神经网络的主要用途是处理和预测序列形式的数据。在网络结构上，循环神经网络会记忆之前的信息，并利用之前的信息承上启下，影响后面结点的输出,其典型的结构如下图，可以看出循环神经网络的隐藏层之间

从循环神经网络（RNN）到LSTM网络　　通常，数据的存在形式有语音、文本、图像、视频等。因为我的研究方向主要是图像识别，所以很少用有“记忆性”的深度网络。怀着对循环神经网络的兴趣，在看懂了有关它的理论后，我又看了Github上提供的tensorflow实现，觉得收获很大，故在这里把我的理解记录下来，也希望对大家能有所帮助。本文将主要介绍RNN相关的理论，并引出LSTM网络结构（关于对tensorf

长短期记忆网络（LSTM, Long Short-Term Memory）是一种专门设计用来解决时间序列数据的循环神经网络（RNN）。LSTM的主要优势是能够，适用于处理长期记忆（长期依赖）的问题，同时在训练过程中避免了传统RNN常见的问题。在时间序列预测中，LSTM网络非常适合处理具有长期相关性的输入数据，例如气温变化、股票价格、驾驶员行为数据等。LSTM可以通过记忆单元和门控机制来决定哪些信息需要“记住”，哪些需要“遗忘”。

长短期记忆(Long short-term memory LSTM)是一种特殊结构的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比于普通的RNN，LSTM能够在更长的序列中有更好的表现。能够解决在RNN网络中梯度衰减的问题。

原因很简单，思考一个问题，如果输入模型的数据有且仅有“hello”这一个信息的时候，模型能输出“world”的可能性微乎其微，因为语言的特点是只有结合上下文信息才能做出准确的预测。模型会输出一个概率分布，表示各个词作为下一个词的概率。（3）Bi-RNN（Bidirectional Recurrent Neural Network）：Bi-RNN 是一种能够同时考虑过去和未来的信息的 RNN 变体模型，它由两个RNN模块组成，一个是正向RNN，另一个是反向RNN，最终输出是正向和反向RNN输出的拼接。

密集连接网络和卷积神经网络都有主要的特点，那就是它们没有记忆。它们单独处理每个输入，在输入和输入之间没有保存任何状态。举个例子：当你在阅读一个句子的时候，你需要记住之前的内容，我们才能动态的了解这个句子想表达的含义。生物智能已渐进的方式处理信息，同时保存一个关于所处理内容的内部模型，此模型是根据过去额信息构建的，并随着新的信息进入不断更新。比如股票预测、气温预测等等。

目录 前言 RNN（循环神经网络） 为什么要用循环神经网络（RNN）？ 循环神经网络（RNN）可以处理什么类型的任务？ 多对一问题 一对多问题 多对多问题 循环神经网络结构 单层网络情况 正向传播 反向传播 存在问题 优化方案 多层网络情况 双向网络结构 LSTM（Long Short Term Memory）长短期记忆网络 LSTM与RNN的不同 选择性机制的...

记录自己学习RNN与LSTM