深度学习之GRU学习笔记

最新推荐文章于 2025-11-02 07:45:00 发布
原创 最新推荐文章于 2025-11-02 07:45:00 发布 · 1.8k 阅读 · 2
本文详细解析GRU的更新门和重置门机制，对比LSTM，阐述两者在记忆保持、优点及不同之处，包括记忆控制和信息流动方式。通过论文实例，探讨在机器翻译任务中的性能，以及如何缓解梯度消失问题。

在之前几篇深度学习文章中转载了FC、CNN、RNN、LSTM。其中LSTM的变体GRU只是简单提了一点点。本文重新整理了一些资料详细剖析GRU的单元门控逻辑，并结合论文《Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling》分析LSTM和GRU的异同点。

GRU（Gate Recurrent Unit）

GRU是LSTM的变种。在LSTM的基础上将“遗忘门”、“输入门”、“输出门”变成“更新门”和“重置门”。如下图所示：
在这里插入图片描述
更新门： z t = σ ( W z ⋅ [ h t − 1 , x t ] ) z_t=\sigma(W_z·[h_{t-1},x_t]) zt​=σ(Wz​⋅[ht−1​,xt​])重置门： r z = σ ( W r ⋅ [ h t − 1 , x t ] ) r_z=\sigma(W_r·[h_{t-1},x_t]) rz​=σ(W

标签
#深度学习 #神经网络 #GRU
最低0.47元/天 解锁文章
RNN变体——GRU网络论文原文
05-14
GRU在LSTM网络的基础上减少一个门限，用更新门代替了遗忘门和输出门，其训练参数更少，效果更好。
【NLP】第六章：门控循环单元GRU
因为热爱所以坚持
11-29 2156
哎，笑一会儿，本来记忆和遗忘就是一体两面，非此即彼的。从上图的公式看，其实这两个门，仅仅是两个门而已，它们两个的计算一模一样，输入一模一样，只是使用了两个不同的矩阵线性变换了一下，而且这两个矩阵都是随机生成的，只有在训练过程中，这两个门才会慢慢迭代成其功能的门。有的资料叫节点，有的叫单元，有的叫循环单元，，，等等各种叫法，所以我们也不用纠结。第二个坑就是上图的C处，我一开始先计算的rt*ht-1，然后再进行线性变换，一看结果对不上，查看GRU的说明文档才发现，pytorch人家是先线性变换后再乘rt的。
深度学习入门之GRU
weixin_46713695的博客
08-01 1857
GRU
GRU相关文章摘录
fu_jian_ping的博客
10-10 423
吴恩达深度学习笔记(115)- GRU单元介绍
GRU (门控循环单元 - 基于RNN - 简化LSTM又快又好 - 体现注意力的思想) + 代码实现 —— 笔记3.5《动手学深度学习》
科研汪小陈的主页：https://chensuzeyu.github.io
11-21 1680
在一个序列中，不是每个观察值都是同等重要；门控循环神经网络可以更好地捕获时间步距离很长的序列上的依赖关系。 重置门有助于捕获序列中的短期依赖关系。 更新门有助于捕获序列中的长期依赖关系。 重置门打开时，门控循环单元包含基本循环神经网络；更新门打开时，门控循环单元可以跳过子序列。
RNN LSTM与GRU深度学习模型学习笔记
热门推荐
softee的专栏
01-09 2万+
RNN(Recurrent Neural Network), LSTM(Long Short-Term Memory)与GRU(Gated Recurrent Unit)都是自然语言处理领域常见的深度学习模型。本文是一个关于这些模型的笔记，依次简单介绍了RNN, LSTM和GRU。在学习了大量的语言样本，从而建立一个自然语言的模型之后，可以实现下列两种功能。 可以为一个句子打分，通过分值来评估句子的
学习笔记——动手学深度学习（RNN，GRU，LSTM）
weixin_44790306的博客
10-31 2991
文章标题摘要1. RNN循环神经网络1.1 无隐藏状态的神经网络1.2 有隐藏状态的循环神经网络1.3 以文本数据集为例实现RNN预测模型1.3.1 读取数据1.3.2 独热编码（词）1.3.3 初始化RNN的模型参数1.3.4 定义RNN模型1.3.5 创建一个类来包装这些函数1.3.6 梯度裁剪1.3.7 预测（未训练先预测）1.3.8 开始训练1.4 简洁实现RNN文本预测模型2. 门控循环单元（GRU）2.1 重置门和更新门2.2 候选隐藏状态2.3 隐藏状态2.4 代码实现GRU模型2.4.
台湾大学深度学习课程 学习笔记 Lecture 5-1: Gated RNN（LSTM与GRU介绍）
scxyz的博客
01-10 3055
以下内容和图片均来自台湾大学深度学习课程。 课程地址：https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html Review首先复习一下 lecture3-1 Recurrent Neural Network 讲过的RNN结构。RNN假设现在有3个sequence表示为 x1x^1、x2x^2、x3x^3，设定的初始化向量 h0h_
深度学习基础--GRU学习笔记(李沐《动手学习深度学习》)
羊小猪~~的博客
01-17 1795
也就是说这个时候再用RNN模型就不太合适了，为了解决这种问题，RNN模型提供了许多升级的版本，其中著名的有：GRU、LSTM，而LSTM是在GRU的升级版，故本篇学习也是为了学习LSTM打基础。如何我们从左往右看，RNN的缺点的每一次更新隐藏层权重一样，如果我们看这个例子，如果看到一只老鼠，这个时候，(RNN)的变体，我为了解决RNN在处理长时间序列数据的时候容易出现的。，也就是说每一次更新隐藏层的时候，都是使用一样的权重，也就说。可以看到，RNN每一次更新隐藏层的时候，，它决定输出的大小，
动手学深度学习学习笔记tf2.0版（6.7 门控循环单元（GRU））
04-14 598
核心代码如下: # 从零实现 GRU，其实与 RNN 的主要区别在于有门的设计 # 确定哪些是需要初始化模型参数： # 核心公式就是一下 四个 # Rt=σ(XtWxr+Ht−1Whr+br), Zt=σ(XtWxz+Ht−1Whz+bz)， H~t=tanh(XtWxh+(Rt⊙Ht−1)Whh+bh)， Ht=Zt⊙Ht−1+(1−Zt)⊙H~t # 初始化参数有：Ht-1 的维...
深度学习理论向应用的过渡课程【北京大学_TensorFlow2.0笔记】学习笔记（十二）——Embedding，LSTM，GRU
m0_58586235的博客
03-19 1364
Embedding，LSTM简介及如何实现股票预测，GRU简介及如何实现股票预测
【深度学习|学习笔记】LSTM 、RNN、GRU三种模型的联系和区别？
最新发布
2401_89898861的博客
11-02 1905
【深度学习|学习笔记】LSTM 、RNN、GRU三种模型的联系和区别？
深度学习学习笔记——RNN（LSTM、GRU、双向RNN）
weixin_43870329的博客
07-05 1505
前置知识 深度学习是什么 深度学习是机器学习的一个分支 由全连接网络、卷积神经网络和循环神经网络构成的结构 多层全连接网络：多层感知器 多层卷积神经网络 卷积神经网络基本结构 数据： 2D输入数据形式：[批尺寸（batchsize），高度（H），宽度(W)，通道数(特征数)(channel)]，[B, H, W, C] 2D卷积核心格式：[(卷积核心大小1，卷积核心大小2)，输入通道数(特征），输出通道数（特征）] 1D输入数据形式：[B, T, C] 1D卷积核心格式：[K, C, C2] 2
第五周学习笔记
m0_72043902的博客
08-17 809
注意力机制量化为注意力分数，有加性注意力计算和乘性注意力计算，加性注意力计算先将query和key放在全连接层里，再将二者拼接到一个矩阵，再加上tanh激活函数得到输出，再将输出进行softmax操作得到权重，将权重与value相乘得到分数。transformer是使用自注意力的模型，首先是多头注意力层，对同一key，query，alue抽取不同信息，然后是加和规范层，使用残差连接和层归一化，再将编码器的输出序列放在解码器任意第i个transformer层中，输出放在全连接层中得道最后输出。
《动手学深度学习》学习笔记 第9章 现代循环神经网络
weixin_42046845的博客
01-12 1317
笔记是从第四章开始，前面三章为基础知识，有需要的可以自己去看看 关于本系列笔记： 书里为了让读者更好的理解，有大篇幅的描述性的文字，内容很多，笔记只保留主要内容，同时也是对之前知识的查漏补缺
深度学习学习笔记（4）
m0_56190528的博客
06-03 368
LSTM | 最低（稳定收敛） | - || 普通RNN | 高（收敛慢） | 84.4% |核心思想：通过更新门（Update Gate）和重置门（Reset Gate）控制信息流。类别特征（如国籍）：独热编码（One-hot）。和三个门（遗忘门、输入门、输出门）。
RNN/LSTM/GRU 学习笔记
Curz酥的博客
02-05 1646
深度学习笔记
【深度学习学习笔记】5.反馈神经网络之三：GRU和LSTM
cazenove的博客
08-22 420
基本的RNN模型不擅长捕获长期依赖效应，例如 “The cat, which already ate ……, was full.” “The cats, which ate ……, were full.” GRU，门控循环单元 改变了RNN的隐藏层，使其可以更好地捕捉深层连接，并改善了梯度消失问题。 简化的GRU 单元结构 c是记忆细胞cell，提供记忆功能，在t时刻有记忆细胞c<t>c^{<t>}c<t>，候选值cˆ<t>cˆ^{<t>}cˆ&
门控循环单元（GRU）：深度学习中的序列数据处理利器
ciweic的博客
12-23 2955
门控循环单元（GRU）以其独特的门控机制和处理长序列数据的能力，在深度学习领域占据了重要地位。随着技术的不断发展，GRU将继续在各种序列数据处理任务中发挥其重要作用，推动人工智能技术的进步。通过不断的研究和应用，GRU的潜力将被进一步挖掘，为更多领域带来创新和变革。GRU的成功不仅在于其强大的性能和高效的计算能力，更在于其灵活性和适应性，使其能够在不断变化的技术环境中保持竞争力。未来，随着深度学习技术的进一步发展，GRU及其变种将继续在各个领域发挥重要作用，推动智能化的进程。%5Csigma。
pytorch学习笔记（三十一）：门控循环单元（GRU）
逐梦er的博客
08-08 5492
文章目录前言1. 门控循环单元1.1 重置门和更新门1.2 候选隐藏状态1.3 隐藏状态2. 读取数据集3. 从零开始实现3.1 初始化模型参数3.2 定义模型3.3 训练模型并创作歌词4. 简洁实现小结 前言 当时间步数较大或者时间步较小时，循环神经网络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但无法解决梯度衰减的问题。通常由于这个原因，循环神经网络在实际中较难捕捉时间序列中时间步距离较大的依赖关系。 门控循环神经网络（gated recurrent neural network） 的提出
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值