深度学习2-GRU原理及代码实现

最新推荐文章于 2026-03-04 20:37:49 发布
原创 最新推荐文章于 2026-03-04 20:37:49 发布 · 1.7k 阅读 · 8
文章详细解释了GRU（门控循环单元）的结构，强调它只有重置门和更新门，对比了GRU与LSTM的参数量，GRU参数量为LSTM的75%。通过PyTorch展示了GRU的前向传播过程，并提供了自定义GRU函数的实现，最后通过官方API与自定义函数的输出比较验证了代码的正确性。

1.知识点

  • GRU只有两个门--重置门、更新门
  • 初始状态只需要提供h0
  • ht里“ * ”这个符号，代表着逐个元素相乘，不是矩阵相乘；其他是矩阵相乘

  • 2.使用pytorch看参数个数

  • import torch
import torch.nn as nn
lstm_layer = nn.LSTM(3,5) #输入特征为3，隐含特征为5的特征量
gru_layer = nn.GRU(3,5)   #同样的隐含大小
sum(p.numel() for p in lstm_layer.paramenters()) #计算lstm总参数量，调用paramenters()函数，在对其进行参数枚举（p代表参数），p.numel()计算每个参数p的所有元素进行统计----》200
sum(p.numel() for p in gru_layer.paramenters())  ----->150


## GRU的参数量是LSTM的0.75

    3.GRU网络代码

  • #准备工作
def gru_forward(input, initial_states, w_ih, w_hh, b_ih, b_hh)： #定义函数，前向运算  initial_states提供初始状态 w权重--表示大的矩阵  b_ih偏置项
    prev_h = initial_states   #h t=0时刻的初始值
    bs, T, i_size = i
标签
#深度学习 #gru #人工智能
最低0.47元/天 解锁文章
ji_jij
关注
GRU时间序列预测（Python完整源码和数据）
05-09
GRU时间序列预测（Python完整源码和数据） GRU时间序列预测（Python完整源码和数据） GRU门控循环单元时间序列预测，AQI预测（Python完整源码和数据）
LSTM/GRU详细代码解析+完整代码实现
m0_53961910的博客
11-24 2万+
LSTM和GRU目前被广泛的应用在各种预测场景中，并与卷积神经网络CNN或者图神经网络GCN等相结合，对数据的结构特征和时序特征进行提取，从而预测下一时刻的数据。在这里整理一下详细的LSTM/GRU的代码。
循环神经网络系列-GRU原理、优化、改进及代码实现(时序预测/分类/回归拟合，Matlab)
sfejojno的博客
02-05 1万+
同样，GRU也存在一定可进行优化选择的超参数，若采取经验法或试错法，则有不能获取最优取值组合、时间成本高等问题。优化算法通过对超参数组合的随机生成与更新，能够更快速地获取优解，不失为一种应用方法。前面的文章中KAU已经介绍过很多种优化算法及其改进策略，本文中我也会应用这些算法优化GRU。
GRU神经网络 Python代码
04-20
基于Keras的GRU神经网络实现 Python编写 可以直接运行得到结果
81.门控循环单元（GRU）以及代码实现
weixin_47505105的博客
01-18 4591
笔记
GRU(门控循环单元)的原理与代码实现
Hiweir的博客
09-16 986
GRU(门控循环单元)的原理与代码实现
基于GRU门控循环单元网络的数据分类预测程序代码！
weixin_48747334的博客
11-16 282
门控循环单元（Gated Recurrent Unit，GRU）是一种循环神经网络（RNN）的变体，常用于处理序列数据。准备一个带有标签的数据集，确保每个数据点都有对应的输入特征和类别标签。Softmax层： 在最后添加一个Softmax层，将网络的输出转换为类别概率。GRU层： 添加一个或多个GRU层。GRU层将帮助网络学习输入数据的时序信息。全连接层： 添加一个或多个全连接层，将GRU层的输出映射到类别空间。输入层： 根据数据的特征数量创建一个输入层。
深度学习理论向应用的过渡课程【北京大学_TensorFlow2.0笔记】学习笔记（十二）——Embedding，LSTM，GRU
m0_58586235的博客
03-19 1364
Embedding，LSTM简介及如何实现股票预测，GRU简介及如何实现股票预测
李沐【动手学深度学习v2】54-59循环神经网络总结
qq_53879585的博客
03-30 2075
本文对《动手学深度学习v2》课程关于循环神经网络的所有部分做一个总结。目录一、循环神经网络RNN1. 简介2. 循环神经网络核心公式3. 困惑度（perplexity）4. 梯度剪裁（Gradient Clipping）二、实现RNN网络1. 从零开始实现2. 简洁实现三、GRU门控循环单元1. 简介2. 代码实现四、LSTM长短期记忆网络1. 简介2. LSTM对比GRU3. 代码实现五、深层循环神经网络1. 简介2. 代码实现六、双向循环神经网络1. 简介2. 代码实现七、总结 循环神经网络（
从零开始的动手学深度学习系列 全流程记录
最新发布
Love 6's Private Blog
03-04 490
从零开始的动手学深度学习系列 全流程记录 全流程实现博客链接 从零开始的推荐系统学习之路（九）---- 动手学深度学习系列 深度学习基础 从零实现线性回归 从零开始的推荐系统学习之路（十）---- 动手学深度学习系列 深度学习基础 从零实现SoftMax回归函数 & 从零实现MLP感知机模型
【自然语言处理（NLP）】门控循环单元 GRU 原理和代码实现
专注上位机开发、机器视觉、机器学习、嵌入式软硬件开发
01-27 1万+
门控循环单元（Gated Recurrent Unit，GRU）是循环神经网络（RNN）的一种变体。 ## 基本原理 - **门控机制**：主要包含两个门控结构，即更新门和重置门。更新门决定了有多少过去的信息需要保留到当前时刻，以及有多少当前的输入信息需要被整合到新的隐藏状态中。重置门用于决定需要忽略多少过去的信息。 - **隐藏状态的更新**：基于更新门和重置门进行隐藏状态的更新。在每个时间步，GRU接受当前的输入向量以及上一个时间步的隐藏状态，然后输出当前时间步的隐藏状态，并将其传递到下一个时间步作为
深度学习模型：门控循环单元（GRU）详解
池央的博客
11-29 9615
随后，门控循环单元（GRU）作为 LSTM 的一种简化变体，在保持良好性能的同时，具有结构简单、训练速度快等优点，因此在许多序列数据处理任务中得到了广泛应用。相比之下，GRU 将输入门和遗忘门合并为更新门，并且没有单独的记忆单元，直接在隐藏单元中进行信息的更新和传递，因此结构更加简单。GRU 的输入和普通 RNN 一样，在每个时间步 ，它接受当前的输入向量 以及上一个时间步的隐藏状态 ，然后输出当前时间步的隐藏状态 ，并将其传递到下一个时间步作为输入之一。在上述代码中，我们首先定义了一个。
用于序列建模的深度学习：门控循环单元 （GRU）
新华编程特战队
12-28 1750
概述门控循环单元 （GRU） 是一种循环神经网络 （RNN） 架构类型。与其他 RNN 一样，GRU 可以处理时间序列、自然语言和语音等顺序数据。GRU 与其他 RNN 架构（例如长短期记忆 （LSTM） 网络）之间的主要区别在于网络如何处理。先决条件介绍从上面的句子中我们可以看出，相互影响的单词可以相距更远。例如，“自行车”和“骑自行车”密切相关，但在句子中相距甚远。RNN 网络发现很难在如此长的上下文中跟踪状态。它需要找出哪些信息是重要的。然而，GRU单元大大缓解了这个问题。
GRU原理理解
热门推荐
yanglee0
07-30 2万+
1. 什么是GRU GRU（Gate Recurrent Unit）是循环神经网络（Recurrent Neural Network, RNN）的一种。和LSTM（Long-Short Term Memory）一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。 GRU和LSTM在很多情况下实际表现上相差无几，那么为什么我们要使用新人GRU（2014年提出）而不是相对经受了更多考验的LSTM（1997提出）呢。 在我们的实验中选择GRU是因为它的实验效果与LSTM相似，但是更易于计算。 简单来说就
GRU模型：门控循环单元的原理与优势及Python实现
数据知道的博客
08-10 8511
GRU（门控循环单元）是LSTM的简化变体，通过减少门控数量（仅保留重置门和更新门）实现了与LSTM相近的性能，同时计算效率更高。相比LSTM的三门结构，GRU参数更少、训练更快，在机器翻译等序列任务中表现优异。其核心优势包括：简化结构（合并细胞状态和隐藏状态）、缓解梯度消失问题、在多数任务中与LSTM性能相当甚至更好。GRU适用于编码器-解码器框架，可通过Python实现前向传播过程，典型应用场景包括Seq2Seq模型。实际选择时建议优先尝试GRU，复杂长序列任务再考虑LSTM。
李沐动手学深度学习V2-GRU门控循环单元以及代码实现
flyingluohaipeng的博客
06-29 2271
我们可能会遇到这样的情况： 1）早期观测值对预测所有未来观测值具有非常重要的意义。 考虑一个极端情况，其中第一个观测值包含一个校验和， 目标是在序列的末尾辨别校验和是否正确。 在这种情况下，第一个词元的影响至关重要，我们希望有某些机制能够在一个记忆元里存储重要的早期信息， 如果没有这样的机制，我们将不得不给这个观测值指定一个非常大的梯度， 因为它会影响所有后续的观测值。 2) 一些词元没有相关的观测值。 例如在对网页内容进行情感分析时， 可能有一些辅助HTML代码与网页传达的情绪无关，希望有一些机制来跳过隐
一文带你认识GRU网络（有代码
m0_69378371的博客
05-19 2159
门控循环单元（Gated Recurrent Unit，简称GRU）是一种简化版的循环神经网络（RNN），由Cho等人于2014年提出。GRU通过引入门控机制，简化了长短期记忆网络（LSTM）的结构，同时保留了捕捉长时间依赖关系的能力。GRU具有较少的参数，更易于训练，且在许多应用中表现与LSTM相当甚至更好。
使用代码解释GRU的原理
x7c000000的博客
09-30 1032
本文主要用简单方便理解的数学公式复现了GRU黑盒，并借此来加深理解，欢迎提出建议。
门控循环单元（GRU）
2401_84149564的博客
05-11 1647
GRU（门控循环单元）通过引入更新门和重置门，有效解决了RNN中的梯度消失和梯度爆炸问题。更新门控制新旧信息的混合比例，而重置门则决定过去信息的保留程度。这种设计使得GRU能够灵活地调节信息流，从而在时间序列预测等任务中表现出色。本文还展示了如何使用Python实现GRU模型，并通过生成带有噪声的正弦波数据集进行训练和测试。实验结果表明，GRU在训练和测试集上的损失均优于传统的MLP模型，验证了其在处理序列数据时的优越性。
深度学习原理详解及Python代码实现
12-07
【为什么要学习这门课程】深度学习框架如TensorFlow和Pytorch掩盖了深度学习底层实现方法，那能否能用Python代码从零实现来学习深度学习原理呢？本课程就为大家提供了这个可能，有助于深刻理解深度学习原理。左手原理、右手代码，双管齐下！本课程详细讲解深度学习原理并进行Python代码实现深度学习网络。课程内容涵盖感知机、多层感知机、卷积神经网络、循环神经网络，并使用Python 3及Numpy、Matplotlib从零实现上述神经网络。本课程还讲述了神经网络的训练方法与实践技巧，且开展了代码实践演示。课程对于核心内容讲解深入细致，如基于计算图理解反向传播算法，并用数学公式推导反向传播算法；另外还讲述了卷积加速方法im2col。【课程收获】本课程力求使学员通过深度学习原理、算法公式及Python代码的对照学习，摆脱框架而掌握深度学习底层实现原理与方法。本课程将给学员分享深度学习的Python实现代码。课程代码通过Jupyter Notebook演示，可在Windows、ubuntu等系统上运行，且不需GPU支持。【优惠说明】 课程正在优惠中！  备注：购课后可加入白勇老师课程学习交流QQ群：957519975【相关课程】学习本课程的前提是会使用Python语言以及Numpy和Matplotlib库。相关课程链接如下：《Python编程的术与道：Python语言入门》https://edu.csdn.net/course/detail/27845《玩转Numpy计算库》https://edu.csdn.net/lecturer/board/28656《玩转Matplotlib数据绘图库》https://edu.csdn.net/lecturer/board/28720【课程内容导图及特色】
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值