Pytorch GRU(详解GRU+torch.nn.GRU()实现)

接上一篇文章（pytorch实现LSTM），在实现LSTM之后，又发现了GRU网络。 说GRU是LSTM网络的一种效果很好的变体，它较LSTM网络的结构更加简单，而且效果也很好，也是当前非常流形的一种网络。 所以决定尝试一下！ 注：数据集仍然使用上文中的IGBT加速老化数据集，数据与处理方法不变，直接上代码！！！ 在保证输入样本参数和学习率不变的情况下，即input_size = 5，out_oput = 1，lr = 0.01，试了很多参数，发现在训练集80%，测试集20%，hidden_size

我们看官方文档一些参数介绍，以及如下一个简单例子： 看完之后，还是一脸懵逼: 输入什么鬼？ 输出又什么鬼？ (这里我先把官网中 h0 去掉了，便于大家先理解更重要的概念) import torch from torch import nn rnn = nn.GRU(10, 20, 2) input = torch.randn(5, 3, 10) output, hn = rnn(input) 运行之后，各变量的shape如下: 要使用GRU这个layer，就要明白，要先定义GRU，然后才是调用这个定义

参考视频。

常见的RNN网络 于最简单的 RNN，我们可以使用下面两种方式去调用，分别是 torch.nn.RNNCell() 和 torch.nn.RNN()，这两种方式的区别在于 RNNCell() 只能接受序列中单步的输入，且必须传入隐藏状态，而 RNN() 可以接受一个序列的输入，默认会传入全 0 的隐藏状态，也可以自己申明隐藏状态传入。 import torch from torch.autograd import Variable from torch import nn rnn_seq = nn.RN

torch.nn.GRU 输入： (input_dim ,hidden_dim ,num_layers ，…) – input_dim 表示输入的特征维度 – hidden_dim 表示输出的特征维度，如果没有特殊变化，相当于out – num_layers 表示网络的层数 – nonlinearity 表示选用的非线性**函数，默认是 ‘tanh’ – bias 表示是否使用偏置，默认使用 – batch_first 表示输入数据的形式，默认是 False，[即(序列长度seq,批大小batch,特征维.

torch.nn是 PyTorch 深度学习框架中的一个核心模块，它为构建和训练神经网络提供了丰富的类库。通过torch.nn，开发者能够快速构建复杂的深度学习模型，并利用 PyTorch 动态计算图特性进行高效训练和推理。此外，该模块还与torch.optim配合，方便地进行权重优化；以及与DataLoader结合以组织和迭代训练数据。

官方文档在这里。 GRU具体不做介绍了，本篇只做pytorch的API使用介绍. torch.nn.GRU(*args, **kwargs) 公式 下面公式忽略bias，由于输入向量的长度和隐藏层特征值长度不一致，所以每个公式的W都按x和h分开。这跟理论公式部分有一些具体的实践上区别。 reset gate， 重置门 rt=σ(Wirxt+Whrht−1)r_t = \sigma(W_{ir}x_t+W_{hr}h_{t-1})rt​=σ(Wir​xt​+Whr​ht−1​) GRU里的参数.

参考链接 代码示例 一个序列时： >>> import torch.nn as nn >>> gru = nn.GRU(input_size=50, hidden_size=50, batch_first=True) >>> embed = nn.Embedding(3, 50) >>> x = torch.LongTen...

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客 本文网址：https://blog.csdn.net/HiWangWenBing/article/details/121644547 目录 第1章 GRU基本理论 第2章torch.nn.GRU类的参数详解 2.1 类的原型 2.2 类的参数：用于构建LSTM神经网络实例 第3章 前向传播输入详解 3.1 前向传播的格式 3.2 input的格式 3.3h_0的格式 3.4c_0的格...

torch.nn.GRU是PyTorch中的一个模块，用于构建GRU层，支持单层或多层GRU堆叠，支持双向GRU。GRU（Gated Recurrent Unit）是RNN的改进版本，具有更新门和重置门，解决了传统RNN的梯度消失问题。参数：input_size、hidden_size、num_layers、batch_first、dropout等用于控制GRU的结构和行为。应用：GRU广泛用于序列建模、时间序列预测、自然语言处理等任务，特别适合长序列数据。

【代码】torch.nn中GRU使用。

本文给大家带来的实战内容是利用PyTorch实现LSTM-GRU模型，LSTM和GRU都分别是RNN中最常用Cell之一，也都是时间序列预测中最常见的结构单元之一，本文的内容将会从实战的角度带你分析LSTM和GRU的机制和效果，同时如果你是时间序列中的新手，这篇文章会带你了解整个时间序列的建模过程，同时本文的实战代码支持多元预测单元、单元预测单元、多元预测多元(为我个人编写大家如有转载请标明来源)，本文的实战内容通过时间序列领域最经典的数据集——电力负荷数据集为例进行预测。内容回顾->

本文讲解的实战内容是GRU(门控循环单元)，本文的实战内容通过时间序列领域最经典的数据集——电力负荷数据集为例，深入的了解GRU的基本原理和框架，下面是预测值和真实值的对比图先给大家放在前面。预测类型->单元预测、多元预测、长期预测门控机制：GRU的核心是门控机制，包括更新门（update gate）和重置门（reset gate）。这些门控制着信息的流动，即决定哪些信息应该被保留，哪些应该被遗忘。更新门：更新门帮助模型决定过去的信息有多少需要保留到当前状态。

在深度学习领域，循环神经网络（RNN）及其变种如GRU（Gated Recurrent Unit，门控循环单元）在处理序列数据时表现出色。相比传统RNN，GRU通过更新门（Update Gate）和重置门（Reset Gate）简化了结构，同时保持了对长期依赖关系的建模能力。本篇博客将通过PyTorch实现一个基于GRU的文本生成模型，结合《The Time Machine》数据集，逐步解析代码实现的全过程。从数据预处理到模型训练，再到结果可视化，我们将深入探讨每个模块的功能，并展示完整的代码实现。

在多层GRU中，第 l 层的输入（对于 l≥2）是前一层的隐藏状态乘以概率 dropout。

首先如果你对不太熟悉，可点击查看。

GRU，Gate Recurrent Unit，是循环神经网络RNN的一种。 和LSTM一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。 GRU和LSTM在很多情况下实际表现上相差无几，那么为什么我们要使用新人GRU（2014年提出）而不是相对经受了更多考验的LSTM（1997提出）呢？ 我们在我们的实验中选择GRU是因为它的实验效果与LSTM相似，但是更易于计算。 相比LSTM，使用GRU能够达到相当的效果，并且相比之下更容易进行训练...