NLP基础知识点：GRU模型结构与公式的梳理

本篇笔记与李宏毅2020机器学习深度学习(4) RNN循环神经网络 笔记+作业一起使用

GRU神经元结构图与公式

GRU（Gate Recurrent Unit）是循环神经网络（Recurrent Neural Network, RNN）的一种。
2014年于论文《Learning Phrase Representations using RNN Encoder–Decoderfor Statistical Machine Translation》中首次提出
与LSTM相比，GRU更容易进行训练。

图片与公式来自维基百科。
公式中的中的 $⨀$是Hadamard Product，也就是操作矩阵中对应的元素相乘，因此要求两个相乘矩阵是同型的。$+$则代表进行矩阵加法操作。

GRU只有两个gate，一个是reset gate， 一个是update gate
更新门z选择是否用新的隐藏状态 h t ^ \widehat{h_t}