工程公司介绍_重庆建设工程招标信息网官网首页_成都关键词自然排名_网站模板价格

GRU（Gate Recurrent Unit，门控循环单元）是RNN的改进版本，通过门控机制解决传统RNN的梯度消失问题，能更好地捕捉长距离依赖关系。以下是其核心原理：

---

一、核心结构（两个门 + 一个候选状态）

1. 更新门（Update Gate）

• 作用：决定保留多少旧状态 vs 采用多少新信息

• 公式：

  $$z_t=\sigma (W_z\cdot [h_{t-1},x_t])$$

2. 重置门（Reset Gate）

• 作用：决定忽略多少过去的信息
• 公式：
  $$r_t=\sigma (W_r\cdot [h_{t-1},x_t])$$

3. 候选隐藏状态

• 公式：
  $${\tilde{h}}_t=\tanh (W\cdot [r_t\odot h_{t-1},x_t])$$

4. 最终隐藏状态

• 公式：
  $$h_t=(1-z_t)\odot h_{t-1}+z_t\odot {\tilde{h}}_t$$

---

二、工作流程示例

假设处理句子：“我爱自然语言处理”

1. 输入词向量序列：[我, 爱, 自然, 语言, 处理]
2. 每个时间步：
   • 通过重置门过滤无关历史信息
   • 通过更新门融合新旧状态
   • 输出当前隐藏状态 ( h_t )

---

三、与LSTM的对比

特性	GRU	LSTM
门数量	2个门（更新门、重置门）	3个门（输入门、遗忘门、输出门）
参数数量	更少（训练更快）	更多
性能	适合中等长度序列	适合超长序列
结构	无细胞状态，直接更新隐藏状态	有细胞状态和隐藏状态双通道

---

四、代码中的实际应用

在您之前看到的代码中：

self.gru = nn.GRU(embedding_dim, enc_units, batch_first=True)

• embedding_dim：词向量维度（输入特征维度）
• enc_units：GRU隐藏层维度（即公式中的 ( h_t ) 维度）
• 每个时间步输出：包含上下文信息的隐藏状态

---

五、核心优势总结

1. 梯度控制：通过门控机制缓解梯度消失/爆炸
2. 长期记忆：更新门控制历史信息的保留比例
3. 计算效率：比LSTM参数少约1/3，训练更快
4. 实用场景：文本生成、机器翻译、时间序列预测等

通过这种门控设计，GRU能像"智能水龙头"一样，动态控制信息流动，是处理序列数据的利器。