3.门控循环单元 GRU

3. 门控循环单元（Gated Recurrent Unit, GRU）

  • 核心思想：GRU 能动态决定当前时刻要"记住"多少过去的信息、要"遗忘"多少无用内容，从而有效缓解传统RNN的长期依赖问题。它通过"更新门"和"重置门"两个机制，灵活调整信息流。

1. 信息处理机制

  • 不是每个历史信息都同等重要，GRU能自动筛选：
    • 更新门（Update Gate）Zt：决定当前隐状态 Ht 有多少来自之前的 Ht−1，有多少来自新的候选状态 H~t。
    • 重置门（Reset Gate）Rt：控制在生成候选隐状态 H~t 时，允许历史状态 Ht−1 保留多少参与计算——即决定遗忘多少过去信息。

2. 计算流程

  • 门的计算

    • Reset gate：Rt=σ(XtWxr+Ht−1Whr+br)
    • Update gate：Zt=σ(XtWxz+Ht−1Whz+bz)

  • 候选隐状态（Candidate hidden state）：

    H~t=tanh⁡(XtWxh+(Rt⊙Ht−1)Whh+bh)
    • Rt 控制 Ht−1 的遗忘程度
    • ⊙：元素相乘（Element-wise Multiplication）
    • Rt⊙Ht−1 表示历史信息"筛选"后参与计算。
    • tanh 激活将输出限制在 [−1,1]。

  • 隐状态（Hidden state）：

    Ht=Zt⊙Ht−1+(1−Zt)⊙H~t
    • Zt：控制Ht保留多少旧信息
    • 1−Zt：控制引入多少新信息

3. 总结

  • Reset Gate（重置门）：决定历史信息参与新状态生成的多少，有助于捕获短期依赖。
  • Update Gate（更新门）：决定当前状态更多依赖过去还是新信息，有助于长期依赖建模。
  • 公式汇总：
Rt=σ(XtWxr+Ht−1Whr+br)Zt=σ(XtWxz+Ht−1Whz+bz)H~t=tanh⁡(XtWxh+(Rt⊙Ht−1)Whh+bh)Ht=Zt⊙Ht−1+(1−Zt)⊙H~t
  • 通俗理解：GRU 就像"信息筛选器"，每个时间步自动判断保留多少旧知识、吸收多少新知识，让神经网络更聪明地理解和处理序列信息。

参考资料

“觉得不错的话，给点打赏吧 ୧(๑•̀⌄•́๑)૭”

微信二维码

微信支付

支付宝二维码

支付宝支付

RNN
#RNN #Deep_Learning
3.门控循环单元 GRU
http://neurowave.tech/2025/04/17/5-3-RNN-GRU/
作者
Artin Tan
发布于
2025年4月17日
更新于
2025年6月30日