结构图及公式"/>
【深度学习】GRU的结构图及公式
GRU与LSTM的区别
前面说到过LSTM的出现是为了解决传统RNN无法解决的长距离依赖问题而出现的，而GRU也具有该功能，但是结构相对于LSTM来说相对简单，可以将GRU看作是LSTM的一种优化或变体。
GRU的结构图
前向传播公式
其中“*”代表矩阵乘法，“⋅”代表点乘（相应位置的元素乘相应位置的元素）
r t = s i g m o i d ( W r ∗ [ h t − 1 , x t ] + b r ) r_t = sigmoid(W_r*[h_{t-1},x_t] + b_r) rt=sigmoid(Wr∗[ht−1,xt]+br)
z t = s i g m o i d ( W t ∗ [ h t − 1 , x t ] + b z ) z_t = sigmoid(W_t*[h_{t-1},x_t] + b_z) zt=sigmoid(Wt∗[ht−1,xt]+bz)
h ~ t = t a n h ( W h ~ ∗ [ r t ⋅ h t − 1 , x t ] + b h ~ ) \widetilde h_t=tanh(W_{\widetilde h}*[r_t⋅h_{t−1},x_t]+b_{\widetilde h}) h t=tanh(Wh ∗[rt⋅ht−1,xt]+bh )
h t = ( 1 − z t ) ⋅ h t − 1 + z t ⋅ h ~ t h_t = (1-z_t)⋅h_{t-1} + z_t⋅{\widetilde h_t} ht=(1−zt)⋅ht−1+zt⋅h t
y t = s i g m o i d ( W o ∗ h t + b y ) y_t = sigmoid(W_o*h_t + b_y) yt=sigmoid(Wo∗ht+by)
更多推荐
【深度学习】GRU的结构图及公式
发布评论