第一周"/>
吴恩达Deeplearning.ai 第五课 Sequence Model 第一周
这一节主要讲解了LSTM单元
LSTM和GRU略有区别,可以说是一种更加通用的GRU模型
在LSTM中,c<t>
不再等于a<t>
,因此原来公式中的c<t-1>
要改成a<t-1>
,同时在LSTM中,也没有了Γr这个门
但不同是,除了同样保持了Γu这个门之外,还增加了Γf(forget gate)和Γo(output gate)两个门。在原来c<t>
的更新公式中,将(1-Γu)替换为Γf,并且在利用Γo来得到a<t>
LSTM的公式和单元结构:
很多个这样的单元组合起来就成了LSTM network:
一些不同的版本:
同样,在这里面,有时候也会在gate的计算中加入c<t-1>
项,即变成Wu[a<t-1>
, x<t>
, c<t-1>
]等,这被称为peephole connection
但在这里面c<t-1>
的每个元素只影响gate中对应的某个元素,而不会影响gate中其他位置的元素
LSTM和GRU的选择:
1.关于二者孰优孰劣并没有明确的论断,在实际项目中可以进行尝试。
2.GRU的优点是只需要两个门,计算量更小,当要搭建大型神经网络时可以更好得scaling(感觉这个词只可意会不可翻译)
3.LSTM的优点是有三个门,因此效率更高,但是计算量更大。
在现在的一些研究中,使用LSTM的会更多一些
更多推荐
吴恩达Deeplearning.ai 第五课 Sequence Model 第一周
发布评论