学习笔记:优化器Lion(EvoLved Sign Momentum)"/>
机器学习笔记:优化器Lion(EvoLved Sign Momentum)
2023 Google&UCLA
- 更省显存、效果更好的优化器
-
- 绿色是一样的部分,红色是Lion少的部分,蓝色是不一样的部分
- sign是符号函数
- 相比AdamW,Lion超参数更少(没有ε),少缓存一组参数v
- ——>更省显存
- 相比AdamW,Lion去掉了平方、除法和开根号这几个计算步骤
- ——>更快
- 还有一点需要注意的是,Lion将动量更新的位置放在了变量参数更新之后,这也是一个亮点
- 局限性:Lion在小batch_size的时候,效果不如AdamW
- ——>可能的原因是,sign本身已经带来了噪声,但是小的batch_size进一步带来的噪声
- ——>可能在双重噪声的加持下,效果恶化
参考内容:Google新搜出的优化器Lion:效率与效果兼得的“训练狮”
更多推荐
机器学习笔记:优化器Lion(EvoLved Sign Momentum)
发布评论