admin管理员组

文章数量:1579086

通常意义下，线性整流函数指代数学中的斜坡函数，即

其中是输入特征，经过线性变化之后的输出结果，比较其与0之间的大小关系，作为ReLu函数的输出

优点：

1. 解决了gradient vanishing问题 (在正区间)；
2.计算速度非常快，只需要判断输入是否大于0；
3.收敛速度远快于sigmoid和tanh.

缺点：

1.ReLU的输出不是zero-centered;
2.某些神经元可能永远不会被激活(Dead ReLU Problem)，导致相应的参数永远不能被更新。有两个主要原因可能导致这种情况产生: (a) 参数初始化方式不正确，可能性较低；(b) learning rate太高导致在训练过程中参数更新太大，使网络进入这种状态。解决方法是可以采用Xavier初始化方法，避免将learning rate设置太大或使用adagrad等自动调节learning rate的算法.
 

本文标签： 函数深度ReLu

版权声明：本文标题：深度学习——激活函数ReLu 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/xitong/1727845042a1132989.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。