首页
系统
动态
电子资讯
硬件
数码
软件介绍
网络软件
系统工具
应用软件
图形图像
多媒体
编程开发
字体下载
登录
标签
Gradients
论文总结:Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation
论文地址:https:arxivpdf1308.3432.pdf 主要内容 许多基于神经网络或深度学习的算法都是依赖于梯度的学习,为此需要平滑的网络来计算梯度,但
论文
Propagating
Estimating
Gradients
Computation
admin
1月前
3
0
Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation
一般认为,为了计算梯度,网络的平滑性是必须的,但实际情况却并非如此。我们可以通过向硬性函数(如阈值函数)中加入扰动来观察效果,进而评估梯度。但是向如果加入的是独立的扰动,那么就会使得后向传播的花费变得非常之多,于是我们提出了随机扰动的想法。
Gradients
Propagating
Estimating
Stochastic
Computation
admin
1月前
3
0