ReLU6及keras实现

编程入门 行业动态 更新时间:2024-10-27 01:35:42

ReLU6及<a href=https://www.elefans.com/category/jswz/34/1761050.html style=keras实现"/>

ReLU6及keras实现

ReLU6:
首先说明一下ReLU6,卷积之后通常会接一个ReLU非线性激活,在Mobile net v1里面使用ReLU6,ReLU6就是普通的ReLU但是限制最大输出值为6,这是为了在移动端设备float16的低精度的时候,也能有很好的数值分辨率,如果对ReLU的激活范围不加限制,输出范围为0到正无穷,如果激活值非常大,分布在一个很大的范围内,则低精度的float16无法很好地精确描述如此大范围的数值,带来精度损失。

keras实现relu6

x = layers.ReLU(6., name='Conv1_relu')(x)

更多推荐

ReLU6及keras实现

本文发布于:2023-07-28 16:02:22,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/1243466.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:keras

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!