weight initialization中 fan"/>
Kaiming weight initialization中 fan
从内置函数 _calculate_fan_in_and_fan_out来看fan_in 和 fan_out 的定义
如果输入数据 tensor 的维度等于2,
如果输入数据 tensor 的维度 大于2
recpetive_field_size 就是第三维度 * 第四维度...
例如, conv1=nn.Conv2d(16, 64, 3, 3, stride=1)
tensor_dim=4, tensor.shape=( 64, 16, 3, 3)
receptive_field= 3 * 3 = 9
fan_in = 16 * 9
fan_out = 64 * 9
更为精确的表达
在涉及到空洞卷积(dilated convolution)时候 receptivefield 要比普通卷积大,receptivefield与kernel的大小不同,fan_in/fan_out 结果也不同。
deep learning - How to calculate fan-in and fan-out in Xavier initialization for neural networks? - Stack Overflow
更多推荐
Kaiming weight initialization中 fan
发布评论