深度学习面试问题"/>
深度学习面试问题
**bn的作用**
1.归一化输入，避免训练过程中特征分布一直变化，加速收敛
2.避免特征值过大带来的梯度爆炸，提高泛化能力
**100个选手，两两pk，赢者继续，败者淘汰，轮空的人直接晋级，主办方一共需要举办多少场比赛**
50+25+16+6+3+2+1
**n层空洞卷积，rate为m，卷积核大小为3，步长是1，感受野多大**
Tn = Tn-1 + (2(m-1) + k - 1) * (stride_n * stride_n-1 * ....... * stride_1)
**ReLU的优缺点**
优点：
1.它能起到单侧抑制的作用，使得神经网络中的神经元具有稀疏激活性，防止过拟合
2.它不存在梯度饱和的问题，因此比sigmoid的收敛速度快
3.计算复杂度低，不需要进行指数运算
缺点：
它不会压缩数据值，所以数据值随着网络层数的增加会不断变大
**为什么要进行归一化**
归一化分为输入数据的归一化和特征归一化。如果输入数据不进行归一化的话，每一批输入的数据分布都不一致，神经网络需要在多个分布中找到一个平衡点，导致收敛缓慢。如果特征不进行归一化的话，那么每个网络层接收到的分布都是不一样的，这也导致了收敛缓慢
**四种归一化方法**
**BN为什么需要缩放平移操作**
因为BN的第一步把输入分布标准化成一个标准的正态分布，如果所有网络层的输入都是标准的正态分布，那么就会损失掉已经学习到的信息，因此需要一个缩放平移操作来保留有效信息
**引起梯度消失和梯度爆炸的原因**
关键因素是激活函数，如果激活函数的导数大于1，那么随着网络层数的增加，梯度就会非常大，如果激活函数的导数小于1，那么随着网络层的增加，梯度就会趋近于0
**缓解梯度消失和梯度爆炸的方法**
使用ReLU激活函数，激活区域的导数恒等于1，缓解了由于激活函数求导导致的梯度消失和梯度爆炸的问题
结合bn，将特征值控制在一个合理的范围，避免了梯度爆炸
**反卷积输出特征大小**
卷积的是：o = (i - f + 2p)/s + 1
反卷积是：i = (o-1)s - 2p + f
**池化层的作用**
1.平移不变性
2.防止过拟合
3.特征降维
4.增大感受野
**dropout的作用**
用来防止过拟合
1.减少神经元之间的复杂的共适应性
2.看作是模型平均的一种，平均多个不同的小网络
由于它会改变特征的分布，因此有两种方式来弥补：
1.训练的时候，dropout后的特征除以p
2.测试的时候，特征乘以p
**group conv、深度可分离卷积**
分组卷积
参数量可减少为原来的1/G
深度可分离卷积包含了逐通道卷积和逐点卷积两步，
逐通道卷积的参数量为k×k×C
逐点卷积的参数量为1×1×C×N
**几种梯度下降的方法**
**权重初始化的方式**
Xavier初始化
Kaiming初始化
**KL散度**
用分布q近似分布p需要的额外信息量
发布评论