散乱知识整理"/>
计算机视觉算法散乱知识整理
1 全连接层的作用
- 假设你是一只小蚂蚁,你的任务是找小面包。你的视野还比较窄,只能看到很小一片区域。当你找到一片小面包之后,你不知道你找到的是不是全部的小面包,所以你们全部的蚂蚁开了个会,把所有的小面包都拿出来分享了。全连接层就是这个蚂蚁大会~如果提前告诉你全世界就只有一块小面包,你找到之后也就掌握了全部的信息,这种情况下也就没必要引入fc层了 参考来源
- 全连接层(fully connected layers,FC)在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话,全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。
- 目前由于全连接层参数冗余(仅全连接层参数就可占整个网络参数80%左右),近期一些性能优异的网络模型如ResNet和GoogLeNet等均用全局平均池化(global average pooling,GAP)取代FC来融合学到的深度特征,最后仍用softmax等损失函数作为网络目标函数来指导学习过程。参考来源
- fc层其实就是一个近似线性的分类器
2 Softmax Loss:
- ,感觉看这篇文章比较好一点,有空可以自己再推一推。
- softmax函数公式:
- Si是第i个神经元的输出 令ai=si
- 使用交叉熵函数,求导比较简单,也可以解决某些损失函数学习缓慢的问题。
- yi为真实的分类结果
3 L1范数、L2范数
- L0范数是指向量中非零元素的个数,如果用L0规则化一个参数矩阵W,就是希望W中大部分元素为0,实现稀疏
- L1范数是指向量中各个元素的绝对值之和
- L2范数是指向量各元素的平方和然后开方 。。。再看看
- 事实上 L1 regularization 会使得许多参数的最优值变成 0,这样模型就稀疏了。
- L1范式趋向于产生较少特征,在特征选择时很有用;L2会选择更多特征,但对应权值会接近0
4 损失函数
- 最小均方损失:
更多推荐
计算机视觉算法散乱知识整理
发布评论