nin网络实验结果

网络实验结果"/>

nin网络实验结果

原始结果图

• 为什么NiN块中有两个 1×1 卷积层？删除其中一个，然后观察和分析实验现象。

全连接层到底什么用？

• 全连接层（fully connected
  layers，FC）在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1x1的卷积；而前层是卷积层的全连接层可以转化为卷积核为hxw的全局卷积，h和w分别为前层卷积结果的高和宽（注1）。
• 目前由于全连接层参数冗余（仅全连接层参数就可占整个网络参数80%左右），近期一些性能优异的网络模型如ResNet和GoogLeNet等均用全局平均池化（global average pooling，GAP）取代FC来融合学到的深度特征，最后仍用softmax等损失函数作为网络目标函数来指导学习过程。
• 在FC越来越不被看好的当下，我们近期的研究发现，FC可在模型表示能力迁移过程中充当“防火墙”的作用。

简单说：

全连接就是个矩阵乘法，相当于一个特征空间变换，可以把前面所有有用的信息提取整合。再加上激活函数的非线性映射，多层全连接层理论上可以模拟任何非线性变换。但缺点也很明显: 无法保持空间结构。
全连接的一个作用是维度变换，尤其是可以把高维变到低维，同时把有用的信息保留下来。全连接另一个作用是隐含语义的表达(embedding)，把原始特征映射到各个隐语义节点(hidden node)。对于最后一层全连接而言，就是分类的显示表达。不同channel同一位置上的全连接等价与1x1的卷积。N个节点的全连接可近似为N个模板卷积后的均值池化(GAP)。

进一步看：
最近的论文，你会发现，FC可以用GAP（Global Average Pooling）的方法代替。后者的思想就是：用 feature map 直接表示属于某个类的 confidence map，比如有10个类，就在最后输出10个 feature map，每个feature map中的值加起来求平均值，然后把得到的这些平均值直接作为属于某个类别的 confidence value，再输入softmax中分类， 更重要的是实验效果并不比用 FC 差。
后者的优势是：1.因为FC的参数众多，这么做就减少了参数的数量（在最近比较火的模型压缩中，这个优势可以很好的压缩模型的大小）。2.因为减少了参数的数量，可以很好的减轻过拟合的发生。
另外，这种直接用 feature map 表示属于某个类的 confidence map 的做法很符合CNN的思想。

通俗理解：比如最后要分10个类，假设在有 FC 的 network 中，FC 前面一层的feature map 用 A 表示，A 经过 FC 的作用得到了一个 10 维的向量（假设用 C 表示），然后输入softmax 等分类器中分类。既然CNN的学习能力很强，那为什么不直接让 CNN 学习输出 C（而不是 A）呢？可以看到这种思想和CNN结合的很好（FCN 也是用了类似的思想，以前的segmentation需要做很多的pre-processing/post-processing，比如region proposal等，然后用CNN提取特征，虽然比较繁琐但效果还是很好的。于是就有人想到，既然CNN那么牛，干脆什么都让CNN做，这样就可以省去繁琐的processing了，于是就出现了 pixel-to-pixel 的 segmentation）。