admin管理员组

文章数量:1589759

《Channel Interaction Networks for Fine-Grained Image Categorization》——阅读笔记

    • 读文章前三个问题：
    • 通道交互网络（CIN）
    • 自通道交互（SCI）
    • 对比通道交互（CCI）
    • 实验结果

原文链接

读文章前三个问题：

读文章前三个问题：
Q1:本文解决什么问题?
细粒度图像分类中存在类间细微差异具有一定挑战性。由于不同的通道对应不同的语义，通过利用通道之间的丰富关系帮助捕获类间的细微差异。
Q2：本文通过什么模型/理论/方法来解决这个问题?
通道交互网络（channel interaction network，CIN）
自通道交互（self-channel interaction，SCI）模块
对比通道交互（contrastive channel interaction ，CCI）
Q3:本文的结果
通道交互网络的表现优于最先进方法，如DFL-CNN和NTS（发表于2020.3.11）

通道交互网络（CIN）


通道交互网络由自通道交互模块对比通道交互两个模块组成。首先给定一对图像，通过一个共享主干ResNet-50处理生成一对卷积特征映射。其次经过自通道交互模块建立不同通道间的相关性模型，将原始特征图中提取的判别特征和互补信息联合起来。最后，采用具有对比损失的对比通道交互模块模型化两个图像之间的通道方式（channel-wise）关系。

大多数通道在语义上进行互补，在观察激励下，将发现的每个单独通道的互补信息与原始通道进行聚合。例如上面的A和B图像和容易因为B的翅膀上有红点确定两者之间的差异。比较A和C时头部区域的差异。

自通道交互（SCI）

对图像不同通道之间的相互作用建模，捕捉到每个通道的通道互补信息，从而增强每个通道学习到的鉴别特征。因而生成了一个轻量级模型，灵活的在阶段中训练它，无缝的集成到现有网络中。

对于输入图像I，
表示经过ResNet-50处理后的输入特征映射，w,h,c分别表示高，宽和通道数。reshapeX’为X，l=w*h。SCI输出为：

权重矩阵W计算如下：

Yi（第i通道的结果特征Y）是计算Xi和所有通道的X之间得到的。表示如下：

将生成的特征和原始特征的判别特征（Z）进行汇总：

对比通道交互（CCI）

学习通道间的通道方式（channel-wise）关系。能够从两幅比较的图像中动态地识别出不通的区域，是模型能够聚焦于这些不同的区域。

对图像I生成的SCI权重矩阵之间进行简单的减法操作，提取出IA和IB之间的互信息，并生成CCI权重矩阵WAB和WBA：

得到的CCI权重矩阵WAB和WBA应用于XA和XB特征：

最后，应用一个对比损失计算CCI模块的特征，目的：推离不通类别的样本，同时拉紧正图像对。每批N对图像损失定义如下：

使用softmax损失分类基于预测，这些预测是由特征Z使用SCI产生的，框架总损失定义如下：

实验结果





本文标签： 笔记NetworksInteractionChannelFine

版权声明：本文标题：Channel Interaction Networks for Fine-Grained Image Categorization《阅读笔记》 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dongtai/1728076422a1144535.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。