admin管理员组

文章数量:1650763


efficient inferrence speed and high accuracy with high resolution

Architecture

DFANet从整体上可看做是encoder-decoder结构，包括四个部分：the lightweight backbone、sub-network aggregation、sub-stage aggregation moduels以及最后的decoder。

1.1、backbone

改进Xception + fully-connected attention（FC attention）

XceptionA和XceptionB是由xception演变而来，但相比原本的Xception计算复杂度更低，inference速度更快。

在语义分割任务中，高效获取semantic context信息也是一个关键点。
另外，因为分类任务数据集中的类别数量远多于语义分割数据集。
因此，为了更好地提取语义信息和类别信息，FC attention中的全连接层在ImageNet上预训练得到。

（ 在分类任务中，网络的最后一般都是Global Pooling + FC，得到一个类别概率向量。）

FC后接一个1 x 1的卷积，匹配每个backbone输出特征图的channel维度。

Then N ×C×1×1 encoding vector is multiplied with original extracted features in channel-wise manner

DFANet网络使用了三个backbone，这三个backbone的weight完全相同。

1.2、Feature Aggregation

sub-network aggregation：将之前backbone的high-level feature上采样然后再输入到下一个backbone中refine预测结果，可看做是：a coarse-to-fine process for pixel classification

sub-stage aggregation moduels：将对应阶段的coarse特征和fine特征融合，语义信息和空间信息融合，多尺度信息融合。另外，网络越深，空间细节信息丢失越多，sub-stage可以恢复细节信息。

It delivers the receptive field and high dimension structure details by combining the layers with the same dimension.

1.3、decoder

由卷积和上采样操作组成，是一个有效的上采样模块，将low-level特征和high-level特征融合。

二、Experiments

2.1、DFA Architecture
2.1.1、the lightweight backbone

FC attention：to fuse image contextual information。可以让mIOU提高4%-6%，关键是添加前后FLOPs未变，计算量未变。

Xception + FC attentio 效果接近 resnet-50，但前者的FLOPs远远小于后者。

2.1.2 Feature Aggregation

The receptive field of Backbone A x2 is already bigger than the whole image, so another aggregation introduces some noise. As the output is directly upsampled to the original size, the noise is amplified（方法） as well. Although it brings more details, noise also brings negative interference.

第一个backbone的预测结果有大量噪音；
第二个因为添加了很多的细节信息，结果更加平滑；

对于图像结果的主观评估也验证了 DFANet 结构的有效性。如下图所示，随着特征提取塔数的加多，分割结果中错误的细节越来越少，直到逼近真实答案。这说明随着越来越多的特征被聚合，原来“看不明白”的地方可以被更正确的理解与预测。

2.1.3 The Whole DFA Architecture

decoder相比直接上采样，可以使结果更加平滑，细节信息的作用大于噪音的副作用。

2.2、Speed and Accuracy Comparisons

本文标签： 语义DeepfeatureaggregationDFANet

版权声明：本文标题：【语义分割】DFANet --Deep Feature Aggregation for Real-Time Semantic Segmentation 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dongtai/1729534825a1205283.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。