admin管理员组

文章数量:1564650

【CVPR2020】Rethinking Data Augmentation for Image Super-resolution: A Comprehensive Analysis and a New Strategy

  • 作者

  • 摘要

数据增广能有效提升深度网络性能，本文对现有的超分数据增广进行了一套综合分析。对于图像重建，像素空间关系很重要。本文提出CutBlur，即将高/低分辨率patch剪切到对应位置，使得模型学习不止学习如何重建，还学习到重建的具体位置。本方法能提升性能，而且在一些low-level视觉任务，例如去噪声、去压缩失真也有效。

 

  • 介绍

数据增广（Data augmentation，DA）

主要贡献：

  1. 首个提供针对单张图像超分辨率重建（SISR）任务现有DA方法的综合分析；
  2. 提出一个新的DA方法CutBlur；
  3. 混合策略可有效提升SR性能，获得SOTA；

 

  • 数据增广分析

本节分析现有增广方法，并用于超分模型EDSR的训练，从而比较各增广性能。用EDSR官方代码在DIV2K或RealSr从头训。

  1. 现有技术

像素空间DA：如图1，Mixup混合两幅图像，Cutout随机丢弃选中的图像区域，CutMix随机替换其他图像的区域。也有自动增广方法出现，自动学习指定任务和数据集的最佳增广策略。

特征空间DA：对CNN特征进行操纵，分为三组，1）特征混合2）震动3）丢弃。1是混合图像和特征，2是对特征进行仿射变换，3可加速模型泛化。

超分DA：简单的几何变换，例如旋转和翻转，广泛用于SR。最近有研究发现Mixup可减轻过拟合。

  1. DA方法分析

增广主要是为了模型性能更加泛化和鲁棒。像分类等high-level任务，模型应学习抽象图像，想降噪和超分等low-level任务，像素的局部和全局相关性更重要。因此，丢掉空间相关信息，会限制模型的重建能力。每种特征增广也会降低性能。本文扔掉了降低性能的DA方法。

另一方面，在像素空间的DA方法，如果应用得当，也可以提升性能。例如Cutout25%的矩形区域会降性能，但是随机消除千分之一的像素点，却能细微提升性能。比如48*48的patch，扔掉2~3个像素点。

CutMix显示微不足道的提升，猜测是图像内容激烈转变产生分界。Mixup能提升性能，但混合两幅图像会是模型迷惑。我们创造了CutMixup，具有更好的提升效果。

我们进一步测试了RGB置换、Blend混合（添加常数值），不引入结构性变化。（有关更多细节，可看本文的实现代码。）具有巨大提升作用。受此启发，我们开发了一种新的增广方法CutBlur，能够提升性能，并带来其他DA不具备的优点。

  • CutBlur
  1. 算法

XLR 和XHR分别是低分辨率和高分辨率的Patch，s是超分缩放因子。首先，XLR使用bicubic上采样S倍生成XLRS，然后随机取对应区域进行剪切，反之亦可。

 

表示二值化mask。

  1. 讨论

为什么CurBlur有效？之前发现尖锐转变或混合图像内容中的patch，或者丢失像素相关性会损害性能。CurBlur使边界效应减到最小，使用随机缩放因子和随机位置。

模型通过CurBlur学到什么？类似于其他DA方法去预防分类模型自负地下决定，CurBlur可预防超分模型生成锐利的图像。如图2和图3所示，当超分模型在测试时输入高清图像，常常会输出过度锐化效果图，CutBlur可缓和此问题，此外还可在低清区域增强性能。我们猜测是模型学到了区别对待进行超分，不仅学会了how和when还学会了how much。

CutBlur vs 训练使用HR输入：CutBlur性能更好，因为M=0/1包含了后者的情况。而且CutBlur教会模型更好学习where去超分。

混合增广MoA：为获得最佳性能，我们混合多种DA。对每轮训练，模型首先用概率p决定是否用DA。然后随机选一个DA方法。

 

  • 实验结果

通常数据增广使得更大模型收益更多。但是这实验为啥给小模型的p设为0.2，给大模型设为1，按理说p相同才公平啊！剩下我就略了，反正实验挺详实的，按理说创新性小，能中CVPR，可能就是胜在实验结果。

 

  • 实施细节

网络修正：为了用CutBlur，网络输入和输出分辨率要一致。

增广设置：细节描述在上图，CutMixup、CutBlur、MoA是本文提出的。

 

  • 心得
  1. 不要丢任何信息，例如旋转时expand了，要扩大图像范围；
  2. 尝试CutMixup，使用RGB置换、Blend混合、CutBlur；

本文标签： AugmentationImageDataRethinkingAnalysis

版权声明：本文标题：【CVPR2020】Rethinking Data Augmentation for Image Super-resolution: A Comprehensive Analysis and a Ne 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dongtai/1725897146a1047784.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。