[论文笔记]Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration

文章目录

• [论文笔记]Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration
• • 大纲
  • 新的残差连接方式
  • Dual Residual Blocks的设计
  • • 总设计思维图如下
    • 符号含义
    • 5个修复任务的Dual Residual Blocks的设计分别如下
    • Noise Removal
    • Motion Blur Removal
    • Haze Removal
    • Raindrop removal
    • Rain-streak Removal
  • 总结

大纲

1. 根据之前的研究，作者注意到成对操作在各种图像处理任务中的有效性。
2. 于是，作者在本篇论文中设计了一个可以将任意成对的操作插入其中的模块（DuRB)。并用这种模块实现一种新的残差连接方式。
3. 然后，作者在本文中通过堆叠插入了不同成对操作的模块形成的网络分别在9个数据集上对5个图像恢复任务(Gaussian noise removal，Motion blur removal，Haze removal，Raindrop detection and removal ，Rain-streak removal)进行了实验评估。结果表明，选择合适的成对操作的网络在几乎所有的任务和数据集上都优于已有的方法。

新的残差连接方式

提出的新型残差连接方式为(d)

这种连接方式可以保证在每一条路径上操作都是成对出现的。

此外，fi 操作可以和后面任意的gj(j ≤ \le ≤ i)进行配对。

Dual Residual Blocks的设计

总设计思维图如下

T1l, T2l 表示分别存放着成对的正操作和反操作的容器

符号含义

c是一个内核为3x3(stride = 1)的卷积层

ct1l 和 ct2l 为内核大小和膨胀倍数均确定的卷积层

up是上采样(作者使用PixelShuffle）

se是SE-ResNet模块，它实际上是一种信道层面的注意机制

b + r是batch normalization layer followed by a ReLU layer

Tanh是hyperbolic tangent function layer

5个修复任务的Dual Residual Blocks的设计分别如下

Noise Removal

具体网络构造如下

采用l2损失

效果

Motion Blur Removal

任务描述：在不知道模糊mask的情况下，从运动模糊版本中恢复清晰的图像

具体网络框架

针对这一任务，作者采用SSIM的加权和和l1损失来训练DuRN-U

效果

Haze Removal

具体网络框架

针对这一任务，作者采用SSIM的加权和和l1损失来训练DuRN-US

效果

Raindrop removal

任务描述：该任务可以自然地分为两个阶段，识别雨滴区域和恢复识别区域的像素。

具体框架

针对这一任务，作者采用SSIM的加权和和l1损失来训练DuRN-S-P

效果

Rain-streak Removal

具体框架

该任务的网络总体设计与高斯噪声去除的DuRN-P算法相似，只不过使用的DDRB块(用DuRB-S替换DuRB-P)不一样

针对这一任务，作者采用SSIM的加权和和l1损失来训练

效果

总结

作者提出了一种新的风格的残差连接，称为“双残差连接”，旨在挖掘成对操作的潜力，用于图像恢复任务。

此外，作者也展示了实现这种连接风格的模块块(DuRB)的设计，它有两个容器用于成对的操作，这样用户可以将任意操作插入其中。最后作，者还展示了五个图像修复任务中模块中的两个操作的选择以及整个网络的设计。