读论文 Early Exit or Not: Resource

论文 Early Exit or Not: Resource"/>

读论文 Early Exit or Not: Resource

Abstract

有损图像压缩普遍被用来节约传输带宽，这导致了不好的压缩伪影。最近，大量的方法被提出来去减少编码端的压缩伪影，但是这些方法需要训练多个相同结构的模型来处理不同质量的视频，这不高效也很浪费资源。此外，在实践中，大家都知道如果不知道压缩图像的质量，那么很难选择一个合适的模型去处理。在这篇文章里，我们提出高效的未知压缩质量的图像增强方法RBQE。具体来说，我们的方法通过一个动态深度神经网络来盲目地渐进地处理压缩图像，方法中嵌入了提前退出机制(early-exit)。然后我们的方法可以根据增强图像的估计质量来自动地决定终止或者继续处理，因此不严重的伪影可以去除的更快，更简单；严重的伪影可以进一步用复杂的步骤处理。大量的实验证明我们的方法在盲质量增强和资源利用方面都是最好的。

Introduction

… 对于一个模型多个QP，这些方法的缺点 （1) QP 并不能真实地反映图像的质量。 （2）这些方法要训练多个模型，资源和计算量消耗都很大。（3）低质量图像和高质量图像都是一样的计算量，这会导致高质量图像处理的参数量消耗过多了，低质量的又不够，通过对不同质量的图像采用不同复杂度的模型可以降低总的复杂度，对低质量图像用更高的复杂度，这样提高处理速度也能处理的更好。因此，理想的方法应该能自动的选择简单或者复杂的模型去处理高质量的或者低质量的压缩图像，所谓的盲质量图像增强。

图一是低质量图像和高质量图像对于不同复杂度的处理得到的增益。（文章认为高质量图像更好处理，easy sample）。这个图说明提升复杂度对高质量的压缩图像带来的增益小于低质量的。
文章设计了一个动态的深度神经网络去增强压缩图像，估计图像质量，然后自动决定继续处理还是结束处理。Tchebichef momentsbased
Image Quality Assessment Module (IQAM) 切比雪夫质量估计模块，估计压缩伪影的剧烈程度。

Related Work

图二是盲处理的三种方式，b是将不同噪声级别的压缩图像混合打乱后作为训练数据，缺点是在测试数据和训练数据噪声级别匹配错误的时候处理效果会严重下降。c用一个子网络来估计噪声级别，用估计的噪声级别来引导增强，c一般比b效果好，但是c不适合压缩图像增强，有两个原因，自网络估计的噪声级别map不能很好的表示压缩噪声的级别，因为压缩噪声一般都比较复杂不是普通的独立白噪声，不论高质量图像还是低质量图像都用相同的网络，效率也不高。文章提出的网络如a所示

Proposed Approach

文章解决了三个问题，1是怎么决定哪些是质量好哪些是质量差的图像，2怎么设计动态网络去渐进式的增强，3 怎么测量增强后的压缩噪声然后决定提前结束。

Motivation

1，高质量压缩图像可以少处理，低质量压缩图像可以进一步处理 2，处理过程可以有不同的复杂度，处理方式从简单到复杂，而不是从复杂到简单。

Proof of Proposition 1.

简单的不同层数的CNN，用QP37，42编码来获得高质量和低质量压缩图像，easy hard。在qp37，42上分别训练不同层的网络。如图3a所示

文章上说qp42更容易饱和，37的适应更大的复杂度。我从这个图上没有看到多大的差别。

Proof of Proposition 2.

在高质量压缩图像（easy）上训练的模型迁移到低质量压缩图像（hard）如果效果比相反操作比较小的话，那么easy to hard 就比较好。为了证明这一点，文章构建了两个一模一样的10层简单CNN，在QP37,42上训练，收敛之后交换两个模型的前四层的参数，再训练，交换了之后的前四层的参数固定，不再改变。从图3，b可以看出，qp37上训练的参数直接用到42上，有gain（黄色虚线）。反之，有轻微下降。所以证明了 easy to hard 是比较好的。这个结论在jpeg压缩图像上也成立。

Dynamic DNN Architecture with Early-Exit Strategy

每个Cij是一个卷积层，最小的是三层，中间的激活省略了

Early-Exit Strategy

如果前期满足IQAM了那么就停止处理

Image Quality Assessment for Enhanced Images

文章考虑两个重要的因子，纹理区域的模糊效应，平滑区域的块效应。具体来说，增强后的图像被分成不重叠的块，这些快包括所有潜在的压缩块边界，然后把这些块分成平滑的块和有纹理的块，根据块的能量大小来分。

且比雪夫矩阵

假设一个4x4的块M，计算观察值

eh是水平方向上的块效应，ev表示垂直方向上的块效应，这个方法来自于图像质量评估的论文。
块效应检测的例子

对于平滑块，先进行高斯模糊，对原块核模糊后的块计算相似度，相似度高，就说明当前块比较模糊

最终的质量由两个因子共同评价

这个评价指标是不需要参考raw image的，他的值和psnr，ssim趋势一致

Loss Function

MSE

Experiments

在HEVC hm16.5 和JEPG上做实验

Dataset

RAISE，包括3000，1000，1000 张训练，验证，测试数据，从每张图像的中间裁剪出512x512的块。HM QP={22，27，32，37，42}，JPEG QF={10，20，30，40，50}，每个Cij是两个卷积层 第一个是3x3 的卷积核，k个通道，第二个是1x1的卷积核，32个通道。上采样，下采样都是通过一个卷积层来实现的，每组卷积之间有relu，没组卷积之后有 attention

IQAM α = 0.9, β = 0.1,C = 1e−8 and Te = 0.05。训练时，qp22到42的数据混合，从22 到42 loss加权是{2, 1, 1, 0.5, 0.5}，{1, 2, 1, 0.5, 0.5}，{0.5, 1, 2, 1, 0.5}，{0.5, 0.5, 1, 2, 1}，{0.5, 0.5, 1, 1, 2}。Adam optimizer，lr = 1e−4

Evaluation

Evaluation on Efficacy

Evaluation on Efficiency

Ablation Studies

在不同的复杂度上比较 psnr gain

Conclusions

提出了在同一个网络上处理多个qp数据的网络。