小波变换风格迁移"/>
WCT2:小波变换风格迁移
WCT: Whiten- Color Transform
- 前言
假设X是一个均值为0的向量,那么我们可以得到其协方差矩阵:
Σ=E(XXT)
一旦 X中的向量相互都不关联,其协方差矩阵就是一个对角矩阵。
- 白化变换(Whitening Transformations)
图像白化(whitening)可用于对过度曝光或低曝光的图片进行处理,白化的目的就是去除原始向量中各维度的相关性,且每个维度的方差为1。
- 去除向量X中各维度之间的相关性
Y=ΦTX - 使得向量X中每个维度的方差为1,即使得协方差矩阵的对角线上的元素相同
W=Λ−1/2Y=Λ−1/2 ΦT X
- 上色(Coloring Transformations)
上色本质上就是白化操作的逆操作
-
化协方差矩阵为非单位阵:
对协方差矩阵Σ进行特征值分解Y=Λ1/2 S,
进行白化中第二步的逆操作,得到Y=Λ1/2 S -
化协方差矩阵为非对角阵,进行白化第一步操作的逆操作
X=ΦY=Φ Λ1/2 S
Upsampling, UpPooling, Transpose Convolution
- Upsampling(上采样)
上采样相当于做了一个均值池化操作的反操作,生成的图像会比较平滑,严重的话会有些模糊的纹理,因为只保留了低频信息。 - Uppooling(反池化)
- Transpose Convolution(转置卷积/反卷积)
首先对原始特征图进行插值得到放大后的特征图,再对插值后的特征图进行卷积得到最终的结果
Wavelet Transforms(小波变换)
WCT2
- 为了更好的保留content image的空间内容信息 WCT直接沿用vgg中的pooling层和upsampling层,这样对空间信息有较大的损失
- PhotoWCT 将pooling层换成unpooling层,从而可以一定程度保留相对的空间位置信息
- WCT2 将pooling层换成小波池化层, upsample 换成小波unpooling 可以实现无损的保留空间信息
Mean Pooling或Max Pooling是不可逆的。一旦进行平均池化或者最大池化,新的特征空间无法保留原先特征空间的所有信息。而小波变换能恢复所有的原始特征。
wavelet pooling and unpooling
the low-pass filter captures smooth surface and texture
while the high pass filters extract vertical, horizontal, and diagonal edgelike information.
选择Haar小波是因为这种方法将原始信号分解为可捕获不同分量的通道,导致风格化结果更好。
只有低频特征LL被传到下一个编码器中,高频信息(HH,HL,LH)被直接送到decoder里。
然后,作者在论文中加粗了一句话打脸了photoWCT提出使用WCT效果反而比使用Unpooling的好。所以,作者明确指出PhotoWCT生成图像质量好的主要原因还是第二阶段中经过“流形排序”处理了。
the final visual qualities of PhotoWCT majorly come from the powerful post-processing, especially the smoothing step, not the network itself.
更多推荐
WCT2:小波变换风格迁移
发布评论