Normalization Seminar II Brd 2019.2.22 References:图像风格化算法综述三部曲:https://zhuanlan.zhihu.com/p/36346074
Background Style transfer-Gatys et al. Gram matrix (style) + VGG conv4 feat (content) Update pixels of image online
Background Domain adaptation-AdaBN 在拓展到未知的domain的时候,重新计算在新domain的unlabel data上的统计量 其实BN在做的事情就是将每个batch的数据归一化到standard Gaussian 在不同数据上计算统计量,可以将不同domain的数据分布的差异归一
Background Domain adaptation Style transfer Domain adaptat的思路解决style transfer问题 最小化重构图和风格图的Gram 矩阵等价于最小化两个域统计分布之间的基于二阶 核函数的MMD(which is domain adaptation 常用方法) 本质上,style transfer这个paper做的事情就是将生成图片的deep activation分布和 style image的分布进行匹配 利用VGG某些层的特征表达的每一个channel的均值和方差(channel-wise)来表示风 格 Update pixels of image online
Instance Normalization 单模型单风格:基于前向网络-不再是修改图象 思想与adaBN相似 x1 x2 xm h w c 前作:Texture Networks: Feed-forward Synthesis of Textures and Stylized Images
CIN 单模型多风格
AdaIN 单模型任意风格 数据驱动 替换IN中的统计量 No learnable affine parameters 扩展:StyleGAN https://arxiv.org/abs/1812.04948
Learned CIN 单模型任意风格 预测每个style的仿射变换的参数