二次元头像生成器-博士后小姐姐升级“二奶生成器”：这次可以指定画风了

博士后小姐姐升级“二奶生成器”：这次可以指定画风了

量子比特

2021-03-02 16:01

奥飞寺蒙尘

量子比特报告| 公众号QbitAI

相信你已经看过很多关于使用GAN（生成对抗网络）制作卡通人物人物的研究。

但这次新发布的 AniGAN 可以让你指定任何绘画风格！

你只需要一张真人照片，再加上你喜欢的艺术家的作品作为参考ip形象，就可以将其转换为相应的绘画风格，同时保留原照片的发型、五官和其他形状特征。

拿来当头像不是很好吗？

打开网易新闻查看精彩图片

另一个 GAN？ 这次更强了！

AniGAN团队认为，之前的二维角色生成算法存在两大问题。

要么不能很好地模仿参考图的绘画风格，要么会过于注重保留原照片的形状，但不适合二维人物的风格，导致扭曲和瑕疵不符合审美的。

通过对比可以看出，AniGAN生成的结果在模仿参考图像的颜色和材质，以及将原始特征转换为合适的二维元素方面表现更好。

打开网易新闻查看精彩图片

下图使用了更大的数据集卡通形象，包括更多样化的颜色、线条、材质、发型和面部特征。

打开网易新闻查看精彩图片

新的生成器架构

为了在变换形状特征的同时执行风格迁移，AniGAN 团队提出了一种新的生成器架构。

它与之前在生成器瓶颈层使用残差块（Residual Blocks）注入样式信息的方法不同。

AniGAN提出Adaptive Stack Convolutional Block和Fine-grained Style Transfer Block，以下简称ASC块和FST块。

打开网易新闻查看精彩图片

ASC 块由卷积层、激活层和归一化层组成。

以前使用残差块时，可能会忽略一些样式信息。 例如，在下面的示例中，右眼被错误地生成为棕色。

打开网易新闻查看精彩图片

FST 块由上采样层、卷积层和归一化层组成。

样式数据将被注入到上采样层之后，而不是瓶颈层，瓶颈层负责将局部形状特征处理为样式数据，并将其转换为相应的二维形状。

在去除FST块的情况下，生成的图像的面部特征不适应二维风格。

打开网易新闻查看精彩图片

两个新的标准化函数

之前的AdaLIN标准化功能按通道将实例标准化（IN）和层标准化（LN）结合起来，忽略了通道之间的关系。 因此，它无法同时胜任传递风格和转变特征的任务。

AniGAN团队提出了逐点层实例归一化（point-wiselayerinstancenormalization）和自适应逐点层实例归一化（adaptivepoint-wiselayerinstancenormalization），以下简称PoLIN和AdaPoLIN。

打开网易新闻查看精彩图片

打开网易新闻查看精彩图片

PoLIN 和 AdaPoLIN 将合并所有通道的 IN 和 LN。

打开网易新闻查看精彩图片

从左到右分别是（a）参考图像，（b）原始照片，（c）-（f）是去除PoLin或AdaPolin的各种组合的消融实验，（g）是官方效果

双分支鉴别器

二维人脸与真实人脸有很大不同，都是关于人脸的。 研究中称为Domain X和Domain Y。

双分支判别器不仅可以处理特定于域的数据分布，还可以通过卷积层的两个分支处理跨域共享的数据分布。

打开网易新闻查看精彩图片

双分支判别器使得生成的二维人脸缺陷更少，更赏心悦目。

打开网易新闻查看精彩图片

此外，该判别器在后续研究中还可以方便地扩展为多分支判别器（Multi-Branch Discriminator）。

图像质量远远超过前辈

研究团队使用 Frechet Inception Distance 指标来评估生成图像的质量。 值越低二次元头像生成器，生成的图像越接近参考二维图像。

打开网易新闻查看精彩图片

并使用学习到的感知图像补丁相似度来评估生成图像之间的风格差异。 值越高二次元头像生成器，生成的图像越多样化。

打开网易新闻查看精彩图片

此外，还选取了 20 名 20-35 岁的测试者进行 A/B 测试，他们被询问不同算法生成的图像中哪些最符合真实照片的特征和参考图像的风格。 统计结果还显示，AniGAN 得分最高。

打开网易新闻查看精彩图片

作者团队

该论文第一作者李兵，2016年毕业于中国科学院，获博士学位。 现于阿卜杜拉国王科技大学视觉计算中心担任博士后研究员。

打开网易新闻查看精彩图片

团队的其他成员来自台湾字节跳动、国立清华大学和深圳大学。

[1]