照片漫画生成器在线版-现场照片变身新海诚风格漫画：清华大学提出CartoonGAN

选自CVPR 2018

作者：杨晨、赖玉坤、刘永进

机器之心合集

参与：李泽南、李亚洲

对于艺术家来说，以漫画风格再现现实世界的场景是一项耗时且费力的任务——很多时候这是必须要做的。 AI能帮我们解决这个烦恼吗？ 近日，清华大学和卡迪夫大学的研究人员提出了CartoonGAN，它可以使用真实场景的照片作为源图片，生成任何风格的“漫画”，从新海诚到宫崎骏……只需对一组示例漫画图像进行训练即可有了所需的样式，“转换”就可以开始了。 该研究论文已被CVPR2018会议接收。

CartoonGAN的预训练模型照片漫画生成器在线版，包括Hayao Miyazaki、Mamoru Hosoda、Totoshi Kon（动画电影《辣椒》）和Makoto Shinkai风格：~Yongjin/CartoonGAN-Models.rar

漫画是我们日常生活中广泛接触的一种艺术形式。 除了艺术本身，它的应用范围还包括出版媒体到儿童教育。 与其他艺术形式一样，许多著名的漫画都是基于现实世界的情况。 下图是动画电影《你的名字》中真实火车站的场景。 相应的漫画形象也出现在《.

然而，以卡通风格手工重现现实世界的场景是一项耗时耗力的工作，并且需要大量专业的绘画技巧。 为了获得高质量的画面，概念艺术家必须仔细绘制目标场景的每一条线条并绘制每一个颜色区域。 看来现有的具有标准功能的艺术编辑软件和算法无法产生令人满意的漫画效果。 因此，拥有能够自动将现实世界的照片转换为高质量漫画风格图像的专业技术对于艺术家来说是一件非常有帮助的事情：它可以节省他们大量的时间，让他们专注于创作更有意义的作品。 和创造性的工作。 风格转移工具还可以为 Instagram 和 Photoshop 等图像编辑软件提供新功能。

图 1. 漫画风格示例：(a) 是动画电影《你的名字》中漫画图像出现的现实世界场景。 ”中。(b)是CartoonGAN将照片转换为卡通风格的结果。请注意：模型训练数据不包含任何<your_name>。”电影中的图片。

以艺术的方式研究图像处理一直是计算机视觉领域的热门方向。 以前的传统方法通常为特定风格开发特定算法。 然而，这意味着需要大量的技术努力来创建模仿个别艺术家的详细风格。 最近，基于机器学习的风格迁移方法引起了很多关注，因为它们可以从示例图像中对图像进行风格化。 特别是，生成对抗网络（GAN）引入了循环训练来进一步探索和提高风格迁移的质量，其独特之处在于可以使用不成对的照片和风格化图像进行训练。

尽管基于学习的风格迁移取得了巨大成功，但最先进的方法仍然无法产生质量可接受的漫画风格图像。 原因是，首先，卡通风格需要从现实世界图像的复杂构造中高度简化照片漫画生成器在线版，而不是添加纹理和边界线； 其次，尽管艺术家之间的风格存在差异，但卡通图像有一些明显的共性：边缘清晰、色彩平滑、纹理相对简单——这与其他艺术形式有很大不同。

在论文中ip形象，清华大学的研究人员提出了CartoonGAN，一种基于 GAN 的新的漫画照片方法。 该方法需要一组照片和一组漫画图像进行训练。 为了使训练数据易于获得，同时获得高质量的结果，我们不需要将两组图像相互配对或对应。 从计算机视觉算法的角度来看，漫画风格化的目标是将照片流映射到漫画流中，同时保持其中的内容不变。 为了实现这一目标，研究人员提出了一种专用的 GAN 架构，以及两个简单有效的损失函数。

研究人员表示，CartoonGAN 的主要贡献有：

我们提出了一种基于 GAN 的专用方法，该方法可以使用不成对的图像集进行训练，有效地学习映射现实世界的照片和漫画图像。 新方法可以生成高质量的风格化漫画，远远超出现有最佳技术的能力——当使用特定艺术家的漫画图像进行训练时，新方法可以忠实地再现他们的风格。 在基于 GAN 的架构中提出了两种简单但有效的损失函数。 在生成网络中，为了应对照片和漫画之间的实质性风格差异，研究人员引入了稀疏正则化语义损失，在 VGG 网络的高级特征图中定义为 ℓ1。 在鉴别器网络中，作者提出了一种边缘推动对抗性损失来保证锐利的边缘。 作者进一步引入了初始化阶段来提高网络对目标流形的收敛性。 新方法比现有的训练方法要高效得多。

在CartoonGAN中，生成器网络G用于将输入图像映射到卡通流形中。 模型训练完成后，就可以执行漫画风格化任务了。 G 从平面卷积阶段开始，然后是两个下卷积块，以对图像进行空间压缩和编码。 在此阶段提取有用的本地信号以进行下游转换。 然后使用相同布局的八个剩余块来构建内容和多种特征。 研究人员采用了《实时风格迁移和超分辨率的感知损失》中提出的残差块布局。 最后，输出的漫画风格图像由两个上卷积块重建，这两个上卷积块由步长为 1/2 的跨步卷积层和具有 7×7 内核的最终卷积层组成。

作为生成器网络的补充，鉴别器网络 D 用于判断输入图像是否是“真实”漫画。 由于判断图像是否是漫画是一项要求不高的任务，因此我们在 D 中使用参数较少的简单补丁级判别器，而不是常规的全图像判别器。 与图像分类任务不同卡通人物，漫画风格辨别任务依赖于图像的局部特征。 因此，判别器网络D被设计得较浅。 扁平化后，网络采用两个跨步卷积块来降低分辨率并对分类所需的基本局部特征进行编码。 随后，使用特征构建块和 3×3 卷积层来获得分类返回。 在每个归一化层之后使用 α = 0.2 的 Leaky ReLU。

图 2.CartoonGAN 架构中的生成器和分类器网络，其中 k 是内核大小，n 是特征图数量，s 是每个卷积层的步幅，'norm' 表示归一化层，'ES' 表示元素之和。

图 5.CartoonGAN 为不同艺术家生成的卡通风格：(a) 是输入照片。 (b)是新海诚风格。 (c)是宫崎骏风格。

图 6. 边缘生成的详细信息。 (a) 使用 NST 训练集中的所有图像进行训练后风格迁移的结果； (b) CycleGAN 在身份丢失参数下的结果； (c)CartoonGAN的结果。

图 7.CartoonGAN 与 NST 和 CycleGAN 在 Makoto Shinkai（上）和 Miyazaki（下）风格迁移上的比较。 Gatys（图1）和Gatys（集合）是NST的两个变体，分别训练输入内容非常相似的照片和漫画图片，并输出结果。

论文：CartoonGAN：用于照片卡通化的生成对抗网络

论文链接：：9011//c3pr90ntc0td/content_cvpr_2018/papers/Chen_CartoonGAN_Generative_Adversarial_CVPR_2018_paper.pdf

摘要：在本文中，我们提出了一种将现实世界场景的图片转换为漫画风格图像的解决方案，这在计算机视觉和计算机图形学中都是一项有价值且具有挑战性的任务。 我们的解决方案属于基于学习的方法，这是最近流行的以艺术方式进行图像风格化的方法。 然而，现有的方法并不能产生令人满意的漫画化效果，主要是因为： 1、漫画风格有自己独特的特点，高度简化和抽象。 2.漫画图像边缘锐利、颜色平滑、纹理相对简单，这对当前基于纹理描述符损失函数的方法提出了很大的挑战。

在本文中，我们提出了CartoonGAN，一种用于卡通风格迁移的生成对抗网络。 我们的方法使用未配对的照片和漫画进行训练，并且非常易于使用。 我们还提出了两个适合漫画的新损失函数：

1. 语义内容损失函数，被表述为 VGG 网络中高阶特征图的稀疏正则化，以解释照片和漫画之间的风格差异。

2. 边缘增强，防止丢失，以保持锋利的边缘。 我们进一步引入初始化阶段来提高网络对目标流形的收敛性。 我们的方法比现有方法的训练效率也更高。 实验结果表明，该方法能够将真实图像转换为高质量的漫画图像（即遵循一定的风格，具有锐利的边缘和平滑的阴影），并且超越了其他最先进的方法。