照片转漫画生成器-超人气漫画线稿着色AI出新版本了！ 无监督训练，效果更好｜Demo

夏伊安编译

量子位生产 | 公众号QbitAI

为你喜欢的动漫角色创建一个收藏夹，并在里面收集她的各种图片……我明白了，谁没有很多喜欢的可爱动漫女孩。

一些手绘的线条画也很可爱，但是黑白的配色总是会有些单调。

△请记住这张线稿

半年前，线稿上色的AI style2paints破壳，让自动上色一时风靡。 好消息是，昨天，升级版style2paints 2.0也发布了！

Demo也发布了，用户可以随意尝试一下~

△ 演示界面

作者表示，style2paints 2.0 的效果比第一代更好，并且模型的训练过程是无监督的。

效果惊人

只需一张线稿，轻轻一按，你就可以给你心爱的可爱女孩上色。

△ 上面线稿的转换效果

称赞！ 不仅如此，更换另一张颜色参考图也可以将线稿转变成另一种颜色风格。

例如，我们输入以下参考图像：

上面的例子图就变成了下面的效果——

你也可以从参考图片中选择一种颜色，然后用笔点击线稿的某个区域卡通人物，AI就会根据你的提示重新填充——

支持微调的线稿上色软件不止一款，但笔者表示，与同类软件相比，style2paints的“尖笔”是最准确的。 用户可以在1024×2048的屏幕上使用3×3手写，控制13×13的区域。

为了保证最终绘画的颜色协调，style2paints还玩了一个小伎俩：用户无法自己输入颜色，只能从参考图像中选择。

△ 教程

不简单

玩完之后，你可能会说，风格转移，我们见多了~

然而，将黑白照片变成彩色照片与将没有阴影和高光的线条图变成彩色图不同。

这幅纯线条构成的素描，不包含图案的明暗和纹理。 换句话说，AI需要自动大脑填写这些信息。

更重要的是，style2paints作者对线稿着色的期望确实很高。 它不仅仅是在线条之间填充一些颜色就结束了：

一幅好的漫画里，女孩的眼睛应该像银河一样闪闪发光，脸颊应该红润，皮肤应该细腻迷人。

△ 大概是这个效果

如何才能做到这一点！

style2paints 2.0尚未发布相关论文，仅提供代码供参考。 不过吉祥物设计，今年六月推出的第一个版本其实还不错。 实现了基于语义信息迁移的颜色提示，使着色效果更加和谐。

具体原理可以看当时论文Style Transfer for Anime Sketches with Enhanced Residual U-net and Auxiliary Classifier GAN

苏州大学的Lvmin Chang、Yi Ji和Xin Lin三位作者介绍了如何将集合中剩余的U-Net风格应用到灰度图像上，并使用分类器生成对抗网络（AC-GAN）自动生成图像为图像着色。 生成过程快，效果好。

论文地址：

不一样2.0

style2paints第一个版本上线后，非常受欢迎，很多量子比特的朋友都玩过。

然而，他们的主要竞争对手 Paintschainer 却不断迭代。 后来着色效果逐渐超越了style2paints 1.0，于是作者们也坐不住了，开始研究新的方法，更新了一个版本。

那么2.0和1.0有什么区别吗？

无独有偶，国外网友也非常关心。 作者在Reddit上回复称，与之前的版本相比，style2paints 2.0的大部分训练是纯粹无监督的，甚至是无条件的。

也就是说，在这个模型的训练过程中，除了对抗规则之外，没有添加其他人为定义的规则。 线稿，会更容易欺骗鉴别器。

为了保证收敛，pix2pix、CycleGAN等类似模型都会给学习对象添加l1损失，判别器接收到的数据是一对[输入，训练数据]和[输入，假输出]。 style2paints 2.0模型的学习目标与经典DCGAN完全相同，没有添加其他规则照片转漫画生成器，并且判别器不接收配对输出。

作者表示，要让这样的模型收敛其实是非常困难的，更何况神经网络那么深。

但你瞧，结果还不错。

线稿着色的江湖

线稿着色的程序其实有很多，比如：

油漆链

深色

自动喷漆师

除了paintschainer之外，笔者不太喜欢其他类似的产品。

他说照片转漫画生成器，很多亚洲论文都声称能够转移漫画的风格，但如果你仔细看论文，你会发现他们所谓的“新方法”是调整后的VGG。 虽然VGG通常在风格迁移任务中表现良好，但它被用在漫画中。 ，效果并不总是很好。

它仍然要依赖GAN，并且它必须允许用户上传风格参考图片。 不能像Prisma那样选择莫奈·梵高，莫奈·梵高又不会画漫画。

你想尝试一下吗？

开始演示：

论文还没有出来，但是可以看一下源代码：

作者对上一版的介绍：

– 超过-

诚意招聘

量子位正在招聘编辑/记者，工作地点为北京中关村。 我们期待有才华、有热情的学子加入我们！ 相关详情请在量子比特公众号（QbitAI）对话界面回复“招聘”二字。

量子位 QbitAI 今日头条署名作者

̾'ᴗ' ̫ 追踪AI技术和产品最新动态