论文:CartoonGAN:用于照片卡通化的生成对抗网络
会议:CVPR2018
你想不想把拍出来的照片秒变漫画风格,就像下面这样~
我们观察上图,仔细看看。 两张图片有什么区别? 你能看见它吗? 右图显然不像真车。 看起来像卡通吗? 有了这个CartoonGAN,漫画家会失业吗?
我们来看看CartoonGAN是如何把图片变成漫画的~
现有的风格转换方法有很多,例如Pix2PixGAN就可以完成图像风格转换功能,但由于漫画的独特特征,我们无法利用现有的风格转换方法充分表达漫画的独特特征:
(1)漫画风格的高级简化和抽象等功能,不是简单地添加纹理和边界线,而是需要从现实世界图像的复杂构造中进行高度简化;
(2)漫画图像边缘锐利、色彩不均匀平滑、纹理相对简单
由于漫画的上述特点,使用一般的风格迁移方法无法获得满意的结果。 为了更好地凸显这些漫画的特点,本文提出了两种损失函数,一个是保证照片和漫画之间风格迁移的内容损失,另一个是促进漫画边缘清晰的对抗损失。
网络架构:生成器和鉴别器的配置
生成器输入真实场景的图片,生成漫画风格的图片ip形象,而判别器的存在使得生成器生成的图片更加漫画化。
损失函数
(1) 对抗性损失Ladv(G,D):
目标:使鉴别器能够识别边缘较弱的图像,从而通过对抗性训练促进边缘清晰的图像的生成。
我们简单地用anti-Loss来训练网络,生成的卡通图片往往不够真实。 这是因为卡通图像的重要特征是具有清晰的边缘,但这些边缘在整个图像中所占的比例通常很小。 因此,生成器无法捕捉漫画图片的这一特征,因此生成的图片不够“像”漫画。
在这里,作者提出了一种促进边缘的损失。 首先吉祥物设计,作者利用现有的漫画数据集Sdata(c)来弱化漫画边缘,生成弱边缘漫画数据集Sdata(e)
如何弱化边缘并生成弱边缘的漫画数据集?
(1)使用边缘检测器检测卡通的边缘
(2)删除图片中的边缘区域
(3)利用高斯平滑处理图片,弱化边缘后生成漫画数据集
下图是原图和弱化边缘后的图。
定义损失:
训练生成器时,希望判别器将生成的图片判断为真实的漫画图片
在训练判别器时漫画生成器在线生成免费,希望判别器能够将真实的卡通图片判断为Real,将生成器生成的图片判断为Fake。
如何推广边缘漫画?
除了以上对抗Loss的设定外,同时,关键点来了! ! ! 判别器也将边缘弱化的卡通图片判断为Fake,那么它是否突出了卡通的边缘呢? ? ? 很有意思!
(2) 内容丢失:
目标:保证内容不变而画面风格改变漫画生成器在线生成免费,让生活中的大巴士不至于变成动画片里的小车!
除了流形之间的正确转换之外,卡通风格化的一个更重要的目标是确保生成的卡通图像保留输入照片的语义内容。 在CartoonGAN中,使用预训练的VGG网络中的高级特征来定义Content,并使用L1 Loss来保证图片的内容保持不变。
结果:令人兴奋的结果即将到来
(1)我们来看看生成的结果,我们把拍的照片变成新海诚或者宫崎骏风格的漫画吧~
写实画新海诚风格宫崎骏风格
(2)与其他方法相比,边缘是否更清晰、更真实?
是不是很有趣,关注我,给你带来更多有趣的AI技术
- 本文固定链接: https://wen.nuanque.com/katong/3087.html
- 转载请注明: nuanquewen 于 吉祥物设计/卡通ip设计/卡通人物设计/卡通形象设计/表情包设计 发表
- 文章或作品为作者独立观点不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。本文之内容为用户主动投稿和用户分享产生,如发现内容涉嫌抄袭侵权,请联系在线客服举报,一经查实,本站将立刻删除。本站转载之内容为资源共享、学习交流之目的,请勿使用于商业用途。