照片转漫画生成器-揭示！ 抖音火爆的“变身漫画”特效是如何实现的？

​近日，抖音特效又发布新爆料。 只需轻轻一挥手，用户就能瞬间变身为可爱的漫画人物，从发型到服装，每个细节都精准变换。 几乎一夜之间，抖音在全面屏上变成了二维。

在这个世界里，你可以捕捉到被全网催交舞蹈作业的宁静▽

还可以看到清新气质十足的PDD▽

陈赫拿出苍蝇拍一样的“神秘钥匙”解除二次元封印▽

邓紫棋擦玻璃变脸▽

张艺兴来一阵说唱，不知道有多少次用手势在维度间穿梭▽

从路人到顶级明星，每个人都有一双水汪汪的大眼睛。 除了“连特效都救不了”的李荣浩▽

进入二次元后，明星们的发型、五官等细节都被“还原”，同时还多了一丝俏皮和灵动。 全网喜爱的变形漫画特效是如何诞生的？ 背后有哪些行业领先的“黑科技”？

突破“次元壁”的关键技术

打破二维和三维的关键技术是GAN（对抗生成网络）。

所谓GAN是指生成对抗性网络深度学习模型。 网络中有生成器G（generator）和判别器（Discriminator）。 有两个数据字段，分别命名为 X 和 Y。 G负责取出X域中的数据并拼命模仿为真实数据并将其隐藏在真实数据中，而D则拼命试图将假数据与真实数据分开。 两人的比赛下来，G的伪造技术越来越好，D的识别技术越来越好。 直到D不再能够辨别数据是真实的还是G生成的，对抗过程达到动态平衡。

本研究中使用的技术称为 Landmark Assisted CycleGAN，它使用面部地标特征来定义一致性损失，以指导 CycleGAN 中局部判别器的训练。

CycleGAN 本质上是两个镜像对称的 GAN 形成一个环形网络。 两个GAN共享两个生成器，各有一个判别器，即有两个判别器和两个生成器。 单向 GAN 有两次损失，总共两次或四次损失。

CycleGAN 与 Pixel2Pixel 相比的一个典型优势是可以实现无需配对的两个图像集的训练。 但我们仍然需要通过训练来创建这个图，以确保输入图像和生成图像之间存在有意义的关系，即输入和输出共享一些特征。

整体结构如下：

总的来说，这个转换过程分为3步：

首先，生成器基于 CycleGAN 生成一张粗糙的卡通脸。

随后，模型根据第一步生成的图像生成预训练的回归（回归器），以预测面部标志并标记面部关键点。

最后，通过局部和全局两种判别器，研究人员细化了漫画中的面部特征和对应的真实图像。 此阶段强调地标的一致性，因此最终的生成结果是真实且可识别的。

虽然抖音这次推出的漫画变换特效的主要技术仍然是GAN卡通人物，但与过去相比也有不同。 此前，换漫画功能基本都是基于面部表情追踪ip形象，学术界和工业界都没有千人千面的实时漫画生成方法。

抖音此次推出的漫画特效是在视频中实时实现的，这项技术在全球落地也是首次。 视频中可以实现人脸、头发变漫画的效果，并利用背景风格转移技术完成全屏漫画的实时生成，并通过“手动滑块”道具，可以与真实视频随意切换。

早期（上）和最终版本（下）风格比较

漫画特效定义了精美绝伦和极致意象两大特点。 既要充分保留用户的特征和神像，又要生成漫画独特的艺术美。 经过抖音团队广泛的风格设计、研究和修改，最终锁定了一张俏皮可爱的卡通脸。 算法推出后，进入了更加细致的打磨时期。

图片版效果达到标准后，团队决定尝试一下，并分阶段在抖音、抖音的相册模块推出了“漫画之谜”道具，在中国、日本、巴西、印度尼西亚等国家。

让二次元成为现实

除了抖音最近流行的“变身漫画”特效外，邻国岛国的一项“3D姿势追踪”也很受欢迎。 你可以让卡通人物跟随你的动作一起跳舞照片转漫画生成器，仿佛二维人物进入了现实。

也可以使用“真人模型”。

这样照片转漫画生成器，在现实中与自己喜欢的二维物体共舞将不再是梦想！ 如果把明星作为模型输入的一部分，我们是不是也可以和偶像一起跳舞呢？ 啊？ 看来娱乐平台的下一个热门特效可以预见了。