个人卡通形象生成器-深度学习的新技巧！ 从单个动漫头像生成动画，大大降低动画成本！

图灵联邦编辑部出品

最近，Pramook Khungurn 在 GitHub 上发表了一篇论文《Talking Head Anime from a Single Image》，研究如何用单个动漫头像生成动画。

Khunurn 是谷歌日本公司的软件工程师。 他拥有麻省理工学院硕士学位和博士学位。 康奈尔大学计算机科学博士。

过去两年，Khunurn 一直是 YouTuber 上 VTuber 的忠实粉丝。 VTuber 是由真人扮演和配音的动漫角色，他们在 YouTube 上进行直播并贡献视频内容。

另一方面，Khungurn 对深度学习很感兴趣，尤其是与动漫相关的内容。

2017年，研究人员成功训练了生成对抗网络（GAN）来生成高质量的动画角色图像。

最近，自由作家 Gwern 发布了最大的动画图像库，并成功训练了另一个 GAN 来生成漂亮的动画角色。 总部位于旧金山的游戏开发商 Sizigi Studios 开设了 WaifuLabs 网站，在这里可以定制由 GAN 创建的女性角色并购买包含该角色的商品。

人工智能是动漫创作的重要工具，Khungurn 希望成为其中的一部分。 特别是，想研究深度学习如何使动漫创作变得更容易？

那么，如何成为一名VTuber呢？ 您需要一个可以控制其运动的角色模型。 一种方法是创建角色的3D模型，该方法已被许多著名的VTuber所采用。

然而个人卡通形象生成器，制作一个漂亮的3D模型是昂贵的，因为它需要多种技能：角色设计能力、高超的3D建模能力。 对于像研究人员这样没有艺术技能的人来说，同时具备这两种技能是罕见且不可能的。

当然，你可以为此砸钱，但简单的谷歌搜索就会显示卡通人物，佣金要价约为 50 万日元。

研究人员试图解决的问题是：给定一个动漫角色的脸部图像和一个“姿势”，生成同一角色的另一张图像，使其脸部根据姿势而变化。

这里，姿势是指定角色的面部表情和头部方向的数字的集合，并且姿势有6个数字。

图 3A： 输入和系统的输入

研究人员将通过深度学习来解决问题，这需要回答以下两个问题：

事实证明，第一个问题是最大的挑战。 研究人员需要一个包含姿势注释的面部图像的数据集。 EmotioNet 是一个具有所需注释类型的大型人脸数据集。 然而，目前还没有这样的动漫人物数据集。

因此，研究人员专门为该项目生成了一个新的数据集。 研究人员利用了为名为 MikuMikuDance 的 3D 动画软件创建了数万个可下载的动漫角色 3D 模型的事实。

研究人员下载了大约 8000 个模型，并用它们来渲染随机姿势的动漫面孔。

图 3B：系统分为两步过程。

对于面部变形器，研究人员使用了 Pumarola 等人使用的生成器架构。 在 ECCV 2018 论文中。

该网络通过生成另一幅代表原始图像变化的图像来改变面部表情。 更改后的图像使用阿尔法掩模与原始图像组合，阿尔法掩模也是由网络本身生成的。

脸部变形要复杂得多。 研究人员使用两种算法在单个网络中实现面部旋转表情包设计，从而产生两个输出。 这两种算法是：

为了结合这两种方法的优点，研究人员训练了另一个网络，通过 alpha 掩模将两个输出混合在一起。 该网络还输出一个“修饰”图像，该图像与另一个 alpha 蒙版混合。

图 3C 更详细地显示了具有面部旋转的系统。

在本文中，研究人员提出了一种神经网络系统，可以修改面部表情并旋转动漫角色的面部，但只给出角色的单个图像。

除了2D输入之外，系统还可以旋转角色的脸部。 这还推断出如何合理地关闭角色的眼睛和嘴巴，因为这些面部特征可能会被遮挡。

这样一来，系统无需创建角色模型就可以生成头部动画，大大降低了动画制作成本。

该系统的另一个优点是它的易用性。 对于之前的许多作品来说，要制作动画的角色都与 GAN 潜在代码相关联，因此很难自定义外观或在角色移动时保留角色的身份。

另一方面，该系统将角色图像作为直接输入，并且可以为现有角色制作动画。

另外，角色的姿势由6个数值参数决定，从而可以通过调制数字来控制角色。 研究人员演示了如何通过在实时视频流上执行的 UI 操作和面部跟踪来控制角色。

该项目成功的关键是利用可下载的 3D 模型以可扩展的方式生成训练数据。

在六个月的时间里个人卡通形象生成器，研究人员创建了一个大型配对数据集，实现了直接的监督学习。 有了高质量的训练数据，研究人员就可以使用相对简单的网络来制作出好的动画。

该系统在VTuber内容创作和视频游戏制作方面具有广阔的应用前景。 这项工作表明机器学习可以成为动画中的有用工具。

当然，这个系统也有局限性：

研究人员认为，未来的工作有多个方向：

原文链接：

视频点击预测大赛正在火热进行中

奖金3万元，证书、实习、就业机会都准备好了。 召集你的朋友组成一个团队并进行比赛。

竞赛问题：我们希望参赛者能够根据现有的用户信息、视频信息以及是否观看过某些视频来预测向这些用户推荐的视频是否会被对方观看。

个人、高等院校、科研单位、互联网公司、创业团队、学生社团等均可申请。

报名及组队时间：即日起至2020年2月1日

报名入口：