漫画头像生成器-超过一百万人使用它来生成 3D 头像，该技术刚刚入选 SIGGRAPH Asia 2022

如何制作像真人一样的 3D 头像？

先上传照片：

变成这样：

更改一个人的照片：

让我们看另一个例子：

眼镜还可以放入：

在此基础上还可以换成各种发型、配饰、眼睛、帽子、发色、胡须，这些都可以编辑。

有了这个效果，是不是可以制作一套自己的专属表情包呢？

创造这些3D头像的AI模型是字节跳动技术团队打造的AgileAvatar，并入选计算机图形学顶级会议SIGGRAPH Asia 2022。 而它的前身就是我们去年推出的AgileGAN。

AgileAvatar采用自监督学习的方式进行训练，也就是说不需要消耗大量的“人力”，直接实现“智能”，并且无需标注数据即可训练，因此更容易成为可用的产品。

应用于TikTok Avatar并创建游戏角色

AgileAvatar技术已在TikTok中得到应用。 这是今年早些时候 TikTok Avatar 功能背后的模型。 该功能上线后，很快就获得了超过百万的尝鲜者。

此外，AgileAvatar也将登陆近期上线的游戏《星球：重启》。 这是朝西光年在多端发布的一款科幻生存游戏。 用于创建更像您且更生动的虚拟角色的模型。

注意左下角是上传到游戏的原图

即使您不上传真人照片，您也可以根据该图片创建您的游戏角色。

即使上传表情包：

三步输出可编辑3D头像

如何将照片变成3D头像？ 论文介绍了三个主要步骤。

首先输入一张正面照片。

第一步是借助程式化模型直接将照片转换为平面头像。 在这一步中，为了使最终的3D头像更像人本人，模型忽略了照片中的表情，更真实地展示人的外貌。

请注意，这仍然是平面图

这一步使用的模型是作者团队之前为SIGGRAPH 2021选择的AgileGAN，并做了两处调整：

一方面，为了让照片中人物的表情不影响生成效果，作者对GAN模型的生成器进行了微调，只使用没有面部表情的数据进行训练，使得模型只生成无表情的图形；

另一方面，为了保留照片中人物的眼镜等外观特征，作者提出使用承载语义信息的W+空间，相比AgileGAN的Z空间可以更好地保留这些语义特征。

就像这样，下图左栏是原始输入图像，中间栏是原始AgileGAN生成结果，右栏是调整后的生成结果。 人物表情消失，眼镜被保留。

第二步是通过自监督学习模型确定一组参数。 根据这组参数ip形象，模型将上面的平面图像转换为如下所示的 3D 头像。

现在是 3D 了

在这一步中，论文作者创建了一个可微的神经渲染器，直接集成到模型中，既可以实现图形引擎的渲染能力，也可以让模型在自监督学习的框架下进行训练。

为什么必须构建一个渲染器并将其放入？

一般来说，要对这样的 3D 头像进行建模，需要两个参数：

一种称为离散参数，用于确定眼镜、头发等零件的类型漫画头像生成器，确定零件的“什么”；

另一个称为连续参数，它决定了脸的长度、眼睛的大小等，决定了一个部分“有多大”。

在训练模型时，如何将两者一起优化一直是一个棘手的问题。 所以作者决定不强制模型估计离散值，而是将离散空间扩展到连续空间进行优化，这样可以帮助收敛。

然而，一个问题解决了，另一个问题又出现了：

这将导致算法生成粗糙的 3D 图像，该图像无法使用现成的图形引擎渲染——那么您只能创建一个。 所以下一步就是生成一个详细的头像，其参数空间与 3D 头像的建模系统完全匹配。

第三步，通过搜索从大量预先设计的素材中找到最相似的头发和肤色，将其从粗糙的3D头像变成精美的矢量化3D头像

完成这三个步骤后，将生成的 3D 头像导出为可编辑的 3D 模型漫画头像生成器，并执行您想要的任何编辑。

例如，您可以修改发型和装饰：

外观、发型、发色、胡须、眼镜均可编辑

您可以制作表情符号：

可以实现人脸驱动，录制视频时可以作为虚拟头像：

AgileAvatar 项目相关链接

项目网站：

论文地址：

字节跳动智创团队

AgileAvatar的开发者来自字节跳动智造团队。

智创团队是字节跳动AI、特效和音视频创作技术及业务中心吉祥物，负责各类短视频平台和视频剪辑产品的核心技术和业务研发，涵盖深度学习、计算机视觉、图形学、语音、拍摄剪辑、特效、客户端、服务器端工程等技术领域，并为公司内部其他业务线提供业界最前沿的内容理解、内容创作、交互体验和消费能力及行业解决方案以及外部合作客户多种形式的计划。