个人卡通形象生成器-纸片人“活”了！ Meta AI新作：短短几分钟，手绘小人就有了灵魂

看，“纸片人”自己跳了出来！

小猫学会了嘻哈。

小蜜蜂也会做波浪。

火柴人其实会打跆拳道。

糖果人还可以在空中踢腿。

这些卡通动画都是用儿童简笔画生成的，但作者是AI！

AI动画工具颠覆儿童画？

孩子们富有想象力和创造力的简笔画有时能给人们带来一些不同的思考。

但是，虽然家长或老师很容易看出孩子的画想表达什么，但人工智能却很难完成这项任务。

为什么？

这是因为儿童画通常与众不同，例如人物的脚不支撑身体，或者人物的手臂位于身体的同一侧。

因此，人工智能系统有时无法识别图像和绘画中的人物。

然而，研究人员已经掌握了一些线索。

昨天，Meta AI 公布了一种巧妙的方法，可以在短短几分钟内自动生成儿童手绘角色或人形角色（即有两条手臂、两条腿等的角色）的动画，而且生成的动画还可以栩栩如生。 。

只要将孩子的画上传到Meta AI，你就可以看到他们变成跳舞的角色，非常逼真。

改变手绘动画的四个步骤

许多人工智能工具和技术都是为处理真实的人类图像而设计的，但儿童绘画增加了人类特征的多样性和不可预测性，这使得识别手绘人物变得更加复杂。

儿童画中的“人”有多种不同的形式、颜色、大小和比例，在身体对称、形状等方面几乎没有相似之处。

因此，Meta AI 通过四个步骤应对这一挑战。

通过物体检测识别人物

为儿童角色制作动画的第一步是将角色与背景和图片中其他类型的角色区分开来。

Meta AI采用Mask R-CNN（一种基于卷积神经网络的对象检测模型）来提取儿童绘画中的字符。

尽管 Mask R-CNN 已经在最大的分割数据集上进行了预训练，但这些数据集由真实世界物体的照片组成，不包含手绘图。

于是研究人员在约1000张手绘图上再次对模型进行了微调。

经过微调过程后，该模型能够很好地检测测试数据集中的人物。

然而，虽然现有的对象检测技术在区分儿童绘画上的字符方面非常有效，但生成的分割掩模不够精确，无法用于动画。

为了解决这个问题，我们转而使用从对象检测器获得的边界框，并应用一系列形态学操作和图像处理步骤来获得掩模。

使用角色蒙版将人物从场景中抬起

从图中识别并提取人物后，下一步是通过掩模将主体与背景分开。

理论上来说，这一步完成后，被遮蔽的部分应该只有人物，没有任何背景。

然而，如果手绘图中人物的手、脚、身体等部位外观过于不规则，Mask R-CNN 预测的 mask 往往无法准确捕捉整个人物。

比如下图中的倒三角形的小人，其中黄色三角形代表身体，横条代表手臂。

Mask R-CNN的结果显然很粗糙，要么“砍掉”手臂，要么加粗大腿。

为此，Meta 的研究人员开发了一种基于经典图像处理的方法，该方法对这些不同形状的身体部位更加稳健。

研究人员首先用预测的人形边界框裁剪图像，然后应用自适应阈值和形态学操作，从框的边缘进行洪水填充，假设掩模是未被洪水填充触及的最大多边形。

虽然此方法可以准确地提取适合动画的蒙版，但当背景杂乱或纸张有皱纹、断裂或阴影时，它效果不佳。

使用“绑定”准备动画

孩子们画的角色有着多种多样的体型，远远超出了人工智能见过的传统人类头部、手臂、腿和躯干形状。

例如，孩子画的“简笔画”没有躯干ip形象，手臂和腿直接与头部相连。

因此，研究人员需要一种新的方法来应对这种形态“变异”。

Meta使用AlphaPose（一种针对人体姿势检测训练的模型）来识别人身上的关键点，可用于识别臀部、肩膀、肘部、膝盖、手腕和脚踝。

由于 AlphaPose 是根据真人图像进行训练的，为了使其能够检测儿童绘画中的姿势，必须对其进行重新训练以处理儿童绘画中的奇怪姿势。

为此个人卡通形象生成器，Meta研究人员首先在内部收集了一波儿童绘画的数据。

然后，研究人员使用在这个初始数据集上训练的姿势检测器创建了一个内部工具，并允许父母上传孩子的图画，研究人员可以使用这些图画进行额外的训练。

随着数据越来越多，模型反复训练，最终达到更高的准确率。

3D 动作捕捉制作 2D 角色动画

一旦有了蒙版和联合预测，您就拥有了制作动画所需的一切。

Meta 首先使用提取的蒙版生成网格，该网格使用原始图形进行纹理化。

使用预测的关节位置，研究人员创建了角色的骨架，通过旋转骨骼并使用新的关节位置来生成各种姿势。

在制作动画之前，从绘图中创建一个需要操作的角色。

然后，将一帧运动捕捉数据投影到 2D 平面上并更改角色姿势。 从正面（顶行）、侧面（中行）和扭曲透视（底部）投影运动捕捉数据是有效的。

最后，可以通过让角色采取一系列连续的姿势来创建动画。

Meta AI 可以根据关节预测的置信度来选择不同的动作：在手臂和腿都预测正确的情况下，可以无缝地制作动画。

但如果躯干没有出现在图中，它的联合置信度值就会很低，此时人工智能将不得不中止任务，要求用户纠正预测，或者声明动画“可以”不要这样做”。

利用 AI 创建更复杂的动画

人工智能已成为“创造力”的强大工具，赋予艺术家权力并激发新的表达形式。 Meta 的动画工具可以鼓励人们尝试绘画并引导他们走向更多方向。

也许有一天，人工智能可以绘制一幅复杂的图画，然后使用多个角色交互和背景元素立即创建详细的动画。

借助增强现实眼镜个人卡通形象生成器，这些动画角色甚至可以在现实世界中栩栩如生吉祥物设计，与孩子们跳舞或交谈。

也许，人工智能的想象力和人类一样是无限的。

参考：