卡通人物画画教程-随意涂鸦，一键变成动画！ Meta重振火柴人宇宙，可跑、可跳、可添加背景

小时候，小编最喜欢的就是美术课。

给我一盒24色水彩笔，我可以坐一下午不起来。

因为，对于每个人来说，从小到大，在白纸上涂鸦、创作、玩耍的感觉是非常美妙的。

可以理解为情感的宣泄，也可以充满对未来的想象。

今天，Meta推出了全新的AI系统，可以将我们在纸上绘制的涂鸦变成生动的动画。

当我还是个孩子的时候，我梦想着我笔下的人物可以从纸上跳出来并移动表情包设计，Meta帮助我们实现了这个美妙的幻想。

论文地址：

18万份！数据集

而且实现过程并没有那么复杂。

Meta拥有18万张日常图画的数据集和一整套动画代码。 该数据集也是世界上第一个以涂鸦为艺术作品的注释数据集。

这里有一个概念需要理解。

诚然，人们通过绘画来表达自己，但是绘画和绘画之间是有区别的。 对于人工智能来说，重要的是学习。 如果没有明确的意思表达，AI学习就会更加困难。

这就是为什么会有如此庞大的18万张涂鸦数据集。 有了这样的数据集，研究人员就可以开发工具来更轻松、更准确地分析不同涂鸦的内容。

事实上，早在2021年底，Meta就发布了他们开发的动画图片演示，并邀请用户在网络上上传自己的图片。

然后，用户会收到用户上传的画作中的角色的简短动画。

据统计，当时约有320万人访问该网站，上传了约670万张图片。 然后，出于质量和隐私问题，Meta 的人工审核员会对这些图像进行筛选。

当时卡通人物画画教程，Meta 只能让涂鸦中的人物做一组简单的动作，用户反映希望推出更多功能。 比如包含多个角色的涂鸦作品也可以做成动画，或者让涂鸦角色做一些比较难的动作，或者眨眼睛什么的。

而如下图所示，这些弹跳的 GIF 图就是 Meta 开源代码和数据集之后产品创造力和教育目的扩展的一个例子。

有了这些资源，研究人员就可以进一步补充分析这些涂鸦的方法，从而扩展原有的功能。

您甚至可以为小人仔添加背景卡通人物画画教程，使涂鸦在环境中跳舞。

能跑能跳，活得好好的

如上所述，涂鸦的形式所涉及的内容太过陌生，而且每个人的涂鸦都是独一无二的。

那么在这种情况下，如何训练模型就是问题的关键。

Meta表示，常见的方法有两种，第一种是使用带注释的画来训练新模型。 但这种方法的问题在于，带注释的绘图太少，人们可能只上传没有注释的涂鸦。 这样一来，训练神经网络的材料就没有那么多了。

第二种方式是通过合成的方式进行绘画，比如以素描的形式重画照片。 但这种方法也存在问题。

生成训练需要大量样本数据来学习，上述方法可能无法捕获绘画和照片之间的所有差异。 此外，使用这种方法生成学习数据可能无法捕捉到绘画特有的一些细节，例如纸张折痕、用橡皮擦擦除的线条、阴影等。

最终，Meta选择的方法是将整个任务进行拆分表情包设计，包括一系列子任务，人物检测，涂鸦分割，姿势预测，动画生成。

用户选择将涂鸦上传到系统后，可以选择边框的位置（确定范围）、确定角色关节的位置等，最后可以选择一个动作来生成动画。

甚至，还有很多动作可供选择，这取决于个人用户。

Meta 的系统结合了根据拍摄的照片训练的计算机视觉模型，并且由于涂鸦和照片之间的差异，Meta 进一步使用 180,000 张图像的数据集对模型进行微调。

有了这个数据集和生成动画的代码，Meta相信随意创作的绘画领域未来将会激励更多的创作者加入。

那么这个数据集是如何创建的呢？

与21年的项目类似，Meta构建数据集的方式仍然是由用户上传。

Meta在隐私方面做得很好。 人们可以选择上传图像+注释来进行Meta的研究。 同时，Meta对上传的信息非常谨慎，尽可能减少数据被滥用的可能性。

此外，对上传数据的筛选也非常重要。 因为这个项目的重点是将涂鸦变成动画，所以非涂鸦的图像必须被 Meta 的审稿人筛选掉。

更何况含有泄密、低俗文字的内容，一定要屏蔽掉。

每个人都是创造者

有了这样一个方便的工具，任何人都可以成为创意艺术家。

毕竟，能够看到自己笔下的人物动作栩栩如生，一时成为神笔马良，一定是一件很酷的事情！

参考：