3d虚拟人物制作-AI数字人：AI数字人制作初探及相关开源介绍

文章目录

介绍

数码人这个名字听起来奇怪又尴尬，但其实大家都听说过它最初的原型——NPC。 玩过游戏的人都应该知道，它是玩家在游戏中操纵的游戏角色，是能够与玩家互动的角色。 从广义上讲，可以说由计算机模拟出具有人形的虚拟人，称为数字人。 总的来说，数字人集人物图像模拟、人物语音克隆、自然语言处理、知识图谱分析等为一体，采用世界领先的人工智能技术实现可视化数字虚拟人。 通过角色形象的再现和模拟、角色声音的克隆和语音合成3d虚拟人物制作，他可以随时随地与真人进行精准的互动对话。

通俗地说，所谓数字人本质上是AI的进化。 它是通过计算机图形技术虚拟产生的人形图像，没有真实的身体。 数字人的身体存在于计算设备（如电脑、手机）中，并通过显示设备呈现给人类通过眼睛看到。 它具有人类的外貌和行为模式。 数字人具有人体的外观和结构，其表现出的行为模式与人类相似。 数字人的图像通常显示某种人类活动。

下面收集了几个开源数字人项目，整理了一下，大家一起学习一下卡通形象，希望对大家有所帮助。

1.悲伤语者

它可以通过音频驱动图像，生成逼真的3D面部动画，让角色能够“说话”。

而且，非常方便，它可以直接集成到 stable-diffusion-webui 中

一张图片+音频=>视频，我找了2张图片，一段音频，跑了2次。 结果还不错，口型几乎一致。

2.Wav2Lip

原视频+音频=>新视频，这是2020年开始的项目，已经有一段时间没有更新了，但是有需要的话还是值得一看的。

3. 薄板样条运动模型

使用视频，驱动静态图片。 “让任何图片说话，让任何文字说话”。

视频通讯交互的另一个例子

4. 实时图像动画

正如项目名称所示，它支持静态图像的实时驱动和视频/视频流的生成。 没错，实时摄像头支持！

总而言之，“你可以让任何图片表达任何内容”，“你可以让任何人表达任何内容”。

5. 文字转语音

文本生成音频。 相对比较成熟，像讯飞、微软，很多人都在用他们的产品。

6. 语言模型

太多了，从国内到国外，太多了，有人说这是一场千款大战。 ChatGPT、GPT4、GPT5、文心、Spark、元、盘古。 有了语言模型，人物就有了自己的“精神世界”，可以训练出特定的人物语言风格。 你可以和数字人进行交流，然后用文字生成相应的音频3d虚拟人物制作，再用音频驱动图片生成人物表情和姿势，甚至动作卡通形象，最终实现视频通信。 例如，你可以在今日头条看到24小时数字人新闻直播：

因为这个不需要交互，基本上可以实现信息采集+缓冲队列+图片音频驱动。 为了实现实时交互效果，例如视频聊天机器人，需要生成并计算角色的表情甚至动作。 延迟是必不可少的，而且在目前的技术条件下，需要消耗巨大的算力，普通公司或个人无法承受。 除非有牛X的创新技术。所以，你会看到，包括不久前的角色AI，也有不少角色，但都只能响应文字内容……

其他

参考：