游戏ai的设计特点是什么-网易游戏用19个案例告诉你如何利用AI技术赋能游戏

4月27日，2021年N.Game网易游戏开发者峰会（以下简称峰会）在线上举行。

在第二天的技术论坛上，网易互动AI实验室技术总监林跃发表了题为《当游戏遇见AI》的演讲，重点讨论了AI在美术资源制作、玩家体验优化、游戏等方面的支持。运营营销等方面的探索成果进行了分享。

为了提高阅读体验，内容有所删减。 以下为手游组织的演讲全文：

大家好，我是网易互娱AI实验室的林跃。 我很荣幸与您分享我们的一些成就。 今天我分享的主题是“当游戏遇见AI”，我将介绍网易互娱AI实验室如何利用AI技术赋能游戏开发和运营。

一、AI与游戏的起源

事实上，AI和游戏一直密不可分，人类在这方面也做了很多探索。

早在1952年，科学家就尝试利用AI技术让机器打败人类。 最近特别出名的几款机器人包括AlphaGo和AlphaZero，它们搅动了围棋界的风潮；

这些机器人的最终目标是击败职业游戏玩家，从而证明人工智能的决策和计算能力。

除了游戏AI方向之外，人们还发现，通过2D、3D视觉技术、语音处理、自然语言处理等AI技术的运用，可以彻底优化玩家的游戏体验，这也将是更强大的人工智能技术。 价值所在。

自成立以来，虎鱼AI实验室一直致力于游戏AI赋能与技术落地。 这里列出的也是我们在游戏领域应用的一些想法和见解。

从美术资源制作到游戏体验优化再到运营营销，AI可以赋能游戏各个领域，帮助降低开发成本，大幅提升制作质量和效率。 我们希望通过领先的AI技术推动行业技术创新，为游戏行业带来新的突破点。

2、AI赋能游戏降低研发成本

网易互娱AI实验室成立时的主要目标是降低游戏开发成本。 考虑到现阶段游戏开发成本较高游戏ai的设计特点是什么，我们在降低成本方面做了很多尝试和探索。 下面将为大家介绍一些具体的实际场景，同时也会针对一些固定的场景做简单的技术介绍。

(1)语音驱动嘴巴动画技术

首先，我们这里介绍的是语音驱动的嘴巴动画技术。

游戏的内容对于角色设计来说非常重要，这就需要大量的剧情动画来完善游戏角色的角色设计。 为了让角色栩栩如生，游戏公司需要为角色录制大量的配音演员对话。 当游戏角色读到这些对话时，策划者也非常希望这些角色能够拥有更加生动的面部表情和正确的嘴型。

然而，制作嘴型和面部表情的成本非常高。 目前，AI技术已经可以根据声音生成相应的表情和嘴型。 这大大提高了美术动画制作效率，降低了制作成本。 目前该技术已在多款网易游戏中实现，如《梦幻西游3D版》、《时空画行者》和《神都夜游记》等。

目前这项技术非常强大，支持不同的引擎，比如我们自主研发的Messiah、NeoX引擎以及其他商业引擎。 已经能够支持多种语言，包括中文、英文、日文、韩文等。无论是说话还是唱歌，这项技术都可以完美对齐嘴型并生成相应的表情。

当有些游戏还没有对应语音文字的时候，我们也可以利用该技术来生成对应的嘴巴动画。 针对不同的游戏风格和类型，如2D、3D、二维、写实、古风等，生成的嘴型和表情都有较好的效果。

这里简单介绍一下其背后的技术，整个流程是这样的。

首先，我们需要制作一些嘴巴模板。 当然，不同语言使用的模板会有一些差异。 在实际操作过程中，我们需要同时输入语音和对应的文字，利用语音识别技术按帧对齐，不同的帧会对齐不同的音素。 根据对齐结果，我们使用模板融合权重生成算法计算每一帧对应的嘴巴模板，最终输出整个嘴巴动画帧。

我们之前也提到过，无法直接提供语音文本。 这时，利用CTC与边界检测算法相结合等语音识别技术，也可以达到自动生成嘴形的效果。

(2) 程式化头部模型生成

要介绍的第二项技术是程式化头部模型生成。

目前，游戏领域的《阿凡达》除了写实风格外，还有日本漫画、美国漫画、科幻、唯美等多种不同的游戏风格。 与真实模型相比，此类参考的头部模型较少，因此对于艺术来说，制作头部模型的成本会相对较高，并且周期会延长，进程会较慢。

针对这个问题，我们开发了一种生成风格化头部模型的算法。 工作室只需要提供少量符合游戏风格的头部模型，就可以批量生成相同风格的头部网格。

下面显示了两个示例。

第一个例子是与《猎王》的合作。 左上角是制作者提供给我们的游戏角色资源。 在实际应用过程中，我们只需要输入真实图像即可生成符合游戏风格的头部模型。 当然，制作者还需要进行微调。

第二个例子可能会更清楚地演示这种技术。 这是与游戏《国土安全》的合作。 这款游戏的脸部模型风格很有特点。 基于这些游戏角色资源，算法可以做出相应的效果。 整个头部模型生成后，可以直接放入游戏中，生成符合游戏风格的不同NPC资源。

这里也简单介绍一下整个过程。 首先输入一张图片，我们需要将其作为模板进行预处理表情包设计，然后进行人脸检测和人脸关键点对齐，然后进行3D人脸重建。

由于人脸重建的结果很可能与生产者提供的头部模型的拓扑不同，因此我们需要进行另一个步骤，称为拓扑对齐。

下一步非常重要，称为形状风格化。 即根据制作者提供的人脸模型进行风格化，改变3D模型的风格，生成相应的纹理风格化图，最后将资源输出给游戏方。

这里显示的是拓扑对齐的这一步。

重建的脸部和游戏制作人提供的脸部样式就是下面左图的两张图。 我们需要使用网格变形方案来拓扑对齐这两个拓扑完全不同的人脸模型。

然后根据一些特征规则和部件组合的方式，首先分解五官，然后按照五官的不同顺序进行组合，最后添加头骨，使生成的图像符合游戏风格。

(3)面部动作捕捉技术

近年来，用户也喜欢用智能手机直接捕捉自己的表情，并使用一些APP制作虚拟人物表情的动画。 针对此，网易互娱AI实验室研发了面部动作捕捉技术。

该技术不仅可以用于离线表情资源的制作，还可以用于实时捕捉游戏中的玩家表情，例如制作玩家专属的表情动画，或者制作UGC内容。

让我们看一个例子。

正如您所看到的，面部动作捕捉技术在捕捉这些微妙的表情时非常准确。 该技术还与浙江卫视合作，为他们的跨年晚会虚拟形象“万一”提供技术支持。 可以看到，技术捕捉到的整个嘴型和脸部都非常自然。

当然，这项技术背后还有很多细节。 首先我们做了一个属于网易互娱AI实验室的头部数据库，里面包含了高精度面部扫描仪获取的500个不同的头部数据。 然后，通过组织布线、重新拓扑以及组合不同的表达式来构建我们自己的数据库。

以下是表达式捕获的实际流程。

由于求解表情系数是一个非线性优化问题，其效果很大程度上取决于面部特征点。 为了获得更好的效果，我们开发了轻量、高精度的面部关键点跟踪系统来定位细节表情。 对于眨眼检测、凝视跟踪和舌头检测，我们还训练了不同的网络以进行精确跟踪和捕获。

(4)动作捕捉与去噪技术

传统动作捕捉中有很多手动环节。 当我们完成整个动作捕捉数据后，后期需要大量的美术外包修正，因为得到的结果可能不是很连贯，会有抖动。

事实上，人工智能技术可以优化大量的艺术外包工作。 我们在今年的 SIGGRAPH 上发表了一篇关于动作捕捉的论文，有兴趣的可以看一下。

该算法可以针对不同的动作捕捉效果进行优化。 当存在一定量的噪声时，我们的算法明显优于现有算法。 这是两个比较示例。 目前已有的算法经过优化，仍然存在脚步晃动的情况，但是我们的算法表现出了非常好的连贯性。

(5) 视频动作捕捉

下一个引入的技术称为视频动作捕捉。 因为前面提到，传统的硬件动作捕捉需要非常大的拍摄空间、很多高速摄像机以及演员来表演。 再加上复杂的后处理，整个周期会很长，成本也会很高。

但通过运动传输技术卡通形象，即使是普通相机拍摄的RGB视频也可以用来捕捉运动。 该算法可以直接从视频中提取动作序列，然后制作者可以直接将动作序列放入相应的游戏角色中。 中间。 玩家还可以创造自己喜欢的动作，比如胜利、庆祝动作等。

该技术还可用于营销输出。 这里我们以《天下3》的舞蹈视频效果为例。 可以看出，通过一个非常简单的RGB视频，就可以分析整个动作序列并将其植入到游戏角色中。

整个过程就是这样一个顺序。

首先我们需要对第一帧进行人体检测，也就是Detection过程，然后我们需要定位人体的2D关键点。 因为在第一帧中，我们已经通过Detection检测并定位了人的位置，而在后面的帧中，我们可以直接使用跟踪的方法来跟踪。

经过2D Pose Estimation之后，因为是RGB视频，我们最终需要的是3D结果，所以会有一个3D Pose Estimation的过程来得到3D点。

因为我们以帧为单位获取结果，帧之间的信息可能没有被充分利用，会出现一些抖动，所以会有一个Refinement过程来平滑视频运动。

然后，将3D点Reprojection与2D点位置进行比较，需要一个后处理算法，这是更关注艺术的，比如重心、脚步、臀部等，自动校正多个细节。

(6) 自动插帧

下面描述的技术称为自动帧插入。

一个二维游戏会包含大量的动态图形，每个动态图形都需要美术师一帧一帧地手工制作。 为了提高艺术的速度，我们开发了一个工具。

事实证明，艺术家K制作的1秒30帧的动画需要很长时间。 现在通过这个算法，我们只需要艺术家K的第一帧和最后一帧，中间的其他帧就可以通过算法直接插入帧中，达到提高效率的目的。

比如展示的两幅动画，左边其实是美术师K的效果，右边是使用算法的效果，即美术只提供了第一帧和最后一帧，剩下的就是由算法自动完成。 可以看出，它们的效果并没有太大的区别。

(7)资源超额认购

下一个技术是资源超分。

事实上，国内外很多游戏公司都会探索和尝试这个话题，因为对于游戏公司来说，游戏的质量也需要随着时间的推移而提高。 对于过去的游戏纹理资源，游戏公司需要升级。

这里介绍一些国外已经公关过的特效，比如《重返德军总部》、《末日战士》等。 他们都利用这项技术来快速重现资源，提高玩家的游戏体验。

然后我们还和《天下3》进行了合作，通过对旧纹理资源的资源超分辨率和去噪处理，对游戏资源的纹理进行了升级。 可以看到，通过使用该算法，游戏纹理的细腻度得到了很大的提升。 整个过程完全由算法实现，不需要艺术家的参与。

(8)纹理变换

接下来介绍的技术与纹理变换相关。

现在有很多游戏都是通过卖衣服或者武器皮肤来赚钱的。 而且很多企划对于新服装本身都有很棒的想法，但是美工不可能将企划的每一个想法都实现，然后比较并选出最好的放到游戏中供玩家购买，因为这是非常昂贵。

针对这种情况，我们设计了一种算法，可以根据真实服装的图片生成纹理，然后将其放入3D模型中，以便规划可以非常快速直观地看到最终效果。

武器皮肤也是如此。 您可以通过输入您想要的新武器皮肤的总体配色方案图片来快速生成预览。 根据这样的效果图，制作团队可以更高效地做出决策。

3、AI赋能游戏优化玩家体验

除了第一部分介绍的降低开发成本的探索和尝试外，我们也在思考第二个问题，如何利用AI技术给玩家带来全新的游戏体验？

（一）优化匹配机制

常规匹配基本都是根据战力进行匹配，但我们发现除了战力平衡之外，一些社交目标匹配也会给游戏带来更好的效果。 比如，之前不认识的玩家，玩了几局之后，可能会组队或者加好友，然后继续玩，这也会对整个游戏产生积极的影响。

所以在匹配算法上，我们也做了很多优化尝试，加入了很多社交目标。 在实际应用过程中，我们发现这些已经考虑到的因素对于玩家在游戏中的社交积累有着很大的积极影响。

(2)自动捏脸

现在很多游戏都有捏脸系统，并且已经成为很多游戏的标配功能，尤其是MMORPG。 在捏脸的过程中，有的玩家想把角色捏成自己的样子，有的玩家想把角色捏成某个偶像的样子。 不过，有些玩家可能不擅长这样做，所以我们设计了一种算法来自动生成捏脸效果。

这时，玩家只需要上传自己或者某个偶像的图片，算法就会直接找到最优的捏脸参数，并在游戏中一键生成。 这项技术也已经实现，并在《一梦江湖》等游戏中得到应用。

(3)语言交互功能

语音交互的功能在我们的现实生活中是很常见的，我们也和很多工作室实现了一些技术在语音交互和控制方面的实现和应用。

以下是三个例子。

第一个例子是《明日之后》，主要讲述人与宠物之间的简单交流和互动。

第二个例子是《哈利·波特：魔法觉醒》中飞行课的例子。 在游戏中的这个“飞行课”中，要求玩家背诵指定的咒语，系统会判断玩家背诵的咒语是否正确。

这是一个更有趣的例子。 我们为Mobile City Alpha做了语音唤醒和语音匹配功能。 玩家可以通过语音控制释放技能，并且控制技能的声音是完全定制和匹配的。

也就是说，玩家想用什么语音命令来驱动游戏角色是可以完全定制的。 实际操作时，玩家只需喊出一声，系统就会自动识别命令并释放技能。

在识别过程中，系统可以判断声音的来源。 即使说出命令，但不是输入命令的玩家的声音，系统也不会做出反应。 我们也在INTERSPEECH 2020上发表了这项技术，如果您有兴趣，可以查看一下。

(4) 基于音乐的舞蹈生成

接下来要介绍的是自动生成舞蹈的功能。 因为有些二次元内容很受欢迎，所以游戏方也会希望有这样的功能用于游戏资源的输出，并提供这样的UGC输出渠道。 针对这一需求，我们开发了根据音乐生成舞蹈的功能，相关技术也在今年的SIGGRAPH上发表。

我们可以看两个不同的例子。 首先，这是根据英文歌曲生成的舞蹈，可以看出节奏点非常准确。

除了英文歌曲之外，这项技术还可以实现中文歌曲的效果。 针对不同类型的音乐，也会呈现出不同的舞蹈效果。

目前该技术已应用于《黑潮之上》，生成游戏中所需的舞蹈资源。 您只需输入一段音乐，即可生成相应的角色舞蹈。

(5) 文本生成

另外，我们还使用了很多NLP相关技术与游戏工作室合作，为他们的游戏内功能提供技术支持，比如生成对联、自动写诗、风格化昵称推荐等，都是基于NLP技术支持的。

(6)语音合成

语音合成也是我们一直在探索并尝试实现的一项技术。 通过深度学习方案，我们可以达到更好的语音合成效果。

可以看《决战！》 以《平安京》的剧情编辑器为例，这整个部分是合成的，包括编辑器的所有音色，玩家可以选择独立编辑剧情。

同时，在系统提示方面，也可以通过该技术直接实时生成。 这里我们找了一个吃鸡的视频，然后在里面做了一些简单的配音，大家可以看一下。

这里的数字基本上都是动态的，整个语音都是实时生成的。

我们一直希望用最少的音频数据来产生更好质量的合成效果。 INTERSPEECH 2020上也发表了一些相关技术，有兴趣的可以看一下。 主要方法是对未标记的非并行数据进行预训练游戏ai的设计特点是什么，使其整体合成效果更好。

(7) 音色转换

音色转换也是一个热门的研究方向，在狼人杀游戏中很有前景。 试想一下，当你在玩狼人游戏时，可以用柯南的声音来玩，是不是会大大增加游戏的乐趣呢？

这里可以看到一个例子，就是原始声音和目标声音之间的过渡效果。 可见，这项技术能够更好地保留说话者的情感和内容。

(8)平衡测试

在游戏领域，我们基于强化学习做了很多不同的尝试和应用，包括平衡性测试。

比如赛车游戏，在规划设计时，会有很多不同的车辆参数和不同的赛道，规划者也想知道车辆在这些赛道上的实际表现如何。 通过AI技术，可以快速生成轨道和车辆之间不同的组合效果。

另一个例子是纸牌游戏。 当不清楚修改数值后会对整个游戏的平衡性产生多大影响时，也可以利用该技术进行模拟测试，将数据反馈给策划者。

值得一提的是，我们在参加Google Football AI竞赛时，发现了一些有趣的内容。 整个游戏过程中没有玩家数据可供学习，但人工智能能够自动学习许多有趣的决策。

比如《非凡》，这款游戏中没有“非凡”按钮，但AI会通过自动学习“左右晃动”来摆脱防守者。 AI还可以学习“自下而上传”等技术。 甚至可以学习反击，比如“单手球”。 防守时，AI可以主动铲球等，其实就是算法自动学习的结果。

4. AI与游戏运营营销

最后是AI在运营和营销方面的尝试和应用。

(1)游戏环境监控平台

我们会利用AI技术来检测一些图像文字和语音内容，净化整个游戏环境，防止玩家上传一些不合规的图片或者一些影响玩家体验的语音内容。

这将涉及图像识别、物体检测、人脸检测和识别、OCR、文本分类和语音识别等各种面向人工智能的技术。

（2）利用AI换脸进行营销活动

我们还与很多工作室合作了AI换脸技术，并利用该技术开展营销活动。 例如，玩家可以上传照片来替换海报中的脸部，以获得自己的游戏形象，这大大提高了玩家的积极性和参与度。

（三）利用AI综合技术打击作弊行为

最后，我们将与工作室、游戏程序和游戏运营部门合作，利用异常行为检测和视觉技术来监控和打击游戏中的作弊和作弊行为，确保良好的整体游戏环境。

以上就是我今天给大家分享的网易互娱AI实验室在AI赋能游戏这段时间的尝试和思考。 也希望以后有更多的成果与大家分享，谢谢。

—— 点击下方公众号名片立即关注我们——

– – – – 结尾 – – – –

行业通讯/行业突发新闻/商务合作：

请添加微信cxx2744或yukochan97

加入“手游那啥”微信交流群：

请加入微信curab_b或yukochan97群主

内容贡献：

请发电子邮件