人工智能垂直模型是什么-OpenAI CEO MIT访谈实录：体模型缩放很难，但垂直微调不是下一个趋势

“AI未来指南”栏目由腾讯新闻推出，邀请全球行业专家、企业家、投资人共同探讨人工智能领域的技术发展、商业模式、应用场景、伦理道德、版权纠纷等。

编者简介：

4月中旬，OpenAI CEO Sam Altman在麻省理工学院一场名为“Operation Imagination”的活动中提到“我们现在正在接近巨型模型时代的终结”，引发了AI行业的一系列讨论和争论。 怀疑。 这家在大型模型训练上最为成功的公司对模型规模的进一步否定，对于目前摩拳擦掌想要依靠参数量来大展拳脚的大公司来说，是一个打击。

但这句话奥特曼到底是什么意思呢？ 它的背景和背景是什么？ 因为第一场戏没有实际记录，之后的一个月里，奥特曼都专注于监督相关的讨论，没有再说话。 这个问题一直没有得到解答。

直到5月8日，主办方才姗姗来迟地发布了整个讨论视频。 我们在这里看到的是一个更完整的思维环节，一个苦苦挣扎的奥特曼：一方面卡通形象，他觉得模型规模由于成本和基础设施的原因，很难快速扩张；另一方面，他觉得模型规模很难快速扩张。 另一方面，他相信基础模型能力的增长。 效果比手动微调带来的变化要好。 因此，他对于垂直微调的发展基本上没有明确的想法和期望。

他认为模型大小不一定会带来最好的结果。 他认为模型能力是最重要的结果。 然而，当前能力的出现主要来自模型规模的现实在这里很沉重。 接下来应该做什么，是他以及所有有志于AI创业的创业者需要思考的难题。

丨明确重点

①参数大小不成比例地增加，我们正在接近这些巨大模型时代的结束。 我们需要有能力通过其他方式改进基础模型，但创建基础模型的投资金额可能远大于1亿美元。

②手动微调的规模相对于模型参数的规模增长缓慢，但随着模型越来越好，微调的需求变得越来越小，你可以在上下文中做越来越多的事情。 对于LLM模式的演变，他更看好范式转变。

③如何制定经营策略？ Sam认为，非常长期的、资本密集型的​​、困难的技术相关投资需要一次又一次地进行。 但他还没有弄清楚如何使用 OpenAI 这样的平台来建立一家新的、快速增长的、具有防御性的消费企业公司。

④ 对于“暂停AI开发6个月”的公开信，Sam表示，随着AI能力越来越强大，安全标准必须提高，但遗憾的是，这封信缺少了哪些地方需要暂停的技术细节。 。 此外，OpenAI 距离训练 GPT-5 还需要一段时间。

作者 | web3天空之城

编辑｜腾讯新闻 郝博阳

以下为对话全文

主持人：

Sam，我知道你正在努力控制全球范围内（由人工智能带来的）热点局势。 GPT-4和ChatGPT已经开始（点燃这把火）。 这次会议可能与其他许多会议略有不同。 在座的大多数人要么正在创办公司，要么正在计划基于 ChatGPT 触发生态系统创办公司。

萨姆：

我们是同一类人，我希望我能在那里。

主持人：

是的，我希望你也在这里。 他们正是你喜欢的那种人。 我知道这里（与会者）的部分使命是让世界变得更美好，同时也是在您创建的平台上继续发展。 显然，你是故意走到这一步的，你是帮助他们的最佳人选。 因此，我们将尽可能集中精力，帮助参加本次会议的 900 人尽可能创建成功的公司。

我想问的第一件事是，如果通用人工智能到来，我们现在正处于一个拐点。 人类的历史是AGI出现之前的一段历史，而从这里开始，显然是一段完全不同的历史。 所以在我看来，无论事情如何发展，你都会被载入史册。 你这样认为吗？

萨姆：

你说的“像这样”是什么意思？

主持人：

至于历史将如何描述这一时刻，这一时刻是这个领域（人工智能）的创新之年。

萨姆：

我希望这会成为历史书中的一页或一章，但我认为在接下来的数十亿年里将会发生许多令人难以置信的事情，而这只是其中的一小部分。 所以我认为还会有更多新的、更大的、更令人兴奋的机遇和挑战摆在我们面前。

主持人：

很多人问的一个问题是，在GPT的早期开源版本中，有很多方法可以利用源代码并将其变成垂直公司或相邻公司（所需的能力），例如通过联邦学习或类似的东西； 在这些公司未来的版本中，它可以从高度可调的闭源 API 开始。 您能否提供一些有关创办公司的快速建议，从一开始就需要做出哪些决定？ 从哪儿开始; 如何使其在任何特定的垂直用例中工作等。

萨姆：

你知道，我认为对于建立一家优秀的公司来说，保持不变的东西总是多于变化的东西。 许多人在面临向新平台的类似过渡时，认为仅仅因为他们正在使用新平台，这就会指导业务策略。 但没有什么比你创造用户喜爱的产品的责任更重要的了。 您需要非常了解您的用户，满足他们的需求，并考虑长期可持续的业务策略。 在平台转型期间，这实际上可能变得更加重要，而不是不那么重要。

回想一下 App Store 的推出，这可能是最近的一个例子，许多公司用非常轻量级的东西构建了具有掠夺性机制的产品，但这并不是一个持久的解决方案。 这些公司经历了令人难以置信的飞速兴衰。 那些真正遵循正常步骤建立伟大企业的公司在过去 15 年中持续增长。 所以你肯定想成为后者。

技术只是一个新的推动者，但作为一个公司，你需要做的是建立一个具有长期复合战略优势的伟大公司。

主持人：

我们先来说说基本的大模型。

回顾过去两年，最好的开始方法之一是采用现有的基础模型，添加一些层，然后针对垂直方向重新训练。

现在基础模型可能有万亿个参数，这个数字要大得多。 但无需重新培训即可操作它的能力也更加灵活。 我认为现在基础模型中有 50,000 个代币可用，对吧？

萨姆：

最大模型中大约有 32,000 个，基本模型中大约有 8,000 个。

主持人：

那么，未来基础模型将如何迭代？ 这应该很快就会推出。

山姆

我们仍在努力弄清楚开发人员在模型定制方面到底需要什么。 我们愿意在这里做很多事情，我们也把开发者当作我们的用户。 所以我们的目标是让开发者非常满意地弄清楚他们需要什么。

我们认为这将是一个微调的故事，我们一直在思考如何以不同的方式提供这项服务。

然而，人们似乎更喜欢使用基本模型来做一些真正很棒的事情，因此我们正在积极重新考虑优先考虑哪些自定义。

因为随着模型越来越好，用户的需求似乎也在不断改进。 随着模型越来越好，微调的需求变得越来越小，你可以结合上下文做越来越多的事情。

主持人：

当你说微调时，你的意思是改变参数权重。

萨姆：

是的。 我们肯定会在 GPT 中提供一些修改参数权重的功能，但就目前而言，调整参数权重的使用频率可能会低于提供非常便宜的上下文功能。 如果我们能解决（可输入）100 如果有 10,000 个代币的问题。

主持人：

让我们更深入地研究一下这一点。

不管具体细节如何，趋势似乎是，随着模型变得越来越大，从 1 万亿到 10 万亿参数，提示项目的能力规模和代币规模的数量与模型参数的大小不成比例地增长。 （与模型尺寸不成比例），这听起来对吗？

萨姆：

从参数规模的角度来看，不成比例的增长，是的。 但我认为我们现在正接近这些巨型模型时代的结束。 我们将通过其他方式改进它们。 我想说的是，它们的增长与模型能力成正比。

主持人：

至于创建基础模型的投资，在训练过程中可能会达到5000万到1亿美元的规模？

萨姆：

我们没有透露具体金额，但实际上远不止于此。

主持人：

随着时间的推移，投资不断增加。 好吧，试图从头开始的人们需要迎头赶上，而且他们可能还有巨大的差距需要迎头赶上。

萨姆：

也许我们都很愚蠢，错过了一个重要的想法，也许这一切并不像我们想象的那么困难或昂贵，而且可能会有一种全新的范式取代我们。

这对世界来说是一件好事，尽管对我们来说可能不是一件好事。 （观众笑）

主持人：

让我听听您对这些事情的想法。

保罗·格雷厄姆说你是他见过的最伟大的商业战略家。 这里的所有这些人都在努力制定他们的业务战略，准确地思考要构建什么以及在哪里构建。

因此，我一直在问您一些或多或少与基于 GPT-4、ChatGPT 和即将推出的 GPT-5 的垂直用例相关的问题。 然而，存在许多相邻的业务模型，例如联邦学习、数据调理或部署等。

如果你只投资这个生态系统中的一种类型的公司，这些也是有趣的商业模式。 您对回报率更高、业务模式增长更快的领域有何看法？

萨姆：

我不认为保罗·格雷厄姆 PG 真的这么说过。 我知道他也说过类似的话，但无论如何，我认为这不是真的。

我觉得有些人是令人难以置信的商业战略家，但我不是其中之一。 所以我犹豫是否要在这里提供建议。

我知道如何制定战略的唯一方法是一遍又一遍地进行长期、资本密集型、困难的技术相关投资。 我什至不认为我特别擅长。 我只是觉得没有很多人尝试这些，所以竞争很少，而且我认为这个策略没有太多竞争。 （观众笑）

但当谈到利用 OpenAI 这样的平台来建立一家新的、快速增长的、具有防御能力的消费企业公司时，我几乎一无所知。 我知道所有的理论，但不知道实践。 我会寻找做过这些事情的人并向他们寻求实用的建议。

主持人：

好的，谢谢你的建议。

我有一些关于底层技术平台的问题。

从参数数量不到 100 万开始，我就一直在自己构建神经网络。 事实上卡通形象，它们在许多业务应用程序中非常有用。

然后我看着它们增长到 10 亿个参数，GPT-2 大约有 15 亿个参数，然后是 GPT-3人工智能垂直模型是什么，现在是 GPT-4。

我们不知道当前的参数数量，但我认为 GPT-3 中有 1250 亿个。 与 GPT-2 相比，它非常不同，GPT-4 也非常不同。

听Nvidia的预测，参数数量似乎呈上升趋势人工智能垂直模型是什么，从1万亿到10万亿，然后Nvidia表示未来十年将达到10吉比特。 你认为这个数字正确吗？

萨姆：