人工智能垂直模型是什么-对话熵健科技：垂直领域数据是大模型应用的关键 | 年度人工智能对话

大型语言模型就像一个强大的无损压缩器

文|杨军

编辑|施雅琼

封面来源｜公司官方

掌握人工智能，就意味着掌握新时代的生产力密码。

随着ChatGPT的爆发式普及，大型模型风靡全球，中国各行业也激发了人工智能应用的新热情。

因此，此时此刻，36氪数字时氪团队正式推出“年度AI对话”栏目，希望与国内在大模型领域有深入研究的专业人士共同探讨热点话题，还原AI新技术通过一系列报告功能和应用潜力。

本期我们邀请了熵简科技CEO费斌杰。

未来大型模型赛道将如何发展？ 大模型会对财务管理等具有独特属性的行业产生什么影响？ 对于细分行业的数字服务商来说，大模型会给他们带来什么帮助？ 带着这些问题，我们采访了熵简科技CEO费斌杰。

熵健科技专注于为中国理财提供智能投研辅助决策工具，深度参与理财机构数字化进程。 熵健科技创始人费斌杰曾服务过中金、中信、博时、华夏、广发、建成投资、国信等大客户，结合其多年在理财行业的实践经验和近期的经验，与我们进行了探讨。研究。 上面的关键主题。

熵简科技CEO费斌杰认为，大语言模型就像一个强大的无损压缩器； 大语言模型赛道已进入追逐战。 如果年底前不能打造出像样的车型，就有可能被淘汰。 如今，对于许多从事利基行业的数字公司来说，既是机遇，也是挑战。

以下内容为采访原文，由数字时代编辑整理：

大语言模型就像一个强大的无损压缩器人工智能垂直模型是什么，大模型赛道已经是一场追逐战

以ChatGPT为代表的大型语言模型现在非常流行。 费斌杰认为，大型语言模型就像一个强大的无损压缩器； 未来，大型模型厂商既有闭源的，也有开源的。

数字时代：您为什么认为“大型语言模型就像一个强大的无损压缩器”？

费斌杰：Open AI对于AGI未来的发展有两个预测。 首先，收集尽可能多的有效信息。 目前，您可以看到GPT-3收集文本数据，GPT-4收集文本加图像数据。 GPT-5 收集文本、图像和视频数据。

其次，制作性能更强大的无损压缩器来压缩训练集并获得泛化能力。 有多种方法可以制造更好的无损压缩器，扩大模型就是其中之一。 更好的算法架构； 借用外部工具，例如插件； 综合数据等都是不同的方法。

我个人认为这和做分析报告是一样的逻辑。 写报告也分为两个步骤。 第一步是读取数据越来越粗，第二步是读取数据越来越细。 首先，尝试阅读别人的报告，阅读别人的调查，与更多的专家交流，收集尽可能多的有效信息。

第二步是将数据压缩成30页的深度报告并得出摘要建议。 这是一个压缩过程。 无损压缩的压缩比越高，对知识的掌握就越深。

数字时代：开发者如何选择使用哪种大模型作为底层技术？

费彬杰：我的判断基于两条线。 第一行是每个人都会使用市场上最强大、最合规的开源模型。 第二条线是每个人都会尝试市场上性能最好的模型。 开源模型。

两条线可以平行存在。

我觉得未来的行业格局很可能是大家都有一堆模型，而不是大家都用同一个大模型。 虽然第一个大模型是Open AI带来的，但这是一个算法处理和工程化的问题。 算法是收敛的，工程上有很多细节可以克服。

例如，在移动互联网行业，有闭源的苹果和开源的安卓。 如果AGI是新一代操作系统，就会有闭源OpenAI和开源厂商。 大语言模型最强的业务逻辑就是创造一个数据黑洞，通过收集更多的数据变得更强。

如果有一个大型的开源模型并且每个人都在使用它，它的性能将会快速提升并赶上Open AI。 所以我觉得大语言模型赛道现在是一个非常紧张的状态，现在是一场追逐。 如果年底前不能拿出像样的车型，可能就会被淘汰，资本也未必允许这样的事情发生。 我认为制造更大型号的制造商之间的竞争将会非常激烈。

如果开源大语言模型能够出现，将惠及各行各业。 最终，两类公司将从中受益。 首先是各行业的终端方，其生产力将大幅提升。 第二类是使用开源大语言模型，结合具体行业场景和私有领域数据，帮助实现模型的公司。 这可能就是我们接下来要做的。 因为很多机构对我们提出了非常高的要求，所以我们现在在内部测试中发现开源模型的能力正在呈曲线上升。

开源模型可能更具有生命力和活力，而闭源模型的数据可能更准确，各有千秋。 我认为这两个领域都应该出现一家公司。

但现在制作大型模型确实是一件比较有挑战性的事情。

它正在对金融投资研究领域产生由浅入深的影响。

大模型目前对于每个行业来说都是一个不确定因素，但是在金融投资研究领域，大模型的出现带来了哪些影响呢？ 费斌杰告诉我们，人工智能在这一领域的应用可能会逐渐由浅入深地进展，目前对初级研究人员影响较大。

数字时代：您的客户对大型模型有何看法？

费斌杰：面对这种工具，资管机构的反应还是比较快的。 12月份，很多机构询问是否可以制作相应的工具。 我们一月份就开始微调模型，二月份做了产品的版本，然后优化迭代到四月份。 现在我们将陆续推出一些工具。

2月份，我们对一些专业投资问题测试了新创建的工具，但答案不一定正确。

比如钠离子电池技术已经比较成熟，那么锂电池厂商转产钠离子电池是否有困难呢？ 工具的回答是非常困难，因为两者的工艺路线完全不同。 但如果你问专业投资者，答案是非常困难，因为两者的流程高度相似。 钠离子电池只需进行20%-30%的改性即可生产。

这是因为当时机器本身还没有学习这部分语料或知识。 因此，每个行业内和私人领域的知识将显得尤为重要。

我们做了很多金融客户案例，积累了大量优质数据。 如果医疗公司拥有大量的医疗数据和病例数据，也可以开发类似的产品。 因此，私域数据量越大，质量越高，越有价值。

数字时代：大模型对金融投资研究领域有何影响？

费斌杰：说实话，这波大车型的出现，对各个行业都产生了巨大的影响。 因此，对投资行业影响很大。

我们目前的结论会对初级研究员领域产生很大的影响，因为比如我刚加入这个行业作为初级研究员时，我们的工作确实是收集信息并进行总结。 而且压缩质量不够好。 机器现在可以5分钟完成一篇文章，总结得很好，以后会越来越好。

投资方面，如果不加入大量微宣信息，只注重板块轮动，不少机构已经开始尝试使用新技术。 比如，消费电子的股价最近涨得很高，但业绩可能要到2季度才能见底。 那么历史上有没有出现过这种模式呢？ 如果你问一个特别资深的投资经理，她会说2016年Q2也出现过类似的情况，当时的投资策略会是一个很好的经验回测。 但目前，只有资深投资经理才会理解这些经验。 目前AI还没有识别出来。 可能需要有一定的业务知识来教AI如何识别这种模式，或者给它贴上标签，让AI学习。

未来，人工智能在这一领域的应用可能会逐渐从初级分析师到中级分析师，再到基金经理助理。

数字时代：熵健在大机型浪潮中看到了哪些机遇？ 你最近在做什么？

费斌杰：我们做了一个资产管理领域的小工具，主要是为大家做一个AI投资助手。 当前产品有一些有趣的小功能。 目前仍处于内测阶段，但也有一些亮点。 首先，这是一个面向管理的应用程序。 您可以在这里上传任何文章并立即输出文章的摘要。 一篇三万字文章的核心内容可以用一句话或一段话清晰地表述出来。 同时，您还可以上传音频片段，自动将其转换为文本并生成摘要。 比如上传3小时的会议录音，一句话就能输出核心内容。 这些功能都是由GPT 4来完成的。当然，很多与提示工程相关的事情也是在它里面完成的。 我们还会增加很多新的功能，放到这个平台上，把它变成一个类似于投资的AI助手。 这大概就是原型。

这个产品的难点主要在于几个方面。 首先，原来的模型不太理解投资研究领域的一些语料。 例如，GPT 4的原始模型不理解“东方数字和西方计算”，也不理解“930”等时间描述​​。 我们需要使用中文语料库数据来训练模型。 我们公司在2021年做了一个新的FinBert模型，通过Bert路线做了金融领域的预训练模型，所以当时标注了很多数据。 现在将这些标记的数据直接微调到GPT，我们使用其Fine-tune模型进行引用。

在训练阶段，每 1,000 个代币为 0.03 美元。 训练后，该模型托管在 OpenAI 上，用户可以以每 1,000 个代币 0.12 美元的成本调用它。 对于财务管理领域来说，有一个Fine-Tune的过程。 但Fine-tune之后还会有第二个困难。

目前每次交互的token长度是4096，但是如果做一篇很长的文章摘要，内容可能会变成40000个token。 这时候就需要用到递归总结的方法了。 这个算法可以递归地总结一本书。 这是一个非常重要的组成部分。 另外，还需要微软的一项关键技术，以及我们的FinBERT文本语义分割方法。 这两种技术的结合可以将超长的5万字文本切割成多个独立的小片段，在保证语义连贯性和真实性的基础上实现高质量的摘要生成和关键点提取，理论上可以处理无限长的文本。 这个算法也特别重要。 这些是该产品背后的基础知识。

我们现在抢一波速度，想尽快建立二级市场。 通过研究，我们发现，对于很多细分行业从事数字化的企业来说，既是机遇，也是挑战。

目前，该产品的使用有基本的入门费，就像数据套餐一样，按流量计费。

目前的 AGI 产品不适合免费。 因为每次调用GPT-4，做总结要花20块钱，但如果组织雇人去做，成本可能要200，所以他们还是愿意付钱。 在office中免费使用该功能对于微软来说并不是长久之计。 未来会成为VIP功能，并且可能会按次付费。 这是不可避免的，因为推理成本非常高。

目前的成本较之前的基础有所降低，但未来仍有可能降低。 我们使用 LoRA 方法并引入低秩矩阵进行旁路训练。 如果这个方法做得好，成本可能会降低一倍左右。 我们也在积极尝试其他方法，例如模型参数的8位甚至4位量化。 最重要的可能还是等待Open AI降价。

数字时代：2月份以来优化的主要问题有哪些？

费斌杰：第一个是通过微调，为模型配备金融领域的投资研究知识。 这是明确可行的，而且效果很好。 我认为每个行业都需要进行微调。 这可能要花一点钱，但这是必须要做的事情。

其次，当前模型有 4096 个代币的限制，这不能用于许多问题。 因此，需要使用一些额外的算法工具来实现，我们已经克服了这个问题。 三是类似问答。 对于一个比较复杂的问题，并不是简单调整接口那么简单。 这个内容中有一部分叫做问题放大。 例如，当我在问答系统中提出一个问题时，为了增加搜索结果的覆盖率，我们通过明确引入研究者的分析框架，将问题分解为5-10个子问题，并将这多个问题用于语义分析。 搜索，然后进一步整理结果，整合成答案。

对于问题放大，还可以使用ChatGPT来帮助完成。 所以这里会用到Prompt项目。 我现在正在快速学习这个行业，希望能更好地掌握ChatGPT能理解的语言。 这是几个关键的突破点。

另外，我们也思考过机器给出的答案不准确的情况。 目前最好的方式就是展示推理过程。 比如为什么结果是这样的，机器用什么方面来总结的？ 用户可以直接看到原始数据，这是最好的形式。 因此，应用于专业领域时，推理需要具有可解释性。 我们可以在设计相应的产品时让机器来解释推理过程。 总体思路是这样的。

数字时代：产品本地化部署过程中遇到哪些困难？

费斌杰：大多数组织都需要本地部署。 主要困难在于数据分类和合规性。 客户会认为一些关键数据不能离开内网，但一些可能不相关的数据可以用来提高产品效率。 如何合理地标记数据非常重要。 目前很多机构已经完成了分级工作，我们的工作将会顺利进行。 但对于尚未进行数据分类的机构来说，情况会更加复杂。

数字时代：下一步打算利用大模型技术做什么？

费彬杰：其实有不少。 目前我们已经积累了50多个深度化、场景化的需求吉祥物设计，正在慢慢实现产品化。 比如新股报告撰写、产业政策智能分析、基金评估等，每一个需求的背后，其实都是一个提示。 以前，开发成本可能大于利润，但现在随着大车型的出现，开发成本变得低很多。

我们也准备在不久的将来发布我们的新产品，并将开放一些试用配额。

数字时氪：大模型时代，熵简的愿景是什么？

费斌杰：我们希望帮助资产管理机构建设投研数据中心。 每个资产管理机构都希望获得超额收益。 超额收益往往来自于信息不对称的优势。 如果一个机构想要继续拥有这样的优势，就需要有效地组织和汇总信息并保留在内部。

事实上，资产管理机构现在拥有大量数据，但管理得不好。 我们用工具来帮助机构整理这些数据，我们正在努力把这些数据变成一个非常聪明的“投资经理”，帮助用户预测一些趋势并解决问题。 接下来，大中型机构内部投资研究知识库的建设将显得尤为重要。

数字时氪：在大模型时代，熵简相比竞争对手有哪些优势和劣势？

费斌杰：首先就知识图谱而言，2020年我们不会做，相当于及时止损。 后面我们会根据场景做更多的数据创建。 现在回想起来，这个策略应该是正确的。 对于我们这个行业来说，最大的优势就是结合场景的能力以及行业数据的积累。

其次，我们在这个领域还没有看到更大的竞争对手。 我们这个行业其实经历了很多轮的竞争。 早期可能是一些比较年轻的团队在高高在上地战斗，但现在这个行业基本上已经没有那股浪潮了。 第二波可能是甲方团队出来创业。 这些人做的事情很扎实，但是规模有限。 第三波浪潮的主要竞争对手是恒生电子等大型厂商。 与大厂家相比，我们的优势在于专注。 持续关注将带来人才密度、客户密度和数据密度方面的优势。 未来可能会有新的团队进入这个领域，比如兰州科技。 周明先生是人工智能领域的大师。 我们的优势在于业务理解和场景整合能力，因为我们在这个领域工作了6年，基本上接触过大大小小的各种场景。 GPT 4出来之后，让大家的AI能力达到了几乎同一水平。 那么这个时候我们就需要看看谁能够结合场景做出更好的产品。 未来可能会在这个层面做更多的工作。

但事实上，我们一直在竞争。 我始终认为这是良性竞争。 我们希望共同找到一个好的方向，共同打造市场。

其次人工智能垂直模型是什么，人才将是一个非常重要的因素，但实际上知识是可以转移的。 目前，我们团队中有一些人在这方面非常专业。 他们可以带领大家前进，大家在做产品的时候可以学到很多东西，知识也会通过这种方式逐渐传承下去。 。

但更重要的是跑得快并在竞争中领先。 我们的核心优势是速度。 对于初创公司来说，最重要的是速度。

大车型的出现将改变很多企业的商业模式

以ChatGPT为代表的大模产品已经被很多人日常工作和生活所使用，改变了很多人的工作和生活方式。

但对于企业来说，大模型是否会从根本上改变其生产和经营模式？ 费斌杰告诉我们，这种对话式交互界面将彻底改变很多企业的商业模式。 在中国工业中，大机型的重要性可以再提升一个数量级。

数字时代：大机型的出现会给商业模式带来怎样的变化？

费斌杰：对话式交互界面对于很多企业来说是商业模式的巨大改变。 搜索也是如此。 比如对于百度来说，接下来如何打造产品是影响最大的。

而且，中美两国可能会走两条路。 两国国情和营商环境的差异，会导致特定行业的发展不同。

但大型模型确实可以让我们做很多以前做不到的事情。 过去我们也想做智能投资推理。 当时的想法是通过知识图谱来做卡通形象，但是需要大量的人力，而且逻辑不断更新。 建成后，可能两年后就没用了。 但现在大型模型可以做到这一点。

另外，科大讯飞如果想提供个性化辅导，也可以用大模型来完成。 确实，很多行业一直想做的事情现在都可以做到了。

数字时代：大型模型对中国产业有何影响？

费斌杰：目前我的感觉是大模型的重要性还可以进一步提高。

其实我觉得大车型对于国家来说有更大的战略意义。 未来很有可能将大型模型提升到更专业的水平，我认为这将是有益的。

因为首先，对于各大互联网公司来说，推动这件事情是一件好事。 虽然现在肯定有浮躁的成分，但只要以后有能用的产品，那就是好事。 但国家牵头有一个优势，因为大模型无非就是三个东西，算法、算力和数据，而且这些因素都可以轻松解决。

尤其是在数据层面，目前中国互联网数据被大公司碎片化。 例如，百度无法从微信获取数据，阿里巴巴无法从抖音获取数据。 然而，模型训练需要大量数据。 虽然中文语料库很多，但如果分成几个部分，想要产生真正的大模型并不容易。 。 需要从更高的角度统筹更全面的数据训练大模型。

国家大数据局的成立是一个开始，但我认为最重要的是，这件事需要有一个角色来牵头。 这个时候，你可能会更多地依赖选择和筛选系统。 中国肯定不缺人才，因为Open AI团队中有很多美籍华人。 所以我们从国家层面选拔真正的人才很重要。

数字时代：您认为它会对社会产生什么影响？

费彬杰：最终社会所有的岗位都可能被机器取代。 难以替代的职位非常依赖于人与人之间的信任，比如销售、医生、律师等。在金融领域，投资经理需要信任关系。 高级投资经理可以因为各种标签或历史跟踪记录而受到信任。

还有一点是，目前在细分垂直领域，AI和人类的差距比较大，但不知道GPT 5发布后会发生什么。 例如，投资领域的资深人士可以根据一些细微的变化获得一些相似之处，并做出模糊的推论。 这是AI很难做到的事情。 此外，在科学研究领域也是如此。 一些全新的理论可以从非常小的实验误差中推导出来，比如相对论和量子论的出现。

目前AI确实很难做到这一步，但未来就很难说了。 比如视频中你放了一个气球，气球飞上了天空，这样的视频看多了，AI就会学到重力和浮力的物理原理。

所以这既是一件好事，也是一件坏事。 一方面，人类技术可能会得到很大的提高，另一方面，可能会出现供给明显过剩，引发一定的社会问题。 技术变革可能大于社会生产力，并且远远大于生产关系。

OpenAI的创始人有一个非常大胆的假设，因为他坚信，十几年后可控核聚变技术成熟时，人类将拥有接近无限的清洁能源。 此外，他相信量子计算将在10年内成为现实。 那相当于拥有无限的算力、能源、存储，AI可以带来无限的智能。 他认为，在这样的情况下，社会上存在着一种摩尔定律。 社会上的摩尔定律是，整个社会的物价水平和服务价格每18个月就会减半。 最后一切都感觉很便宜。

因为AI做一切，其背后的能源成本和算力成本近似等于0，AI无限智能。 到那时，大家要么去做科学研究，要么像他说的那样，人工智能公司和控制土地资源的人将成为生产贡献者。 最后，大家一起享受生活。

即将举行的活动

AIGC 势头强劲。 面对当前市场环境的变化和挑战，包括技术、商业模式、资源、竞争等方面的颠覆，5月23日，我们将举办以“颠覆AIGC”为主题的AIGC行业峰会。 欢迎扫描下方二维码报名参加。

各位关注数字时氪的朋友们，由于微信改版，建议您star【数字时氪】，以便您可以清楚地看到我们推送的内容。 你必须给它加星标！

步骤：点击数字时代氪公众号首页，点击右上角，选择“星标”，这样您每天就可以看到我们的新推送了！

我们正在打造一个以“AI领域”为主题的交流社区。 欢迎您扫描二维码添加数字助理并发送名片或个人介绍。 我们将持续为您推荐相关行业信息和活动。

更多活动信息及行业详情，请关注微信公众号“数字时代Kr”（微信ID：digital36kr），期待您的到来。