众多呼声传出后,百度文心一言拉开了下一个时代的帷幕。
3月16日下午,InfoQ现场报道称,百度宣布,基于百度新一代大语言模型的生成式AI产品文心一言宣布邀请测试。
温馨一句话就出来了
百度创始人、董事长兼首席执行官李彦宏和百度首席技术官王海峰对文心一言进行了详细介绍,并展示了文心一言在文学创作、商业文案创作、数学计算、中文理解、多模态等方面的作用动态生成五种使用场景的综合能力。
新一代知识增强大语言模型,王海峰讲解文心一言的技术特点
王海峰解读了文心一言的技术特点及其背后的技术积累。
王海峰表示,文心一言是新一代知识增强型大语言模型。 它是在ERNIE和PLATO系列模型的基础上开发的。
温馨一言的关键技术包括监督微调、人类反馈强化学习、提示、知识增强、检索增强和对话增强。
前三个是此类大型语言模型所使用的技术。 它们在《ERNIE》和《PLATO》中得到了应用和积累,并在《闻心一言》中得到了进一步的强化和打磨。 后三项是百度已经具备技术优势的技术。 再创新吉祥物设计,也是文心艺研未来不断做强的基础。
在知识增强方面百度ai搜索与文心一言的区别,文心一言的知识增强主要是通过知识内化和知识外化。 知识内化是基于从大规模知识和无标签数据中进行语义单元学习,利用知识构建训练数据,将知识学习成模型参数; 知识外部应用就是引入外部多源异构知识进行知识推理、Prompt构建等。
在检索增强方面,文心一言的检索增强来自于以语义理解和语义匹配为核心技术的新一代搜索架构。 通过引入搜索结果,可以为大型模型提供及时、准确的参考信息,更好地满足用户需求。
在对话增强方面,基于对话技术和应用的积累,闻心一言具备记忆机制、语境理解和对话规划能力,实现更好的对话连贯性、合理性和逻辑性。
据悉,文心一言大模型的训练数据包括万亿级网页数据、数十亿搜索数据和图像数据、数百亿日常语音通话数据以及5500亿条事实的知识图谱。
百度为中文、服务应用构建了多元化的训练数据,知识丰富,并对文心一言进行监督和微调,使其知识更准确,更好地理解中文和应用场景,并建立了人性反馈、奖励之间的飞轮机制。模型和策略的优化,随着真实用户的反馈越来越多,文心一言会变得越来越好,能力也会越来越强。 文心一言整合不同类型的数据和知识,自动构建提示,包括示例、大纲、规范、知识点、思维链等,提供丰富的参考信息ip形象,激发模型相关知识,生成高高质量的结果。
王海峰强调,飞飘深度学习平台支持文心一言效果更好、效率更高、性能更强。 在开发和训练方面,飞桨统一的开发范式和自适应分布式架构,可以实现大型模型的灵活开发和高效训练。 在推理部署方面,Fei Paddle支持大型模型的高效推理,并提供服务化的部署能力,包括计算融合、软硬件协同的稀疏量化、模型压缩等。
5大使用场景、5大能力
李彦宏展示了文心一言在文学创作、商业文案创作、数学计算、中文理解、多模态生成等五个使用场景的表现。
在文学创作现场,温心一言根据对话问题总结了著名科幻小说《三体》的核心内容,并提出了继续写《三体》的五个建议角度,体现对话问答、总结分析、内容创作和生成的综合能力。
此外,温心一言还准确回答了《三体》的作者、电视剧中的人物演员等事实问题。 生成式AI在回答事实性问题时经常“编东西”,而文心一言延续了百度的知识增强大模型理念,大大提高了事实性问题的准确率。
面对“于和伟和张鲁一有什么共同点?”等问题。 于和伟和张鲁一谁更高? 温心一言也凭借自己的推理能力,得出了正确的答案。
在商务文案创作场景中,温心一言完成了公司命名、写口号、撰写新闻稿的创作任务。
在连续三场内容创作中,闻心一言能够准确地理解人类的意图并清晰地表达出来。 这是基于海量数据而发生的“智能涌现”。
温心一言还具有一定的思维能力,可以学习数学推演、逻辑推理等相对复杂的任务。 面对“鸡和兔同笼”等锻炼人类逻辑思维的经典题,温心一言能够理解题意并有正确的解题思路,然后按照正确的步骤计算问题像学生一样一步一步。 正确答案。
文学创作、商业文案、数学计算是大型语言模型的共同优势和能力。 在此基础上,文心一言还展现出了更好的中文理解和多模态生成能力。
作为植根于中国市场的大型语言模型,文心一言拥有中文领域先进的自然语言处理能力,在中文语言和中国文化方面有较好的表现。 现场演示中,温心一言正确解释了“洛阳纸贵”这句成语的含义以及与“洛阳纸贵”对应的经济理论,还用“洛阳纸贵”四个字创作了一首离合诗。 ”。
在多模态生成方面,李彦宏展示了文心一言的文本、图片、音频、视频生成能力。 有趣的是,文心一言甚至可以生成四川话等方言的语音; 温馨一言的视频生成能力由于成本较高,目前并未向所有用户开放,未来将逐步开放。
“多模态是生成人工智能的一个明显的发展趋势。” 李彦宏表示,“未来,随着百度统一大型多模态模型能力的增强,文心医研的多模态生成能力也会不断提升。”
从闻心一言的表现来看,它在一定程度上具备了理解人类意图的能力,其回答的准确性、逻辑性、流畅性正在逐渐接近人类水平。
但总体而言,这类大型语言模型还远没有完全开发出来,依赖于通过真实用户反馈逐步迭代。
李彦宏强调,文心一言将在真实用户反馈、开发者调用和模型迭代之间建立飞轮,效果将迅速提升,给用户“三天后印象深刻”的惊喜。
与ChatGPT相比,闻心一言可以实现部分超越
自去年11月发布以来,ChatGPT风靡全球,掀起了新一轮AI热潮。 不过,值得注意的是,ChatGPT并不是一项革命性的技术。 它更多的是产品思维驱动的重大集成创新的结果。
ChatGPT是OpenAI对2020年发布的GPT-3.5模型进行微调后开发的一款对话机器人。严格来说,ChatGPT在底层模型上并没有取得重大突破。 它巧妙地将理解、生成和交互结合起来。 基于人类反馈的强化训练让人在体验中产生智能感。
从使用的技术来看,比如训练阶段的数据飞轮,底层技术是模型微调(SFT,Supervised Fine-tuning)和基于人类反馈的强化学习(RLHF,Reinforcement Learning from human Feedback),如下以及在模型推理部署阶段的提示,即提示学习,给预训练的大语言模型一个提示,使其能够更好地理解人类的问题。 SFT、RLHF、prompt都是业界可用的方法。 ChatGPT和文心一言都应用了这些技术和方法,这意味着两者的底层是相同的。
百度的文心大模型与Open AI的GPT模型类似。 它于2019年推出,经过多代迭代,从单一的自然语言理解延伸到多模态,包括视觉、文档、文本、图形和语音。 它是多模态、多功能的,因此“文心一言”所基于的ERNIE系列模型也具有很强的泛化能力和性能。 以新发布的ERNIE 3.0 Zeus为例。 该模型在ERNIE 3.0上迭代,拥有千亿个参数。 它已经具备智能创作等各种自然语言理解和生成任务,并且其在公共数据集上的小样本学习、理解和生成任务优于业界其他模型。
在数据层面,ChatGPT模型训练使用的文本数据库主要来自互联网,包括从在线文本、维基百科和文章中获取的570GB数据。 与ChatGPT相比,文心一言的优势在于,得益于百度搜索真实数据的积累和对用户需求的了解,文心一言可以提高基于检索的时效性和准确性。 此外,文心模型定位为知识增强模型。 闻心一言可以基于知识增强提高多轮推理对话。
在多模态生成方面,正如 Sam Altman 在 Twitter 上所说,GPT-4“仍然存在缺陷和局限性”。 GPT-4在多模态呈现方面取得了突破。 它可以输入图像内容,但输出只能是文本。 用户最期待的图片和视频生成仅限于PPT讲稿,尚未开放,令人失望。 温馨一言可以开箱即用地生成文本、图片和音频。
另外,相比于ChatGPT,文心一言更关注的是这样的技术如何在应用上更具普惠性。 “ChatGPT是AI技术发展到一定阶段后的新机遇,如何把这么酷的技术变成人人都需要的产品,让亿万人每天都能从中受益?如何赋能千行万业,生产效率大幅提高?这一步是最难的,但也是影响最大、影响最大的。” 李彦宏曾经说过ChatGPT。
首批用户可以通过邀请测试代码的方式向企业开放API接口调用服务。
百度还公布了文心一言的邀请测试计划。
3月16日起,首批用户可通过邀请测试码在温馨一言官网体验该产品,后续将向更多用户开放。
此外,百度智能云即将向企业客户开放文心一言API接口调用服务。
3月16日起正式开放预约,搜索“百度智能云”进入官网,即可申请加入文心一言云服务测试。
据悉,自2月份百度正式宣布“文心一言”以来,已有超过650家企业宣布接入文心一言生态。 现在,这些公司可以立即使用最新的大型语言模型。
通过百度智能云提供服务,加速云与AI融合
近年来一个显着趋势是云计算与人工智能加速融合。 企业对云计算的需求更多体现在对智能化的需求。 AI大模型将成为云服务不可或缺的一部分。
百度文心一言的定位是人工智能基础型赋能平台,将助力金融、能源、媒体、政务等各行业智能化转型。
百度宣布文心一言将通过百度智能云对外提供服务,帮助企业构建自己的模型和应用。 农业、工业、金融、教育、医疗、交通、能源等重点领域效率大幅提升,将应用于农业、工业、金融、教育、医疗、交通、能源等重点领域。 各行业都在快速形成新的产业空间。
李彦宏预计,百度智能云将在近期召开发布会,主题将集中在文心一言的云服务和应用产品上,其中既有公有云服务,也有私有化部署。
增强百度搜索
从信息检索的角度来看,ChatGPT取得了非常大的突破。 业界曾经有一个结论,ChatGPT将颠覆谷歌搜索。 短期内,ChatGPT有望成为像Google这样的传统信息检索的强大工具或辅助工具。 过去几个月,谷歌、微软等也加紧了针对ChatGPT的竞品开发。
面对ChatGPT,谷歌的态度与“威胁玩家”不同。 百度认为,百度是ChatGPT出现的受益者。
一方面,这是基于自身更加多元化的收入结构做出的判断。 以2022年Q3季度营收数据为例,百度核心营收252亿元,其中广告收入187亿元; 非广告收入65亿元。 。 可以看到,百度智能云等AI驱动的业务已经逐渐与广告业务平起平坐。
另一方面,百度认为生成式AI与搜索引擎是互补关系而非替代关系。 搜索的底层技术和AI的底层技术是相通的。 此外,生成式人工智能可以增强搜索。 除了ChatGPT带来的DAU和用户使用时长的增加外,搜索将能够充分利用类似ChatGPT的技术进行改进和升级,形成搜索的代际变革。 生成内容也将丰富内容生态和内容供给,让成熟的搜索业务和搜索体验落地生根。 去年,百度搜索宣布升级基于百度自主研发的生成模型的“生成搜索”能力。
文心一言出来后,它的主要应用场景就是搜索。 据悉,百度搜索将通过嵌入文心一言进行技术升级,以提供更好的搜索和答案、新的交互和聊天表现形式以及独特的生成内容来吸引更多用户。 同时,还可以赋能平台上的广告主、内容创作者和商家,通过AIGC提升短视频的内容供给能力。
全球首家大厂亮相,大车型竞争加剧
自ChatGPT流行以来,全球互联网公司和初创公司纷纷加紧发力。 ChatGPT引发了一场军备竞赛,尤其是大型科技公司之间的AI竞争正在逐渐加剧。 ChatGPT的流行也引发了大型模型的卷起。 国内多位AI专家纷纷宣布进军大模型领域。 在国外,Meta、Google等巨头都在竞相推出自己最新的大型机型……
过去几个月,国内版ChatGPT的呼声越来越高。 如今文心一言已经问世,这意味着百度成为全球各大厂商中第一家做出标杆ChatGPT产品的公司。
李彦宏指出:“无论是哪家公司,都不可能在几个月内建立起如此庞大的语言模型。深度学习和自然语言处理需要多年的坚持和积累,不可能一蹴而就。”
可以说,文心一言是百度多年来努力的延续。 一方面,得益于百度在自然语言处理领域的领先地位,NLP是搜索业务的核心技术,百度的NLP能力也随着搜索业务的发展而不断成长。
较高的技术门槛也意味着国内能做出类似ChatGPT应用的公司很少。 人工智能的三要素包括算力、算法和数据。 从这个角度来看,全栈布局的公司更有优势。
李彦宏判断,随着人类进入人工智能时代,IT技术的技术栈发生了根本性的变化,从过去的三层变成了“芯片-框架-模型-应用”的四层。 如今,百度是全球为数不多的在这四层拥有全栈布局的人工智能公司之一,从高端芯片昆仑核心,到飞飘深度学习框架,到文心预训练大模型,到搜索、智能云、自动驾驶、小度等应用各个层面均拥有行业领先的自主研发技术。 其中,温心一言处于模特层。 而且,稳信系列大型机型已在各行业得到广泛应用。
计算能力是目前制约大型模型发展的瓶颈。 有专家认为,未来大模型的竞争将逐渐演变为算力的竞争。 据统计,运行一个参数超过100亿的模型,至少需要1000张GPU卡的算力。 日前有消息称,微软Azure云服务为ChatGPT部署了超过1万颗NVIDIA A100芯片。 即使不使用顶级芯片,按照一块GPU的市场均价5万元计算,1000块GPU意味着每月至少需要5000万的成本。 据业内人士估算百度ai搜索与文心一言的区别,GPT-3的单次训练成本至少为460万元。
大型模型训练所需的巨大且昂贵的计算能力让许多中小型公司望而却步。 而这也是百度这样的大公司的优势。 据悉,在百度算力布局上,百度自研AI芯片“昆仑”已在多个场景部署数万颗,在搜索业务中也形成了强大的工程实践。
百度在阳泉、徐水和定兴拥有三个云计算中心。 据悉,文心一言部分计算是在阳泉智能计算中心进行的。 阳泉智能计算中心专门建设了机房来支持文心一言的运行。 目前正在进行封闭压测,即将上线。
李彦宏认为,百度AI全栈布局的优势在于,可以在技术栈的四层架构中实现端到端的优化,大幅提升效率。 特别是框架层和模型层之间有很强的协同作用,可以帮助构建更高效的模型并显着降低成本。 事实上,超大规模模型的训练和推理对深度学习框架提出了巨大的挑战。 例如,为了支持千亿参数模型的高效分布式训练,百度飞桨专门开发了4D混合并行技术。
“全球范围内,几乎没有一家公司在四层架构的每一层都有领先的产品,这是百度非常独特的优势。随后,芯片、框架、大模型和终端应用场景可以形成高效的反馈闭环,帮助大模型不断调优和迭代,从而提升用户体验。” 李彦宏说道。
李彦宏:大语言模型将带来三大产业机遇
李彦宏认为,文心一言和生成式人工智能代表了一种新的技术范式,将会影响每一个公司。 AI市场爆发式的需求增长将释放出前所未有的指数级商业价值。
李彦宏预测,大语言模型将带来三大产业机会。
第一类是新型云计算公司,其主流商业模式已从IaaS转变为MaaS。 文鑫的话将从根本上改变云计算行业的游戏规则。 过去,企业选择云厂商更多是基于算力、存储等基础云服务。 未来更多的还是要看框架好不好,模型好不好,以及模型、框架、芯片、应用四层之间的协同。
第二类是微调行业模式的公司。 这是一般大型模型和企业之间的中间层。 基于对行业的洞察,他们可以利用通用的大模型能力为行业客户提供解决方案。 对此,百度文信模型在电力、金融、媒体等领域发布了10余个行业模型。
第三类是基于大模型库开发应用的公司,即应用服务商。 李彦宏断言,对于大多数企业家和公司来说,真正的机会并不是从头开始建立像ChatGPT和文心一言这样的基础大模型。 这是非常不现实和不经济的。 这可能是基于通用大语言模型抢先开发重要应用服务的真正机会。 目前,基于文本生成、图像生成、音频生成、视频生成、数字人、3D等场景,涌现出许多创业明星公司,它们可能是未来的新巨头。
“我们相信人工智能将彻底改变我们今天所拥有的每一个行业。人工智能的长期价值以及对各行各业的颠覆性改变才刚刚开始。未来,将会出现更多杀手级应用和现象级产品。”将会有更多里程碑式的事件发生。” 李彦宏说道。
大车型爆发驱动AIGC更具包容性
去年以来,AIGC经历了猛烈的发展浪潮。 尤其是去年下半年,AIGC概念突然升温。 有几个里程碑式的事件将 AIGC 推到了最前沿。 一是Vincent图模型Stable Diffusion的开源,二是ChatGPT的爆发。
此次文心一言的出现,将成为国内AIGC领域的标志性事件,对于百度来说亦是如此。 作为国内AIGC领域的代表,百度拥有AI绘画、数字人等多项AIGC业务。
去年以来,李彦宏频频在公开场合谈论AIGC的发展。 他认为去年AI领域的重大突破是AIGC。 他还预测,“未来十年,AIGC将颠覆现有的内容生产模式,能够以‘十分之一的成本’、百倍千倍的生产速度生成AI原创内容。
现阶段,AIGC的生成效果已经非常惊人。 已经达到了广泛应用的基本性能,但使用门槛仍然较高。 相信随着文信等大模型技术的不断发展,将有助于降低AIGC的门槛,真正降低成本到每个普通人都能真正使用AIGC。 事实上,这一天可能已经很近了。 。
为了让大家体验 AIGC 的神奇,极客时光推出了一系列 AIGC 公开课程,涵盖 Chat GPT、Chatbot、Copilot、AI 绘画等,帮助您从 0-1 入门 AIGC。 扫描下方二维码即可获取【限时免费】。 极客时间网页版的用户还可以通过“AI学习助手”进行亲身测试~
- 本文固定链接: https://wen.nuanque.com/aigc/13260.html
- 转载请注明: nuanquewen 于 吉祥物设计/卡通ip设计/卡通人物设计/卡通形象设计/表情包设计 发表
- 文章或作品为作者独立观点不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。本文之内容为用户主动投稿和用户分享产生,如发现内容涉嫌抄袭侵权,请联系在线客服举报,一经查实,本站将立刻删除。本站转载之内容为资源共享、学习交流之目的,请勿使用于商业用途。