4)结果输出格式整齐统一
从结果来看,ChatGPT给出的结果比较符合九方科技团队的预期。 文心一言在文字创作方面稍显逊色,输出结果不可控。
2.文章重写
本次评估使用文心一言和ChatGPT对给定文章进行分段、合并、删除版权、重写等。
《文馨的一句话》
「聊天GPT」
可以看到,ChatGPT准确给出了文章重写结果,并以指定的json格式返回。 温心一言返回的内容显然是错误的,并且没有想象中的那么好。
3.关键信息提取
该评估使用文心一言和ChatGPT来生成给定文章的内容标题、关键字等。
《文馨的一句话》
「聊天GPT」
从结果来看,闻心一言对输出格式、字数、关键词质量的控制不稳定。 ChatGPT 返回的结果更准确、结构清晰、更稳定。
4. 输出格式控制
本次评估使用文心一言和ChatGPT来指定输出结果的格式。
《文馨的一句话》
「聊天GPT」
关于返回结果输出格式,ChatGPT比文心医研更稳定,也更符合标准格式。 如果输出结果的格式不稳定,在后处理中将很难统一结果。
5. 多模态映射
《文馨的一句话》
文心一言自带文生图功能,基本上可以提供比较符合预期的图像,但质量无法保证,结果不可控。
「聊天GPT」
ChatGPT 目前只能测试 GPT-3.5。 GPT-4.0具有多模态映射能力,但目前无法测试。 九方科技团队暂时使用网友测试反馈的Plus版本进行对比展示,稍后开放后进行测试。
在这个例子中文心一言和ChatGPT的技术区别,用户问:下面的图片有什么有趣的地方? 请一一回答每个问题。
GPT-4.0可以按顺序描述每个网格的内容并总结幽默:用巨大的过时的VGA端口为小型现代智能手机充电。
此外,GPT-4.0还具备阅读论文、根据草稿绘制网页、理解漫画等图表理解能力。 可见GPT-4.0的多模态能力已经非常强大了。
优缺点比较
《文馨的一句话》
优势:
1.中文场景表现比较出色。
2、问题生成响应时间快。
3、具备基本的写作能力。
4. 自带文森图功能。
缺点:
1. 生成的文本不一定是事实。
2、理解上下文的能力较弱,过长的提示可能会导致记忆失败或丢失细节。
3.无法对输出格式进行详细调整。
4.采用文心艺格模型进行绘画,但可控性较差,质量无法保证。
「聊天GPT」
优势:
1、能够正确回答大部分事实卡通形象,具有一定的逻辑推理能力。
2、有较强的文字功底。
3、较强的上下文理解能力和对较长提示信息细节的记忆能力。
4.能够对输出格式进行详细调整。
5.支持多种语言。
缺点:
1. 只有在中国背景下才知道的事实缺乏准确性。
2、生成时间长。
3.不支持国内网络环境下的方言和新词汇。
4.只能处理文学场景。
总结
总的来说,文心一言的整体使用效果不如ChatGPT。 无论是对提示问题的理解、返回结果的质量,还是细节的处理,ChatGPT都必须看起来更加“智能”。
在国内,百度NLP在技术上确实处于领先地位。 多年来,不断积累和跟进AI相关技术,从深度学习框架到大型模型及相关应用。 能够在如此短的时间内推出类似ChatGPT的产品,是值得尊重的。 这无疑与过去的不断积累有关。
但从实际评测结果来看,文心一言与ChatGPT在整体效果上仍存在差距。 再加上GPT4.0的出现,还有很长的路要走。 但九方科技团队认为,这只是时间问题。
1、百度“文心一言”目前仅开放部分内部测试账号,仅提供页面试用方式,API开放时间未知。
官网地址:
2、OpenAI“ChatGPT”GPT-4.0需要国外付费账户,暂时无法测试和使用。 本文实际测试仅针对GPT-3.5。
官网地址:
关于九方科技
九方科技自成立以来文心一言和ChatGPT的技术区别,一直专注于服务金融客户,以用户需求为基石驱动产品技术升级,致力于打造更多满足用户需求的金融大数据产品。 目前,九方科技拥有大数据处理分析技术、基于机器学习的数据可视化技术、大数据云计算技术等多项核心技术,在金融领域积累了深厚的技术经验和专业知识。表情包设计,并可为金融服务客户提供全方位的大数据解决方案。
- 本文固定链接: https://wen.nuanque.com/aigc/17231.html
- 转载请注明: nuanquewen 于 吉祥物设计/卡通ip设计/卡通人物设计/卡通形象设计/表情包设计 发表
- 文章或作品为作者独立观点不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。本文之内容为用户主动投稿和用户分享产生,如发现内容涉嫌抄袭侵权,请联系在线客服举报,一经查实,本站将立刻删除。本站转载之内容为资源共享、学习交流之目的,请勿使用于商业用途。