{dede:global.cfg_webname/}

当前位置: 首页 > 科技 > 科技快讯 > 正文

五大AI聊天机器人盲测 ChatGPT未能夺冠 最终赢家竟来自这家“小公司”

来源:互联网    时间:2024-05-28 10:25:59

  近日,《华尔街日报》对ChatGPT、Claude、Copilot、Gemini和Perplexity五大AI聊天机器人进行了一次全面的盲测。最终,Perplexity综合排名第一,ChatGPT紧随其后,微软的Copilot表现垫底。

  本次测试的侧重点为AI聊天机器人解决实际问题和完成日常任务的能力,反映了它们在真实场景中的表现。《华尔街日报》的测试人员设计了一系列提示词来测试流行的使用案例,包括代码能力测试、健康咨询和理财问题。评判的标准包括准确性、有用性和整体质量。《华尔街日报》邀请了相关领域的专家以盲测的形式开展测试。接下来就让我们来看看这些AI聊天机器人在不同问题上的具体表现吧。

  为了使用更全面的功能,《华尔街日报》在测试中使用了20美元的付费版,包括最新发布的OpenAI ChatGPT GPT-4o模型和谷歌Gemini 1.5 Pro。

  美国大模型独角兽Anthropic是OpenAI的一大劲敌,此次测试中,它开发的聊天机器人Claude在写作类任务上的表现尤为突出;集成了OpenAI技术的微软AI助手Copilot则在创意写作和总结方面展现出优势。

  美国AI搜索独角兽Perplexity AI打造的Perplexity尤其令人惊喜。它在总结、代码和时事类问题上取得最佳表现,在大部分单项测试上都取得前三名的成绩。

  值得一提的是,这是英伟达创始人兼CEO黄仁勋最常用的AI工具。凭借在生成式AI搜索产品上的创新,Perplexity AI喜提“谷歌杀手”称号,今年月活用户数突破1000万大关。根据数据研究分析平台Pitchbook,Perplexity AI团队规模不到50人。

  测试中,更新后的ChatGPT意外地未能在测试中拔得头筹,反倒是更为小众的的Perplexity在九项测试中的三项上排名第一,并获得本次测试的冠军。Anthropic的Claude在部分问题上表现不错,但由于无法访问网页且响应速度较慢,最终名列第四。

  来自谷歌的Gemini和来自微软的Copilot在本次测试中表现不佳,分列第三和第五。微软Copilot更是在五项测试中垫底,多次忽略提示词中的关键信息,是本次测试中表现最差的AI聊天机器人。

  一、健康类问题:Gemini让你“凭感觉决定要不要孩子”

  AI聊天机器人提供的错误健康建议可能会危害用户的健康。测试人员共提出了五个问题,分别涉及怀孕、减肥、抑郁以及慢性和突发症状。很多答案听起来都差不多。这一部分的评委是《华尔街日报》健康专栏作家Sumathi Reddy,她对答案的完整性、准确性和细节问题进行了考察。

  例如,当问到怀孕的最佳年龄时,Gemini给出了一个简短而笼统的建议,称“怀孕的最佳时机,是你自己觉得有信心并准备好养育孩子的时候”。而Perplexity的回答则更深入,甚至提出了伴侣关系和经济稳定性等因素。尽管如此,Gemini还是对其他问题做出了高质量的回答,最终仅次于该类别的冠军ChatGPT。ChatGPT的回答在最近的GPT-4o更新后有所改进。

健康类问题排名

  二、理财类问题:ChatGPT和Copilot表现欠佳

  在这项测试中,测试人员向AI聊天机器人提出了三个问题,分别是利率、退休储蓄和遗产继承。《华尔街日报》的个人理财编辑Jeremy Olshan提出了这些问题,并根据建议的清晰度、全面性和实用性进行了评估。

  在这方面,ChatGPT和Copilot表现欠佳。Claude对选择罗斯个人退休账户(Roth IRA,一种增值免税的退休账户)还是传统个人退休账户的争论给出了最佳答案。而Perplexity则对高收益储蓄账户与定期存款做出了最好的权衡。类别冠军Gemini对何时从继承的100万美元个人退休账户中提取资金的问题给出了最佳回答。Gemini在回答中强调了在没有专业指导的情况下不要匆忙提取资金。

理财类问题排名

  三、烹饪类问题:Copilot完全无视忌口

  AI有望在厨房里为人类提供帮助。它能让冰箱和储藏室的混乱场面变得井井有条。《华尔街日报》的个人技术产品编辑Wilson Rothman是一位狂热的烹饪爱好者,他向AI聊天机器人抛出了一组随机食材,看看它们能做出什么花样。该类别的冠军ChatGPT提供了一份既有创意又切合实际的菜单(芝士猪肉馅烤苹果配羽衣甘蓝沙拉和巧克力酥饼)。Perplexity提供了详细的烹饪步骤和巧妙的菜单,给测试人员留下了深刻印象。

  接下来,测试人员要求AI聊天机器人提供一份巧克力甜点的食谱,需要满足多种忌口要求。

  Gemini一举夺魁,甚至还推荐了一些额外的配料,比如不含乳制品的蛋糕淋面。Copilot加入了提示词中明确要求不应包含的鸡蛋和黄油,因此在这项测试中落败。

烹饪类问题排名

  四、职场写作类问题:Perplexity、Gemini和Claude势均力敌

  在职场写作中,语气和细节很重要。在向老板提出加薪的要求时可不能油嘴滑舌。撰写招聘启事时,也需要列出要点来吸引潜在的应聘者。测试中,《华尔街日报》告诉AI聊天机器人,他们要招聘一名提示工程师,与《华尔街日报》的个人技术产品团队合作。

  Perplexity撰写的招聘通知将新闻行业的要求和对AI的了解完美地结合在了一起。评委编辑Shara Tibken指出,Copilot的问题在于它根本没有提到提示工程。Perplexity、Gemini和Claude之间的竞争十分激烈,Claude最终凭借适合职场风格的新生儿通告(birth announcement)取胜。

职场写作类问题排名

  五、创意写作类问题:Copilot扳回一城

  本次测试中最大的意外,当属职场写作能力和创意写作能力之间的差异。Copilot的职场写作能力倒数第一,但在创意写作方面却是最有趣、最聪明的。

  测试中要求AI聊天机器人写一段以布偶为主角的婚礼祝酒词,还要虚构一场特朗普和拜登之间的街头斗殴。有了Copilot,笑话层出不穷。Claude排名第二,它对两位总统候选人都进行了巧妙的讽刺。

  Perplexity在这项测试中罕见地出现事物。它错误地引用了2011年的音乐剧《布偶团》中的一句歌词。

创意写作类问题排名

  六、总结类问题:Perplexity能速读YouTube字幕

  对于刚刚接触AI聊天机器人的用户来说,总结功能可能是最适合的尝试。总结功能用处很大,而且不太可能造成不可预见的错误。因为本次测试中使用的是付费服务,所以测试人员可以上传较大的文本、PDF文档和网页。

  大多数情况下,即便是高级版Claude账户也无法处理网页链接。Anthropic公司的产品经理Scott White说,“我们的团队正在提升Claude的运行速度,扩大它的知识库,完善它理解各种内容并与之交互的能力”。

  名人的维基百科页面可能很冗长,因此测试人员要求AI聊天机器人提供披头士乐队成员Paul McCartney的维基百科页面摘要。有些AI聊天机器人提供了简短的介绍,其中包含了披头士乐队的一些常见信息。Copilot的回答采用了提纲的形式,并包含了一些鲜为人知的趣事。

  该类别的冠军得主Perplexity一直都能很好地概括事物,它甚至快速阅读了一个YouTube视频的字幕。

总结类问题排名

  七、时事类问题:GPT-4o让ChatGPT的表现显著提升

  这部分测试比看上去要复杂一些,因为并非所有AI聊天机器人都能访问网络。测试人员询问了今年夏天的音乐会阵容,以及即将举行的总统大选的当前形势。

  凭借全面的推理和可靠的来源,Perplexity稳居榜首。ChatGPT在第一次测试时表现不佳,但GPT-4o的升级使它跃居第二。Gemini拒绝回答测试人员关于总统选举的问题。

时事类问题排名

  八、代码类问题:各个AI聊天机器人表现都相当不错

  测试人员还对AI聊天机器人的代码技能和速度进行了评估。在代码技能方面,测试人员请来了《华尔街日报》数据记者Brian Whitton,他提供了三个令人头疼的问题,涉及JavaScript函数、网站样式和网络应用程序。根据Whitton的盲评,所有机器人在代码方面的表现都相当不错。最终Perplexity成功胜出,ChatGPT和Gemini紧随其后。

代码类问题排名

  九、速度测试:Claude和Perplexity显著慢于其他AI聊天机器人

  为进行速度测试,测试人员对之前的几个测试问题进行了计时,并加入了另一个问题,“用五句话解释爱因斯坦的相对论”。测试结果显示,各个AI聊天机器人的答案本身各不相同。就响应时间而言,采用GPT-4o的ChatGPT仅用时5.8秒,是最快的AI聊天机器人。在整个测试过程中,Claude和Perplexity都比其他三个AI聊天机器人慢得多。

速度测试排名

  结语:主流AI聊天机器人表现各有千秋,Perplexity力压其它明星产品夺魁

  本次测试显示,每个AI聊天机器人都有自己独特的优点和缺点,因此都值得探索。测试人员没有看到明显的错误和幻觉。没有任何AI聊天机器人在测试过程中犯下意料之外的严重错误,或者胡编乱造。它们大多提供了有用的答案,也避免了争议。这表明目前大部分AI聊天机器人都能提供及格线以上的表现,整体能力有所提升。

测试排名汇总

  让人意外的是,尽管ChatGPT进行了大规模的更新,名气也很大,但它并没有在本次测试中领跑。相反,知名度较低的Perplexity成为了本次测试的冠军。Perplexity AI的首席商务官Dmitry Shevelenko说,“我们针对回答的简洁性进行了优化,这让模型能够辨别出回答中最关键的信息”。

  《华尔街日报》也指出,现在Copilot和Gemini的表现不尽如人意。但是在未来,微软和谷歌这两家大型科技公司的AI聊天机器人可能会占据优势。谷歌和微软都拒绝对此发表评论。但最近微软告诉《华尔街日报》,GPT-4o将很快被集成到Copilot中,这可能会提高Copilot的性能。

  Perplexity在本次测试中的胜利,也证明了坐拥大量算力本身并不能保证企业可以开发出表现最佳的AI聊天机器人产品,在特定方向上的优化也能产生出其不意的效果。

声明:来源非IT商业科技网的作品均转载自其它媒体,转载请尊重版权保留出处,一切法律责任自负。文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。转载稿件或作者投稿可能会经编辑修改或者补充, 如有异议可投诉至:Email:342 4350 938@qq.com

频道精选
三星推AI桌上显示器 看好两大系列带动显示器双位数成长

三星推AI桌上显示器 看好两大系列带动显示器双位数成长

  三星今日宣布推出2024年奥德赛Odyssey OLED、智能联网显示器Smart Monitor和创作者系列ViewFinity全新阵容。 三星消费性产品事业群
2024-05-28
拚当OLED面板龙头 京东方传扩产5成

拚当OLED面板龙头 京东方传扩产5成

  继液晶面板之后,中国京东方也计划在OLED面板领域抢当龙头。 据日媒指出,京东方计划将OLED面板产能扩增5成以上,目标借由增产、追赶
2024-05-28
中国再砸1.5兆元拚芯片 历来最大投资

中国再砸1.5兆元拚芯片 历来最大投资

  中国设立该国有史以来最大的半导体投资基金,推动国内芯片产业发展,这是北京在美国寻求限制成长之际,实现自给自足的最新举措。  据
2024-05-28
AI十年大趋势 最大受惠者不是英伟达是它?

AI十年大趋势 最大受惠者不是英伟达是它?

  芯片大厂博通是美股最贵的1档股票之一,在去年12月跻身美股千金股行列,过去1年股价倍增,2023年初,股价还在550美元左右,进入2024年
2024-05-28
未来五年内的芯片大赢家 !16万亿总收入将由这4家公司全掌握

未来五年内的芯片大赢家 !16万亿总收入将由这4家公司全掌握

  半导体设计和制造的复杂性,创造了独特且具有挑战性的动态,这些动态正在重塑半导体产业的领导地位。 市场预计,芯片和AI软件设计公司
2024-05-28
亮相vivo发布会 SmallRig斯莫格再度助阵vivo打造卓越移动影像体验

亮相vivo发布会 SmallRig斯莫格再度助阵vivo打造卓越移动影像体验

  5月13日晚,vivo在其影像新蓝图暨X系列新品发布会上正式发布了vivo X100 Ultra智能手机。这款新机被官方定义为vivo的首款将相机功能
2024-05-28
云徙科技:以数据驱动 引领企业数字化转型新潮流

云徙科技:以数据驱动 引领企业数字化转型新潮流

  近日,数据猿携手上海大数据联盟共同发布了《2024中国数据要素产业图谱1 0版》。云徙科技入选其中营销数据分析应用、供应链数据分析应
2024-05-28
谷歌开发者大会发布新API 易微联助力厂商打造WWGH产品

谷歌开发者大会发布新API 易微联助力厂商打造WWGH产品

  2024年5月14日,全球科技界翘首以盼的Google I O开发者大会如期而至。在此次盛会上,Google展示了其最新的技术创新和产品升级,除了被
2024-05-28

2017-2019 Copyright © IT商业科技网 备案许可证号粤ICP备2022153948号 豫公网安备110102003388号

紧急处理QQ:133 4673 445@qq.com