起猛了,GPT-4o被谷歌新模型击败,ChatGPT官号:大家深吸一口气
起猛了,GPT-4o被谷歌新模型超越了!
历时一周,超1,2000人匿名投票,Gemini1.5Pro(0801)代表谷歌首次夺得lmsys竞技场第一。(中文任务也第一)
而且这次还是双冠王,除了总榜(唯一分数上1300),在视觉排行榜上也是第一。
Gemini团队的关键人物Simon Tokumine发文庆祝称:
一位Reddit用户也称该模型“非常好”,并表示希望其功能不会被缩减。
更多网友兴奋表示,OpenAI终于受到挑战,要发布新版本来反击了!
ChatGPT官方账号也出来暗示着什么。
一片热闹之际,谷歌AI Studio产品负责人宣布该模型进入免费测试阶段:
网友:谷歌终于来了!
严格来说,Gemini1.5Pro(0801)其实不算新模型。
该实验性版本建立在谷歌2月发布的Gemini1.5Pro基础之上,后来1.5系列将上下文窗口扩展到了200万。
随着模型更新,这命名也是越来越长了,也引起人们一片吐槽。
这不,一位OpenAI员工祝贺之余不忘阴阳怪气一把:
当然了,虽然名字难记,但Gemini1.5Pro(0801)这次在竞技场官方评测中表现亮眼。
总体胜率热图显示,它比GPT-4o胜出54%,比Claude3.5Sonnet胜出59%。
在多语言能力基准测试中,它在中文、日语、德语、俄语均排名第一。
但是,在Coding、Hard Prompt Arena中,它还是打不过Claude3.5Sonnet、GPT-4o、Llama405B等对手。
这一点也遭到网友诟病,转译过来就是:
不过也有人出来安利Gemini1.5Pro(0801)的图像和PDF提取功能。
DAIR.AI联合创始人Elvis亲自在油管做了全套测试,并总结道:
以及,有人拿Gemini1.5Pro(0801)来解决Claude3.5Sonet之前回答不好的问题。
结果一看,它不仅表现更好,同时也干掉了自家小伙伴Gemini1.5Flash。
不过嘛,一些经典常识测试它还是搞不定,比如“写十个以苹果结尾的句子”。
One More Thing
与此同时,谷歌Gemma2系列迎来了一个新的20亿参数模型。
Gemma2(2B)开箱即用,可以在Google Colab的免费T4GPU上运行。
在竞技场排行榜上,它超过了所有GPT-3.5模型,甚至超越了Mixtral-8x7b。
面对谷歌最新取得的一系列新排名,竞技场榜单权威性再次受到大家质疑。
Nous Research联合创始人Teknium(微调后训练领域知名玩家)发文提醒:
Abacus.AI首席执行官Bindu Reddy更是直接呼吁:
那么,你认为这种人类匿名投票的方式还靠谱吗?(欢迎评论区讨论)
参考链接:
[1]https://x.com/lmsysorg/status/1819048821294547441
[2]https://x.com/JeffDean/status/1819121162578022849
[3]https://x.com/stevenheidel/status/1819080995062403484
[4]https://x.com/rohanpaul_ai/status/1818697538360295897
[5]https://x.com/bindureddy/status/1818738366466412601
[6]https://x.com/infwinston/status/1818718423700103526
—完—
免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!
-
【驴子肉的做法】驴肉是一种较为少见但营养丰富的肉类,具有高蛋白、低脂肪的特点,适合多种烹饪方式。以下是...浏览全文>>
-
【驴子的注音】在学习汉语拼音的过程中,很多初学者会遇到一些生僻字或不常见的词语,其中“驴子”就是一个常...浏览全文>>
-
【驴子的读音是什么】在日常生活中,我们经常会遇到一些汉字或词语,虽然看起来简单,但读音却容易让人混淆。...浏览全文>>
-
【驴子的词性%的词性是什么】在汉语中,词语的词性是指该词在句子中所扮演的语法角色,如名词、动词、形容词等...浏览全文>>
-
【驴友指点骑行西藏的流行路线】骑行西藏,是一场身体与心灵的双重挑战。对于热爱户外、追求自由的驴友来说,...浏览全文>>
-
【驴头的功效与作用】在传统中医和民间食疗文化中,驴头被认为具有一定的药用价值和营养价值。虽然现代医学对...浏览全文>>
-
【驴蹄子怎么做又脆又好吃】驴蹄子是一种传统食材,因其口感独特、营养丰富而受到许多人的喜爱。但很多人在制...浏览全文>>
-
【驴肉怎么做最好吃】驴肉是一种营养丰富、口感独特的肉类,因其脂肪含量低、蛋白质高而受到许多食客的喜爱。...浏览全文>>
-
【驴肉怎么做简单好吃】驴肉是一种营养丰富、口感细腻的肉类,但很多人对它的做法不太熟悉。其实,只要掌握一...浏览全文>>
-
【洛阳龙门站偏僻吗】洛阳龙门站是洛阳市重要的交通枢纽之一,位于洛阳市洛龙区,靠近著名的龙门石窟景区。许...浏览全文>>