丰色 发自 凹非寺
量子位 | 公众号 QbitAI
Claude 3的竞技场排名终于来了：
短短3天内，20000张投票，将榜单的流量推向空前。
最终，Claude 3最强的“大杯”模型Opus得分1233，成为第一个能和GPT-4-Turbo一较高下的选手。
“中杯”Sonnet也还不错，和GPT-4的两个旧版本不相上下。
不过总的来说，还是GPT-4系列占据上风。
Claude 3的表现和宣传有些许出入。如网友总结：
GPT-4还是大模型之王！
但，免费的“中杯”Claude 3（Sonnet）更物超所值。
Claude 3发布时官方的宣传是全面超过了GPT-4，但没提是哪个版本的GPT-4。
竞技场榜单（LMSYS Chatbot Arena Leaderboard）的最新更新，帮咱摸清了。
来看详细情况。
排在第一名的是OpenAI去年11月推出的GPT-4 Turbo，也就是：
GPT-4-1106-preview。
它功能更强价格也更便宜，具有128k上下文，训练数据从此前的2021年9月更新到2023年4月。
与它并列第一的是GPT-4 Turbo最新的版本，今年一月发布的：
GPT-4-0125-preview。
它的训练数据更广，扩展到了2023年12月。
两者均取得了1251的分数。
接着才是Claude 3（训练数据截止到2023年8月）。
它的最强版本Opus得分1233，比GPT-4 Turbo低了18分。
这个差距相比起来不算太大，毕竟再往下看：
它比GPT-4的两个版本（0314、0613）分别高了48分、72分。
至于中等性能的Claude 3 Sonnet，则排名第6，位于GPT-4这两个版本之间：
不过只比0314版低5分，大有潜力一举超越。
所以总的来说，官方宣传的也算没大毛病，全面超越老版GPT-4，但离GPT-4 Turbo还有点距离，尽管不算太大。
——从此榜单的评比机制等情况来看，它的结果还是相当有业内认可度的。
它由“小羊驼”（Vicuna）的作者团队发起。
但裁判官不是“小羊驼”，更不是GPT-4，而是基于人类偏好。
详细来说，也就我们随机向两个匿名模型提出任意问题，然后评价它们各自的回答，把票投给更好的那一个。
如果一轮投不出，咱可以选择继续提问。如果聊天中模型不小心透露了自己的身份，投票则作废。
特别的，计分规则采用Elo机制来保证公平（玩王者荣耀的朋友都熟）。
举个例子：如果某个模型输了，但它的分数不一定低，因为它本身实力就弱，这是预料之中。
截止目前，这个榜单可以说是非常火爆，已经有全球73个模型参与挑战，共收到了网友们37万张 投票。
通义千问挤进前10除了Claude 3，我们再看看其他表现亮眼的选手。
首先要提的就是基于Gemini Pro的Bard，排名第四，仅次于GPT-4Turbo和Claude 3。
可以说是有点让人惊喜。
网友戏谑：
谷歌这是生生在在排行榜上开了个“洞”啊。
并连忙艾特JeffDean和DeepMind负责人：喂，加把劲儿啊（旺柴）
然后要说的就是阿里通义千问（1.5版本，上个月发布）。
它在本次排名中挤进了前十、并列第九，是国内选手中表现最好的。
被它甩在身后的，除了其他国产选手，还有Claude 2、Gemini Pro和GPT-3.5等等。
完整榜单：
https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard
参考链接：
https://twitter.com/lmsysorg/status/1765774296000172289
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一时间获知前沿科技动态
