8 月 14 日消息，谷歌上周發布最強 Gemini 1.5 Pro 模型，在 LMSYS 的聊天機器人競技場（Chatbot Arena）比賽中取得第一名，而 OpenAI 迅速“找回場子”，最新 chatgpt-4o-latest 模型重奪第一。

chatgpt-4o-latest 簡介

OpenAI 公司上周發布了 gpt-4o-2024-08-06，其 API 支持結構化輸出；昨日再次發布了名為 chatgpt-4o-latest 的全新前沿模型，是 GPT-4o 的最新版本，上下文窗口輸入最高 128000 個詞元（tokens），輸出最高 16384 個詞元。

LMSYS 的聊天機器人競技場簡介

Chatbot Arena 由伯克利大學主導團隊 LMSYS Org 近日發布了一個針對大語言模型的基準平臺 Chatbot Arena。

該平臺采用匿名、隨機的方式讓不同的大模型產品進行對抗評測，基于國際象棋等競技游戲中廣泛使用的埃洛等級分系統，通過用戶投票產生，系統每次會隨機選擇兩個不同的大模型機器人和用戶聊天，并讓用戶在匿名的情況下選擇哪款大模型產品的表現更好一些。

最后系統根據用戶的選擇判定大模型產品的積分，以排行榜的形式出現在首頁中。

chatgpt-4o-latest 最新成績

谷歌的實驗性 Gemini 1.5 Pro 模型上周以 1297 分的成績奪得第一名，這是谷歌首次登頂 LMSYS 的聊天機器人競技場。

OpenAI 憑借新的 chatgpt-4o-latest 模型，以 1314 分的最高分奪回了競技場第一名的寶座。

得分顯示，新版 ChatGPT-4o 在編碼、指令遵循和硬提示方面都有顯著提高，附上相關成績如下：

總成績：第一名 數學：#1-2 編程：第一名 艱難提示詞（Hard prompts）：第一名 指令跟隨（Instruction Following）：第一名 長提問（Longer Query）：第一名 Multi-Turn：第一名