近日，由全球超過50位物理學家聯合開發的 “CritPt” 基準測試，旨在評估頂尖 AI 模型在處理未公開的復雜物理研究問題時的能力。測試的目標是模擬早期博士研究生所需的獨立研究水平。盡管目前的 AI 系統如谷歌的 “Gemini3Pro” 和 OpenAI 的 “GPT-5” 被寄予厚望，但結果卻令人失望。

圖源備注:圖片由AI生成，圖片授權服務商Midjourney

在獨立評估中，Gemini3Pro 以9.1% 的準確率名列榜首，而 GPT-5則以4.9% 的成績緊隨其后。這一結果表明，即使是表現最好的模型，仍然無法解決大多數任務，特別是在涉及更復雜的研究挑戰時。CritPt 測試涵蓋了來自量子物理、天體物理、高能物理和生物物理等11個領域的71個研究挑戰。為了防止模型簡單猜測或檢索，所有問題均基于未發表的研究內容。

測試團隊還采用了 “持續解決率” 這一更嚴格的評估標準，要求模型在五次嘗試中至少四次給出正確答案。結果顯示，所有模型的表現均大幅下滑，凸顯了它們在復雜問題上推理的脆弱性。這種不可靠性對研究工作流程造成了挑戰，模型常常會生成看似正確但實際卻含有細微錯誤的答案，這可能誤導研究人員并增加審核工作的負擔。

研究團隊指出，當前大模型在獨立解決開放性物理問題方面尚顯不足，更為現實的目標是將其視為 “研究助手”，在特定的工作流程中提供幫助。與此相符的是，OpenAI 計劃在2026年9月推出一款研究實習生系統，并在2028年3月推出完全自主的研究系統。公司聲稱，GPT-5目前已經在幫助研究人員節省時間。

劃重點: