11 月 15 日消息，研究機構 Epoch AI 現公布了一款名為 FrontierMath 的全新 AI 模型數學基準測試集，旨在評估系列模型的數學推理能力。

與現有諸如 GSM-8K、MATH 等測試題集不同，FrontierMath 中的數學問題號稱特別復雜，收錄了現代數學中的數論、代數和幾何等領域，這些題目的難度據稱極高，甚至人類專家解答往往需要數小時甚至數天的時間。

獲悉，FrontierMath 的題目由人工智能學方面資深專家設計，相應問題號稱不僅要求 AI 理解數學概念，還需要具備復雜情境的推理能力，以避免模型利用以前學習過的類似題目進行比對作答。

▲ 題庫中的題型舉例

研究機構表示，他們利用 FrontierMath 對當前市場上的 AI 模型進行初步測試，發現這些模型普遍表現不佳，包括此前在 GSM-8K、MATH 上取得近乎滿分成績的 Claude 3.5 和 GPT-4 等模型在 FrontierMath 中的解題成功率也均敗北（成功率低于 2%）。

研究團隊指出，AI 在解決高級數學問題時的主要困難在于這些模型通常依賴于訓練數據中學過的類似題目來生成答案，而不是對問題本身的邏輯結構進行真正的理解和推理。這意味著目前業界大部分 AI 模型只要遇到沒學過的題目，就容易出錯，而這一原則性的問題難以實際上無法通過“暴力增加模型規模”解決，需要研發人員從模型推理架構層面進行深入改造。