IT之家 11 月 17 日消息，編程 IDE 開發商 JetBrains 今日發文，隨著 AI 的興起，現在的一項關鍵挑戰是如何衡量 AI 輔助工具在現實世界中帶來的效率提升。為了應對這一挑戰，JetBrains 決定打造 Developer Productivity AI Arena（DPAI Arena），并最終將其獻給 Linux Foundation。

DPAI Arena 宣稱是業內首款開放式、多語言、多框架和多工作流基準測試平臺，旨在衡量 AI 編碼智能體在現實世界軟件工程任務中的成效。它圍繞靈活且基于路徑的架構構建而成，能夠對各種工作流（例如，修補、bug 修正、PR 審查、測試生成、靜態分析等）進行公平、可重現的比較。

JetBrains 表示，當前的基準測試所依賴的數據集已過時，涵蓋的技術范圍狹窄，并且過于局限地關注問題到補丁工作流。隨著 AI 編碼工具的快速發展，業界仍然缺乏一個中立且基于標準的框架，用于衡量它們對開發者工作效率的真正影響。

DPAI Arena 將可衡量的工作效率帶入 AI 輔助軟件開發領域。Spring Benchmark 是該平臺的第一項基準，它帶來了針對未來貢獻的技術標準。首先，它實現了數據集創建準則，并詳細說明了支持的評估格式和一般規則。其次，它為解耦基礎架構提供了基礎，使任何人都能采用自己的數據集（BYOD 方式）并重用基礎架構進行自己的評估。

JetBrains 官方也在關注 Spring AI Bench，以擴展 DPAI Arena 中的 Java 基準測試流，并與該項目的核心團隊緊密合作以推動 Java 生態系統中的更多可變性和多路徑基準測試。

JetBrains 計劃將此項目獻給 Linux Foundation，供其建立多元且包容的技術指導委員會，以確定平臺的未來發展方向。

IT之家附 DPAI Arena 官方地址：