馬斯克宣布，旗下大模型平臺(tái)xAI開源其去年最佳模型Grok-2.5，并且在6個(gè)月內(nèi)開源旗艦?zāi)Ｐ虶rok 3。

與其他同類大模型相比，Grok-2.5最強(qiáng)功能就是可以實(shí)時(shí)抓取社交平臺(tái)X（也是馬斯克的）數(shù)據(jù)，例如，用戶想詢問今日NBA比賽結(jié)果時(shí)，會(huì)自動(dòng)檢索X平臺(tái)的實(shí)時(shí)討論和權(quán)威媒體發(fā)布的比分?jǐn)?shù)據(jù)，生成包含賽況分析、球員表現(xiàn)的綜合回答。

此外，財(cái)大氣粗的馬斯克對Grok-2.5的投入也相當(dāng)大，使用了他當(dāng)時(shí)最強(qiáng)的訓(xùn)練平臺(tái)Colossus超20萬塊H100來訓(xùn)練，其性能超過了GPT-4o、Claude 3.5等模型，曾位列大模型競技場的第2名。

開源地址：https://huggingface.co/xai-org/grok-2

Grok 2.5架構(gòu)方面，使用了混合專家模型架構(gòu)，擁有約 3140 億個(gè)參數(shù)，其中每次任務(wù)激活約 860 億個(gè)活躍參數(shù)。這種設(shè)計(jì)通過動(dòng)態(tài)選擇最適合任務(wù)的專家模塊，使得模型在處理復(fù)雜任務(wù)時(shí)既高效又節(jié)能。其上下文窗口達(dá)到128,000個(gè)token，支持處理長文本輸入，適用于需要深度理解和復(fù)雜推理的場景。

訓(xùn)練方面，xAI投入了Colossus超級計(jì)算機(jī)集群，配備20萬塊NVIDIA H100 GPU，僅用122天完成訓(xùn)練。訓(xùn)練數(shù)據(jù)覆蓋截至2024年初的海量文本和代碼，包括書籍、網(wǎng)頁、開源代碼庫等，并通過X平臺(tái)實(shí)時(shí)數(shù)據(jù)流持續(xù)更新，確保模型對時(shí)效性內(nèi)容的理解能力。

Grok 2.5還采用FP8混合精度訓(xùn)練和多token預(yù)測目標(biāo)技術(shù)，在保證精度的同時(shí)將訓(xùn)練速度提升3倍。

在應(yīng)用場景上，Grok-2.5憑借實(shí)時(shí)數(shù)據(jù)驅(qū)動(dòng)實(shí)現(xiàn)了多領(lǐng)域突破。在輿情監(jiān)測與熱點(diǎn)追蹤方面，它能實(shí)時(shí)抓取X 平臺(tái)的熱門標(biāo)簽和討論趨勢并生成輿情報(bào)告，某品牌發(fā)布新產(chǎn)品后，模型可快速分析用戶評論的情感傾向，識別潛在輿論風(fēng)險(xiǎn)點(diǎn)，這一能力使其在危機(jī)公關(guān)、市場調(diào)研等場景中具有不可替代性；

金融與經(jīng)濟(jì)分析領(lǐng)域，模型可實(shí)時(shí)整合X平臺(tái)的財(cái)經(jīng)大V觀點(diǎn)、機(jī)構(gòu)研報(bào)摘要和市場情緒數(shù)據(jù)，結(jié)合歷史交易數(shù)據(jù)進(jìn)行趨勢預(yù)測，例如，當(dāng)用戶提問 “某公司股價(jià)暴跌原因” 時(shí)，Grok-2.5會(huì)引用X平臺(tái)的實(shí)時(shí)討論例如，某大公司CEO的推文、分析師的解讀，并結(jié)合財(cái)報(bào)數(shù)據(jù)生成多維度分析報(bào)告

在多模態(tài)交互方面，Grok 2.5整合了Black Forest Labs的Flux.1模型，能夠根據(jù)文本描述生成高質(zhì)量圖像，或分析醫(yī)學(xué)影像、圖表等視覺內(nèi)容。例如，醫(yī)生上傳X光片并提問“是否存在肺部結(jié)節(jié)”，模型可結(jié)合影像特征和醫(yī)學(xué)知識庫給出診斷建議。音頻處理方面，Grok 2.5支持語音輸入和實(shí)時(shí)語音轉(zhuǎn)寫，適用于會(huì)議記錄、語音助手等場景。

在發(fā)布初期，Grok 2.5在LMSYS中文對話排行榜上以Elo分?jǐn)?shù)1280超越Claude 3.5（1250）和GPT-4 Turbo（1230），成為當(dāng)時(shí)開源模型中的佼佼者。

其數(shù)學(xué)推理能力在MATH基準(zhǔn)測試中準(zhǔn)確率達(dá)23.9%，科學(xué)問答任務(wù)在GSM8K數(shù)據(jù)集上表現(xiàn)優(yōu)于開源競品。代碼生成方面，Humaneval測試通過率為63.2%。

網(wǎng)友表示，感謝埃隆。很高興看到 Grok 2實(shí)現(xiàn)開源。希望開源能持續(xù)縮小與閉源人工智能，當(dāng)技術(shù)進(jìn)步得以共享時(shí)，整個(gè)世界都將從中受益。

太棒了，感謝你兌現(xiàn)了承諾！期待 Grok 3。

Grok 4也該安排一下了，讓我們追一下開源進(jìn)度吧。

開源社區(qū)能夠獲得在生產(chǎn)中實(shí)際使用的完整模型，而不是精簡版或衍生版本，這真是太酷了。

感謝您支持開源！我們將嘗試研究如何創(chuàng)建動(dòng)態(tài)的GGUF文件，以便每個(gè)人都可以在本地運(yùn)行它！

感謝開源。如果能一并發(fā)布訓(xùn)練腳本就太好了。

END