新智元報道

編輯：YHluck

Grok-2正式開源，登上Hugging Face，9050億參數+128k上下文有多猛？近萬億參數「巨獸」性能首曝。馬斯克再現「超人」速度，AI帝國正在崛起。

什么？馬斯克終于開源了Grok-2！

一大早，xAI正式官宣，向所有人開源Grok-2！

馬斯克還預告，Grok-3將在6個月后開源。

Grok-2于2024年完成訓練，體積超500GB。其混合專家（MoE）架構在Grok-1的基礎上進行了改進。

那Grok-2到底開源了哪些部分？開源版本的技術特點是什么？開源權限有什么？

我們為你一一梳理了下，上干貨：

開源了什么？

xAI本次向所有用戶開源了Grok-2以下核心部分：

模型權重

模型架構

Grok-2開源版本技術特點

這個開源的「大腦」擁有非常強大的技術規格：

巨大的模型規模：總參數量高達9050億（905B），在推理時，每次會激活其中的1360億（136B）參數。這使它成為目前最強大的開源模型之一。

超長的上下文窗口：支持高達131,072 (128k) token的上下文長度。

這意味著它可以一次性閱讀和處理非常長的文檔或對話歷史（大約相當于一本200多頁的書），進行更復雜的推理和總結。

混合專家架構 (MoE)：這種架構可以在不增加巨大計算成本的前提下，大幅擴展模型規模，提升模型能力。

較新的訓練數據：其預訓練數據覆蓋了大量的文本和代碼，截止到2024年初。

Grok-2和Grok-1架構不同點，網友對此做了一個總結：

開源權限是什么？

商業用途門檻：僅當關聯公司年收入低于一百萬美元時，才可用于商業用途。超過此門檻的商業用途需獲得xAI的單獨許可。

限制：除非本協議條款允許對Grok 2進行修改或微調，否則不得使用材料、衍生品或輸出（包括生成的數據）來訓練、創建或改進任何基礎、大型語言或通用人工智能模型。

目前，Grok-2現已正式開源，可在Hugging Face上下載。

HF地址：https://huggingface.co/xai-org/grok-2

使用方法：通過SGLang部署

下載權重文件

你可以把/local/grok-2替換成任意你喜歡的文件夾名稱。

hf download xai-org/grok-2 --local-dir /local/grok-2

下載過程中你可能會遇到一些錯誤，請多次重試直到下載成功。

如果下載成功，該文件夾下應包含42個文件，總大小大約為500GB。

啟動服務器

安裝最新版的SGLang推理引擎（版本≥v0.5.1），地址：

https://github.com/sgl-project/sglang/

使用以下命令啟動推理服務器。這個檢查點（checkpoint）配置為 TP=8，所以需要8張GPU（每張顯存大于40GB）。

python3 -m sglang.launch_server --model /local/grok-2 --tokenizer-path /local/grok-2/tokenizer.tok.json --tp 8 --quantization fp8 --attention-backend triton

發送請求

這是一個經過額外訓練的模型，所以需要使用正確的對話模板。

python3 -m sglang.test.send_one --prompt "Human: What is your name?<|separator|>nnAssistant:"

你應該能看到模型輸出名字——Grok。

大佬點評

網友XFreeze稱，xAI發展的速度極其驚人！

他透露，xAI位于孟菲斯的巨像數據中心僅用122天建成并全面投入運營，配備100,000塊英偉達H100 GPU。

「短短兩年內，xAI憑借Grok 4的發布，以極其精簡的團隊登頂全球最強人工智能之巔?！顾袊@道。

黃仁勛曾稱，這是「超人」之舉，只有馬斯克能做到！

在人工智能發展進程上，有網友毫不吝嗇地贊美馬斯克和xAI：他們正以光速推動AI的進步。

他還預告，Grok 5訓練即將開始。

有網友感嘆道，92天內將容量翻倍，這不是資本分配帶來的結果，而是一種繞過傳統使用一種新的運營策略帶來的。

有網友表示，這一切，就像在實時觀看一個科幻夢想成真——真正達到了創新的巔峰！

Grok 4發布會上，馬斯克曾預告了下一步路線圖——

8月將發布編碼模型，9月發布多模態智能體，10月發布視頻生成模型。

xAI模型能飛速迭代，主要背靠了強大的超算中心。預計5年內，xAI將打造出5000塊H100巨無霸超算。

老馬自信滿滿地表示，「xAI很快就能干掉谷歌以外的所有對手，就連谷歌，超過它也是遲早的事」。

真是有點期待，下一個AI帝國誕生了。

參考資料：

https://x.com/jefffhj/status/1959360923929575803

https://huggingface.co/xai-org/grok-2

https://x.com/amXFreeze/status/1959158372231487627