金磊 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

就在剛剛，馬斯克一手開源動作，引發(fā)了大伙兒的高度關(guān)注——

xAI現(xiàn)在正式開源Grok 2.5，Grok 3將在半年后開源。

其實早在本月初的時候，馬斯克就公開表示過：

是時候開源Grok了，將會在下周。

雖然開源的時間已經(jīng)超過了他說的節(jié)點，但也正如網(wǎng)友所說：

遲到總比沒有的好。

42個文件，500個G

目前，Grok已經(jīng)可以在HuggingFace中下載（鏈接附文末）：

xAI官方建議用SGLang來運行Grok 2，具體步驟如下。

第一步，下載權(quán)重文件。

你可以把 /local/grok-2 換成任何你喜歡的文件夾名字：

hfdownload xai-org/grok-2—local-dir /local/grok-2

官方表示，這個下載過程中可能會遇到一些錯誤，如果出錯了，可以多試幾次直到下載成功。

下載成功后，文件夾里應(yīng)該有42個文件，大小約為500GB。

第二步，啟動服務(wù)器。

xAI官方建議安裝最新版的SGLang推理引擎（版本號 >= v0.5.1，地址為：https://github.com/sgl-project/sglang/）。

然后用下面的命令來啟動推理服務(wù)器：

python3-m sglang.launch_server —model /local/grok-2—tokenizer-path /local/grok-2/tokenizer.tok.json —tp8—quantization fp8 —attention-backend triton

值得一提的是，這個模型需要8個GPU（每個都得有超過40GB的顯存）才能運行。

最后一步，就是發(fā)送請求。

這是一個經(jīng)過預(yù)訓(xùn)練的模型，所以我們需要確保使用的是正確的聊天模板：

python3 -m sglang.test.send_one —prompt “Human: Whatisyour name?<|separator|>nnAssistant:”

發(fā)送請求后，我們就應(yīng)該能看到模型會回復(fù)它的名字了，即Grok。

那么xAI最新開源的Grok 2，到底是什么水平？

雖然其能力定然是不及當下的各種最先進的主流模型，但我們可以從去年xAI發(fā)布的Grok 2相關(guān)模型的技術(shù)博客中略知一二。

當時，它在LMSYS排行榜上，總體Elo分數(shù)已經(jīng)超越了Claude和GPT-4。

并且在一系列學(xué)術(shù)基準測試中，Grok 2系列在研究生級別科學(xué)知識（GPQA）、一般知識（MMLU、MMLU-Pro）和數(shù)學(xué)競賽問題（MATH）等領(lǐng)域達到了與其他前沿模型相競爭的性能水平。

不過有一說一，網(wǎng)友們雖然覺得馬斯克開源的動作還挺好的，但也有不少詬病的言論。

例如在HuggingFace中，我們并沒有看到xAI明確指出開源模型的參數(shù)權(quán)重。

因此網(wǎng)友們就只能根據(jù)以往的信息，猜測它是2690億個參數(shù)的MoE模型。

其次，就是開源協(xié)議的問題，因為xAI在HuggingFace中的表述是這樣的：

用網(wǎng)友的話來說，這基本上就是一個非商業(yè)許可的：

Mistral、Qwen、DeepSeek、微軟，甚至是OpenAI都在用MIT或Apache 2.0許可來開源模型。

以及，也是最重要的一點，就是運行這個開源模型的條件：

謝謝，我現(xiàn)在只需要8塊顯存超40GB的GPU……

Two More Thing：

除了開源動作之外，馬斯克還發(fā)布了Grok APP上的一些新功能。

這次的更新（v1.1.58）主要是聚焦在了AI視頻生成，具體效果如下：

感興趣的小伙伴可以在APP上體驗嘍。

以及馬斯克還發(fā)了一段有趣的言論：

xAI很快就會超越除谷歌外的任何公司（然后也將超越谷歌），但中國公司才是最大對手。

參考鏈接：
[1]https://x.com/elonmusk/status/1959379349322313920
[2]https://x.com/HuggingPapers/status/1959345658361475564
[3]https://x.com/elonmusk/status/1959384678768447976
[4]https://x.com/elonmusk/status/1959388879888302363