Elon Musk的人工智能初創公司 xAI 已啟動位于田納西州孟菲斯的超級計算機集群，該集群由 100,000 個 Nvidia H100 GPU 組成。特斯拉首席執行官埃隆·馬斯克在社交媒體平臺 X 上的一篇帖子中證實了這一里程碑。

xAI 的超級計算機集群預計將用于訓練該公司的大型語言模型 Grok，該模型目前作為 X Premium 訂閱者的一項功能推出。本月早些時候，馬斯克在 X 上的一篇文章中指出，xAI 的 Grok 3 將在 100,000 個 H100 GPU 上進行訓練，因此“這應該是一件非常特別的事情”。

馬斯克進一步詳細說明，該集群由 100,000 個液冷H100 圖形處理單元 (GPU)組成，這是 Nvidia 從去年開始提供的芯片，受到 AI 模型提供商的高度需求，包括馬斯克在OpenAI的競爭對手（和前朋友）。

馬斯克還指出，該集群在單個 RDMA 結構或遠程直接內存訪問結構上運行，思科指出這是一種在不增加中央處理單元 (CPU) 負擔的情況下在計算節點之間提供更高效、更低延遲的數據傳輸的方式。

顯然，xAI 的目標是在超級集群上訓練自己的大模型。但更重要的是，馬斯克在回復中表示，該公司的目標是訓練“按各指標衡量世界上最強大的人工智能”，并“在今年 12 月之前”實現這一目標。

他還發文稱，孟菲斯超級集群將為此提供“顯著優勢”。

5 月份，我們報道了馬斯克計劃在 2025 年秋季之前開設超級計算工廠的雄心。當時，馬斯克急于開始超級集群的開發，因此必須購買當前一代的“Hopper”H100 GPU。這似乎表明這位科技巨頭沒有耐心等待H200 芯片的推出，更不用說即將推出的基于 Blackwell 的 B100 和 B200 GPU。盡管人們預計較新的 Nvidia Blackwell 數據中心 GPU 將在 2024 年底之前發貨，但情況仍然如此。

那么，如果超級計算工廠預計將于 2025 年秋季開業，那么今天的新聞是否意味著該項目提前一年實現？確實可能提前了，但更有可能的是，今年早些時候接受路透社和 The Information 采訪的消息人士在項目時間方面說錯了話或被錯誤引用了。此外，隨著 xAI 孟菲斯超級集群已經啟動并運行，關于 xAI 為什么不等待更強大或下一代 GPU 的問題得到了解答。

超微提供了大部分硬件，該公司首席執行官也在馬斯克的帖子下發表評論，稱贊該團隊的執行力。此前，超微CEO最近對馬斯克的液冷 AI 數據中心大加贊賞。

在后續推文中，馬斯克解釋說，新的超級集群將“訓練世界上所有指標中最強大的人工智能”。從之前的意向聲明中，我們假設 xAI 的 100,000 個 H100 GPU 安裝的功能現在將用于 Grok 3 訓練。馬斯克表示，改進后的 LLM 應該“在今年 12 月”完成訓練階段。

如果要將孟菲斯超級集群的計算資源放在某種背景下來看，當然，從規模上看，新的 xAI 孟菲斯超級集群在 GPU 馬力方面輕松超越了最新 Top500 榜單上的任何一臺超級計算機。世界上最強大的超級計算機，如 Frontier（37,888 個 AMD GPU）、Aurora（60,000 個 Intel GPU）和Microsoft Eagle（14,400 個 Nvidia H100 GPU），似乎都遠遠落后于 xAI 機器。

早在6 月初的報道中就披露，xAI 將在占地 785,000 平方英尺的前伊萊克斯孟菲斯工廠建造一個超級計算機集群，非正式地稱為“計算超級工廠” 。大孟菲斯商會在一份新聞稿中表示，xAI 的超級計算機項目是孟菲斯歷史上新上市公司在該市進行的最大資本投資。

xAI 的投資規模巨大。根據Benzinga 的一份報告，每塊 Nvidia H100 GPU 的成本估計在 30,000 至 40,000 美元之間?？紤]到 xAI 使用了 100,000 臺 Nvidia H100 單元，埃隆·馬斯克的 AI 初創公司似乎為該項目花費了約 30 億至 40 億美元。

值得一提的是，Elon Musk旗下的特斯拉已部署了約 35,000 臺 Nvidia H100用于訓練自動駕駛汽車，并使用其定制的 Dojo 芯片開發超級計算機。

本文作者：半導體行業觀察，來源：半導體行業觀察，原文標題：《Elon Musk用100000個H100，打造全球最強集群》

風險提示及免責條款

市場有風險，投資需謹慎。本文不構成個人投資建議，也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資，責任自負。

來源：http://www.91haoming.cn/news/202407/18729.html