meta正在發(fā)起一場史無前例的戰(zhàn)略轉(zhuǎn)型,以扭轉(zhuǎn)其在基礎(chǔ)模型競賽中的落后局面。
7月15日據(jù)華爾街見聞,meta首席執(zhí)行官扎克伯格周一表示,將投資數(shù)千億美元建設(shè)幾座大型數(shù)據(jù)中心,其中首個數(shù)據(jù)中心普羅米修斯(Prometheus)預(yù)計將于明年投入使用。
據(jù)報道,meta正在效仿xAI,采用更靈活、建設(shè)速度更快的“帳篷式”數(shù)據(jù)中心設(shè)計,并同時在俄亥俄州和路易斯安那州秘密建設(shè)兩個“吉瓦級”(GW)的超級計算集群,項目內(nèi)部代號分別為普羅米修斯(Prometheus)和亥伯龍(Hyperion)。
在創(chuàng)始人扎克伯格的親自推動下,這家年現(xiàn)金流高達(dá)千億美元的廣告巨頭正不計成本地重金投入算力基礎(chǔ)設(shè)施和頂尖人才,旨在追趕并超越OpenAI等競爭對手,其核心目標(biāo)直指“超級智能”。
算力為王:從“帳篷”到“吉瓦級”集群
為了快速獲得海量算力,meta已將過去十年的數(shù)據(jù)中心建設(shè)藍(lán)圖束之高閣。
據(jù)報道,扎克伯格決定再次革新戰(zhàn)略,擁抱一種將建設(shè)速度置于首位的全新設(shè)計。這種受xAI啟發(fā)的“帳篷式”結(jié)構(gòu),采用預(yù)制電力和冷卻模塊以及超輕型結(jié)構(gòu),犧牲了部分冗余(例如備用柴油發(fā)電機(jī)),以求盡快讓GPU集群上線運行。
為實現(xiàn)這一目標(biāo),meta正在推進(jìn)兩項龐大的基礎(chǔ)設(shè)施項目:
普羅米修斯(Prometheus)集群:位于俄亥俄州,一個規(guī)模高達(dá)1吉瓦的AI訓(xùn)練集群。meta采取了“全方位”策略,整合了自建園區(qū)、第三方租賃以及現(xiàn)場天然氣發(fā)電等多種方式。據(jù)報道,該項目旨在通過超高帶寬網(wǎng)絡(luò)連接所有站點,形成統(tǒng)一的后端網(wǎng)絡(luò)。為了解決當(dāng)?shù)仉娋W(wǎng)的供電瓶頸,meta甚至效仿馬斯克,正在建設(shè)兩座200兆瓦的現(xiàn)場天然氣發(fā)電廠。
亥伯龍(Hyperion)集群:位于路易斯安那州,規(guī)模更為宏大,旨在全面超越OpenAI備受矚目的星際之門項目。據(jù)報道,Hyperion的一期工程的IT功率就將超過1.5吉瓦,預(yù)計到2027年底成為全球最大的單一AI數(shù)據(jù)中心園區(qū)。
這些舉措的目標(biāo)非常明確:讓meta在人均算力資源上從“GPU貧乏”轉(zhuǎn)變?yōu)椤癎PU極其富有”,使其訓(xùn)練算力規(guī)模能與OpenAI等頭部實驗室相匹敵。
Llama 4之殤:復(fù)盤技術(shù)與戰(zhàn)略根源
meta的激進(jìn)轉(zhuǎn)型,源于其Llama 4 Behemoth大模型的失敗。在Llama 3一度引領(lǐng)開源模型浪潮后,這次失敗使meta的聲譽(yù)受損。
據(jù)報道,失敗的技術(shù)根源主要包括以下幾點:
架構(gòu)選擇失誤:模型采用了“分塊注意力”(Chunked Attention)機(jī)制以追求長文本處理效率,但這在塊與塊的邊界造成了“盲點”,損害了模型的長程推理能力。此外,模型最初采用的“專家選擇路由”(Expert Choice Routing)雖然提升了訓(xùn)練效率,但在推理階段表現(xiàn)不佳,中途切換回“Token選擇路由”(Token Choice Routing)又導(dǎo)致專家分工混亂。
數(shù)據(jù)質(zhì)量瓶頸:在訓(xùn)練中途,團(tuán)隊從使用公共數(shù)據(jù)集轉(zhuǎn)向其新建的內(nèi)部網(wǎng)絡(luò)爬蟲,但在數(shù)據(jù)清洗和去重方面準(zhǔn)備不足。更重要的是,與其他頂尖AI實驗室不同,meta沒有利用YouTube的海量視頻與文本數(shù)據(jù),這可能限制了其多模態(tài)能力的開發(fā)。
擴(kuò)展與評估短板:報道指出,Llama 4團(tuán)隊在將研究實驗擴(kuò)展到大規(guī)模訓(xùn)練上遇到了困難,缺乏有力的領(lǐng)導(dǎo)來統(tǒng)一技術(shù)路線。同時,meta在強(qiáng)化學(xué)習(xí)和內(nèi)部評估基礎(chǔ)設(shè)施方面也相對落后,未能及早發(fā)現(xiàn)架構(gòu)選擇中存在的問題。
報道認(rèn)為盡管Llama 4本身失敗了,但meta仍通過模型蒸餾技術(shù),將其知識遷移到更小的Maverick和Scout模型中。
彌合差距:豪擲千金與戰(zhàn)略收購
在重整算力基礎(chǔ)設(shè)施的同時,扎克伯格將戰(zhàn)略重心轉(zhuǎn)向了另一個關(guān)鍵要素:人才。他深知meta與頂尖AI實驗室之間的人才差距,因此親自負(fù)責(zé)為一個全新的“超級智能”團(tuán)隊招募成員。
據(jù)報道,meta為頂尖研究員開出的薪酬方案通常高達(dá)4年2億美元,部分關(guān)鍵崗位甚至收到了被拒絕的10億美元級別報價。
這一策略不僅是為了吸引人才,也是為了抬高競爭對手的用人成本。近期加盟的知名人士包括前GitHub CEO Nat Friedman,以及與Ilya Sutskever共同創(chuàng)立SSI的Daniel Gross。
在人才策略之外,戰(zhàn)略收購成為另一大支柱。對Scale AI的投資被視為關(guān)鍵一步,遠(yuǎn)非“退而求其次”。
據(jù)分析,此舉直接針對Llama 4暴露出的數(shù)據(jù)和評估短板。
Scale AI的創(chuàng)始人Alex Wang及其專精于模型評估的SEAL實驗室將為meta帶來急需的能力,尤其是其開發(fā)的推理模型評估基準(zhǔn)HLE(Humanity’s Last Exam),將有力彌補(bǔ)meta的不足。





京公網(wǎng)安備 11011402013531號