新智元報(bào)道

編輯：KingHZ

全球AI軍備競(jìng)賽燒掉3000億美元，但真正在防止「終結(jié)者」的科學(xué)家，竟不足千人！Anthropic核心成員Benjamin Mann揭秘：當(dāng)人形機(jī)器人覺醒，缺的只是一個(gè)「大腦」——而這一天，最早可能在2028年到來。

1億美元，還是守護(hù)人類？

當(dāng)扎克伯格揮舞九位數(shù)支票瘋狂「挖墻腳」時(shí)，OpenAI前安全大將Benjamin Mann只是淡淡一句：「錢能買模型，卻買不到安全。」

最近的播客，Anthropic聯(lián)創(chuàng)Benjamin Mann揭秘了為何OpenAI安全團(tuán)隊(duì)出走，為什么他對(duì)1億美元堅(jiān)決說「不」。

頂尖AI人才是時(shí)代英雄，

真值1億美元

這是時(shí)代標(biāo)志，這些人才打造的AI極有價(jià)值。

Benjamin Mann表示，團(tuán)隊(duì)流失并不嚴(yán)重：

在meta，最好的結(jié)果是「賺到錢」；但在Anthropic，最佳結(jié)果是「改變?nèi)祟愇磥怼埂：笳吒档谩?/p>

對(duì)Mann來說，這個(gè)選擇并不難：絕不接受meta的天價(jià)offer。

我們正處于前所未有的Scaling時(shí)代，且只會(huì)更瘋狂。

Anthropic每年資本開支增長(zhǎng)一倍，速度驚人。

這就是行業(yè)現(xiàn)狀——好模型就是印鈔機(jī)。

但在Anthropic，meta的「鈔票攻勢(shì)」并未掀起大風(fēng)浪。除了使命感，還有兩大秘訣：

團(tuán)隊(duì)氛圍——「這里沒有大佬光環(huán)，大家只想做對(duì)的事。」

自由選擇——「有人為家庭接受天價(jià)offer，我也理解。」

Benjamin Mann確認(rèn)，1億美元的簽約費(fèi)確實(shí)存在。

Mann算了一下賬：如果推理效率提升5%，整個(gè)推理?xiàng)３杀緦⒐?jié)省數(shù)億美元。一億美元換來這改進(jìn)，回報(bào)驚人。

往后看，幾輪指數(shù)級(jí)增長(zhǎng)后，可能會(huì)達(dá)到萬億級(jí)數(shù)字。那時(shí)，我們很難想象這些這些驚人回報(bào)的意義。

畢竟，他表示AI發(fā)展沒有停滯，Scaling Law依舊有效，進(jìn)展持續(xù)加速。

Scaling Law未死：每月一個(gè)「新物種」誕生

第一，模型發(fā)布節(jié)奏在加速：

過去，我們可能一年發(fā)布一個(gè)模型；

而現(xiàn)在，通過后訓(xùn)練，幾乎每個(gè)月或每三個(gè)月就會(huì)發(fā)布一個(gè)模型。

為何感覺進(jìn)展慢了？部分原因在于，普通人覺得新模型不如老模型聰明。

實(shí)際上，Scaling Law依然有效，但為了繼續(xù)延續(xù)Scaling Law，需要從預(yù)訓(xùn)練轉(zhuǎn)到強(qiáng)化學(xué)習(xí)。

另外，某些任務(wù)上，模型智能已接近飽和。

新基準(zhǔn)測(cè)試發(fā)布后，6-12個(gè)月內(nèi)性能就飽和了。

所以，關(guān)鍵限制可能是測(cè)試本身：更優(yōu)的基準(zhǔn)和更具雄心的任務(wù)，才能展現(xiàn)模型真正的智能突破。

這也引發(fā)了Mann對(duì)AGI定義的思考。

經(jīng)濟(jì)圖靈測(cè)試

奇點(diǎn)風(fēng)向標(biāo)

他認(rèn)為AGI這個(gè)字情感色彩強(qiáng)烈，他更喜歡使用「變革性AI」（transformative AI）這個(gè)詞。

變革性AI關(guān)注是否能在社會(huì)和經(jīng)濟(jì)中帶來變革。

具體的衡量標(biāo)準(zhǔn)就是經(jīng)濟(jì)圖靈測(cè)試（Economic Turing Test）：

在某個(gè)特定職位上，試用了1到3月，最后決定雇用某個(gè)人，最終發(fā)現(xiàn)實(shí)際上他是機(jī)器而不是人，那AI就通過了經(jīng)濟(jì)圖靈測(cè)試。

換句話說，AGI不是考試分?jǐn)?shù)，而是老板的聘用郵件！

AI能通過約50%（按薪資計(jì)算）工作崗位的經(jīng)濟(jì)圖靈測(cè)試時(shí)，就意味著變革性AI的到來。

因?yàn)樯鐣?huì)制度和組織具有慣性，這種變化開始會(huì)非常緩慢。

Mann和Dario Amodei都預(yù)見到，這可能導(dǎo)致高達(dá)20%的失業(yè)率，尤其是在白領(lǐng)工作中。

從經(jīng)濟(jì)的角度來看，失業(yè)有兩種：技能不足或崗位徹底消失。未來會(huì)是這兩者的結(jié)合體。

如果我們未來?yè)碛邪踩珜?duì)齊的超智能，那么就像Dario所說，我們將擁有一群在數(shù)據(jù)中心工作的天才，推動(dòng)科學(xué)、技術(shù)、教育和數(shù)學(xué)的積極變革。那多么令人驚嘆！

但這也意味著，在一個(gè)勞動(dòng)幾乎是免費(fèi)的世界里，無論你想做什么，都可以讓專家為你做。那么，工作將是什么樣子？

因此，最可怕的是，從今天人們還擁有工作的世界，到20年后那樣一個(gè)世界的過渡非常迅速。

但正因?yàn)樗淖兓绱藙×遥@才被稱作「奇點(diǎn)」——因?yàn)檫@個(gè)時(shí)間點(diǎn)無法輕易預(yù)測(cè)。

物理學(xué)上，奇點(diǎn)是一個(gè)體積無限小、密度無限大、引力無限大、時(shí)空曲率無限大的點(diǎn)，在這個(gè)點(diǎn)，目前所知的物理定律無法適用

那時(shí)候的變革極快，根本無法預(yù)見。

隨著AI能力的提升，許多原本由人工完成的任務(wù)正被AI取代，尤其是那些重復(fù)、簡(jiǎn)單、標(biāo)準(zhǔn)化的工作。

這一變化對(duì)職場(chǎng)的影響迅速且深遠(yuǎn)。

例如，在軟件工程方面，Claude Code團(tuán)隊(duì)用Claude完成了95%的代碼。但是，從另一個(gè)角度來看，這意味著同等人力可以寫出更多的代碼。

相似的情況也出現(xiàn)在客服領(lǐng)域。AI工具可以自動(dòng)解決82%的客戶請(qǐng)求，從而人類員工能夠?qū)Ｗ⒂诟鼜?fù)雜的問題。

但對(duì)低技能、提升空間有限的崗位，替代仍會(huì)非常劇烈。社會(huì)必須提前應(yīng)對(duì)。

未來生存指南

未來的職場(chǎng)會(huì)是怎樣的呢？

即便身處這場(chǎng)變革的中心，Benjamin Mann認(rèn)為自己也逃不過被AI取代的風(fēng)險(xiǎn)。

總有一天，這將影響到到所有人。

但接下來的幾年至關(guān)重要。目前，還沒有到可以完全替代人的階段。

現(xiàn)在還處在指數(shù)曲線的起點(diǎn)——平坦的那一段，這里還只是開始。

所以擁有優(yōu)秀的人才仍然極其重要，這也是Anthropic積極招聘的原因。

主持人換個(gè)了問法，繼續(xù)追問：「你有兩個(gè)孩子。那你覺得給什么樣的教育，下一代才能在未來立足？」

Mann認(rèn)為，當(dāng)前的教育傳授知識(shí)和技能，但未來這些傳統(tǒng)標(biāo)準(zhǔn)可能不再適用。

與其讓孩子只為考試做準(zhǔn)備，不如培養(yǎng)她的好奇心和解決問題的能力。

他希望女兒能探索自己感興趣的領(lǐng)域，培養(yǎng)獨(dú)立思考和創(chuàng)造力。

在AI主導(dǎo)的世界里，創(chuàng)造力和情感智力將成為與機(jī)器競(jìng)爭(zhēng)的關(guān)鍵。

未來充滿不確定性，擁抱變化、不斷學(xué)習(xí)和適應(yīng)，將是成功的關(guān)鍵。

內(nèi)幕：OpenAI第一次分裂

眾所周知，在2020年底，Benjamin Mann和另外八位同事離開了OpenAI，創(chuàng)辦了Anthropic。

是怎樣的經(jīng)歷讓他們決定自立門戶？

當(dāng)時(shí)，Mann是OpenAI GPT-2、GPT-3項(xiàng)目成員，是GPT-3論文的第一作者之一。

論文鏈接：https://arxiv.org/abs/2005.14165

他向微軟演示了很多技術(shù)，給OpenAI拉來了10億美元投資。同時(shí)他還負(fù)責(zé)把GPT-3技術(shù)遷移到微軟的系統(tǒng)，便于在Azure上部署和提供服務(wù)。

在OpenAI，他既參與研究，也參與產(chǎn)品落地。

當(dāng)時(shí)，奧特曼總是說：

OpenAI三大「陣營(yíng)」需要彼此制衡：安全陣營(yíng)、研究陣營(yíng)和創(chuàng)業(yè)陣營(yíng)。

Mann認(rèn)為這很荒謬——安全應(yīng)是全員核心目標(biāo)，而非某個(gè)「陣營(yíng)」的職責(zé)。

畢竟，OpenAI的使命是「讓通用人工智能安全、惠及全人類」。

2020年底，安全團(tuán)隊(duì)發(fā)現(xiàn)：

?安全優(yōu)先級(jí)持續(xù)降低；

?邊界風(fēng)險(xiǎn)被忽視。

最終整個(gè)安全負(fù)責(zé)人團(tuán)隊(duì)集體出走。這就是他們離開的根本原因。

理由很單純：AI要把安全放到第一優(yōu)先級(jí)，但同時(shí)要站在研究最前線。

安全研究人員持續(xù)在流失……

而Claude很難犯這類錯(cuò)誤，因?yàn)锳nthropic投入了大量精力進(jìn)行真正的對(duì)齊，而不僅僅是試圖優(yōu)化用戶參與度指標(biāo)。

人生使命：AI安全

世界上真正致力于AI安全問題的人非常少。

即使現(xiàn)在，全球一年在AI基礎(chǔ)設(shè)施上的資本開支已達(dá)3000億美元，但真正全職研究「對(duì)齊問題」的人，Mann估計(jì)不到一千。這更堅(jiān)定了他們「專注安全」的決心。

Mann曾擔(dān)心，只要追求商業(yè)速度，就得犧牲安全。

但在Opus 3發(fā)布后，他意識(shí)到對(duì)齊研究反而讓產(chǎn)品更具人格魅力，兩者呈「互相加速」的凸性關(guān)系——越專注安全，模型越受歡迎。

Anthropic的絕招是「憲法式AI」：他們把聯(lián)合國(guó)人權(quán)宣言、蘋果隱私條款等原則寫成自然語(yǔ)言清單，內(nèi)嵌進(jìn)模型。比起傳統(tǒng)人工標(biāo)注，讓AI的價(jià)值觀更系統(tǒng)，也減少了偏見。

初衷

把AI安全作為AI領(lǐng)域中一切工作的核心，這也和Mann閱讀大量科幻小說有很大關(guān)系，這讓他習(xí)慣于用一種面向未來、長(zhǎng)期視角來看待世界。

但真正讓意識(shí)到這件事情的現(xiàn)實(shí)緊迫性，是在2016年左右他讀了Nick Bostrom的《超級(jí)智能》（Superintelligence）。

那本書讓他第一次深刻意識(shí)到，AI安全并不簡(jiǎn)單，可能是未來人類命運(yùn)最關(guān)鍵的議題之一。

讀完之后，他立刻決定加OpenAI，付諸行動(dòng)。

最初，OpenAI并不清楚如何實(shí)現(xiàn)AGI。當(dāng)時(shí)甚至設(shè)想過，或許需要一群強(qiáng)化學(xué)習(xí)（RL）智能體在一個(gè)孤島上展開競(jìng)爭(zhēng)，最終意識(shí)會(huì)自發(fā)地出現(xiàn)。

但自從語(yǔ)言模型取得了進(jìn)展后，實(shí)現(xiàn)AGI的路徑變得更加明確。

書中更多討論的是：如何將「上帝」關(guān)在盒子里，避免它從盒子里逃脫。

現(xiàn)在，Mann覺得現(xiàn)實(shí)更諷刺：很多人反過來，主動(dòng)把「上帝」請(qǐng)出盒子，還把銀行賬號(hào)交給它。

未雨綢繆

他并非全盤否定。Mann的安全哲學(xué)像「強(qiáng)制性登機(jī)檢查」：

概率再小≠零：「1%墜機(jī)率的航班你敢坐嗎？」

ASL-5警報(bào)：將AI風(fēng)險(xiǎn)分級(jí)為「致人死亡→滅絕人類」，對(duì)標(biāo)核武器管控；

自曝家丑：Anthropic定期發(fā)布模型「犯罪記錄」，哪怕暴露弱點(diǎn)——「行業(yè)進(jìn)步需要真實(shí)代價(jià)」。

他的核心邏輯：「我們希望AI是救世主，但必須按它會(huì)是終結(jié)者來防備。」

現(xiàn)在的AI只是運(yùn)行在計(jì)算機(jī)上，可能僅限于在網(wǎng)絡(luò)上搜索東西，其潛在危害相對(duì)較小。但當(dāng)AI進(jìn)入到機(jī)器人和自主智能體時(shí)，才是最大的危險(xiǎn)。

如果我們沒有做好準(zhǔn)備，問題就會(huì)變得極其嚴(yán)重。

奇點(diǎn)將至，Mann認(rèn)為留給人類的時(shí)間不多了：

2024-2026：硬件成本驟降，人形機(jī)器人只剩兩萬美元，缺的只是大腦」；

2027-2028：按照最新報(bào)告《AI 2027》，奇點(diǎn)節(jié)點(diǎn)可能推遲到2028——但也只多爭(zhēng)取了一年；

2030以后：若成功安全對(duì)齊，人類將進(jìn)入「數(shù)據(jù)中心里的天才國(guó)度」；否者，后果難以估量；

真正的瓶頸：硅、算法與電

當(dāng)同行沉迷于RLHF（人類反饋強(qiáng)化學(xué)習(xí)）時(shí)，Anthropic已升級(jí)到RLAIF：讓AI自我批判與修正，效率超人工千倍——但若「自查機(jī)制」有盲區(qū)，等于「蒙眼開火箭」。

而當(dāng)前最大瓶頸竟是物理限制：

算力饑荒：若有10倍電力，GPT-5明天就能問世；

硅的詛咒：7nm芯片的物理極限逼近，算法進(jìn)步開始「擠牙膏」；

數(shù)據(jù)荒漠：高質(zhì)量語(yǔ)料即將耗盡，AI可能陷入「自我抄襲循環(huán)」。

通過算法、數(shù)據(jù)和效率的改進(jìn)，行業(yè)中單位智能的成本下降了10倍。

因此，擁有更多能做出更好研究的研究人員，找到如何進(jìn)一步提升模型表現(xiàn)的路徑，也是一個(gè)瓶頸。

參考資料：

https://www.youtube.com/watch?v=WWoyWNhx2XU&t=1078s