伊利亞·蘇茨克維（Ilya Sutskever），視頻播客截圖

11月26日凌晨，OpenAI聯合創始人、超級智能公司Safe Superintelligence首席執行官伊利亞·蘇茨克維（Ilya Sutskever），與知名播客主持人德瓦克什·帕特爾（Dwarkesh Patel）展開深度對談，分享了他對當前AI發展現狀的看法，以及對未來通用人工智能（AGI）實現的預測。

蘇茨克維認為，AGI將在未來5到20年內實現，盡管當前AI技術在某些測試中表現出色，但其在實際應用中仍然面臨許多挑戰。他提到，AI模型在評估任務中的表現常常與現實中的應用效果產生偏差，呈現出“鋸齒狀”能力差距——模型在一些標準測試中得分較高，但在實際工作中卻常犯低級錯誤。

這種能力差距的根源之一在于AI訓練過程中的“預訓練”和“強化學習”。預訓練過程中使用大量數據進行模型訓練，但這些數據并未能有效幫助模型在實際應用中表現出應有的泛化能力。

蘇茨克維指出，當前的訓練方法雖然可以讓AI在特定任務中表現出色，但它們過于依賴特定環境，缺乏應對新任務或復雜情境的能力。這使得AI成為“應試專家”，雖然在考試中表現優秀，但在面對不確定的現實問題時卻表現得不夠靈活和高效。

為了突破這一瓶頸，蘇茨克維提出了一個有趣的觀點——AI模型可能需要類似于人類情感系統的“價值函數”，這種機制可以指導AI做出更加高效和魯棒的決策。

他用人類的情感系統做類比，認為情感在幫助人類做出決策方面發揮著重要作用，而這一點在人類學習和智能發展的過程中至關重要。如果AI能夠借鑒這種機制，理解并處理類似于人類情感的價值函數，那么它們可能會變得更聰明、更有能力應對復雜任務。

然而，隨著AI技術逐漸接近規模化發展，蘇茨克維指出，傳統的“規模化時代”可能已經走到了盡頭。過去幾年，AI領域依賴海量的計算資源和數據來提升模型能力，但在數據和算力逐漸飽和的今天，AI的能力提升已不再單純依賴規模化。

他將2012年到2020年劃定為科研時代，2020年至2025年是規模擴張的時代，當規模效應無法解決當下問題的時候，AI研究可能進入一個新的階段，即回歸科研時代。尋找新的學習方法和更加高效的計算資源使用模式。

在談到AGI和超級智能的安全性時，蘇茨克維強調，隨著AI能力的不斷提升，如何確保AGI在發展過程中與人類的價值觀保持一致，成為了當前AI研究的核心問題之一。盡管AGI的出現將帶來巨大的經濟潛力和進步，但它同樣伴隨著潛在的風險，因此如何在開發過程中確保AI的對齊與安全性至關重要。

最后，蘇茨克維認為，AI將不再只是單純的工具，而會逐漸發展為具有情感和同理心的智能體。為了讓AI在未來的社會中更好地服務人類，AI不僅需要具備強大的計算和學習能力，還應具備情感和道德判斷的能力。這種情感和同理心的AI系統，比單純的工具型AI更容易與人類社會融合，并為人類帶來更多積極影響。

以下為蘇茨克維與帕特爾的對話實錄： 模型能力很“鋸齒”考試滿分，實戰翻車？

帕特爾：我們應該從哪里開始討論？

蘇茨克維：你知道最令人難以置信的是什么嗎？所有這些AI技術竟然都成為了現實。這一切難道不像直接從科幻小說里走出來的嗎？

帕特爾：確實如此。另一個令人驚訝的現象是，AI的漸進式發展感覺如此平常。想象一下我們將GDP的1%投入AI領域，這本來應該是個驚天動地的大事，但現在看來卻顯得理所當然。

蘇茨克維：人類對事物的適應速度確實很快，而且AI發展目前還比較抽象，你只是在新聞上看到某公司宣布了巨額投資，但日常生活中還感受不到實質影響。

帕特爾：你認為這種情況會持續下去嗎？

蘇茨克維：我不這么認為。雖然現在AI領域的許多投資都令人難以理解，但AI終將滲透到經濟各個領域，產生強大的經濟推動力，其影響會變得越來越明顯。

帕特爾：你預計AI的實際經濟影響何時會顯現？雖然現在的AI技術看起來非常強大，但它們在實際應用中創造的經濟價值并沒有那么大。

蘇茨克維：確實如此。這是當前AI領域最令人困惑的現象之一。如何解釋模型在評估測試中表現出色，但經濟貢獻卻明顯滯后？那些評估題目相當復雜，模型完成得很好，但實際應用效果卻大打折扣。比如，模型在某些情況下會反復犯同樣的錯誤，這實在令人費解。

讓我舉個具體例子：假設你用氛圍編程（vibe coding）完成某項任務時遇到一個錯誤，然后讓模型修復，它會遵從，但在修復過程中又引入了新錯誤。當你指出新錯誤后，它再次認錯，卻把原來的錯誤又帶回來了。這種循環往復的情況時有發生，雖然具體原因尚不明確，但這表明系統確實存在某些異常。

我有兩種可能的解釋。一是也許強化學習訓練讓模型過于專注和狹隘，缺乏某種“意識”。正因為如此，它們做不好一些基本的事情。

另一種解釋是，預訓練使用了所有數據，而強化學習訓練則需要選擇特定的訓練環境。設計這些環境時，變量過多，可能會導致無意中優化了某些評估目標，卻忽視了實際應用中的需求。

這也可以解釋為什么我們看到評估性能和實際效果之間的脫節，尤其是模型的泛化能力差。簡單來說，模型在評估中的優異表現并不總能轉化為實際應用中的成功，主要是由于訓練環境和目標之間的偏差。

帕特爾：我喜歡你這個觀點：真正的“獎勵黑客”其實是那些過于關注評估的人類研究員。

你提到的問題可以從兩個角度來看。第一種是，如果模型僅在編程競賽中表現優秀，這并不意味著它就能在其他任務中做出更好的判斷或更有“品味”的改進。因此，訓練環境需要擴展，除了編程競賽，還要評估模型在其他任務上的表現，比如X、Y、Z任務。

另一種角度是，為什么在編程競賽中超強表現不一定能讓模型成為一個更有品味的程序員？也許問題不在于增加訓練環境的數量，而是如何讓模型在一個環境中學習，并能將這些經驗應用到其他任務中。

蘇茨克維：我可以用一個關于人類的類比來說明。同樣以編程競賽為例：假設有兩個學生，一個決心成為最好的競技程序員，因此花一萬小時練習，解決所有問題，記住所有技巧，熟練快速地實現所有算法，最終成為頂尖選手。另一個學生覺得競技編程很酷，但只練習了一百小時，遠遠少于前者，卻也表現得相當好。你認為誰在未來的職業生涯中會表現更好？

帕特爾：第二個學生。

蘇茨克維：對。我認為模型的情況更接近第一個學生，甚至更極端。現在的模型就像“應試專家”。我們為了讓它精通編程競賽，就用海量題目進行填鴨式訓練。結果它雖然成了答題高手，卻依然難以將所學知識靈活應用到其他任務上。

帕特爾：但第二個學生在進行那一百小時的微調之前，其類比是什么？

蘇茨克維：我認為他們具備“某種特質”。我讀本科時遇到過這樣的學生，我知道這種人的存在。

帕特爾：我覺得把“某種特質”與預訓練所做的事情區分開來很有意思。理解你剛才關于預訓練不必選擇數據的說法，一種方式是：它其實與一萬小時的練習并非完全不同，只不過這一萬小時練習是“免費”獲得的，因為它已經存在于預訓練數據分布的某個地方了。但也許你在暗示，預訓練帶來的泛化其實并沒有那么多。預訓練中的數據量確實巨大，但它不一定比強化學習泛化得更好。

蘇茨克維：預訓練的主要優勢有兩點：第一，數據量巨大；第二，你不需要費心選擇預訓練該用什么數據。這些是非常自然的數據，包含了人類的各種行為、想法和特征。這就像是整個世界通過人類投射到文本上，而預訓練試圖用海量數據來捕捉這一切。

預訓練很難推理，因為我們很難理解模型依賴預訓練數據的具體方式。模型犯錯，會不會是因為某些東西恰好沒有得到預訓練數據的足夠支持？“得到預訓練支持”可能是一個比較寬松的說法，我不知道是否能補充更有用的內容。我認為預訓練沒有完美的人類類比。

價值函數：AI的“情緒系統”來了？

帕特爾：人們提出了幾種關于人類與預訓練的類比。我想知道你為什么認為它們可能不準確。其中一種是把人生前15年或18年看作預訓練階段，那時他們還不具備經濟生產力，但正在學習以更好地理解世界。另一種是把進化看作進行了30億年的某種搜索，最終產生了人類。我很好奇，你是否認為這兩種情況中的任何一種與預訓練類似？如果不是預訓練，你如何看待人類終身學習的過程？

蘇茨克維：我認為這兩者與預訓練都有一些相似之處，而預訓練試圖扮演這兩者的角色，但也存在很大差異，畢竟預訓練的數據量非常非常大。

但奇怪的是，一個人類即使在生活了15年后，也只是接觸了預訓練數據的一小部分，他們知道的東西少得多，但無論他們知道什么，他們理解得似乎都深刻得多。在那個年齡，你已經不會犯我們AI犯的那些錯誤了。

還有另一件事。你可能會說，是不是像進化之類的東西？答案也許是。但在這種情況下，我認為進化可能更具優勢。我記得讀過一些案例，神經科學家通過研究大腦不同部位受損的人來了解大腦功能。有些人會出現你能想象到的最奇怪的癥狀，這實際上非常有趣。

我想到一個相關案例。我讀到過一個人的經歷，他因為中風或事故導致腦損傷，破壞了情緒處理能力，于是他不再感受到任何情緒。他仍然善于言辭，能解決一些小難題，在測試中看起來完全正常。但他感覺不到情緒：不悲傷、不憤怒、沒有活力。結果，他在做任何決定時都變得極其糟糕。決定穿哪雙襪子要花他幾個小時，還會做出非常糟糕的財務決策。

這說明了我們內在的情感在使我們成為可行的智能體方面扮演了重要角色。

帕特爾：“某種特質”是什么？顯然不直接是情感。它似乎是某種近乎價值函數的東西，告訴你任何決策的最終獎勵應該是什么。你認為這會隱含地從預訓練中產生嗎？

蘇茨克維：我認為有可能。我只是說這不是100%顯而易見的。

帕特爾：但那到底是什么？你如何看待情感？情感的機器學習類比是什么？

蘇茨克維：它應該是某種價值函數類的東西。但我不認為目前有一個很好的機器學習類比，因為價值函數在人們當前的工作中并不扮演非常突出的角色。

帕特爾：也許你可以為我們定義一下什么是價值函數。

蘇茨克維：當然！在強化學習中，目前的典型做法是這樣的：你有一個神經網絡，給它一個問題，然后告訴模型：“去解決它。”模型會進行數千、數萬次的動作或思考步驟，最終得到一個解決方案。這個解決方案會被評估并打分。

這個分數隨后會用來為模型的每一步行動提供訓練信號。也就是說，如果模型需要花很長時間才能得到最終的解決方案，那么在此過程中，它根本不會學習到任何有用的信息，直到最后的答案出來。這種方式在強化學習中非常常見，也是像OpenAI O1、DeepSeek R1等模型大致采用的策略。

價值函數的概念類似于：“我可能并不總是能立刻告訴你做得好還是不好，但有時可以提前提醒。”這個概念在一些領域尤其有用。比如，下棋時，如果你丟了一個棋子，你立刻就知道自己犯了個錯誤。你不需要等到整場棋局結束才能知道哪一步是錯的，這意味著你可以意識到之前的某些決定也是不好的。這種反饋可以幫助你更快地調整策略，提高效率。

價值函數可以幫助你加快找到最終結果的過程。假設你在解數學題或編程題時，正在嘗試某個解決方案或方向。比如，在思考了一千步之后，你意識到這個方向沒有希望。這個時候，你就可以提前獲得一個反饋信號，告訴你這條路不行，而不是等到一千步后才知道。你可以總結說：“下次遇到類似情況時，我不應該再走這條路。”這樣，實際上你在得到最終解答之前，就已經調整了策略。

帕特爾：在DeepSeek R1的論文中提到，軌跡空間如此之廣，導致很難直接從中間的步驟推斷最終的結果。而且，像在編程中，你可能會先走錯路，然后再回過頭去修改。

蘇茨克維：這聽起來像是對深度學習的信心不足。確實，做起來有難度，但我相信深度學習能夠解決這個問題。我預計價值函數會非常有用，雖然目前還沒有完全做到，但將來肯定會用到。我提到那個情緒中樞受損的人，主要是想說明，也許這表明人類的價值函數是通過情緒來調節的，且這種調節是進化過程中硬編碼的。也許這種機制對我們有效行動至關重要。

帕特爾：這正是我想問你的問題。關于價值函數和情緒的關系，有一個很有趣的地方：情緒雖然在很多情況下非常有用，但它們也相對容易理解，這真的很令人印象深刻。

蘇茨克維：我有兩個回應。首先，我同意，跟我們正在研究的AI系統相比，情緒是相對簡單的，以至于我們能夠用人類能理解的方式來解釋它們。我覺得能做到這一點會很有意思。

關于效用，我認為復雜性和魯棒性之間有一個權衡。復雜的東西可能很有用，但簡單的東西也可以在很多情況下發揮作用。我們現在看到的情緒，主要是從我們的哺乳動物祖先那里進化過來的，然后在我們成為早期人類時稍微調整了一下。我們確實有一些社會性情緒，而這些情緒在哺乳動物中可能沒有。但它們并不復雜，正因為如此，它們即使在今天這個和我們祖先生活的環境完全不同的世界里，仍然能很好地為我們服務。

當然，情緒也會出錯。比如，我不確定，饑餓算不算一種情緒？這個問題有點爭議。但我認為，比如我們對饑餓的直覺感覺，在今天這個食物豐富的世界里，可能并不能很準確地指導我們該如何行動。

規模化已死，研究時代重生

帕特爾：人們總是在談論規模化數據、規模化參數、規模化計算。那么，有沒有一種更廣泛的方式來思考“規模化”這個概念？除了這些，我們還能在哪些方面進行規模化？

蘇茨克維：我有一個可能正確的視角。過去，機器學習的工作方式是，人們只是胡亂嘗試，盡力找出有趣的結果。那時候的做法就是這么簡單。

然后，“規模化”的概念出現了。隨著像GPT-3這樣的突破，突然每個人都意識到，應該開始“規模化”。“規模化”這個詞本身很有力量，它告訴人們應該做什么。于是，人們開始說：“我們要嘗試規模化。”那么，你問我們在規模化什么？答案是——預訓練。在那個階段，預訓練成為了需要規模化的目標，它是一種特定的“規模化配方”。

預訓練的突破在于，我們認識到這個配方是有效的。你可以把一些計算、一些數據和一個適當大小的神經網絡混合在一起，最終得到結果。更妙的是，如果你按比例放大這個配方，你會得到更好的效果。這個發現非常有價值，特別是對于公司來說，因為它提供了一種低風險的方式來分配資源。

與此相比，把資源投入到研究中要困難得多。如果你做研究，你得告訴研究人員：“去做點研究，拿出點成果來。”但另一方面，通過獲取更多的數據、更多的計算資源，你知道從預訓練中肯定會有所收獲。

當然，也有一些人討論Gemini等技術，似乎已經找到了一種方法，能從預訓練中獲取更多的價值。但問題是，數據始終是有限的。到了某個階段，預訓練會耗盡數據。那時候，你該怎么辦？可能的選擇是，進行某種“強化版”的預訓練——一種不同于之前的配方，或者轉向強化學習，甚至嘗試其他方法。但無論如何，現在計算資源的規模已經非常龐大，從某種意義上來說，我們又回到了研究時代。

也許可以這樣理解：從2012年到2020年，那是“研究時代”。然后從2020年到2025年，是“規模化時代”。人們看到了預訓練的巨大成功，然后說：“這太神奇了，我們必須更多規模化，繼續擴大規模。”

但現在，我們已經把規模做得很大。問題變成了：“規模這么大，如果你再加100倍，結果會完全不同嗎？”肯定會不同，但我認為人們并沒有真正相信只要把規模擴大100倍，一切就會發生巨大變化。所以我們又回到了“研究時代”，只是我們擁有了更強大的計算資源。

帕特爾：這是一種非常有趣的表述方式。但我想問問你剛才提到的那個問題：“我們在規模化什么？”擁有一個“配方”到底意味著什么？我不確定是否存在像物理定律那樣清晰的關系，就像預訓練中的數據、計算和參數與損失之間是否存在某種冪律關系。我們應該尋找什么樣的關系？

蘇茨克維：我們已經見證了規模化的轉變，從預訓練到強化學習。現在，強化學習正在成為新的“規模化”目標。有些人現在在強化學習上的計算投入，可能已經超過了預訓練的投入，因為強化學習本身非常消耗計算資源。你得進行長時間的推演，生成這些推演需要大量的計算力，而每次推演帶來的學習效果其實是有限的。所以，強化學習是可以消耗大量計算資源的。

但我甚至不愿稱之為“規模化”。我會問：“你現在在做的事情，真的是你能做的最有效率的事情嗎？你能不能找到一種更高效的方法來利用計算資源？”我們之前討論過價值函數的問題。也許一旦人們真正掌握了價值函數，他們就能更高效地使用計算資源。如果你能找到一種新的訓練方法，也許你會問：“這算不算規模化，還是說只是更好地利用了資源？”我覺得，這個界限有點模糊了。

從這個意義上說，當人們處于研究時代時，那時的狀態就是進行各種嘗試，然后你會發現一些有趣的東西。我認為，最終我們可能會回到那種探索的狀態。研究本身的探索性是不可或缺的，尤其在我們還沒有找到“完美”答案時。

帕特爾：如果我們真的回到了研究時代，退一步來看，我們需要重新思考的“配方”是什么？你提到過價值函數，確實人們已經在嘗試當前的配方了，但隨著像LLM-as-a-Judge之類的新方法出現，你可以說那也是一種價值函數。可是你似乎心里有一個更根本的東西。那么，是否意味著我們應該重新思考預訓練的方式，而不是僅僅在這個過程中添加更多步驟？

蘇茨克維：我認為價值函數是使強化學習更高效的關鍵，這是一個很重要的觀點。但我也認為，任何你能用價值函數做的事，如果沒有它，你也能做，只是會更慢。事實上，我覺得最根本的問題是，這些模型在泛化能力上總是比人類差得多。這是一個非常顯著的差異，也是一個根本性的問題。

泛化之謎：為什么AI學得又慢又笨？

帕特爾：所以，關鍵問題是泛化。這里有兩個更具體的問題。第一個是關于樣本效率的：為什么這些模型需要這么多數據來學習，而人類則不需要？第二個問題是，即使我們不考慮數據量，為什么教機器學習我們想要的東西要比教人類更難？當我們教人類時，不一定需要非常精確的獎勵反饋來指導他們，就像你現在指導研究人員一樣，你和他們分享你的代碼和思路，他們從中學習到了如何思考和做研究。你不需要為他們設定一個“可驗證的獎勵”。所以，這兩個問題似乎是相關的，盡管它們的側重點不同。我非常想探討第二個問題。

蘇茨克維：人類的樣本效率可能與進化有關。進化為我們提供了少量最為重要的信息，特別是在視覺、聽覺和運動等方面。我們的感知能力十分強大，這可能是由于我們的祖先在復雜環境中需要這些能力以生存。例如，我們的運動能力相比機器更為靈活高效。如果讓機器人在模擬中訓練，它可能能夠學到一些靈活性，但要讓它像人類一樣在現實世界中快速掌握新技能，卻依然困難重重。這些能力或許是進化過程中賦予我們的“先驗知識”，尤其是在運動方面。

類似地，視覺能力也是一個例子。楊立昆曾提到，孩子們通常在短短十小時的練習后就能學會開車，證明我們對視覺信息的處理能力極強。盡管孩子接觸到的數據非常有限，他們依然能夠高效地學習。回想我的童年，我對汽車的興趣極大，五歲時我對汽車的識別能力已足夠應對一些實際場景。盡管五歲時我接觸的數據量不多，但這一能力可以從進化角度理解。進化讓我們能夠快速獲取和理解重要信息。然而，語言、數學和編程等領域可能不同。進化可能沒有直接賦予我們這些領域的“先驗知識”，而是更多依賴于后天的學習與適應。

帕特爾：這依然比模型有效。顯然，模型在語言、數學和編程等領域超越了普通人。但在學習效率方面，它們是否真的比人類強？

蘇茨克維：是的，絕對如此。語言、數學和編程，尤其是數學和編程，表明人類的學習優勢并不來源于復雜的先驗知識，而是某種更為基礎的機制，可能類似于更高效的機器學習算法。我們的“大腦”本質上是一個高效的學習系統，能夠在有限的數據和經驗下迅速掌握復雜任務。

帕特爾：我不太理解為什么會這樣。

蘇茨克維：考慮到人類展示出某些高效且可靠的技能，尤其是這些技能對我們祖先幾百萬年甚至數億年的生存至關重要，可能有人會認為人類之所以擅長這些技能，是因為進化賦予了我們某種“先驗知識”，這種知識深深嵌入我們的腦中，使得我們能在這些方面表現得更好。這可以看作是進化先驗的作用。

然而，如果人類在某些只有近期才出現的領域中表現出強大的能力、可靠性和學習能力，那么這更可能表明，人類并沒有依賴于復雜的先驗知識，而是具備了一種更有效的學習機制，類似于機器學習算法中的優勢。

帕特爾：這對于我們如何理解這些能力提供了有趣的視角。你提到的幾個特點，確實很值得關注。例如，它們需要的樣本量較少，學習方式更類似于無監督學習。孩子學習開車時，并不是通過獲得可驗證的獎勵來學習，而是通過與環境的互動來掌握技能。與模型訓練相比，孩子學習所需的數據樣本要少得多，且學習過程似乎更為無監督、更具靈活性，也更具魯棒性。

蘇茨克維：人類的魯棒性確實非常驚人。這種適應性不僅體現在學習新技能上，也在面對不確定性和復雜環境時表現得尤為突出。

帕特爾：那么，你有沒有一個統一的思考方式，來解釋為什么這些能力會同時出現在人類身上？能否找到一個機器學習的類比，來實現這些特性？

蘇茨克維：你一直在問的一個問題是，為什么像青少年駕駛者這樣的人，在沒有外部教師的情況下，也能自我糾正并從經驗中學習？答案是，他們擁有自己的價值函數。這種內在的價值感知在人類中非常強大。除了成癮等少數極端情況，人類的價值函數實際上都非常可靠。對于像學開車的青少年來說，他們一開始開車就能感知自己開得怎么樣，是否自信，是否駕駛得好或壞。他們通過這些內在的反饋很快開始調整自己的行為，通常在十小時后就能獨立上路。

帕特爾：看起來人類似乎擁有某種解決方案，這讓人好奇他們是如何做到的。我們該如何重新思考訓練模型的方式，才能讓它們也能具備這種能力呢？

蘇茨克維：這是一個非常好的問題，我對此有很多看法。但遺憾的是，我們生活在一個，并非所有機器學習的想法都能自由討論的世界，這就是其中之一。我相信是有方法可以做到的。畢竟，人類已經做到了，這本身就是一個強有力的證據。

當然，可能還有另一個障礙，那就是我們對人類神經元進行的計算的理解或許還不夠深入。假如這些神經元進行的計算比我們想象的要復雜，那么問題可能會變得更加困難。但無論如何，我相信它指向了某種潛在的機器學習原理，我對這個原理有一些看法，但由于環境的限制，我無法詳細討論。

SSI野心：直通超級智能，不走尋常路

帕特爾：我很好奇。如果我們現在回到“研究時代”，你曾經經歷過2012到2020年的那個階段，那么現在的研究氛圍會是怎樣的呢？盡管在AlexNet之后，實驗所需的計算量逐漸增加，前沿系統的規模也在不斷擴大。你認為，現在的研究階段是否依然需要龐大的計算資源？我們是否需要回去重新閱讀舊的論文和思考方式？你曾在谷歌、OpenAI和斯坦福等地待過，那個時候的研究氛圍如何？現在我們作為社區，應該期待什么樣的變化？

蘇茨克維：規模化時代的一個后果就是，規模化“吸走了房間里的所有氧氣”。當所有的資源都集中在規模化上時，每個人開始做相同的事情。我們達到了一個階段，世界上的公司數量遠遠超過了新的想法和創新的數量。硅谷有句諺語說“想法便宜，執行才是關鍵”，這句話有一定道理。但最近我看到有人說，“如果想法那么便宜，為什么沒人能提出新的想法呢？”這也是對的。

從瓶頸的角度來看，研究的進展有幾個關鍵瓶頸。一個是創新的想法，另一個則是將這些想法實現的能力，這通常取決于計算資源和工程技術。如果你回到20世紀90年代，盡管有一些非常有潛力的想法，但因為計算資源不足，這些想法無法得到驗證。那時候的瓶頸是計算，許多好點子只能停留在小范圍的實驗中，無法產生廣泛的影響。

而在規模化時代，計算量確實大幅增加。一個問題是，雖然我們需要很多計算，但是否一定需要世界上最大量的計算量來證明某個想法呢？我給你一個類比。AlexNet最初是在兩個GPU上構建的，相比之下，Transformer則是在8到64個GPU上進行訓練。值得注意的是，2017年所有關于Transformer的論文實驗，從未超過64個GPU，這相當于今天的2個GPU。因此，即便是像ResNet這樣的系統，也并沒有那么多計算量。你可以說，像OpenAI o1那樣的推理計算量，未必是世界上最大的。

所以，盡管研究需要計算資源，但遠不意味著你需要擁有歷史上最大量的計算來進行研究。的確，如果你想打造最好的系統，更多的計算肯定會有所幫助，尤其是當大家都在同一范式下工作時，計算資源就成為了關鍵的區分因素。

帕特爾：如果你在SSI有50個不同的想法，但沒有其他頂級實驗室那樣的計算資源，你如何知道哪些想法有潛力成為下一個Transformer，哪些又是不可行的？

蘇茨克維：簡而言之，SSI在研究計算資源上的投入并不少。我想通過簡單的數學解釋，為什么我們所擁有的計算資源對研究的影響其實比人們想象的更大。

首先，SSI已經籌集了30億美元，從絕對的資金量來看，這無疑是一大筆錢。然而，值得注意的是，其他一些公司雖然籌集了更多的資金，但他們的計算資源大部分用于推理任務。而這些大額資金，其實是專門投入到推理計算中的。第二，如果你要開發一個產品并用它進行推理，你就需要一個龐大的團隊，涵蓋工程師、銷售人員等。如此一來，真正用于研究的資源就會大大縮水。因此，和其他公司相比，實際留給研究的計算資源并沒有那么大的差距。

還有一件事是，如果你做的是一些與眾不同的研究，你真的需要絕對最大規模的計算來證明它嗎？我完全不這么認為。我們已經擁有足夠的計算資源，能夠證明我們的研究方向是正確的，足以讓我們自己和其他人相信。

帕特爾：有公開的估算指出，像OpenAI這樣的公司每年在實驗上的開支大約為50到60億美元。這與他們用于推理等方面的資金是分開的。所以看起來，他們用于研究實驗的年度開支，可能比你們的總資金還要多。

蘇茨克維：我認為這取決于你如何利用這些資源。每個公司使用資源的方式不同。以OpenAI為例，他們的計算需求在訓練方面遠遠高于我們的。更何況，他們的工作流更加多樣化，涵蓋了多個模態，涉及的任務更多，資源的分配也更為分散。因此，這些資源的使用方式與我們有所不同。

帕特爾：SSI將如何賺錢？

蘇茨克維：我對這個問題的回答是，目前我們只專注于研究，答案會在未來顯現。我認為有很多可能的答案。

帕特爾：SSI的計劃仍然是直通超級智能嗎？

蘇茨克維：也許。我認為這有它的優點。一個好處是，完全不受日常市場競爭的影響，這是非常有利的。但我認為有兩個原因可能會導致我們改變計劃。第一個是務實的，如果實現的時間表很長，可能會調整。第二個是，我認為強大的AI在全球范圍內發揮作用并影響世界，這本身是非常有價值的。能參與其中，我認為這是一件有意義的事。

帕特爾：那么，為什么你們的默認計劃是直通超級智能？聽起來OpenAI、Anthropic和其他公司，他們的策略是“我們將逐步推出越來越弱的智能體，讓公眾逐漸適應并為之做準備。”為什么直接構建超級智能體可能會更好？

蘇茨克維：讓我分析一下支持和反對的理由。支持的理由是，市場上的競爭非常激烈，進入這個競爭環境非常艱難，因為它需要在很多方面做出權衡。如果你能說“我們將與所有這些隔離開來，只專注于研究，直到我們完全準備好才推出”，這是一個很好的策略。但反對的理由同樣有效：讓世界看到強大的人工智能是有價值的。讓人們看到強大的AI在實際應用中的作用，這是唯一能夠有效傳播AI的方式。

帕特爾：你所說的“傳播AI”是什么意思？

蘇茨克維：假設你寫了一篇關于AI的文章，內容講述“AI會變成這樣，AI會做那樣”。你看了以后覺得：“這篇文章很有趣。”但是如果你親眼看到AI正在做這些事情，那感覺就完全不同了。對我來說，AI的公開存在是至關重要的，這是我們可能不會完全采取直通方案的一個原因。

SSI的模型將從部署中學習

帕特爾：我想這不僅僅是這樣，但我確實認為這是其中一個關鍵因素。另一點是，我想不出人類工程和研究中的其他領域，最終產品的安全性是通過思考如何使其安全來實現的，而不是通過實際的部署。為什么今天的飛機墜毀率比幾十年前低這么多？為什么在Linux中找漏洞比幾十年前難得多？我認為最主要的原因是，這些系統已經被部署到世界各地。我們注意到故障，并且修復了它們，系統因此變得更強大。

我不確定AGI和超人類智能為什么會有所不同，尤其是考慮到超級智能的危害不僅僅是關于某個惡意的回形針優化器。它是一個非常強大的系統，我們甚至不知道如何與它互動，人們會用它做什么。逐步接觸它似乎是分散其影響，并幫助人們為它做好準備的更好方式。

蘇茨克維：關于這一點，我認為即便是直通方案中，你也會逐步發布它，這樣的漸進性是任何計劃的核心部分。問題是，你要搞清楚首先發布的是什么，這是第一點。

第二，我相信你比大多數人更推崇持續學習，這實際上是非常重要且正確的。我給你一個關于語言如何影響思維的例子。在這里，有兩個詞深刻影響了每個人的思維，我堅持這一點。第一個詞是：AGI。第二個詞是：預訓練。讓我解釋一下。

術語“AGI”為什么會出現？這是一個特殊的術語，但它的存在并不是因為它精準地描述了某種智能的最終形態，而更多是對另一個舊概念的回應——“狹義AI”。回到早期的游戲AI時代，如跳棋AI、國際象棋AI、電子游戲AI，人們常說：這些系統雖然能擊敗卡斯帕羅夫，但只能下棋，做不了別的事，因此被稱為“狹義AI”。作為反對，一些人提出：“我們需要一種能做所有事情的通用人工智能”，AGI一詞因此流行起來。

另一個深刻影響行業的是“預訓練”概念，尤其是預訓練的標準流程。在這一范式下，你只要做更多預訓練，模型幾乎在所有能力上都會均勻提升，于是預訓練被認為是通往AGI的路徑。

但不論是AGI，還是預訓練，它們都偏離了真正關鍵的目標。如果你以“預訓練”視角去思考AGI，會發現人類其實并不是AGI。我們確實擁有一套基本技能，但卻缺乏龐大的先驗知識；我們真正依賴的是“持續學習”。因此，假設未來我們成功創造了一個安全的超級智能，關鍵問題是：我們該如何定義它？它在持續學習曲線的哪個階段？

你可能培養出一個“超級智能的15 歲少年”：非常聰明、學習迅速、動力強，但并沒有掌握太多知識。之后，它會像一個優秀學生一樣，成為程序員、成為醫生，在真實環境中繼續學習與試錯。可以想象，部署本身就會成為學習過程，而不是簡單推出一個“完整成品”。

帕特爾：我明白了。你提到的關于超級智能的觀點，并不是指一個“完成的”心智，能夠做經濟中的每一項工作。比如，最初的OpenAI章程或其他文獻中的AGI定義是，它能做所有人類能做的事。你提出的替代方案是，一個能夠學會做所有事情的心智，這才是超級智能。換句話說，一旦你擁有這樣的學習算法，它就像人類進入一個組織一樣，開始在現實世界中運作。

看起來，這兩種情況中可能發生其中一種，也許兩者都不會發生。第一種情況是，這種超高效的學習算法變得超越人類，甚至在機器學習研究任務上超越我們，變得越來越智能。第二種情況是，即便沒有發生遞歸自我改進，如果你有一個單一的模型，它通過廣泛部署，在不同的工作領域持續學習，并掌握所有人類可以掌握的技能，然后合并這些技能，那么這個模型在功能上也會變得超級智能。即使沒有自我增強，它依然能做經濟中的每一項工作，并將知識整合在一起，成為一個超越人類的智能體。你期望這種廣泛部署會引發某種智能爆炸嗎？

蘇茨克維：我認為我們很可能會經歷快速的經濟增長。一旦我們達到了某個關鍵點，擁有一個能夠快速學習的AI，并且有大量這樣的AI，除非有法規限制，否則將會有強大的動力將它們廣泛部署到經濟中。順便提一下，確實可能會有一些法規來限制這一進程。

從廣泛部署的角度來看，我認為快速經濟增長是非常可能的。問題是，這個過程會有多快。因為一方面，你擁有這種極其高效的AI，另一方面，世界很大，有很多變化的因素。而且這些因素變化的速度各不相同。盡管如此，AI的潛力是顯而易見的，所以我認為快速的經濟增長確實是可能的。我們將看到不同國家采取不同的規則，友好政策的國家將會看到更快的經濟增長。這些都很難預測。

對齊新目標：讓AI“關心有情生命”

帕特爾：從我的角度來看，這種情況似乎非常不穩定。在極限情況下，似乎這種超級智能是可能的。如果你擁有一個在學習上和人類一樣優秀的系統，但它能夠像人類無法做到的那樣，合并不同實例的大腦，這聽起來就像是可以實現的物理過程。人類可以做到，數字計算機也可以做到。只需要把這兩者結合起來，就能創造出超級智能。

這種智能似乎是非常強大的，經濟增長是其中的一種描述方式。就像戴森球代表了巨大的經濟增長一樣。但另一種描述方式是，你會在非常短的時間內看到巨大的變化。如果你在SSI工作，大概六個月后他們就能帶來實質性的生產力提升。一個人學得非常快，而AI的進化也同樣飛速。你如何看待這個過程？為什么SSI有能力做到這一點？你們在這方面有什么計劃？

蘇茨克維：我現在的思維方式發生了一些變化。我現在更注重AI的增量式進展和提前部署。關于AI，有一件非常困難的事情是，我們談論的是尚不存在的系統，很難想象它們的實際樣貌。

事實上，AGI現在是一個很難想象的概念。我們可以討論它，但很難真正感受到AGI的存在。想象一下，談論年老體衰的感覺，雖然你可以說很多，但直到你親自經歷時才真正理解。這就是AGI的問題，它很難想象，盡管我們可以討論它，但它離我們還很遠。我認為圍繞AGI及其潛力的許多疑問，歸根結底都源于它的強大。問題的核心就是它的力量。

當力量變得非常強大時，會發生什么？過去一年，我在這個問題上的想法發生了變化。這種變化可能會影響我們公司未來的計劃。我的保守看法是，如果很難想象某件事，那該怎么辦呢？你必須展示它。我堅信，大多數從事AI工作的人都難以真正想象AGI，因為它與我們日常見到的東西相差太遠。

我預計，隨著AI變得越來越強大，人們會開始改變他們的行為，出現許多前所未有的事情。一些變化已經開始顯現，我舉幾個例子。首先，無論是好是壞，前沿AI公司和政府將在接下來扮演重要角色。你會看到一些激烈的競爭對手開始合作，進行AI安全研究。比如OpenAI和Anthropic就已經開始了這方面的合作，而這種合作三年前幾乎是難以想象的。

隨著AI越來越強大，更明顯的威脅也將浮現，政府和公眾可能會產生一種“必須采取行動”的需求。這是一個強大的動力，推動我們展示AI的進展。這是第一點，AI將變得越來越強大，需要我們去展示它的潛力和影響。

第二點，現在AI看起來還不夠強大，但我預測，某一天它會變得足夠強大，這將迫使AI公司改變它們處理安全問題的方式。我認為，我們將看到所有AI公司變得更加警覺和小心。現如今，我們看到的種種問題，主要是因為人們難以想象未來AI的真正樣貌。當AI變得更強大時，安全和對齊問題會變得更加緊迫。

第三，從更廣泛的角度來看，問題是公司應該構建什么？目前，很多人都關注“自我改進的AI”，這個想法似乎主導了大多數公司的方向。但我認為，我們可以做得更好，應該構建更具長期價值的東西。我堅信，我們應該專注于構建一種“關心有情生命的AI”，因為AI本身將會是有情感的生物。

你可以從鏡像神經元、同理心等現象中找到解釋，人類對動物的同情心并非完全無緣無故，而是我們通過相似的感知機制去理解他人。我認為，這種情感的模型將自然而然地涌現，成為AI本身的一部分。這種具有情感和同理心的AI比僅僅關心人類的AI更為穩健，更容易實現。

帕特爾：所以，即使你讓AI關心所有有情生命，我不確定解決對齊問題后這是否真的是我們該做的事，大多數有情生命依然會是AI。將來，可能會有數萬億、甚至數千萬億的AI，而人類將只占其中非常小的一部分。所以，如果目標是讓人類能夠控制未來的文明，這樣的標準是否合適呢？

蘇茨克維：確實，可能這并不是最好的標準。我有兩點想說。第一，關心有情生命是一個值得考慮的方向，尤其在公司處于這種情況時，能夠有一個簡明的標準來參考，會很有幫助。 第二，如果超級智能的力量能夠以某種方式被限制，我認為這會非常有幫助，因為這能解決很多潛在的擔憂。如何限制這種力量，我不太確定，但我相信在面對極其強大的系統時，這種限制將非常重要。

帕特爾：在我們深入討論對齊之前，我想再探討一下這個問題。超級智能的規模有多大？你如何看待超級智能？從學習效率的角度來看，超級智能是否只是學習新技能和新知識的速度極快？還是它具有更大的策略池？超級智能是否有一個單一的、統一的“核心”，使得它比其他系統更強大？它是否像神一樣強大，還是只是一個智能體或智能體集群？

蘇茨克維：這是一個因人而異的問題。我認為超級智能會非常強大，這毫無疑問。最可能的情況是，多個超級智能將在差不多的時間內被創造出來。如果這些AI系統足夠強大，且集群規模夠大，那它們的力量就會非常可怕。 如果我們談論的是極其強大的AI，我認為，如果能對其施加某種限制，或者建立某種協議或約定，那將會是非常好的。

一種可能的擔憂是，如果這個系統足夠強大，我們可能需要非常專注地關心有情生命，因為我們可能并不喜歡這個系統的結果。換句話說，如果我們不能控制超級智能的行為，它可能會做出我們無法預測或無法接受的決定。

我想指出兩件事。首先，我認為人類本身是一個半強化學習的智能體。我們追求獎勵，但當這種獎勵變得乏味時，我們會去追求另一個獎勵。市場經濟就是這種短視的智能體。進化也有類似的特點，它在某些方面很聰明，但在其他方面又顯得非常愚蠢。政府設計成三權分立的形式，產生了不斷的爭斗，也導致了某些效果。所有這些都類似于智能體的構建方式。

使這個討論變得更加復雜的另一件事是，我們談論的是尚不存在的系統，且我們不知道如何構建它們。這就是我所相信的一個觀點：目前的研究會走一段路，但最終會逐漸消失。盡管如此，它們會繼續改進，但也不會變成“那個東西”。我們還沒有完全理解“那個東西”是什么，很多事情都取決于對可靠泛化的理解。

我再補充一點：關于對齊問題，可能有一個原因是我們學習人類價值觀的能力本身就是脆弱的。而且我們優化這些價值觀的能力也是脆弱的。事實上，我們并不總能學會如何有效地優化它們。你不覺得這也是一個“不可靠泛化”的例子嗎？人類為什么能更好地泛化？這可能是因為我們在人類價值觀的理解和學習中具有更強的泛化能力。

帕特爾：人們是如何想象AI順利發展的？你已經提到AI可能會發展成持續學習的智能體，變得非常強大，也許還會有很多不同的AI。你怎么看待這些計算智能四處活動？這種情況有多危險？我們該如何減少它的危險性？如何在可能存在未對齊的AI和惡意行為者的環境下，找到一種平衡，確保安全？

蘇茨克維：這就是我喜歡“關心有情生命的AI”這一概念的原因之一。我們可以辯論它是好還是壞，但如果前幾個超級智能體真的能關心人類或類似的有情生命，這無疑會是一個非常積極的開始。當然，要實現這一點存在諸多挑戰。但如果是由最初的幾個系統來實現這一目標，我可以想象它會在相當長一段時間內平穩發展。

問題是長期會如何演變。如何保持長期的均衡？這的確是一個問題，雖然我并不喜歡這個答案，但我們必須考慮這個因素。

從長遠來看，你可能會說，“如果有一個強大的AI世界，短期來看，你會看到普遍高收入、大家都生活得很好。”但就像佛教徒說的：“變化是唯一的不變。”所有事物都會變化。有一種政府或政治結構的東西，它的運作會隨著時間的推移而變化，因為這些結構總會有保質期。某個新的政府或體系會出現，它會運行一段時間，之后它的效用會消失，這種情況是我們歷史上反復發生的。

所以，我認為，對于長期均衡，可能的方式之一是，每個人都有一個AI來執行他們的命令，這樣似乎很理想。但問題是，這樣的模式存在缺點：AI會為人類賺錢，為其政治需求辯護，甚至可能會寫報告。然后人類聽后可能會說：“好吧，繼續。”但是，這時的人類就不再是一個活躍的參與者了。這樣一個局面，很可能是不穩定的。

我并不喜歡這個解決方案，但它確實是一種解決方案。它是這樣的：如果人類通過某種方式，比如一個改進版的Neuralink，成為半AI生物。那么，問題就變得不同了。因為AI已經理解了某些東西，而我們也能夠理解它，因為理解是完全同步的。這意味著，假如AI處于某種情況，你也完全參與其中。我認為，這可能是實現均衡的答案。

帕特爾：我想知道，在完全不同的環境中發展了數百萬年（有時甚至是數十億年）的情感是否可以視作對齊成功的一個例子。

我解釋一下我的意思，我不確定是不是應該稱之為價值函數或者獎勵函數，但腦干有一個指令，它說：“與更成功的人繁衍。”而大腦皮層則是理解現代社會中成功意味著什么的部分。但腦干能夠對齊大腦皮層，并說：“無論如何定義成功，你仍然應該追隨這個指令。”

蘇茨克維：我認為這個問題可以從更普遍的角度來看。進化如何編碼這些高級欲望，其實是相當神秘的。比如，我們很容易理解為什么進化讓我們有追求美味食物的欲望，因為氣味代表著化學物質，所以我們追求那些氣味就行了，這個解釋比較簡單。

但進化賦予我們這些社會欲望的方式就不那么容易理解了。我們非常關心自己的社會地位，我們在意是否被社會認可，關心是否擁有良好的聲譽。我們所有的這些社會直覺，我強烈感覺它們是與生俱來的。我不知道進化是如何在大腦中表征這些復雜的社會情感的，畢竟它們是一種高級概念。

假設你關心的是某種社會性事物，它并不是像氣味那樣的低級信號，也不是有傳感器能夠直接感知的東西。大腦需要對大量信息進行處理，拼湊出一個關于社會層面正在發生什么的理解。進化會告訴我們：“那是你應該關心的。”它是如何做到的？

更奇怪的是，它做得非常迅速。我們關心的這些復雜的社會性事務，其實是在進化過程中相對近期才出現的。進化很容易就硬編碼了這些高級欲望，而我不太知道該用什么樣的假設來解釋進化是如何做到這一點的。我有一些想法在醞釀，但都不太令人滿意。

帕特爾：特別令人印象深刻的是，這是你一生中學到的欲望。這是合理的，因為你的大腦是智能的，能夠理解這些欲望的形成也顯得合乎邏輯。也許這不是你的觀點，但有一種方式理解它：欲望是基因組中的一種構建，而基因組本身并不具備智能。然而，你能夠以某種方式描述并將這個特征構建到基因里。

蘇茨克維：本質上，或者我可以換一種說法。如果你考慮基因組的工具，它會說：“好吧，這里有一個構建大腦的配方。”你可以說：“這里有一個配方，用來將多巴胺神經元連接到氣味傳感器。”如果氣味是某種好聞的氣味，你就會去追逐它。

我能理解基因組是如何做到這一點的，但要理解基因組是如何“硬編碼”某種行為，比如你應該關心你整個大腦中非常復雜的計算，這就很難想象。我有一個推測：大腦有不同的腦區。我們的皮層是均勻的，但腦區和皮層中的神經元大多只和周圍的鄰居進行交流。這就解釋了為什么我們有不同的腦區，因為如果你想處理某種特定的信息，所有涉及語言的神經元都需要互相聯系。由于神經元只能和鄰近的神經元通信，所以這些神經元必須集中在某個特定的區域。

這些區域在不同人類之間通常位于相似的位置。所以，或許進化硬編碼了大腦中某個特定位置的功能。進化可能會說：“當大腦在某個特定位置激活時，那就是你應該關心的事物。”這可能是進化的方式，因為它在進化的“工具包”里是可行的。

帕特爾：盡管有些例子表明，比如天生失明的人，他們的皮層中的那個視覺區域會被其他感覺功能所占據。我不確定，如果某些需要視覺信號的欲望或獎勵功能受到限制，那么皮層中不同區域的功能就會改變，這讓我感到疑惑。例如，如果你失去視力，你還能感知到“我希望周圍的人喜歡我”這種感覺嗎？這通常是有視覺線索的。

蘇茨克維：我完全同意你的看法。事實上，我認為對于這個理論有一個更有力的反駁。比如，有些人在童年時期被切除了半個大腦，但他們的所有功能依然轉移到剩下的半球。這表明腦區的功能位置并不是固定的，所以那個關于“進化硬編碼腦區位置”的理論可能并不成立。

如果它是真的，那當然很有趣，但事實并非如此。所以，我認為這是一個謎，且是一個有趣的謎。事實上，進化能夠非常可靠地賦予我們關心社會性事物的能力，這是一個謎。即使是那些有各種精神問題或情感問題的人，他們也通常會關心這些社會性事物。

倒計時開始：AGI將在5到20年降臨

帕特爾：SSI計劃做哪些不同的事情？按理說，你的目標是在關鍵時刻到來時成為前沿公司之一。你創辦SSI，大概是因為你認為：“我有一種能夠安全實現這一切的方法，而其他公司沒有。” 那么，這種區別是什么？

蘇茨克維：我的理由很簡單：我認為有一些值得期待的想法，我希望能系統地研究它們，看看它們是否真的可行。這是一項嘗試。如果這些想法——尤其是我們之前討論過的、與理解泛化相關的那些——最終被證明是正確的，那么我們將獲得非常有價值的成果。

它們會成功嗎？這需要通過研究來驗證。我們目前完全處于“研究階段”。在過去一年里，我們已經取得了不錯的進展，但仍需要持續推進，繼續深入研究。我把SSI看作是在這個領域中嘗試發聲、貢獻力量的組織。

帕特爾：你的聯合創始人、前任CEO最近離職去了meta，人們會疑惑：“如果SSI真的在取得突破，他為什么離開？”你怎么看？

蘇茨克維：對此我想強調一些可能被遺忘的事實。我們當時正在以320億美元估值融資，而meta隨后提出收購。我拒絕了這個收購提議，但我的前聯合創始人選擇同意，并獲得了相當可觀的短期套現。他也是SSI中唯一加入meta的人。

帕特爾：聽起來SSI的目標是在歷史性階段——也就是人類進入擁有超人類智能的時期——成為處于最前沿的公司。你對如何讓超人類智能安全、平穩地發展有自己的想法。但其他公司也會有他們的做法。是什么讓SSI的方法與眾不同？

蘇茨克維：SSI的主要區別在于其技術路徑。我們采用了一種不同的技術方法，我認為這種方法具有潛在價值，因此正全力推進。

我認為最終各家的策略會逐漸收斂。隨著AI能力不斷增強，大家會越來越清楚應采取怎樣的策略。總體上，這些策略大致包括：找到可靠的溝通方式；確保最早出現的真正超級智能是對齊的；讓它在某種程度上關心生命、關心人類、重視民主，或具備這些目標的組合。

我認為這些都是所有參與者應努力實現的目標，也是SSI正在追求的方向。我相信，隨著時間推移，其他公司也會逐漸意識到他們也在朝同樣的目標前進。隨著AI能力繼續提升，世界會發生深刻變化，人們的行為方式也會隨之改變。

帕特爾：既然談到預測，你認為這種能夠像人類一樣學習、最終超越人類的系統會在何時出現？

蘇茨克維：大概在5到20年之間。

帕特爾：假設在未來幾年里，各公司繼續沿用當前路線，但最終到達一個“停滯”的階段。這里的“停滯”意味著收入維持在較低的幾千億美元規模？你認為這種停滯會呈現出怎樣的狀態？

蘇茨克維：在不同公司之間，這種停滯可能會表現得非常相似。即便如此，這些公司仍可能獲得相當高的收入。利潤可能不高，因為它們需要持續競爭，但收入仍然會很可觀。

帕特爾：但在你的模型中，似乎存在某個“正確解”出現后，各公司會開始趨同。我想知道你為何認為會發生這種情況。

蘇茨克維：我主要指的是對齊策略的趨同。技術方法最終可能也會收斂，但我真正談的是在“應該采取哪些對齊措施”這一點上的趨同。

帕特爾：我試圖更清楚地理解你的未來圖景。目前有不同的公司，它們可能繼續獲得收入，但無法實現類人級別的學習系統。于是行業出現分化：你所在的SSI、Thinking Machines，以及其他實驗室。假設其中某家公司找到了正確方法，并推出產品。那么其他公司會因此找到正確做法嗎？

蘇茨克維：具體做法可能不會立即清晰，但“某種新可能性確實存在”這一點會變得非常明確，而這本身就是重要信息。其他公司隨后會嘗試推斷相關機制。但我認為還有一點常被忽略：AI能力每一次提升后，行業處理問題的方式都會發生某種變化，只是目前無法精確判斷這種變化的具體形式。我確信它將非常重要，但很難現在就給出明確描述。

帕特爾：按照常理，你會認為掌握這一模型的公司將獲得所有收益，因為該公司擁有模型本身，而模型又積累了大量知識與技能。有什么理由相信，這些收益會被廣泛分配，而不是只集中在最早啟動持續學習循環的那家公司？

蘇茨克維：我認為實際情況不會如此集中。首先，從過往AI的發展可以看到，一家公司取得突破后，另一家公司會迅速追趕，并在一段時間后做出相近的成果，隨后雙方在市場上競爭并壓低價格。從市場機制來看，未來也會發生類似的情形。

另外，我們討論的是較為理想的情境：我們擁有強大的類人學習系統，而且這些超級智能系統完全可以在保持“狹隘”的前提下發揮作用。也就是說，我們可以擁有許多“狹窄但極其強大”的超級智能。

假設有大量這樣的系統，而某家公司因擅長其中一個領域而獲利豐厚，那么市場中仍然會有其他公司進入競爭。競爭通常通過專業化展開，無論在經濟生態還是生物演化中都是如此。不同公司會進入不同的細分領域。在這種情形下，可能一家AI公司在某種復雜經濟活動上特別突出，另一家在不同領域更有優勢，第三家也許非常擅長處理法律事務。

帕特爾：但這是否與類人學習的特性相沖突？如果系統具有類人學習能力，那么它應該能夠學習各種領域知識……

蘇茨克維：確實可以，但學習需要投入。要在某一領域達到極高水平，需要巨大的計算量與經驗累積，這是長期投資的結果。一家公司在某個領域已投入大量資源達成領先優勢，而另一家公司可能在另一個方向投入了同樣巨大的成本。兩者都通過類人學習達到了高水平，但積累的位置不同。因此，當一家公司已經在某個領域達成優勢時，其他公司未必愿意從頭開始學習同樣的內容，因為代價極高。他們反而更愿意學習其他方向，從而形成自然的專業化分工。

帕特爾：我想這意味著許多不同的公司需要同時擁有類人類的持續學習智能體，這樣它們才能在不同領域開始各自的探索。然而，如果一家公司首先獲得了這個智能體，那么就會有利可圖。因為如果考慮經濟中所有的工作，且每個工作都由一個實例學習，似乎對于一家來說是可以實現的。

蘇茨克維：這是一個合理的論點。但我的直覺是，事情不會按照這種方式發展。理論上，這似乎是可行的，但實踐中，我認為它不會走這條路。

帕特爾：很多遞歸自我改進的模型明確指出，我們將擁有成千上萬的“蘇茨克維”實例，各自提出不同的想法，這將加速超級智能的誕生。你如何看待你們的工作在可并行化方面的潛力？復制“蘇茨克維”的收益是什么？

蘇茨克維：我不確定。我的直覺是會有遞減效益，因為你希望得到不同的思維，而不是相同的思維。如果你只是我的完全復制品，我不確定你能從中獲得多少增量價值。真正需要的是具有不同想法的人。

自我博弈：打破千模一樣的僵局

帕特爾：為什么不同的模型，即使來自完全不同的公司，訓練的數據集可能完全不同，它們的LLMs（大語言模型）仍然如此相似呢？這似乎很瘋狂。

蘇茨克維：或許這些數據集的差異并不像我們表面上看到的那樣大。

帕特爾：但從某種意義上來說，即使未來的AI可能比單個的人類更具生產力，也許人類團隊會比AI團隊具有更多的多樣性。那么，我們如何在AI智能體之間實現多樣性？

蘇茨克維：我認為缺乏多樣性的原因，主要是因為預訓練。所有預訓練模型在同一數據上進行訓練，所以它們的表現非常相似。強化學習和后訓練是開始出現分化的地方，因為不同的人提出了不同的強化學習訓練方法。

帕特爾：我曾聽你暗示過，自我博弈是一種獲取數據或者將智能體與同等智能的其他智能體匹配，以啟動學習的方式。那么，為什么目前沒有公開的提案表明這種方法在LLM上有效呢？

蘇茨克維：我認為這里有兩點需要說明。首先，自我博弈有趣的原因是，它提供了一種僅通過計算而非數據來創建模型的方式。如果你認為數據是瓶頸，那么僅使用計算的方式就非常吸引人。

問題是，自我博弈，至少以往的做法——讓智能體以某種方式相互競爭——只適用于發展某些特定技能。它過于狹隘，通常只適用于談判、沖突、某些社交技能或者策略制定之類的任務。如果你關心這些技能，自我博弈的確會有用。

實際上，我認為自我博弈已經找到了它的歸宿，只是形式不同。比如辯論、證明者-驗證者的結構，你可以有一個LLM作為“評審”，它被激勵去在其他人的工作中尋找錯誤。你可以說這不完全是自我博弈，但這是一種對抗性的設置，我相信這是人們正在探索的方向。

真正的自我博弈可以看作是智能體間更廣泛競爭的一個特例。對競爭的自然反應是嘗試變得不同。因此，如果你將多個智能體放在一起，告訴它們：“你們都需要解決同一個問題，而你是一個智能體，你正在觀察其他所有人是如何做的，”它們就會意識到：“如果他們已經采用了這種方法，我不確定我是否該沿用它。我要做點不一樣的事情。”我認為類似這樣的設置可以激勵方法多樣性。

研究品味：美、簡潔、大腦啟發，缺一不可

帕特爾：最后一個問題：什么是研究品味？顯然，你是世界上被認為在AI研究方面擁有最好品味的人。從AlexNet到GPT-3，再到深度學習歷史上最大事件的合著者，你如何描述這些想法的形成過程？

蘇茨克維：我可以從我個人的角度來評論這個問題。我認為每個人的方法都不同。對我而言，有一件事一直指導著我，那就是AI應該具有什么樣的“美學”，通過思考人類是怎樣的，然而這種思考必須是正確的。我們很容易以錯誤的方式去理解人類的本質，但我們必須正確理解人類的本質。

舉幾個例子。人工神經元的概念直接受到大腦結構的啟發，這個想法非常棒。為什么呢？因為大腦有許多不同的器官，它有褶皺，但這些褶皺可能不太重要。那么，為什么神經元如此重要呢？因為它們數量龐大。這種想法讓人感覺對了，所以你希望神經網絡中有很多神經元。你需要一些局部的學習規則來調整神經元之間的連接，這樣才能模擬大腦的運作，這看起來是合理的。

另外，分布式表示的概念也是如此。大腦通過經驗來響應環境，所以我們的神經網絡也應該從經驗中學習。大腦學會通過經驗，而神經網絡應該通過經驗來學習。你會問自己：某件事是本質的，還是僅僅是細節？事情應該如何運作？

我認為這些原則指導了我很多決策。我從多個角度思考，尋找一種幾乎是美、簡潔和優雅的方式。沒有丑陋的東西容身之地，它必須美、簡潔、優雅，并且與大腦的啟發一致。所有這些因素要同時存在。它們同時存在的程度，直接決定了你對一個自上而下的信念的信心。

自上而下的信念是什么呢？它是支撐你在實驗結果與你的信念相悖時堅持下去的動力。因為如果你只是依賴數據，那你可能偶爾會走上正確的道路，但你也可能會犯錯。你怎么知道自己犯了錯？你怎么知道是繼續調試，還是應該得出結論，認為方向不對了呢？這就是自上而下的信念。

你會告訴自己，事情應該是這樣的。如果某個方法應該有效，那么即使暫時看不見結果，也要堅持下去。這就是自上而下的信念，它來源于這種對大腦啟發的多角度理解，以及對美的追求。（作者｜郭虹妘，編輯｜李程程）