|未經許可不得轉載星標本號獲取最新頂級認知|

整理:Web3天空之城

城主說|在硅谷的敘事中，Ilya Sutskever 是一個圖騰般的名字。作為 ImageNet 革命的推手、OpenAI 的聯合創始人以及 GPT 系列的核心締造者，他親手開啟了過去十年深度學習的輝煌時代。然而，當全世界都在瘋狂堆疊 GPU、試圖通過擴大模型規模（Scaling）來觸碰 AGI（通用人工智能）的圣杯時，這位技術先知卻選擇了轉身。

離開 OpenAI 后，Ilya 創立了 SSI（Safe Superintelligence），一家沒有任何商業產品壓力、只專注于單一目標的研究機構。在昨晚放出的 Dwarkesh Patel 的一場深度對話中，Ilya 罕見地披露了他對當前 AI 發展瓶頸的底層思考, 指出行業正從單純的“規模化（Scaling）”時代回歸到注重底層創新的“研究（Research）”時代。對話涵蓋了預訓練與強化學習的局限性、人類學習效率與進化的類比、以及情感和價值函數在智能中的作用。此外，Ilya 詳細闡述了 SSI（Safe Superintelligence）直接追求超級智能的戰略考量，討論了 AI 在經濟和部署層面的潛在路徑，并最后分享了他獨特的“研究品味”和關于 AI 發展美學的見解。

核心觀點摘要“2012 年到 2020 年是‘研究時代’；2020 年到 2025 年是‘規模化時代’。現在，我們正重新回到擁有超級算力的‘研究時代’。” “目前的模型就像一個練習了一萬小時競賽題的學生，雖然能解題，但缺乏真正的專家直覺與品味。” “市場競爭是一場‘老鼠賽跑’（Rat Race）。SSI 的戰略是切斷所有商業干擾，直面超級智能的構建。” “丑陋在研究中沒有立足之地。偉大的工作必須是簡潔、優雅且符合生物學直覺的。” “如果我們希望超級智能是安全的，它必須具備一種能夠‘關懷有感知生命’的底層屬性。”

? 從規模化回歸研究 ：單純的規模擴展（Scaling）已遭遇瓶頸，行業正重新回到需要根本性創新的“研究時代”。

? 預訓練與強化學習的局限 ：目前的模型雖然在評估中表現出色，但缺乏人類的泛化能力和“特質因素”，類似于只會做題的學生而非真正的專家。

? 直接追求超級智能 ：SSI 旨在避開短期商業競爭的“老鼠賽跑”，專注于構建安全、關懷有感知生命的超級智能。

? 持續學習的重要性 ：未來的 AI 不應是靜態的成品，而應具備像人類一樣持續學習和適應新工作的能力。

? 研究的美學 ：偉大的研究往往源于對大腦機制的正確直覺，追求簡潔、優雅與美感。

視頻完整版:

告別“規模化”迷信，重返“研究時代”

在過去五年里，AI 行業被一個強大的詞匯統治：“Scaling”（規模化）。自從 GPT-3 橫空出世，行業達成了一種默契——只要向神經網絡中通過堆疊更多的數據和算力，智能就會自然涌現。這種線性思維讓大公司趨之若鶩，因為它提供了一條低風險的資源變現路徑。

然而，Ilya 敏銳地指出，這條路正在變得擁擠且低效。“預訓練數據的紅利終將耗盡，數據是有限的。當你把規模擴大 100 倍后，單純的量變可能不再帶來質變。”

他將 AI 的發展史劃分為極其清晰的階段：2012 年至 2020 年是百花齊放的“研究時代”，人們嘗試各種瘋狂的想法；隨后的五年是“規模化時代”，所有人都在做同一件事。而現在，鐘擺正在回擺。“我們回到了研究時代，區別僅僅在于，我們現在擁有了巨大的計算機。” 這意味著，未來的突破不再僅僅依賴于誰的集群更大，而在于誰能找到新的“配方”——一種比單純預訓練更高效的學習范式。

只會做題的“優等生”：預訓練模型的阿喀琉斯之踵

為了解釋當前大模型的局限性，Ilya 打了一個精妙的比方：

想象兩個學生。學生 A 為了贏得編程比賽，練習了一萬小時，背下了所有算法和技巧；學生 B 只練習了一百小時，但他對編程有深刻的“品味”和直覺。“目前的模型更像是學生 A。我們通過數據增強讓它見過所有可能的考題，它看起來很強，但一旦遇到未曾見過的領域，它的泛化能力遠不如擁有‘特質因素’的人類。”

這種“高分低能”的現象在實際應用中屢見不鮮。模型可以在基準測試（E-vals）中拿高分，但在解決現實世界的復雜 Bug 時，卻可能陷入“修復一個錯誤、引入另一個錯誤”的死循環。Ilya 認為，這是因為當前的強化學習（RL）訓練雖然讓模型學會了迎合評估標準，卻并未真正賦予其像人類一樣的推理和自我修正能力。

向人類進化取經：情緒與價值函數的本質

如果單純的數據堆疊不是答案，那么智能的“圣杯”究竟在哪里？Ilya 將目光投向了生物進化。

人類之所以能以極高的效率學習（例如青少年僅需十幾個小時就能學會開車），是因為我們擁有進化賦予的強大“先驗知識”和“價值函數”。“進化給了我們盡可能少量的、但最有效的信息。” Ilya 指出，人類的情緒系統本質上就是一個高效的價值函數。

他引用了一個神經科學案例：一個失去情緒處理能力的腦損傷患者，雖然智商正常、能言善辯，卻無法在生活中做出最簡單的決定（如穿哪雙襪子）。這揭示了一個深刻的道理：“情緒并非理性的對立面，而是智能高效運作的基石。”

對于 AI 而言，未來的方向在于構建類似的機制——不僅是預測下一個 token，而是能夠像人類一樣，在行動之前就能通過內部的“價值函數”預判路徑的優劣。“你不需要下完一整盤國際象棋才知道自己丟了一個子是錯誤的。價值函數能讓你在中間過程就獲得信號，這才是高效學習的關鍵。”

拒絕商業“老鼠賽跑”，直面超級智能

在 OpenAI 和 Anthropic 等公司爭相發布產品、通過逐步迭代來測試安全性的當下，Ilya 的 SSI 選擇了截然不同的道路：隱身。

“這就像一場‘老鼠賽跑’，激烈的市場競爭迫使你做出艱難的權衡。” Ilya 直言，為了維持產品的市場地位，公司往往需要在研究資源和工程落地之間不斷妥協。SSI 籌集了數十億美元，卻不打算發布任何中間產品，而是將所有算力集中于單一目標：直接攻克安全超級智能（Safe Superintelligence）。

這種“憋大招”的策略在業內充滿爭議，但 Ilya 認為這是必要的。他不僅關注智能的構建，更關注智能的“對齊”。他提出了一種極具人文關懷的對齊思路：“與其構建一個只聽從人類指令的 AI，不如構建一個能夠‘關懷有感知生命’（Care for sentient life）的 AI。”

他認為，因為 AI 本身最終也會成為一種有感知的存在，這種基于“同理心”的對齊可能比僵硬的規則更具魯棒性。

機器人+AI：人類社會未來的方向

對于未來，Ilya 的預測既令人興奮又充滿不確定性。他認為，一旦 AI 突破了持續學習的瓶頸，經濟將迎來爆發式增長。未來的 AI 市場不會被單一的巨頭壟斷，而是會像生態系統一樣高度分化。

“競爭喜歡專業化。” 就像生物進化一樣，我們將看到無數占據不同生態位的 AI 公司：有的專精于法律訴訟，有的擅長復雜工程。而人類的角色，可能會通過某種形式的“神經連接”與 AI 實現部分融合，以在超級智能的時代保持平衡。

在訪談的最后，Ilya 分享了他作為頂尖科學家的核心哲學——“研究的品味”（Research Taste）。對他而言，偉大的研究往往源于對大腦機制的正確直覺，以及對美感的極致追求。

“丑陋沒有立足之地。通過觀察大腦，尋找那些簡潔、優雅、美的解釋。當實驗數據與你的直覺沖突時，這種基于美的信念將支撐你穿越迷霧，找到真理。”

天空之城全文整理 開場: 現實與抽象- AI 發展的感知

Ilya: 你知道什么很瘋狂嗎？嗯哼。但這一切都是真實的。

Dwarkesh: 什么意思？

Ilya: 你不這么認為嗎？

Dwarkesh: 什么意思？

Ilya: 就像所有這些人工智能的東西和所有這些灣區的事情。它們正在發生。這不是直接來自科幻小說嗎？

Dwarkesh: 是的。另一件瘋狂的事情是，這種緩慢的起飛感覺多么正常。比如說，我們要在人工智能上投入GDP的1%，我覺得這本應是個更大的事件，你懂嗎？但現在感覺就是……

Ilya: 事實證明，我們很快就習慣了事物，是的。是的。但它也有點像是抽象的。比如，它意味著什么？它意味著你在新聞中看到了它。是的。某某公司宣布了某某金額。

Dwarkesh: 對。這就是你所看到的一切。

Ilya: 對。到目前為止，這并沒有以任何其他方式被感受到。

Dwarkesh: 是的。我們現在真的要開始嗎？我認為這是一個有趣的討論。當然。

Ilya: 我認為關于“從普通人的角度來看，沒什么太大的不同”這一點，即使到了奇點，仍然會是成立的。

Dwarkesh: 不，我不這么認為。好的，有意思。

Ilya: 所以我所說的“感覺沒有變化”是指，好的，比如某某公司宣布了一筆難以理解的巨額投資。我不認為有人知道該如何處理這筆錢。但我認為人工智能的影響將會被感受到。人工智能將滲透到整個經濟體系中。這背后存在著非常強大的經濟驅動力。而且我認為這種影響會感受到非常強烈。

Dwarkesh: 你預計這種影響何時會到來？我認為這些模型的表現比它們的經濟影響所暗示的要智能。

評估表現與實際經濟影響的脫節

Ilya: 這是目前模型中非常令人困惑的一點。如何調和它們在評估（e-vals）中表現如此出色的事實。你看看這些評估，你會覺得，那些評估相當難。對。它們的表現如此出色，但經濟影響似乎遠遠落后。感覺很難理解模型一方面能做這些驚人的事情，而另一方面，在某種情況下會重復自己兩次，一個例子是，比如你使用 Vibe 編碼做某事，然后你去某個地方，然后遇到了一個錯誤（bug）。然后你告訴模型，請修復這個錯誤好嗎？是的。模型說，我的天，你說得太對了，我有一個錯誤。讓我去修復它。然后它又會引入第二個錯誤。是的。然后你告訴它，你有了這個新的，第二個錯誤。對。然后它告訴你，我的天哪，我怎么會犯這樣的錯誤？你又說對了。然后它又回到了第一個錯誤。是的。你可以在這兩者之間交替。是的。然后你就想，這怎么可能呢？是的。我不確定。但這確實暗示著，有些奇怪的事情正在發生。

Ilya: 我有兩種可能的解釋。所以這里，更有點異想天開的解釋是，也許強化學習（REL）訓練使得模型變得有點過于一根筋和目光狹隘，有點過于，我不知道，缺乏覺察，盡管它在其他方面也讓它們有所覺察。正是由于這一點，他們無法完成基本的事情。但還有另一種解釋，那就是在人們進行預訓練的時候，訓練數據的問題之所以得到解決，是因為答案就是“所有數據”。當你進行預訓練時，你需要所有的數據。所以你不需要去想，是使用這些數據還是使用那些數據。但是當人們進行強化學習（RL）訓練時，他們確實需要思考。他們會說，好的，我們希望針對這個任務進行這種強化學習訓練，針對那個任務進行那種強化學習訓練。

Ilya: 據我所知，所有公司都有專門的團隊來制作新的強化學習環境，并將其添加到訓練組合中。然后問題就來了，那么，這些環境是什么呢？有太多的自由度了。你可以產生數量極其龐大的強化學習環境。你可以做的一件事，我認為這是無意中發生的事情，就是人們從評估中汲取靈感。你說，嘿，我希望我們的模型在發布時表現出色。我希望評估結果看起來很棒。有什么強化學習訓練可以幫助完成這項任務呢，我認為事情確實會發生，而且我認為這可以解釋很多正在發生的事情。如果你將此與模型泛化能力不足結合起來，就有可能解釋我們所看到的很多現象，即評估性能與實際現實世界性能之間的脫節，而我們今天甚至不完全理解“現實世界性能”的確切含義。

Dwarkesh: 我喜歡這個觀點，即真正的獎勵作弊是那些過于關注評估的人類研究人員。我認為有兩種方式來理解或嘗試思考你剛剛指出的內容。一種是看，如果僅僅是通過成為超人般的編碼競賽選手，模型并不會自動變得更有品味，并對如何改進你的代碼庫做出更好的判斷。那么，你應該擴展環境套件，以便你不僅僅是在編碼競賽中測試其最佳性能。它還應該能夠為X事物、Y事物或Z事物做出最合適的應用。另外一個，也許你暗示的是，為什么首先成為超人的編程競賽選手并不能讓你成為一個更有品味的程序員，或者更普遍地來說。也許應該做的事情不是不斷增加環境的數量和環境的多樣性，而是要找到一種方法，讓你能從一個環境中學習，并提高你在其他事物上的表現。

預訓練與強化學習：競爭性程序員的類比

Ilya: 所以我有一個可能有幫助的人類類比。既然你提到了競爭性編程，我們就以競爭性編程為例。假設你有兩個學生。其中一個決定他們想成為最優秀的競爭性程序員，所以他們將在這個領域練習10000小時，解決所有問題，記住所有證明技巧，并非常非常，非常熟練地快速正確地實現所有算法，通過這樣做，他們成為了最優秀的學生之一。學生二認為，競爭性編程很酷，也許他們練習了100小時，比前者少得多，而且他們也做得非常好。你認為哪一個在他們后來的職業生涯中會做得更好？

Ilya: 第二個。我認為這基本上就是正在發生的事情。這些模型更像是第一個學生，甚至更進一步，因為我們接著說，那么模型應該擅長競爭性編程，所以讓我們獲取有史以來每一個競爭性編程問題，然后我們再做一些數據增強。這樣我們就有了更多的競爭性編程問題，并且我們在此基礎上進行訓練。這樣一來，你就擁有了這個很棒的競爭性程序員。并且用這個類比，我認為會更直觀。我認為用這個類比會更直觀，那就是，如果它訓練得如此充分，就像所有不同的算法和所有不同的證明技術都觸手可及一樣。而且更直觀的是，有了這種程度的準備，它不一定能泛化到其他事物上。

Dwarkesh: 那么，在進行那 100 小時微調之前，第二個學生在做什么的類比又是什么呢？

Ilya: 我認為就像他們擁有了它一樣。我認為是那種“特質因素”。是的。就像我知道，比如當我還是本科生的時候，我記得有一個學生像這樣和我一起學習。所以我知道它的存在。

Dwarkesh: 我認為將它與預訓練所做的任何事情區分開來很有趣。所以理解你剛才說的關于我們不必在預訓練中選擇數據的一種方式是說，實際上，它與一萬小時的練習沒有太大區別。只是你免費獲得了那上萬小時的練習，因為它已經存在于預訓練分布中的某個地方。但這就像你可能在暗示，實際上預訓練的泛化能力并沒有那么多。只是免費訓練中有如此多的數據。

Ilya: 但這不像它在泛化方面一定比強化學習（RL）更好。預訓練的主要優勢在于 A，即數據量非常大。是的。B 是你不用費心去思考應該把什么數據。放入預訓練中，而且它是一種非常自然的數據，它包含了人們所做的很多事情，人們的想法以及很多特征，就像整個世界被人們投射到文本上一樣，而預訓練試圖利用海量數據來捕捉這一點。預訓練非常難以推理，因為很難理解模型依賴預訓練數據的方式。每當模型犯錯時，是否可能是因為某些東西碰巧在預訓練數據中支持不足？預訓練的支持可能是一個比較寬泛的說法。我不知道我是否能就此增加更多有用的見解，但我認為人類中沒有與預訓練相對應的類比。

人類進化與 AI 預訓練的映射

Dwarkesh: 這里有一些人們提出的關于人類類比于預訓練的類比，我很想聽聽你對它們可能出錯的原因的看法。一種是將一個人生命中的前18年、15年或13年視為一個階段，那時他們不一定具有經濟生產力，但他們正在做一些讓他們更好地理解世界的事情，等等。另一種是將進化視為完成某種服務。進行了30億年，然后產生了一個人類生命實例。那么我很好奇你是否認為這些類比中任何一個與預訓練真正相似，或者如果你不考慮預訓練，你會如何看待至少人類一生的學習是怎樣的？

Ilya: 我認為這兩者與預訓練都有一些相似之處，而且預訓練試圖扮演這兩者的角色。但也我認為存在一些巨大的差異。預訓練數據的量非常、非常驚人。是的。而且不知何故，一個人類個體，即使在 15 年后，只利用了那部分預訓練數據的一小部分，他們所了解的也要少得多。但無論他們知道什么，他們知道得都要深得多，不知怎的。而且，比如在這個年齡，他們不會犯像大型語言模型（RIAs）那樣的錯誤。

Ilya: 是的。還有另一件事，你可能會問，這會不會是某種類似進化的東西？答案是也許，但在本例中，我認為進化可能確實具有優勢。比如，我記得讀過一個案例，一些，這是神經科學家做的一件事，或者更確切地說，是神經科學家了解大腦的一種方式，就是研究大腦不同部位受損的人。有些人表現出你可以想象到的最奇怪的癥狀。實際上非常、非常有趣。我記得一個與此相關的案例。我讀到過一個人，他有某種腦損傷，我想是一次中風或事故，導致他的情緒處理功能喪失了。所以他不再有任何情緒了。結果是，他仍然非常健談，能夠解決一些小難題，而且在考試中他似乎表現得很好。但他感受不到任何情緒，他不會感到悲傷，不會感到憤怒，也不會感到興奮，他不知怎么地在做任何決定時都變得非常糟糕，他需要花上幾個小時來決定穿哪雙襪子，而且他會做出非常糟糕的財務決定，這非常說明了我們內置的情緒在使我們成為一個可行的主體方面究竟扮演著什么樣的角色。我想，聯系到你關于預訓練的問題，這就像是，也許如果你在預訓練中足夠擅長獲取所有信息，你也可以獲得那種能力。但這類事情似乎，嗯，它可能從預訓練中獲得，也可能無法獲得。

價值函數與情緒的作用

Dwarkesh: 那是什么？顯然不只是直接的情緒。它看起來像是一種近似于價值函數的東西，它告訴你應該做出什么樣的決定，比如任何決定的最終回報應該是什么。你不認為這會不經意地來源于，我認為有可能會。我只是說它不是一個，不是百分之百明確的。是的。但那又是什么呢？比如，你如何看待情緒？情緒在機器學習中有什么類比嗎？

Ilya: 它應該是一種價值函數之類的東西。是的。但我認為沒有一個很好的機器學習類比，因為目前價值函數在人們所做的事情中并不扮演非常重要的角色。

Dwarkesh: 如果你想這么做，也許值得為聽眾定義一下什么是價值函數。

Ilya: 當然，我非常樂意這樣做，那么當人們進行強化學習，目前進行強化學習的方式是怎樣的呢？人們如何訓練那些智能體？所以你有一個神經網絡，你給它一個問題。然后你告訴模型，去解決它。模型可能會采取數千次、數十萬次的行動。或者思考或別的東西，然后它產生一個解決方案，該解決方案會被評分。然后該分數被用來為你的軌跡中的每一個動作提供一個訓練信號。這意味著如果你做的事情耗時很長，如果你在訓練一個需要很長時間才能解決的任務，你將完全學不到任何東西，直到你提出了擬議的解決方案。強化學習就是這樣做的。天真地做。01、R1 表觀上就是這樣做的。

Ilya: 價值函數表達的意思是，看，也許我有時可以，不總是，告訴你你做得好還是不好。價值函數的概念在某些領域比在其他領域更有用。例如，當你玩國際象棋時丟了一個棋子，我搞砸了，你不需要下完整個對局就知道我剛才做的很糟糕，因此在此之前所做的一切也都是糟糕的。所以價值函數可以讓你跳過直到最后才計算權重。比如我們假設你開始追求某種，好的，我們假設你正在做某種數學或編程方面的事情。并且你正在嘗試探索一個特定的解決方案方向。在經過，比如說，一千步思考后，你得出結論，這個方向沒有前途。一旦你得出這個結論，你就可以在決定沿著這條路走的一千步之前就獲得了獎勵信號。你會說，下次，在類似的情況下，我不應該再走這條路了，這比你實際提出一個擬議的解決方案要早得多。這在深度強化學習（Deep Sikar 1）論文中提到過，即軌跡空間非常廣闊，因此很難學習從中間軌跡和價值到編碼的映射，而且假設你有了錯誤的觀念，然后你會回去，然后你會改變一些東西，這聽起來像是對深度學習缺乏信心，當然這可能很困難，但沒有什么事是深度學習做不到的。所以我的預期是，價值函數應該是有用的，而且我完全期待它們在未來會被使用，如果不是現在的話。

Ilya: 我剛才提到的那個情感中樞受損的人的情況，更多的是想表明，人類的價值函數可能以某種重要的、由進化固化的方式受到情緒的調節。也許這對人們在世界上有效運作是很重要的。

Dwarkesh: 這正是我本來計劃要問你的事情。情緒的價值功能中有一個非常有趣的點，那就是，盡管它們相當簡單易懂，卻能產生如此大的效用，這一點令人印象深刻。

Ilya: 所以我有兩個回應。我確實同意，與同樣的事情相比。我們所學和我們所談論的這類事情，我們所談論的情緒是相對簡單的。它們可能簡單到也許可以用人類可以理解的方式將它們描繪出來。我認為那樣做會很酷。盡管從效用的角度來看，我認為存在一個權衡，存在這種復雜性、魯棒性之間的權衡。復雜的事物可以非常有用，但在非常廣泛的情況下，簡單的事物非常有用。所以我認為理解我們所看到的一種方式是，我們擁有的這些情緒，它們基本上主要源于我們的哺乳動物祖先，然后在我們成為人科動物時進行了一點微調。盡管如此，我們確實擁有相當數量的社會性情緒，這是哺乳動物可能缺乏的。但它們不是很復雜，而且因為它們不復雜，所以在與我們實際生活在的這個非常不同的世界中，它們的服務效果不佳，它們也會犯錯誤。例如，我們的情緒，嗯，我不知道饑餓算不算情緒，這一點有爭議，但我認為例如我們直覺上的饑餓感在這個食物充裕的世界里并不能正確地指導我們。

從“擴展時代”回歸“研究時代”

Ilya: 人們一直在談論擴展數據、擴展參數、擴展算力。

Dwarkesh: 是否有更通用的思考擴展的方式？其他的擴展維度是什么？

Ilya: 所以，這是個觀點。這里有一個我認為可能是正確的觀點。機器學習過去的工作方式是人們只是用各種東西來思考，并試圖獲得有趣的結果。這就是過去發生的事情。然后，規模化洞察出現了，規模化定律、GPT3，突然之間，所有人都意識到我們應該進行規模化。這就是，這就是語言影響思維的一個例子。規模化只是一個詞，但它是一個如此強大的詞，因為它告訴人們該怎么做，他們說好的，讓我們嘗試擴大規模，所以你說好的，那我們在規模化什么呢？預訓練是用來規模化的一個東西，它是一種特定的規模化方法。預訓練的重大突破是認識到這種方法是有效的，所以你說嘿，如果你將一些計算力與一些數據混合到一個特定大小的神經網絡中，你就會得到結果，而且如果你只是擴大這種方法的規模，結果會更好。這也很好，大公司喜歡這一點，因為它提供了一種風險非常低的資源投入方式。

Ilya: 投入資源進行研究要困難得多。比較一下。如果你進行研究，你需要讓研究人員去研究并想出一些東西，而獲取更多數據、獲取更多計算力，你知道你會從預訓練中得到一些成果。事實上，根據各種情況來看，一些人在推特上說，可能看起來像Gemini找到了一種從預訓練中獲取更多成果的方法。然而，在某個時間點，預訓練的數據將會用盡。數據非常明確是有限的。那么接下來怎么辦呢？要么你進行某種升級版的預訓練，采用與之前不同的配方，要么你在做強化學習（R.R.L.），或者可能還有其他方法。但現在算力很大，計算機現在非常龐大。從某種意義上說，我們回到了研究的時代。

Ilya: 所以也許換一種方式來表達。從2012年到2020年，這是研究的時代。現在，從2020年到2025年，是規模擴展的時代。或者可能是多或少。讓我們為那些年份加上誤差線，因為人們說這很驚人，你必須擴大規模，繼續擴大規模，那個詞就是“擴大規模”，但現在規模已經非常大了，比如，人們真的相信，它這么大，但如果你有大 100 倍的一切，一切都會截然不同，肯定會有不同，但相信只要把規模擴大 100 倍，一切都會改變嗎？我不認為那是真的，所以又回到了研究時代，只是有了大型計算機。這是一個非常有趣的說法。

Dwarkesh: 但讓我問你剛才提出的問題。我們在擴展什么，擁有一個“配方”意味著什么？因為我猜我沒有意識到一個非常清晰的關系，它幾乎看起來像一個物理定律，這種關系在預訓練中存在，即數據或計算參數與損失之間存在冪律關系。我們應該尋求什么樣的關系，我們應該如何思考這個新“配方”可能是什么樣子。

Ilya: 所以我們已經目睹了從一種類型的擴展到另一種類型的擴展的轉變，從預訓練到強化學習（R.L.）。現在人們正在擴展強化學習。現在根據人們在推特上所說的，他們在這個階段在強化學習上花費的計算量比在預訓練上花費的還要多，因為強化學習實際上會消耗相當多的計算量。你要進行非常非常長的回放。所以要產生那些回放需要大量的計算。然后你會得到相對較少的學習拉動部署。所以你真的可以花費大量的計算資源。我可以想象，我不會在這個，在這個，這更像是，我甚至不會稱之為一種規模。擴展。我會說，嘿，你到底在做什么？你所做的事情是你目前能做的最有效率的事情嗎？是的。你是否能找到一種更有效率的方式來利用你的計算資源做這件事？早些時候的價值函數業務，也許一旦人們擅長價值函數，他們就會更有效地利用他們的資源。如果你找到一種全新的模型訓練方式，你可以問，這是擴展，還是僅僅是對你資源的利用？我認為這變得有點模糊不清。在某種意義上，當人們處于研究時代時，那時就像人們說的，嘿，我們來試試這個、那個、再試試那個、再那個。噢，看，有些有趣的事情正在發生。我認為將會有一種回歸。

Dwarkesh: 所以，如果我們回到了研究時代，退一步講，我們需要最關注食譜中的哪個部分？當你說價值函數時，人們已經在嘗試當前的食譜，但隨后讓大型語言模型作為裁判等等。你可以說那是一個價值函數，但這聽起來你心里有更根本的東西。我們是否需要回到甚至完全重新思考預訓練，而不僅僅是在該過程的末尾增加更多步驟？

Ilya: 是的。所以關于價值函數的討論，我認為很有趣。我想強調的是，我認為價值函數之類的東西將使強化學習（RL）更加高效。我認為這會產生影響。但我認為，任何你可以用價值函數做的事情，你也可以在沒有它的情況下做，只是速度更慢。

樣本效率與人類學習的奧秘

Dwarkesh: 我認為最根本的一點是，這些模型在泛化能力上似乎比人類差得驚人，這非常明顯，這似乎是一個非常根本性的問題。好的，所以這就是泛化的關鍵所在，這里有兩個子問題：一個關于樣本效率，即為什么這些模型需要比人類多這么多數據才能學習？第二個問題是，即使撇開所需數據量不談，為什么教給模型我們想要的東西比教給人類要困難得多？也就是說，對于人類，我們不一定需要一個可驗證的獎勵才能做到，你現在可能正在指導許多研究人員，你和他們交談，向他們展示你的代碼，向他們展示你的思維方式。從這些中學到他們的思維方式以及他們應該如何進行研究。你不必為他們設置一個可驗證的獎勵。這好的，這是你課程的下一部分。現在這是你課程的下一部分。而且，這次訓練不穩定，而且沒有這種瑣碎的定制化過程。所以也許這兩個問題實際上以某種方式相關聯。但我對探索第二點很感興趣，這更像是持續學習，而第一點感覺就像是樣本效率。

Ilya: 所以你可以真正思考一下，關于人類樣本效率需要考慮的一個可能解釋是進化。而進化給了我們盡可能少量的最有效信息。對于視覺、聽覺和運動等事物，我認為進化實際上給了我們很多，這一點有很強的論據支持。舉個例子，人類的靈巧度遠遠超過，如果對機器人進行大量的模擬訓練，它們也可以變得靈巧。但是，讓機器人在現實世界中像人一樣快速學習一項新技能，似乎還遙不可及。在這里你可以說，比如運動能力，我們所有的祖先都需要出色的運動能力，松鼠，比如，所以運動能力可能意味著我們擁有一些難以置信的先驗知識。

Ilya: 視覺方面也可以做同樣的論證，我相信顏拉·汗（Yanla Khan）曾指出，比如兒童在練習10小時后16小時內學會開車，這很真實，但我的視覺非常好，至少對我而言，當我回憶起自己五歲的時候，我那時對汽車非常著迷，我確信我五歲時對汽車的識別能力已經足夠用于自動駕駛了，五歲時你看不到太多數據，你大部分時間都在父母家里度過，所以你的數據多樣性非常低。但你可能會說，也許這也是進化。但語言和數學編碼，可能不是。

Dwarkesh: 它們仍然似乎優于模型。模型在語言和數學編碼方面顯然優于普通人類，但在學習方面它們是否也優于普通人類呢？

Ilya: 絕對是。我想說的是，語言、數學編碼，尤其是數學編碼表明，使人們擅長學習的任何東西可能不是一個復雜的先驗知識，而更像是一些基本的東西。

Dwarkesh: 等等，我不確定我是否理解了。為什么會是這樣呢？

Ilya: 所以考慮一項人們表現出某種高度可靠性的技能，或者，如果這項技能對我們的祖先在數百萬年、數億年里非常有用的話。你可以說，你可以爭辯說，也許人類擅長它是因為進化，因為我們有一個內嵌在某種非常微妙的方式中的進化先驗知識，使得我們如此擅長它。但是，如果人們在一個直到最近才存在的領域表現出很高的能力、可靠性、魯棒性、學習能力，那么這更說明人類可能只是擁有更好的機器學習能力，就這樣。

Dwarkesh: 嗯哼。但然后我們應該如何思考那到底是什么呢？這是一個……的問題嗎？它的機器學習類比是什么……關于它，有幾件有趣的事情。它需要的樣本更少。它更無監督。你不需要設定一個非常，就像一個孩子學習駕駛汽車，孩子，孩子們不是在學習駕駛汽車，一個青少年學習如何駕駛汽車，就像沒有完全獲得一些預先構建的可驗證的獎勵在那里。它來源于他們與機器和環境的互動，然而它卻需要少得多的樣本。它看起來更無監督。

Ilya: 它看起來更穩健，人們的穩健性真的令人震驚。是的。所以它是這樣的嗎？你是否有一種統一的方式來思考為什么所有這些事情同時發生？

Dwarkesh: 什么樣的機器學習類比可以實現這樣的事情？

Ilya: 所以，所以這就是你一直在問的其中一件事，就是青少年駕駛員如何在沒有外部老師的情況下進行自我修正并從他們的經驗中學習？答案是，嗯，他們有自己的價值函數，他們有一種普遍的感知，順便說一句，這種感知在人類身上也是極其穩健的。比如，無論是什么，人類的價值函數，無論人類的價值函數是什么，除了少數與成癮相關的例外，它實際上非常、非常穩健。所以對于像一個正在學開車的青少年來說，他們開始開車，他們立刻就有了一種關于自己駕駛情況的感覺，他們有多么不自信，然后他們看到了，好的，然后，當然，任何青少年的學習速度都非常快，十個小時后，你就可以上路了。

Dwarkesh: 是的。看來人類確實有某種解決方案，但我好奇的是，他們是如何做到的？還有，我們如何需要重新概念化我們訓練模型的方式，才能使這樣的事情成為可能？

Ilya: 這是一個很好的問題。這是一個我有很多看法的領域。但不幸的是，我們生活在一個并非所有機器學習思想都能自由討論的世界里，而這就是其中之一。所有機器學習想法都被自由討論，而這是一個。所以可能有一種方法可以做到。我認為這是可以做到的。人們是那種狀態的事實，我認為這證明了它是可以做到的。不過可能還存在另一個阻礙因素，那就是人類神經元實際上的計算量可能比我們想象的要大。如果情況屬實，并且如果這起著重要的作用，那么事情可能會更困難。但無論如何，我確實認為這指向了某種機器學習原理的存在，我對這些原理有自己的看法，但不幸的是，環境使我難以詳細討論。

Dwarkesh: 沒有人聽這個播客，伊利亞。是的。所以我必須說，為伊利亞做準備相當艱難，因為我和其他任何人都不知道他正在研究什么，也不知道SSI試圖做什么。我沒有任何依據來提出我的問題。說實話，我唯一能依靠的就是從第一性原理出發思考AGI的瓶頸是什么，因為很明顯伊利亞在某種程度上正在研究這些瓶頸。這個問題的一部分涉及到思考強化學習（RL）的擴展性，因為每個人都在問 RL 的泛化能力如何，以及我們如何能讓它泛化得更好。

強化學習的擴展性與 Gemini 的輔助

Dwarkesh: 在此過程中，我閱讀了一篇最近發表的關于 RL 擴展性的論文，它顯示實際上 RL 的學習覆蓋看起來像一個 S 形曲線。我覺得這非常奇怪。為什么會是一個 S 形曲線，即模型長時間內學習很少，然后迅速學習很多，最后趨于漸近線？這與你在預訓練中看到的冪律非常不同，后者是模型在最開始時學習很多，然后隨著時間的推移學習得越來越少。這實際上讓我想起了一張筆記，那是我與一位研究人員朋友交談后寫下的，他指出，為了找到一個正確的答案所需的樣本數量，會隨著你當前的概率分布與目標概率分布的差異程度呈指數級增長。我在思考這兩個想法是如何關聯的。我有一個模糊的想法，它們應該是有聯系的，但我真的不知道如何聯系。我沒有數學背景，所以我無法真正形式化它。但我很好奇 Gemini 3 能否在這方面幫到我。

Dwarkesh: 于是我拍下了我的筆記本的照片，拿出了那張紙，將兩者都置于 Gemini 3 的上下文中，并要求它找出其中的聯系。它思考了一會兒。然后它意識到，在強化學習中，從一個“是”或“否”的結果中獲得信息的正確建模方式是隨機二元變量的熵。它繪制了一張圖表，顯示了在強化學習與監督學習中，隨著通過率的增加，每次采樣的增益比特數是如何變化的。就在我看到 Gemini 3 制作的圖表時，立刻有很多事情對我來說變得有意義了。然后我想看看這個理論是否有任何經驗基礎。所以我讓 Gemini 編寫代碼進行實驗，以證明損失的改善是否會隨著通過率以這種方式擴展。我只是拿了 Gemini 輸出的代碼，將其復制粘貼到一個 Google Colab 筆記本中，然后我就能夠在沒有一個錯誤的情況下運行這個玩具機器學習實驗并可視化其結果。

Dwarkesh: 這很有趣，因為結果看起來相似，但與我們預期的不完全相同。于是我下載了這張圖表，將其輸入給 Gemini，并問它，這里發生了什么？它提出了一個我認為實際上是正確的假設，即我們通過固定的學習率限制了監督學習在開始階段可以提升的上限。事實上，我們應該隨著時間的推移降低學習率。這實際上讓我們直觀地理解了為什么在實踐中，我們有隨時間降低學習率的學習率調度器。我完成了從提出這個模糊的初始問題，到建立理論理解，再到運行一些玩具機器學習實驗的整個流程，所有這些都是使用 Gemini III 完成的。這感覺是第一個能夠建立我預料之外的新聯系的模型。實際上，現在它已經成為我想就一個問題集思廣益新思路時的默認去處。如果你想閱讀更多關于強化學習（RL）擴展的內容，可以查看我與 Gemini 3 稍微合作撰寫的一篇博文。如果你想親自了解 Gemini 3，請訪問 gemini。點 google。

研究所需的算力與 SSI 的策略

Dwarkesh: 我很好奇，你說我們回到了一個研究時代，您經歷了 2012 年到 2020 年。那么，如果我們回到研究時代，現在的氛圍會是怎樣的呢？例如，即使在 AlexNet 之后，用于運行實驗的計算量仍在增加，前沿系統的規模也在不斷擴大，你現在是否認為這個研究時代仍然需要大量的計算資源？你是否認為需要回到檔案庫中閱讀舊論文？在谷歌、OpenAI 和斯坦福等地方，當時的研究氛圍是怎樣的？社區中我們應該期待出現什么樣的現象？

Ilya: 規模化時代的一個后果是，規模化吸走了房間里的所有空氣。是的。正因為規模化吸走了房間里的所有空氣，每個人都開始做同樣的事情。我們到了這樣一個地步：在這個世界上，公司的數量遠超想法的數量。事實上，關于這一點，硅谷有一句老話，說想法是廉價的，執行才是最重要的。人們經常這樣說。這其中有道理。但后來我在推特上看到有人說，如果想法如此廉價，為什么沒有人有新想法呢？我認為這也是真的。我想，如果你從瓶頸的角度來考慮研究進展，會存在幾個瓶頸。如果你回溯，其中一個瓶頸是想法，另一個是實現這些想法的能力，這可能涉及計算能力，但也涉及工程技術。所以如果你回到上世紀90年代，比如說，當時有一些人有相當不錯的想法。如果他們擁有更大的計算機，也許他們就能證明自己的想法是可行的。但他們做不到。所以他們只能做一個非常非常小的演示，沒能說服任何人。因此，瓶頸在于計算能力。

Ilya: 然后在規模擴展的時代，計算機大幅增加了。當然，這里有一個關于需要多少計算能力的問題，但計算能力是巨大的。所以計算量足夠大，以至于用更多的計算量來證明某個想法是否必要，這一點并不明顯。比如，我給你舉個類比。Alexnet 是在兩塊 GPU 上構建的。那是它使用的總計算量。Transformer 是在八到六十四塊 GPU 上構建的。在 2017 年，沒有單個 Transformer 論文實驗使用的 GPU 超過 64 塊，這相當于今天的多少呢？大約兩塊 GPU 吧？所以 Resnet，對吧，很多，比如你可以說，像 01 時代的推理并不是世界上計算量最大的東西。所以對于研究來說，肯定需要一定量的計算資源，但遠非絕對必要使用有史以來最大的計算量來進行研究。你可能會爭辯說，而且我認為這是真的，如果你想構建絕對最好的系統，如果你想構建絕對最好的系統，那么擁有更多的計算資源會有幫助。特別是當所有人都處于相同的范式下時，計算資源就成為主要的區別因素之一。

Dwarkesh: 我想雖然這些想法是可能的，但我問你歷史是因為你當時真的在場。我不確定到底發生了什么。但聽起來，使用最少量的計算資源就有可能發展出這些想法。但事實并非如此，Transformer 模型并未立即成名。它成為了每個人開始采用、并在其基礎上進行實驗和構建的東西，因為其在越來越高的計算量級別上得到了驗證。是的。如果在 SSI 你有 50 個不同的想法，在沒有其他前沿實驗室那樣的計算資源的情況下，你如何知道哪個是下一個 Transformer，哪個是，脆弱的呢？

Ilya: 我可以對此發表評論，簡短的回答是，你提到了 SSI。具體來說，對于我們來說，SSI 用于研究的計算量實際上并不算少。我想解釋一下原因，比如一個簡單的數學可以解釋為什么我們擁有的計算量實際上比人們想象的更適合研究。請解釋一下。SSI 已經籌集了 30 億美元，這本身不算少，但從絕對意義上講已經很多了，但你可能會說，看看那些籌集了更多資金的其他公司。但是他們的大部分，他們的大部分計算資源都用于推理。比如這些大筆的資金，這些大筆的貸款，是專門用于推理的。這是第一點。第二點是，如果你想要一個可以進行推理的產品，你需要一支龐大的工程師、銷售人員隊伍，大量的研究需要投入到生產各種與產品相關的功能。所以當你審視真正剩下的研究內容時，差距就小得多了。那么，另一件事是，如果你在做一些不同的事情，你真的需要絕對最大的規模才能證明它嗎？我認為這完全不是真的。我認為在我們的案例中，我們擁有足夠的算力來證明，以讓我們自己和任何其他人相信我們所做的是正確的。

Dwarkesh: 有公開的估算，像Open AI這樣的公司每年在實驗上花費大約五六十億美元。嗯哼。這與他們花費在推理等方面的時間和金錢是分開的。所以看起來他們每年花在運行研究實驗上的錢，比你們公司的總資金還要多。我認為這是一個關于你如何使用它的問題。

Ilya: 這是一個關于你如何利用它的問題。比如他們擁有，比如，我認為在他們的情況下，在其他人的情況下，我認為對訓練計算的需求要大得多。有更多不同的工作流。有不同的模態。就是有更多東西。因此它變得碎片化了。SSI將如何盈利？我對這個問題的回答是，我們現在只是專注于研究，然后那個問題的答案就會自己顯現出來。我認為會有很多可能的答案。

直通超級智能：SSI 的路徑選擇

Ilya: SSI的計劃仍然是直接實現超級智能嗎？也許我認為這有其價值，我認為它有很多價值，因為我認為不受日常市場競爭的影響是非常好的，但我認為有兩個原因可能會導致我們改變計劃，一個是從實際角度出發，如果時間線變得很長，這確實有可能發生；第二個是我認為最強大的人工智能能夠走出去并影響世界具有很大的價值。我認為這是一件非常有價值的事情。

Dwarkesh: 那么，你默認的計劃是直接追求超級智能的原因是什么？因為聽起來，OpenAI、Anthropic、所有這些其他公司的明確想法是，看，我們擁有越來越弱的智能，公眾可以習慣并為此做好準備。為什么直接構建一個超級智能可能更好呢？

Ilya: 那么，我將陳述支持和反對的理由。支持的理由是，人們在市場上遇到的一個挑戰是他們必須參與到這場“老鼠賽跑”中。而這場“老鼠賽跑”非常艱難，因為它會讓你面臨必須做出的艱難的權衡。而且，說我們能夠隔絕所有這些干擾，只專注于研究，等到準備好了才出現，而不是提前出現，這確實很不錯。但反駁的觀點也同樣有效。而這些是相互對立的力量。反駁的觀點是，嘿，讓世界看到強大的人工智能是有益的。讓世界看到強大的人工智能是有益的，因為那是你能夠傳達它的唯一方式。

Dwarkesh: 嗯，我猜不僅是傳達這個想法，而是傳達人工智能本身。

Ilya: 不是那個想法，是傳達人工智能本身。你說的傳達人工智能是什么意思？好的，所以我們假設你讀了一篇關于人工智能的文章。是的。這篇文章說人工智能將是這個，人工智能將是它將是這個。你讀了它，然后你說，這是一篇有趣的文章。對。現在假設你看到人工智能正在做這個，人工智能正在做這是無法相比的。基本上，我認為人工智能存在于公眾視野中會帶來巨大的好處。這將是我們不能完全直截了當的原因。

Dwarkesh: 是的。我想甚至不是那樣，但我確實認為那是其中一個重要部分。另一個重要因素是，我認為在人類工程學和研究的其他人文科學領域中，最終產物的安全性提高主要是通過思考如何使其安全，而不是思考為什么如今每英里的飛機失事率比幾十年前要低得多。比幾十年前要低得多。為什么如今在 Linux 中發現一個錯誤比幾十年前要困難得多？我認為這主要是因為這些系統已經部署到全世界了。你注意到了故障。這些故障得到了修正，系統變得更加健壯。現在，我不確定人工智能和超人智能會有什么不同，特別是考慮到，我希望我們能討論到這一點。似乎超級智能的危害不僅僅是存在一個惡意的“回形針最大化器”，而是這確實是一個非常強大的事物，我們甚至不知道如何概念化人們將如何與之互動，人們將用它來做什么，而逐步獲取它似乎是分散其影響并幫助人們為之做好準備的更好方式。

Ilya: 嗯，我認為在這一點上，即使在直接部署的情況下，你仍然會采取漸進式發布。這是我所能想象到的。漸，或者說，漸進主義將是任何計劃中固有的組成部分。只是一個關于你首先要推出什么的問題。這是第一點。第二點，我也認為，我相信你比其他人更倡導持續學習。而且我實際上認為這是一件重要且正確的事情。原因如下。這樣，有一件事，我再給你舉一個關于思維如何，語言如何影響思維的例子，在這種情況下，是兩個詞，兩個塑造了每個人的思維的詞，我堅持認為是第一個詞“通用人工智能”（AGI），第二個詞是“預訓練”。讓我解釋一下，所以“通用人工智能”（AGI）這個詞，這個術語為什么存在？這是一個非常特殊的術語，它為什么存在？它存在是有原因的。我認為“通用人工智能”（AGI）這個術語存在的原因，與其說是它像是一種對某種智能終極狀態非常重要、必不可少的描述，不如說是對另一個已存在的術語的反應，那個術語是“狹隘人工智能”（Narrow AI）。如果你回顧游戲人工智能、國際象棋人工智能、電腦游戲人工智能的古老歷史。每個人都會說，看看這個狹隘的智能。

Ilya: 當然，國際象棋人工智能可以擊敗卡斯帕羅夫，但它什么也做不了別的。它是如此狹隘，是人工窄智能。所以作為回應，作為對此的一種反應，有些人說，這不太好。它太狹隘了。我們需要的是通用人工智能。通用人工智能，一種可以做所有事情的人工智能。第二個并且這個術語獲得了很大的關注，第二個獲得很大關注的是預訓練，特別是預訓練的配方。我認為目前人們做強化學習（RL）的方式可能正在消除預訓練的概念印記，但預訓練具有這樣的特性：你做更多的預訓練，模型在幾乎所有方面都會變得更好，大致均勻地提升。通用人工智能。預訓練可以帶來通用人工智能（AGI）。但是通用人工智能和預訓練發生的事情是，在某種意義上，它們超出了目標。因為如果你思考通用人工智能這個術語，你會意識到，特別是在預訓練的背景下，你會意識到人類并不是通用人工智能。因為人類，肯定有一個技能基礎，但人類，人類缺乏大量的知識。相反，我們依賴持續學習。我們依賴持續學習。

Ilya: 所以，然后當你想到，好的，我們假設我們取得了成功，并產生了一種某種安全的超級智能。問題是，但你如何定義它？在持續學習的曲線上，它會在哪里？我會產生一個像一個非常渴望去做的超級聰明的15歲的人，然后你說，我打算，他們對什么都知之甚少。這個偉大的學生，非常熱切。你去當一個程序員。你去當一個醫生。去學習。所以你可以想象，部署本身將涉及某種學習的試錯階段。這是一個過程，而不是你扔出一個完成品。

Dwarkesh: 好的，我明白了。所以你的意思是。你指出的關于超級智能的東西，并不是一個知道如何在經濟中完成每一項工作的、已完成心智，因為比如說，我認為定義通用人工智能（AGI）的最初論述是它可以做人類能做的每一項工作，而你提出的則是一個可以學會做任何單一工作的，每一個工作，這就是超級智能，但是一旦你有了學習算法，它就會以人類勞動力加入組織的方式部署到世界。算法，它就會以人類勞動力可能加入組織的方式部署到世界。似乎會發生這兩件事之一，也許兩者都不會發生。

持續學習模型與經濟增長

Dwarkesh: 第一，這個超高效的學習算法變得超人，變得和你一樣好，甚至在機器學習研究這項任務上變得更好。結果是，該算法本身變得越來越超人。第二種情況是，即使那樣沒有發生，如果你有一個單一的模型——這明確是你的設想——如果你有一個單一的模型，其部署在經濟中、執行不同工作的實例，學習如何完成這些工作，在工作中持續學習，學習到任何人類可以學到的所有技能，但實際上同時學習所有這些技能，然后將這些學習到的東西融合起來，那么你基本上就擁有了一個在功能上變得超級智能的模型，即使沒有任何軟件層面的遞歸自我改進。因為你現在有一個模型可以完成經濟中的每一項工作，而人類無法以同樣的方式融合心智。那么你是否預期在廣泛部署后會出現某種智能爆炸？

Ilya: 我認為很可能會出現快速的經濟增長。我認為廣泛部署，比如你可以提出兩個相互沖突的論點。一是，你看，如果確實，一旦你達到了擁有一個可以快速學習做事的人工智能的點，并且你有很多這樣的AI，那么除非有某種監管阻止，否則將有強大的動力將它們部署到經濟中，順便說一句，它們可能會有監管。但我認為在一段時間內出現非常快速的經濟增長是很有可能的，這是由廣泛部署帶來的，另一個問題是它會有多快，所以我認為這很難知道，因為一方面你有這個非常高效的工人，另一方面世界非常龐大，有很多東西，而這些東西以不同的速度移動，但另一方面，現在AI可以，確切地說。所以，我認為非常快速的經濟增長是可能的。我們將看到各種情況，比如不同國家有不同的規則，那些規則更友好的國家，經濟增長會更快。很難預測。

Dwarkesh: 我們的一些聽眾喜歡閱讀文字記錄而不是收聽節目。因此，我們投入了大量的精力，力求使轉錄文本讀起來就像是獨立的論述。問題在于，如果你只是使用語音轉文本模型逐字轉錄對話，其中會充斥著各種不連貫和令人困惑的措辭。我們向Labelbox提到了這個問題，他們詢問是否可以派駐人員。與他們在這方面合作，可能是我最樂意向人們推薦Label Box的原因。這不僅僅是，“嘿，告訴我們你需要什么樣的數據，然后我們會去獲取。”他們引導我們完成了整個流程，從幫助我們首先確定需要什么樣的數據，到組建一支專家對齊師團隊來生成這些數據。即使在我們收回所有數據之后，Labelbox仍然保持參與其中。他們幫助我們選擇了合適的基座模型，并在模型的輸出上設置了自動質量保證（AutoQA），以便我們進行調整和完善。現在，我們有了一個新的轉錄工具，可以用于我們今后的所有劇集。這只是Labelbox在理念層面接觸客戶，并在其整個旅程中與客戶合作的一個例子。如果您想了解更多信息，或者想親自試用轉錄工具，請訪問 labelbox.com 斜杠 thwartcash。

Dwarkesh: 我認為這是一種非常危險的境地，你看，在極限情況下，我們知道這應該是可能的，因為如果你擁有一個在學習方面和人類一樣好的東西，但它可以以人類無法合并的方式來合并其“大腦”，合并不同的實例。這似乎已經是一件在物理上應該可能實現的事情。人類是可能的。數字計算機是可能的。你只需要將這兩者結合起來就能產生這個東西。而且這種東西似乎也非常……強大，經濟增長是其中一種說法，我的意思是戴森·斯皮爾（Dyson Speer）帶來了巨大的經濟增長，但另一種說法是，你可能會有一個非常短的時間段，因為一個在職的人類，你雇傭人們六個月后，他們基本上就實現了凈生產力，人類學習得非常快，所以這個東西正在變得越來越聰明，非常快。如何思考如何讓它順利發展，以及為什么 SSI 能夠很好地做到這一點？或者 SSI 的計劃是什么，基本上我就是想問這個。

AI 的感知能力與未來安全圖景

Ilya: 是的。所以我的想法發生變化的一種方式是，我現在更重視人工智能的增量式和預先部署。人工智能一個非常困難的地方在于我們正在談論。關于尚不存在的系統，并且很難想象它們。我認為正在發生的一件事是，在實踐中，非常難以感受到通用人工智能（AGI）。非常難以感受到AGI。我們可以談論它，但這就像談論遙遠的未來，就像想象一下，像是在談論年老體衰時的感受，你可以進行對話，你可以試著去想象，但這只是很困難，然后你回到現實，情況并非如此，我認為圍繞AGI及其未來能力的許多問題都源于這樣一個事實：非常難以想象未來的AI將會是不同的，它將是強大的。事實上，整個問題，AI和AGAI的問題是什么？整個問題在于能力。整個問題在于能力。當能力非常強大時，會發生什么？過去一年中我改變想法的方式之一，所以這種想法的轉變可能會，我這么說吧，我稍微保留一下，可能會反饋到我們公司的計劃中，那就是，如果很難想象該怎么做，你就必須展示出來，你必須展示出來，我堅持認為，我認為大多數從事人工智能的人也無法想象，因為它與人們日常所見到的事物差異太大了。

Ilya: 我確實堅持認為，我在這里預測一件事將會發生，這是一個我堅持的預測，那就是隨著人工智能變得越來越強大，人們的行為將會改變。我們將看到所有現在沒有發生的、前所未有的事情。我會舉一些例子。我確實認為，無論好壞，前沿公司將在未來的發展中扮演非常重要的角色，政府也是如此，而且我認為你將看到一些事情的開端，即那些激烈競爭的公司開始在人工智能安全方面進行合作。你可能已經看到了OpenAI和Anthropic邁出了第一個小小的步伐，但這種合作以前是不存在的，這正是我大約三年前在一次演講中預測會發生的事情。我還堅持認為，隨著人工智能變得越來越強大，越來越明顯地強大，政府和公眾也會產生做點什么的愿望，我認為這是向人工智能展示其重要性的一個非常重要的驅動力，這是第一點。

第二點，那么人工智能正在被構建，需要做什么呢？我堅持認為會發生的一件事是，目前從事人工智能工作的人們，我堅持認為人工智能感覺不到強大是因為它的錯誤。我確實認為，在某些時候，人工智能會開始感覺強大起來。我認為當這種情況發生時，我們將看到所有人工智能公司對待安全的方式發生巨大變化。它們會變得更加偏執。我這樣說是基于一個我預測將會發生的事件。我們將看看我是否正確。但我認為這是會發生的事情，因為他們將看到人工智能變得越來越強大。我認為目前發生的一切都是因為人們看待當今的人工智能時，很難想象未來的AI，而且還有第三件事必須發生，我認為就是這個，我從更廣泛的角度談論它，而不僅僅是從SSI的角度談論，因為你問我關于我們公司的看法，但問題是，那么公司應該以什么為目標去構建什么呢？有一個大家一直深陷其中的重大理念，那就是自我改進的AI。

為什么會發生這種情況？因為公司的數量多于想法的數量。但我堅持認為有更好的東西可以構建。我認為每個人都會真正想要那個東西。就像一個牢固地、明確地致力于關懷有感知生命的AI。我認為特別是，有一種論點可以提出，構建一個關懷有感知生命的AI比僅構建一個只關懷人類生命的AI要容易，因為AI本身也會是有感知的。如果你考慮鏡像神經元和人類對動物的同理心，你可能會爭辯說它不夠強大，但它的確存在。我認為這是我們通過用于模擬自身的同一電路來模擬他人的這樣一個事實所產生的涌現屬性，因為那是最高效的做法。因此，即使你讓一個人工智能去了解有感知能力的生命，而且如果解決了對齊問題，我也不清楚這是否是你應該努力做的事情，但絕大多數有感知能力的生命體仍然會是人工智能。最終將會有數萬億，乃至數千萬億的人工智能。

Dwarkesh: 人類將只占有感知生命體的極小一部分。

Ilya: 所以，如果目標是某種人類對這個未來文明的控制，那么這是否是最佳標準，對我來說并不明確。這是事實。我認為這是可能的。這不是最佳標準。我想說兩點。我認為第一點，我認為如果存在，所以我認為關心有感知能力的生命，我認為它有其價值。我認為應該予以考慮。我認為如果有一個簡短的想法清單，然后公司在遇到這種情況時可以利用，那將會是有幫助的。這是第二點。第三點，我認為如果最強大的超級智能的能力在某種程度上受到限制，將會帶來實質性的幫助，因為這將解決許多此類擔憂。如何做到的問題，我不確定，但我想在談論真正非常強大的系統時，這將提供實質性的幫助。

Dwarkesh: 在我們繼續討論要素之前，我想就這一點做進一步的深入探討。頂層還有多大的空間？您如何看待超級智能？您認為，我是說，利用這種學習效率的想法，它可能只是極快地學習新技能或新知識嗎？并且它是否擁有更龐大的策略庫？核心中心是否存在一個單一的、統一的、更強大的或更大的“它”？如果是這樣，您是否想象它與其余人類文明相比將是神一般的存在，還是僅僅感覺像是另一個智能體或另一組智能體？

Ilya: 所以這是不同的人有不同直覺的一個領域。我認為這肯定會非常強大。我認為最有可能發生的情況是，將會有多個。多個這樣的人工智能大致在同一時間被創建出來。我認為，如果集群足夠大，比如集群的大小真的達到洲際規模，那么那個東西確實會非常強大。如果你真的擁有一個洲際規模的集群，那些人工智能可能會非常強大。我能告訴你的就是，如果你談論的是極其強大的、真正具有戲劇性強大的人工智能，那么如果它們能在某種程度上受到約束，或者存在某種協議或類似的東西，那會更好。因為我認為，如果你在說，嘿，比如如果你真的，比如超級智能的擔憂是什么？解釋這種擔憂的一種方式是什么？如果你想象一個功能足夠強大的系統，比如真正功能強大，你可以說，你需要做一些合乎情理的事情，比如以一種非常專一的方式關懷有情生命，我們姑且這么說。我們可能不喜歡這些結果。這就是它的真實面貌。所以也許，順便說一句，答案是你不構建單一的、你不會以通常意義上構建一個相關性代理（REL agent）。

Ilya: 事實上，我會指出幾點。我認為人類是一個半相關性代理（semi-a-rel agent）。我們追求一個獎勵，然后情緒或其他因素使我們對這個獎勵感到厭倦。我們追求另一個獎勵。市場就像一種，就像一種非常短視的代理。進化也是如此。進化在某些方面非常智能，但在其他方面非常愚蠢。政府的設計宗旨是讓三個部門之間進行永無休止的斗爭，這產生了影響。所以我思考諸如此類的事情。使這次討論變得困難的另一個原因是，我們談論的是尚不存在、我們不知道如何構建的系統。對，那是另一回事。這實際上是我的信念。我認為人們現在所做的會取得一定的進展，然后就會逐漸消退。它會繼續改進，但它也不會是最終形態。所以那個最終形態，我們不知道如何構建。我認為很多事情取決于對可靠泛化的理解。現在再說另一件事，就是，你可以說的一件事是，什么會讓這種對齊變得困難，那就是人類的價值，你學習人類價值的能力是脆弱的，那么你優化這些價值的能力也是脆弱的。你會，你實際上學會了優化它們。那么你難道不能說，這些不都是不可靠泛化的實例嗎？為什么人類似乎泛化得更好呢？如果泛化能力要好得多會怎樣？在這種情況下會發生什么？效果會是什么。但那些我們做不到的，比如那些問題現在仍然無法回答。

Dwarkesh: 如何思考人工智能發展順利的樣子？因為我認為你已經概述了人工智能可能如何發展，將會擁有這類持續學習的智能體。人工智能將非常強大。也許會有許多不同的AI。你認為許多大陸規模的智能體四處游蕩，情況如何？那有多危險？我們如何才能減少這種危險？我們如何以一種保護性地維持平衡的方式來做這件事，即使存在著目標未對齊的AI和不良行為者？

Ilya: 所以我喜歡關心有感知生命的AI的一個原因，我們可以爭論它是好是壞。但如果最初的N個這樣的宏大系統確實關心這一點。關心，熱愛人類或者其他什么，關心有感知性的生命。顯然，這也是需要實現的。這需要實現。所以，如果最初的那些系統能夠實現這一點，那么我認為至少在相當長的一段時間內，事情會進展順利。然后是關于長期會發生什么的問題。長期會發生什么？你如何實現長期均衡？我認為也有一個答案，我不喜歡這個答案，但需要認真考慮。從長遠來看，你可能會說，如果你處于一個短期內權力強大存在的世界，你可以說，你實現了普遍的高收入，你實現了普遍的高收入，我們都過得很好，但我們知道佛教徒怎么說？變化是永恒的，所以事物會變化，存在某種政府政治結構的東西，它會發生變化，因為這些東西都有保質期，出現了一種新的政府事務，它在運作，但一段時間后它就不再運作了，這是我們一直看到的情況。所以我想，對于長期均衡，一種方法是你可能會說，也許每個人都會有一個為他們辦事的人工智能。那很好。

Ilya: 如果這種情況可以無限期地維持下去，那確實如此。但是那樣的缺點是，那么人工智能就會去賺取，為這個人賺錢，并且，在政治領域為他們的需求進行倡導。也許然后寫一份小報告說，這是我所做的，這是情況。然后這個人說，太棒了，繼續努力。但這個人不再是一個參與者了。然后你可以說那是一個危險的境地。但是，我先聲明一下，我不喜歡這個解決方案，但它確實是一個解決方案。這個解決方案是人們通過某種升級版神經連接技術，與人工智能部分融合。因為結果是，現在人工智能理解了某些東西，而我們也理解了它。因為現在這種理解是整體性傳輸的。所以現在，如果人工智能處于某種情境中，你就仿佛完全身臨其境。我認為這就是實現平衡的答案。

Dwarkesh: 我想知道，那些在數百萬年，甚至在許多情況下數十億年前，在一個完全不同的環境中發展起來的情緒，至今仍然如此強烈地指導著我們的行為，這是否是一個“對齊成功”的例子，我來解釋一下我的意思。腦干中存在著這些，我不知道稱之為價值函數還是獎勵函數更準確，但腦干有一個指令，它告訴我們去與一個更成功的人交配。皮層是理解在現代環境中成功意味著什么的那個部分。但腦干能夠讓皮層保持一致，并說，無論你如何定義成功，我都不夠聰明去理解那到底是什么。你仍然會去執行這個指令。

Ilya: 我認為有，所以我認為有一個更普遍的觀點。我認為大腦如何編碼高層次的欲望，實際上是一個非常神秘的問題。抱歉，是進化如何編碼高層次的欲望。比如，進化如何賦予我們對聞起來好的食物的欲望，是相當容易理解的。因為氣味是一種化學物質，所以只需要追求那種化學物質。很容易想象進化會做這樣的事情，但進化也賦予了我們所有這些社會欲望，比如我們非常在意被社會積極地看待，我們在乎良好的聲譽，我們喜歡我們擁有的所有這些社會直覺，我堅信它們是根深蒂固的，但我不知道進化是如何做到的，因為它是在大腦中表示的一個高層次概念，比如人們的想法，比如說你關心某個社會性的東西，它不像氣味那樣的低層次信號，它不是有傳感器的東西，大腦需要進行大量的處理，將許多信息片段拼湊起來，以理解社會上發生的事情，而進化不知何故說你應該關心它是如何做到的？而且它做得很快，因為我認為我們所關心的所有這些復雜的社會性事物，我認為它們進化得相當晚近。

Ilya: 所以進化在硬編碼這個高層次的欲望時是很輕松的。我堅持認為，或者至少我要說，我不知道關于它是如何完成的有力假說。我有一些正在思考的想法，但沒有一個讓我滿意。

Dwarkesh: 是的。尤其令人印象深刻的是，如果這是一個你在有生之年習得的愿望，那還說得通，因為你的大腦是智能的。為什么我們能夠習得智能的愿望是說得通的。但你的觀點是，這個愿望，也許這不是你的觀點，但理解它的一個方式是，這個愿望是內建于基因組中的。而基因組不是智能的，但它能夠，你不知何故能夠描述這個特征，這個特征甚至難以明確定義。

Ilya: 并且你可以將其植入，你可以將其構建到基因中。本質上是這樣。或者也許我換個方式來說。如果你考慮基因組可用的工具，它說，好的，這是一個構建大腦的配方。你可以說，這里有一個將多巴胺神經元連接到嗅覺傳感器的“食譜”。如果這種氣味是某種，好聞的氣味，你就想吃它。我可以想象基因組會這樣做。我認為這更難想象。更難想象的是，基因組會說你應該關心一些。你的整個大腦，就像你大腦的一大塊區域所進行的一些復雜的計算。我只是聲稱這一點。我可以告訴你一個推測，我一直在思考它如何才能實現。讓我提供一個推測，然后我將解釋為什么這個推測可能是錯誤的。

Ilya: 所以這個推測是，好的，大腦，大腦有那些區域。你知道大腦的區域嗎？我們有皮層，是的。它有所有那些大腦區域。皮層是均勻的，但是大腦區域和皮層中的神經元，它們大多只是和它們的鄰居交流。這就解釋了為什么你會得到不同的腦區。因為如果你想進行某種言語處理，所有負責言語的神經元都需要彼此交談。而且因為神經元在大多數情況下只能與它們附近的鄰居交流，所以它必須是一個區域。從人到人，所有這些區域大多位于相同的位置。所以也許進化在字面上將一個位置在他們的大腦中進行了硬編碼。所以它會說，當，大腦的全球定位系統，全球定位系統坐標，某個地方，當它激活時，那才應該是你關心的。比如，也許那就是進化所做的事情，因為那會在進化的工具箱之內。

Dwarkesh: 盡管也有一些例子，比如，天生失明的人，他們大腦皮層的那個區域會被另一種感官所占用。我完全不知道，但我會很驚訝，如果……那些需要視覺信號的欲望或獎勵功能，在他們大腦皮層的不同區域被重新征用后，是否還會繼續起作用。例如，如果你不再有視覺，你還能否感受到我希望周圍的人喜歡我的這種感覺等等？通常這些也有視覺線索來支持。

Ilya: 所以我實際上完全同意這一點。我認為這個理論有一個更強有力的反駁論點，那就是，比如，如果你想想那些人在童年時期被切除了一半大腦的人。他們仍然擁有所有的腦區，但所有腦區都以某種方式轉移到了一個半球，這表明腦區的位置并不是固定的。所以那個理論是不成立的。如果那是真的，那會很酷，但事實并非如此。所以我想這是一個謎團，但這是一個有趣的謎團。事實是，不知何故，進化能夠可靠地賦予我們關心社交事務的能力。即使是那些患有各種奇怪的心理疾病、缺陷和情感問題的人，也傾向于關心這些事情。

Dwarkesh: 像深度偽造、語音克隆和代理等人工智能工具極大地提高了欺詐和濫用的復雜程度。因此，比以往任何時候都更重要的是要真正了解使用您平臺的任何人或事物的身份和意圖。這正是Sardine幫助您做的事情。Sardine整合了數千個設備、行為和身份信號，以幫助您評估風險。從用戶如何打字、移動鼠標或握持設備，到他們是否通過VPN隱藏真實位置，再到他們是否在“了解你的客戶”（KYC）自拍檢查中注入虛假的攝像頭源。Sardine將這些信號與其近40億臺設備網絡中的洞察相結合，例如用戶的欺詐歷史或他們與其他高風險賬戶的關聯。這樣你就能在惡意行為者造成損害之前發現他們。如果你只使用自己應用程序中的數據，這實際上是不可能的。Sardine 不會阻止檢測。他們提供一套代理程序，以簡化入職檢查并自動化調查。因此，當欺詐者利用人工智能來擴大其攻擊范圍時，你也可以利用人工智能來擴大你的防御范圍。前往 sardine.aI。斜杠 Thwar Keshe 了解更多信息并下載他們關于人工智能欺詐檢測的指南。

Dwarkesh: SSI 計劃做些什么不同的事情？因此，可以推斷，當這個時刻到來時，你的計劃是成為前沿公司之一。那么，你大概是這樣開始 SSI 的：你想到了一個安全地處理此事的途徑，而其他公司沒有。這種區別是什么？

Ilya: 所以我的描述方式是，有一些我認為有前景的觀點，我想去探究它們，看看它們是否果真如此。有前景。就這么簡單。這是一種嘗試。我認為，如果這些觀點——我們討論的關于理解泛化的觀點——最終被證明是正確的。如果這些觀點最終被證明是正確的，那么我認為我們將獲得一些有價值的東西。它們最終會被證明是正確的嗎？我們正在進行研究。我們是一家純粹的研究公司。我們正在取得進展。在過去的一年里，我們實際上取得了相當不錯的進展。但我們需要繼續取得更多進展，進行更多研究。我就是這樣看待的。我將其視為一種嘗試，一種嘗試成為一個聲音和一個參與者。

競爭格局與戰略趨同

Dwarkesh: 人們問過你的聯合創始人和前首席執行官最近去了meta。人們問，如果取得了許多突破，這似乎是一件不太可能發生的事情，我想知道你如何回應。

Ilya: 是的。所以對于這個問題，我只想提醒一些可能已被遺忘的事實。我認為這些事實提供了背景，我認為它們解釋了這種情況。所以背景是，我們在以320億美元的估值進行籌資。接著，meta 介入并提出收購我們。我當時拒絕了，但我的前聯合創始人，在某種意義上，同意了。結果，他也因此獲得了大量的短期流動性。他是 SSI 唯一加入 meta 的人。

Dwarkesh: 聽起來，SSI 的計劃是成為一家走在最前沿的公司，在人類歷史上這個非常重要的時期——當你們擁有超人類智能，并且對如何讓超人類智能順利發展有自己的想法時——保持在最前沿。但其他公司也會嘗試他們自己的想法。SSI 如何確保超級智能順利發展的做法有何不同之處？

Ilya: SSI 的主要區別在于其技術方法。所以我們有不同的技術方法，我認為這是有價值的。而且我們正在努力實現它。我認為最終將會出現社會方面的趨同。策略。所以我認為策略上將會出現趨同，在某個階段，隨著人工智能變得更強大，每個人都將或多或少地清楚應該采取何種策略。這應該類似于，你需要找到某種方式進行交流。而且你希望你的第一個真正強大的超級智能人工智能是保持一致的，并且以某種方式，關心有情眾生，關心人民，民主，這些特征的某種組合。我認為這是每個人都應該努力爭取實現的條件。這就是社會正在努力的方向。我認為這一次，如果不是已經，所有其他公司都會意識到他們正在朝著同一個目標努力。我認為隨著人工智能變得更加強大，世界將真正發生改變。是的。而且我認為很多這些預測將會，我想事情將會變得非常不同，人們的行為也會非常不同。

Dwarkesh: 談到預測，您對您所描述的這個可以像人類一樣學習的系統有什么預測？隨后，結果就是它會變得超人化。我認為，大概是5到20年。5到20年？所以我只是想展開說說你的……你可能會如何看待世界的發展。就像是，我們還有幾年時間，這些其他公司……正在繼續當前的方法，然后陷入停滯。陷入停滯在這里是什么意思，是指它們的收入不會超過數千億美元嗎？或者您如何理解“陷入停滯”的含義？

Ilya: 是的。我認為它可能會停滯不前，我認為停滯不前看起來會是，對所有公司來說都會看起來非常相似。是的。在所有不同的公司中，類似這種情況。我不確定，因為我認為，我認為即使有，我認為即使，我認為即使，我認為即使這種情況停滯不前，我認為這些公司也能獲得巨大的、巨大的收入。也許不是利潤，因為它們將需要努力區分彼此，但收入肯定會。

Dwarkesh: 但你的模型中暗示著，當正確的解決方案出現時，所有公司之間將會出現趨同。我很想知道你為什么會這樣認為。

Ilya: 嗯，我更多地談論的是它們最大戰略上的趨同。我認為最終在技術方法上的趨同也可能會發生。但我所指的是最大戰略上的趨同。到底要做的事情是什么？

Dwarkesh: 我只是想更好地了解你對滾動（發展）的未來看法。所以目前我們有這些不同的公司，你期望他們的方法能繼續產生收入，但不會達到這種像人類一樣的學習者。是的。所以現在我們有這些不同的公司分支。有你們，有思維機器（Thinking Machines），還有其他一些實驗室。是的。也許其中一個能找出正確的方法。但是他們產品的發布會讓其他人清楚地知道該如何做這件事嗎？

Ilya: 我認為這不會讓人們清楚地知道該如何做這件事，但會讓他們清楚有不同的可能性存在。那就是信息。我認為人們會接著試圖弄清楚那究竟是如何運作的。我確實認為，有一點我沒有在這里闡述，沒有討論到的是，隨著人工智能能力的每一次提升，我認為都會帶來某種程度的改變，但我確切不知道會是哪些改變以及事物將如何被執行。所以，我認為這一點會很重要，但我無法確切地說明那具體是什么。

Dwarkesh: 默認情況下，你會期望擁有該模型的模型公司能夠獲得所有這些收益，因為他們擁有這個模型，而該模型正在學習如何做所有事情，正在積累它在世界上所掌握的技能和知識。有什么理由認為這些收益會得到廣泛分配，而不會僅僅集中在哪個模型公司首先建立了這種持續學習循環。

市場動態與 AI 的專業化分工

Ilya: 比如，我認為經驗上發生的情況是，所以以下是我的預測。第一，我認為從經驗上看，讓我們看看到目前為止過去的人工智能發展情況。所以一家公司提前生產，而另一家公司在一段時間后倉促生產出一些類似的產品，然后它們開始在市場上競爭并壓低價格，所以我認為從市場角度來看，我認為那里也會發生一些類似的事情，即使有人說“我們談論的是好世界，順便說一句，好世界是什么？好世界是什么？在這個世界里，我們擁有強大的人類般學習者，它們也像... 順便說一句，也許還有我們沒有討論過的關于超級智能人工智能的一個規格，我認為值得考慮，那就是你可以讓它既是狹窄的，又能同時有用和狹窄。

Ilya: 所以你可以擁有許多狹窄的超級智能人工智能。但假設你有很多這樣的AI，而且你擁有。有些公司從中獲取了巨額利潤。然后有另一家公司進來開始競爭。競爭的方式將是通過專業化來實現的。我認為將會發生的是，競爭的方式，比如競爭就喜歡專業化。你在市場上看到了這一點。你在進化中也看到了這一點。所以你將擁有許多不同的生態位。在這樣的世界里，你將擁有許多占據不同生態位的公司。我們可能會說，比如，一家人工智能公司在某個非常復雜的經濟活動領域確實要好得多，而另一家公司在另一個領域更好，第三家公司在訴訟方面非常出色，這就是你想要采取的路徑。

Dwarkesh: 這與類人學習的含義相矛盾嗎？它可以學習？

Ilya: 它可以，但是，但是你已經積累了學習經驗。你有大量的投入。你花費了大量的計算資源，才真正地、非常地、非常、非常擅長于此。真正地、真正地擅長于此事，達到了驚人的水平。而另一個人花費了大量的計算資源和大量的經驗，才在其他一些事情上變得非常非常擅長。對。你應用了大量的人類學習經驗才達到那個水平。但現在，就像你處于一個高點，而其他人會說，看，我不想從頭開始學習你學到的東西，不去經歷這個過程。

Dwarkesh: 我猜那將需要許多不同的公司同時從人類層面，即持續學習智能體開始，以便它們可以在不同的分支中開始它們不同的研究。但是，如果一家公司，首先獲得了那個智能體或者首先獲得了那個學習者，那么它確實看起來是，嗯，如果你只考慮經濟中的每一個工作，你只是有實例學習，對一家公司來說似乎都是可行的。

Ilya: 這是一個合理的論點。我的強烈直覺是情況不會這樣發展。我的強烈直覺是，就像論點所說的，情況會這樣發展，但我的強烈直覺是情況不會這樣發展。這是，理論上，理論和實踐與實踐理論之間沒有區別。我認為這將是其中之一。

Dwarkesh: 很多人對遞歸自我改進的模型，明確地陳述我們將有一個運行在服務器上的百萬個伊利亞（智能體），它們帶著不同的想法進來，這將非常快地導致超級智能的出現。你對你正在做的事情有多少可并行化的直覺？復制伊利亞（智能體）能帶來什么好處？我不知道。

自我對弈、多樣性與研究品味

Ilya: 我認為肯定會有邊際效益遞減，因為你想要的是那些想法不同而非想法相同的人。我想，如果他們是我的字面上的復制品，我不確定你能獲得多少增量價值。我認為，但那些想法不同的人，目前，那就是你想要的。

Dwarkesh: 為什么會是這樣，如果你看看不同的模型，即使是完全不同的公司發布，在潛在不重疊的數據集上訓練的，大型語言模型（LLM）彼此之間竟然如此相似，真是太瘋狂了？也許數據集并非如看起來那樣不重疊。但有一種感覺是，即使單個人類的生產力可能不如未來的人工智能，也許人類團隊比人工智能團隊具有更多樣性這一點是有意義的，但我們如何引出意義呢？人工智能之間有意義的多樣性。所以我認為僅僅提高溫度就會產生胡言亂語。我認為你想要的是更像具有不同偏見或不同思想的各種科學家。你如何讓人工智能代理之間實現這種多樣性呢？

Ilya: 所以我認為之所以沒有多樣性，是因為預訓練。所有預訓練模型基本上都一樣，因為它們是在相同的數據上預訓練的。現在，獎勵工程（REL）和后訓練是開始出現差異的地方，因為不同的人提出了不同的獎勵訓練方法。

Dwarkesh: 是的。過去我曾聽你暗示過，自博弈是獲取數據或讓智能體與具有同等智能的其它智能體進行匹配以啟動學習的一種方式。我們應該如何思考為什么沒有關于這種與所有透鏡（lens）一起工作的思想的公開提議。

Ilya: 我會說有兩點要講。我會說我認為自博弈很有趣的原因是它提供了一種僅通過計算而不通過數據來創建模型的方法。如果你認為數據是最終的瓶頸，那么僅使用計算就非常有趣了。所以這就是它有趣的原因。現在，問題在于自博弈，至少是過去的做法，當智能體之間以某種方式競爭時，它只擅長發展特定的一套技能。它太狹隘了。它只適用于類似談判、沖突、某些社交技能、策略規劃這類事情。所以，如果你關心這些技能，那么自我對弈就會有用。現在，實際上我認為自我對弈找到了一個立足之地，只是以一種不同的形式，不同的形式。比如辯論、證明、驗證者，你讓某種大型語言模型充當裁判，它也有動機在你的工作中發現錯誤。你可能會說這不完全是自我對弈，但我相信這是一種人們正在做的、相關的對抗性設置。實際上，自我對弈是更一般的智能體之間競爭的一個特例。對競爭的自然反應是試圖與眾不同。所以，如果你放入多個智能體，并告訴它們，你們都需要解決某個問題，而你是一個智能體，你正在檢查其他所有智能體的工作，你就會想，如果它們已經在采取這種方法了，我不清楚我是否應該效仿。我應該追求一些差異化的東西。所以，我認為這樣的事情也可以激勵產生多樣化的方法。

Dwarkesh: 是的。最后一個問題，什么是研究品味？你顯然是世界上被認為在人工智能研究方面擁有最佳品味的人，你是深度學習歷史上許多最重要的、最大的突破的共同作者，從 AlexNet 到 GPT3 等等。你是如何界定你產生這些想法的方式的？

Ilya: 我可以回答。所以我可以就我個人發表評論。我認為不同的人做事情的方式不同。但對我個人而言，有一個指導原則是如何構建人工智能的美學，即思考人是什么樣的。但正確地思考，比如，很容易錯誤地思考人是什么樣的。但正確地思考人意味著什么呢？所以我會給你舉一些例子。人工神經元的概念直接受到大腦的啟發。這是一個絕妙的想法。為什么？因為你會說，當然，大腦有所有這些不同的器官。它有褶皺，但這些缺陷可能不重要。我們為什么認為神經元很重要呢？因為它們數量眾多，這感覺是對的，...