Ilya 大神現(xiàn)身最新采訪，整個(gè)采訪持續(xù)1個(gè)半小時(shí)，全文2萬(wàn)字原汁原味呈現(xiàn)，這是最好的傳達(dá)大神思想的方式，不用任何總結(jié)，強(qiáng)烈建議收藏逐字反復(fù)閱讀

當(dāng)然為了最快感受大神的思想，我隨便挑了一些重點(diǎn)：

Ilya認(rèn)為當(dāng)前的方法會(huì)“走一段路，然后就走下坡路”，它們會(huì)不斷改進(jìn)，但無(wú)法實(shí)現(xiàn)通用人工智能

那種行之有效的系統(tǒng)是“我們目前還不知道如何構(gòu)建的”

預(yù)計(jì)未來(lái)幾年將對(duì)勞動(dòng)力市場(chǎng)產(chǎn)生重大影響

主要瓶頸：泛化能力。模型在這方面遠(yuǎn)遜于人類(lèi)

你可以訓(xùn)練模型解決所有競(jìng)技編程問(wèn)題，但模型仍然無(wú)法培養(yǎng)出真正的“品味”，而一個(gè)青少年大約 10 個(gè)小時(shí)就能學(xué)會(huì)開(kāi)車(chē)

評(píng)估分?jǐn)?shù)看起來(lái)很棒，但實(shí)際性能卻很差，因?yàn)閺?qiáng)化學(xué)習(xí)訓(xùn)練最終會(huì)針對(duì)評(píng)估本身進(jìn)行優(yōu)化

真正的獎(jiǎng)勵(lì)黑客是那些設(shè)計(jì)這些基準(zhǔn)和訓(xùn)練循環(huán)的研究人員

他說(shuō)他知道還缺少什么，但不會(huì)公開(kāi)分享

他預(yù)測(cè)，這種擁有“大陸級(jí)算力”的超級(jí)智能將在 5 到 20 年內(nèi)誕生

“你知道最瘋狂的是什么嗎？這一切都是真的，我們生活在科幻中”這句話(huà)讓我感同身受

在這1個(gè)半小時(shí)中Ilya 和主持人討論了 SSI（Ilya的超級(jí)智能公司） 的戰(zhàn)略、預(yù)訓(xùn)練存在的問(wèn)題、如何提高 AI 模型的泛化能力，以及如何確保AGI的順利發(fā)展

正文

Ilya Sutskever

你知道最瘋狂的是什么嗎？這這一切都是真實(shí)的。

Dwarkesh Patel

是指什么？

Ilya Sutskever

你不覺(jué)得嗎？所有這些關(guān)于 AI 的事情，整個(gè)灣區(qū)的現(xiàn)狀……它正在發(fā)生。這難道不像是科幻小說(shuō)里的情節(jié)嗎？

Dwarkesh Patel

另一件瘋狂的事是，“慢速起飛”（slow takeoff）的感覺(jué)是如此平常。以前覺(jué)得如果我們把 GDP 的 1% 投入到 AI 中，那感覺(jué)會(huì)是一件驚天動(dòng)地的大事，但現(xiàn)在感覺(jué)就像是……

Ilya Sutskever

事實(shí)證明，我們適應(yīng)得很快。而且這也有點(diǎn)抽象。這到底意味著什么？意味著你在新聞里看到某某公司宣布了某某金額的投資。你只能看到這些。到目前為止，還沒(méi)有在其他方面真正感受到它。

Dwarkesh Patel

我們要從這里開(kāi)始聊嗎？我覺(jué)得這是個(gè)有趣的討論。

Ilya Sutskever

當(dāng)然。

Dwarkesh Patel

我認(rèn)為你的觀點(diǎn)——即從普通人的角度來(lái)看，沒(méi)什么太大的不同——甚至在奇點(diǎn)到來(lái)時(shí)也會(huì)繼續(xù)成立。

Ilya Sutskever

不，我不這么認(rèn)為。

Dwarkesh Patel

好吧，這很有趣。

Ilya Sutskever

我剛才指的“感覺(jué)沒(méi)什么不同”，是因?yàn)楸热缒臣夜拘剂艘粋€(gè)難以理解的巨額投資數(shù)字。我覺(jué)得沒(méi)人知道這意味這什么。

但我認(rèn)為 AI 的影響將會(huì)被切實(shí)感受到。AI 將滲透到整個(gè)經(jīng)濟(jì)中。會(huì)有非常強(qiáng)大的經(jīng)濟(jì)力量推動(dòng)這一點(diǎn)，我認(rèn)為這種影響會(huì)被非常強(qiáng)烈地感受到。

Dwarkesh Patel

你預(yù)計(jì)這種影響什么時(shí)候會(huì)出現(xiàn)？我覺(jué)得現(xiàn)在的模型看起來(lái)比它們實(shí)際產(chǎn)生的經(jīng)濟(jì)影響要聰明得多。

Ilya Sutskever

是的。這是目前關(guān)于模型最令人困惑的事情之一。如何調(diào)和“它們?cè)谠u(píng)估測(cè)試（evals）中表現(xiàn)如此出色”這一事實(shí)？你看那些測(cè)試，你會(huì)想，“這些題目挺難的。”它們做得很好。但經(jīng)濟(jì)影響似乎大大滯后。很難理解，為什么模型一方面能做這些驚人的事情，另一方面卻會(huì)在某些情況下重復(fù)犯錯(cuò)？

舉個(gè)例子，假設(shè)你用“感覺(jué)編程”（vibe coding）做點(diǎn)什么。你做到某一步，然后遇到了一個(gè) bug。你告訴模型：“能不能幫我修一下這個(gè) bug？”模型說(shuō)：“天哪，你太對(duì)了。確實(shí)有個(gè) bug。讓我來(lái)修好它。”然后它引入了第二個(gè) bug。你告訴它：“你有這個(gè)新的第二個(gè) bug，”它又告訴你：“天哪，我怎么會(huì)這樣？你又說(shuō)對(duì)了，”然后它又把第一個(gè) bug 帶回來(lái)了，你就在這兩個(gè) bug 之間來(lái)回折騰。這怎么可能？我不確定，但這確實(shí)表明有一些奇怪的事情正在發(fā)生。

我有兩個(gè)可能的解釋。比較異想天開(kāi)的解釋是，也許強(qiáng)化學(xué)習(xí)（RL）訓(xùn)練讓模型變得有點(diǎn)過(guò)于一根筋和狹隘，有點(diǎn)過(guò)于缺乏意識(shí)，即使它在其他方面讓它們變得更有意識(shí)。正因?yàn)槿绱耍鼈儫o(wú)法完成一些基本的事情。

但還有另一種解釋。以前人們做預(yù)訓(xùn)練（pre-training）時(shí)，“用什么數(shù)據(jù)訓(xùn)練”這個(gè)問(wèn)題是有答案的，因?yàn)榇鸢甘恰八袛?shù)據(jù)”。當(dāng)你做預(yù)訓(xùn)練時(shí)，你需要所有的數(shù)據(jù)。所以你不用糾結(jié)是用這個(gè)數(shù)據(jù)還是那個(gè)數(shù)據(jù)。

但是當(dāng)人們做 RL 訓(xùn)練時(shí)，他們確實(shí)需要思考。他們會(huì)說(shuō)，“好吧，我們要為這個(gè)東西做這種 RL 訓(xùn)練，為那個(gè)東西做那種 RL 訓(xùn)練。”據(jù)我所知，所有公司都有團(tuán)隊(duì)專(zhuān)門(mén)制作新的 RL 環(huán)境，并將其添加到訓(xùn)練組合中。問(wèn)題是，那些環(huán)境是什么？自由度太高了。你可以制作的 RL 環(huán)境種類(lèi)繁多。

有一件事是可以做的，而且我認(rèn)為這是無(wú)意中發(fā)生的，就是人們從評(píng)估測(cè)試中汲取靈感。你會(huì)說(shuō)，“嘿，我希望我們的模型在發(fā)布時(shí)表現(xiàn)得非常好。我想讓評(píng)估分?jǐn)?shù)看起來(lái)很棒。什么樣的 RL 訓(xùn)練能在這個(gè)任務(wù)上有所幫助？”我認(rèn)為這種事情確實(shí)發(fā)生了，這可以解釋很多正在發(fā)生的事情。

如果你把這一點(diǎn)與“模型的泛化能力實(shí)際上并不夠好”結(jié)合起來(lái)，這就有可能解釋我們看到的許多現(xiàn)象，即評(píng)估表現(xiàn)與實(shí)際現(xiàn)實(shí)世界表現(xiàn)之間的脫節(jié)，這是我們今天甚至還沒(méi)完全理解其含義的事情。

Dwarkesh Patel

我喜歡這個(gè)觀點(diǎn)，真正的“獎(jiǎng)勵(lì)黑客”（reward hacking）其實(shí)是那些過(guò)于關(guān)注評(píng)估分?jǐn)?shù)的人類(lèi)研究員。

我認(rèn)為有兩種方式來(lái)理解，或者試圖思考你剛才指出的問(wèn)題。一種是，如果僅僅通過(guò)在編程競(jìng)賽中變得超人般強(qiáng)大，模型并不會(huì)自動(dòng)變得更有品味、在改進(jìn)代碼庫(kù)時(shí)表現(xiàn)出更好的判斷力，那么你就應(yīng)該擴(kuò)展環(huán)境套件，這樣你就不只是測(cè)試它在編程競(jìng)賽中的表現(xiàn)。它還應(yīng)該能夠?yàn)?X、Y 或 Z 制作最好的應(yīng)用程序。

另一種，也許這正是你暗示的，就是問(wèn)：“為什么在編程競(jìng)賽中變得超人般強(qiáng)大，卻不能讓你在更廣泛的意義上成為一個(gè)更有品味的程序員？”也許我們要做的不應(yīng)該是不斷堆疊環(huán)境的數(shù)量和多樣性，而是要找到一種方法，讓你能從一個(gè)環(huán)境中學(xué)習(xí)，并在其他事情上提高表現(xiàn)。

Ilya Sutskever

我有一個(gè)人類(lèi)的類(lèi)比可能會(huì)有幫助。讓我們以編程競(jìng)賽為例，既然你提到了。假設(shè)有兩個(gè)學(xué)生。其中一個(gè)決定要成為最好的競(jìng)賽程序員，所以他們會(huì)在這個(gè)領(lǐng)域練習(xí) 10,000 小時(shí)。他們會(huì)解決所有問(wèn)題，記住所有證明技巧，并且非常熟練地快速正確實(shí)現(xiàn)所有算法。通過(guò)這樣做，他們成為了最好的之一。

第二個(gè)學(xué)生想，“哦，編程競(jìng)賽很酷。”也許他們練習(xí)了 100 小時(shí)，少得多，但他們也做得很好。你認(rèn)為哪一個(gè)在以后的職業(yè)生涯中會(huì)做得更好？

Dwarkesh Patel

第二個(gè)。

Ilya Sutskever

對(duì)。我認(rèn)為這就是正在發(fā)生的事情。現(xiàn)在的模型更像第一個(gè)學(xué)生，甚至程度更甚。因?yàn)槲覀儠?huì)說(shuō)，模型應(yīng)該擅長(zhǎng)編程競(jìng)賽，所以讓我們把有史以來(lái)的每一個(gè)編程競(jìng)賽問(wèn)題都拿來(lái)。然后我們做一些數(shù)據(jù)增強(qiáng)，這樣我們就有了更多的編程競(jìng)賽問(wèn)題，然后我們?cè)谶@些數(shù)據(jù)上訓(xùn)練。現(xiàn)在你得到了這個(gè)偉大的競(jìng)賽程序員。

用這個(gè)類(lèi)比，我覺(jué)得更直觀。是的，好吧，如果它訓(xùn)練得這么好，所有不同的算法和證明技巧都觸手可及。但直覺(jué)告訴我們，這種程度的準(zhǔn)備并不一定能泛化到其他事情上。

Dwarkesh Patel

但是，第二個(gè)學(xué)生在進(jìn)行那 100 小時(shí)的微調(diào)之前，他在做什么？這里的類(lèi)比是什么？

Ilya Sutskever

我覺(jué)得他們有“它”。那種“天賦”因素。我在讀本科的時(shí)候，記得有個(gè)同學(xué)就是這樣，所以我知道這種人是存在的。

Dwarkesh Patel

我覺(jué)得把這種“天賦”與預(yù)訓(xùn)練的作用區(qū)分開(kāi)來(lái)很有趣。理解你剛才說(shuō)的“不需要在預(yù)訓(xùn)練中選擇數(shù)據(jù)”的一種方式是，這實(shí)際上與那 10,000 小時(shí)的練習(xí)并無(wú)二致。只是你免費(fèi)得到了那 10,000 小時(shí)的練習(xí)，因?yàn)樗呀?jīng)在預(yù)訓(xùn)練分布中的某個(gè)地方了。但也許你是在暗示，實(shí)際上預(yù)訓(xùn)練并沒(méi)有帶來(lái)那么多的泛化。預(yù)訓(xùn)練中只有海量的數(shù)據(jù)，但它不一定比 RL 泛化得更好。

Ilya Sutskever

預(yù)訓(xùn)練的主要優(yōu)勢(shì)在于：A，數(shù)據(jù)量巨大；B，你不需要費(fèi)盡心思去想把什么數(shù)據(jù)放入預(yù)訓(xùn)練中。它是非常自然的數(shù)據(jù)，確實(shí)包含了很多人們做的事情：人們的思想和很多特征。它就像是整個(gè)世界被人們投射到了文本上，而預(yù)訓(xùn)練試圖利用海量數(shù)據(jù)來(lái)捕捉這一點(diǎn)。

預(yù)訓(xùn)練很難推理，因?yàn)楹茈y理解模型依賴(lài)預(yù)訓(xùn)練數(shù)據(jù)的方式。每當(dāng)模型犯錯(cuò)時(shí)，是不是因?yàn)槟承〇|西碰巧沒(méi)有得到預(yù)訓(xùn)練數(shù)據(jù)的充分支持？“預(yù)訓(xùn)練支持”也許是個(gè)寬泛的術(shù)語(yǔ)。我不知道我還能不能補(bǔ)充更多有用的東西。我不認(rèn)為預(yù)訓(xùn)練有人類(lèi)層面的類(lèi)比。

Dwarkesh Patel

有些人提出過(guò)預(yù)訓(xùn)練的人類(lèi)類(lèi)比。我很想聽(tīng)聽(tīng)你認(rèn)為它們?yōu)槭裁纯赡苁清e(cuò)的。一種是把這看作人生的前 18 年、15 年或 13 年，那時(shí)他們不一定有經(jīng)濟(jì)產(chǎn)出，但他們?cè)谧鲆恍┳屗麄兏玫乩斫馐澜绲氖虑椤Ａ硪环N是把進(jìn)化看作是進(jìn)行了 30 億年的搜索，然后產(chǎn)生了一個(gè)人類(lèi)生命實(shí)例。

我很好奇你是否認(rèn)為這些可以類(lèi)比預(yù)訓(xùn)練。如果不是預(yù)訓(xùn)練，你會(huì)如何看待人類(lèi)的終身學(xué)習(xí)？

Ilya Sutskever

我認(rèn)為這兩者與預(yù)訓(xùn)練之間都有一些相似之處，預(yù)訓(xùn)練試圖扮演這兩者的角色。但我認(rèn)為也有一些巨大的差異。預(yù)訓(xùn)練的數(shù)據(jù)量非常非常驚人。

Dwarkesh Patel

是的。

Ilya Sutskever

不知何故，一個(gè)人即使過(guò)了 15 年，接觸到的數(shù)據(jù)只是預(yù)訓(xùn)練數(shù)據(jù)的一小部分，他們知道的東西少得多。但無(wú)論他們知道什么，不知何故他們理解得更深。在這個(gè)年紀(jì)，你就不會(huì)犯我們 AI 犯的那種錯(cuò)誤了。

還有一件事。你會(huì)說(shuō)，這可能是像進(jìn)化一樣的東西嗎？答案是也許。但在這種情況下，我認(rèn)為進(jìn)化實(shí)際上可能更有優(yōu)勢(shì)。我記得讀過(guò)這個(gè)案例。神經(jīng)科學(xué)家了解大腦的一種方式是研究大腦不同部位受損的人。有些人的癥狀奇怪到你無(wú)法想象。這真的非常有趣。

我想到了一個(gè)相關(guān)的案例。我讀到過(guò)一個(gè)人，他的大腦受到某種損傷，中風(fēng)或事故，導(dǎo)致他的情感處理能力喪失。所以他不再感覺(jué)到任何情緒。他仍然非常善于表達(dá)，能解決小謎題，在測(cè)試中看起來(lái)一切正常。但他感覺(jué)不到情緒。他不感到悲傷，不感到憤怒，也不感到興奮。不知何故，他變得極不擅長(zhǎng)做任何決定。決定穿哪雙襪子都要花好幾個(gè)小時(shí)。他會(huì)做出非常糟糕的財(cái)務(wù)決定。

這說(shuō)明了我們內(nèi)置的情緒在使我們成為一個(gè)可行的智能體方面扮演了什么角色？聯(lián)系到你關(guān)于預(yù)訓(xùn)練的問(wèn)題，也許如果你足夠擅長(zhǎng)從預(yù)訓(xùn)練中獲取一切，你也能得到那個(gè)。但這似乎是那種……嗯，從預(yù)訓(xùn)練中獲得那個(gè)東西可能是可能的，也可能不可能。

Dwarkesh Patel

“那個(gè)”是什么？顯然不僅僅是直接的情緒。它看起來(lái)像是某種類(lèi)似價(jià)值函數(shù)（value function）的東西，它告訴你任何決定的最終回報(bào)應(yīng)該是什么。你認(rèn)為這不會(huì)從預(yù)訓(xùn)練中隱式地產(chǎn)生嗎？

Ilya Sutskever

我認(rèn)為它是可以的。我只是說(shuō)這不是 100% 顯而易見(jiàn)的。

Dwarkesh Patel

但這到底是什么？你怎么看待情緒？情緒在機(jī)器學(xué)習(xí)（ML）中的類(lèi)比是什么？

Ilya Sutskever

它應(yīng)該是某種價(jià)值函數(shù)的東西。但我不認(rèn)為有一個(gè)很好的 ML 類(lèi)比，因?yàn)槟壳埃瑑r(jià)值函數(shù)在人們做的事情中并沒(méi)有發(fā)揮非常突出的作用。

Dwarkesh Patel

如果方便的話(huà)，也許值得為觀眾定義一下什么是價(jià)值函數(shù)。

Ilya Sutskever

當(dāng)然，我很樂(lè)意。當(dāng)人們做強(qiáng)化學(xué)習(xí)（RL）時(shí)，目前的做法是如何訓(xùn)練這些智能體的？你有一個(gè)神經(jīng)網(wǎng)絡(luò)，給它一個(gè)問(wèn)題，然后告訴模型，“去解決它。”模型會(huì)采取數(shù)千甚至數(shù)十萬(wàn)個(gè)動(dòng)作或思考步驟，然后產(chǎn)生一個(gè)解決方案。這個(gè)解決方案會(huì)被打分。

然后，這個(gè)分?jǐn)?shù)被用來(lái)為你軌跡中的每一個(gè)動(dòng)作提供訓(xùn)練信號(hào)。這意味著，如果你在做一件持續(xù)時(shí)間很長(zhǎng)的事情——如果你在訓(xùn)練一個(gè)需要很長(zhǎng)時(shí)間才能解決的任務(wù)——在你想出提議的解決方案之前，它完全不會(huì)進(jìn)行任何學(xué)習(xí)。這就是目前天真的 RL 做法。這就是 o1、R1 表面上的做法。

價(jià)值函數(shù)的意思是，“也許有時(shí)（不總是）我可以告訴你，你做得是好是壞。”價(jià)值函數(shù)的概念在某些領(lǐng)域比其他領(lǐng)域更有用。例如，當(dāng)你下國(guó)際象棋丟了一個(gè)棋子，我搞砸了。你不需要下完整局棋就知道我剛才做的是壞事，因此導(dǎo)致這一切的前序動(dòng)作也是壞的。

價(jià)值函數(shù)讓你不必等到最后。假設(shè)你在做某種數(shù)學(xué)或編程的事情，你試圖探索一個(gè)特定的解決方案或方向。在思考了比如一千步之后，你得出結(jié)論這個(gè)方向沒(méi)有希望。一旦你得出這個(gè)結(jié)論，你就可以在一千個(gè)時(shí)間步之前，當(dāng)你決定走這條路時(shí)，就已經(jīng)得到一個(gè)獎(jiǎng)勵(lì)信號(hào)。你會(huì)說(shuō)，“下次在類(lèi)似情況下我不應(yīng)該走這條路”，這早在你真正拿出提議的解決方案之前。

Dwarkesh Patel

這在 DeepSeek R1 的論文里提到過(guò)——軌跡的空間太廣了，也許很難學(xué)習(xí)從中間軌跡到價(jià)值的映射。而且考慮到，例如在編程中，你會(huì)有一個(gè)錯(cuò)誤的想法，然后你會(huì)回過(guò)頭去，改變一些東西。

Ilya Sutskever

這聽(tīng)起來(lái)像是對(duì)深度學(xué)習(xí)缺乏信心。當(dāng)然這可能很難，但沒(méi)有什么深度學(xué)習(xí)做不到的。我的預(yù)期是價(jià)值函數(shù)應(yīng)該是有用的，我完全預(yù)計(jì)它們將在未來(lái)被使用，如果不是已經(jīng)在用的話(huà)。

我提到的那個(gè)情感中樞受損的人的例子，更多是暗示也許人類(lèi)的價(jià)值函數(shù)在某種重要方面受到情緒的調(diào)節(jié)，這是進(jìn)化硬編碼的。也許這對(duì)人類(lèi)在世界上有效行事很重要。

Dwarkesh Patel

這正是我打算問(wèn)你的。關(guān)于價(jià)值函數(shù)的情緒有一些非常有趣的地方，那就是它們?cè)谌绱擞杏玫耐瑫r(shí)，理解起來(lái)卻相當(dāng)簡(jiǎn)單，這令人印象深刻。

Ilya Sutskever

我有兩個(gè)回應(yīng)。我確實(shí)同意，與我們學(xué)習(xí)的東西以及我們正在討論的 AI 相比，情緒相對(duì)簡(jiǎn)單。它們甚至簡(jiǎn)單到也許你可以用人類(lèi)可理解的方式將它們繪制出來(lái)。我覺(jué)得這樣做會(huì)很酷。

但在實(shí)用性方面，我認(rèn)為存在一種復(fù)雜性與魯棒性的權(quán)衡，復(fù)雜的東西可能非常有用，但簡(jiǎn)單的東西在非常廣泛的情況下都非常有用。解釋我們所見(jiàn)現(xiàn)象的一種方式是，我們的情緒大多是從我們的哺乳動(dòng)物祖先演化而來(lái)的，然后在我們成為原始人類(lèi)時(shí)進(jìn)行了一點(diǎn)微調(diào)，只是一點(diǎn)點(diǎn)。不過(guò)我們確實(shí)有相當(dāng)數(shù)量的社會(huì)性情緒，這是哺乳動(dòng)物可能缺乏的。但它們并不是非常復(fù)雜。正是因?yàn)樗鼈儾粡?fù)雜，所以在這個(gè)與我們一直生活的世界截然不同的世界里，它們依然能很好地為我們服務(wù)。

實(shí)際上，它們也會(huì)犯錯(cuò)。例如，我們的情緒……其實(shí)，我不知道。饑餓算是一種情緒嗎？這有爭(zhēng)議。但我認(rèn)為，例如，我們直覺(jué)上的饑餓感在這個(gè)食物充足的世界里并沒(méi)有成功地正確引導(dǎo)我們。

Dwarkesh Patel

人們一直在談?wù)摂U(kuò)展數(shù)據(jù)、擴(kuò)展參數(shù)、擴(kuò)展算力。有沒(méi)有更通用的方式來(lái)思考擴(kuò)展（scaling）？還有哪些其他的擴(kuò)展維度？

Ilya Sutskever

這里有一個(gè)我認(rèn)為可能是正確的視角。過(guò)去機(jī)器學(xué)習(xí)的工作方式是，人們只是修修補(bǔ)補(bǔ)，試圖得到有趣的結(jié)果。過(guò)去一直都是這樣。

然后擴(kuò)展的洞見(jiàn)出現(xiàn)了。Scaling Laws（擴(kuò)展定律）、GPT-3，突然之間大家都意識(shí)到我們應(yīng)該進(jìn)行擴(kuò)展。這是語(yǔ)言影響思維的一個(gè)例子。“Scaling”只是一個(gè)詞，但它是一個(gè)非常有力的詞，因?yàn)樗嬖V人們?cè)撟鍪裁础Ｋ麄冋f(shuō)，“讓我們?cè)囍鴶U(kuò)展東西。”所以你會(huì)問(wèn)，我們?cè)跀U(kuò)展什么？預(yù)訓(xùn)練是要擴(kuò)展的東西。它是一個(gè)特定的擴(kuò)展配方。

預(yù)訓(xùn)練的巨大突破在于意識(shí)到這個(gè)配方是好的。你會(huì)說(shuō)，“嘿，如果你把一些算力和一些數(shù)據(jù)混合到一個(gè)特定大小的神經(jīng)網(wǎng)絡(luò)中，你會(huì)得到結(jié)果。你知道只要按比例放大這個(gè)配方，你就會(huì)變得更好。”這也太棒了。公司喜歡這個(gè)，因?yàn)樗峁┝艘环N風(fēng)險(xiǎn)極低的方式來(lái)投資資源。

投資研究要難得多。比較一下。如果你做研究，你需要說(shuō)，“去吧研究員們，去研究并想出點(diǎn)什么來(lái)”，對(duì)比“獲取更多數(shù)據(jù)，獲取更多算力”。你知道你會(huì)從預(yù)訓(xùn)練中得到東西。

確實(shí)，根據(jù)一些人在推特上的說(shuō)法，看起來(lái) Gemini 可能已經(jīng)找到了一種從預(yù)訓(xùn)練中獲得更多收益的方法。但在某個(gè)時(shí)刻，預(yù)訓(xùn)練的數(shù)據(jù)會(huì)用完。數(shù)據(jù)顯然是有限的。接下來(lái)你做什么？要么你做某種增強(qiáng)版的預(yù)訓(xùn)練，一種與以前不同的配方，要么你做 RL，或者可能是其他東西。但現(xiàn)在算力很大，算力現(xiàn)在非常大，從某種意義上說(shuō)，我們又回到了研究時(shí)代。

也許換一種說(shuō)法。直到 2020 年，從 2012 年到 2020 年，是研究時(shí)代。然后，從 2020 年到 2025 年，是擴(kuò)展時(shí)代——也許加減一些誤差范圍——因?yàn)槿藗冋f(shuō)，“這太驚人了。你必須擴(kuò)展更多。繼續(xù)擴(kuò)展。”這一個(gè)詞：擴(kuò)展。

但現(xiàn)在規(guī)模已經(jīng)這么大了。信念真的是“哦，它這么大，但如果你有 100 倍以上，一切都會(huì)變得如此不同”嗎？肯定會(huì)有不同。但信念是只要把規(guī)模擴(kuò)大 100 倍，一切都會(huì)發(fā)生質(zhì)變嗎？我不認(rèn)為這是真的。所以這又回到了研究時(shí)代，只是有了大電腦。

Dwarkesh Patel

這是一種非常有趣的說(shuō)法。但讓我問(wèn)你剛才提出的問(wèn)題。我們?cè)跀U(kuò)展什么，擁有一個(gè)配方意味著什么？我想我還不知道預(yù)訓(xùn)練中存在的那種非常干凈的、幾乎看起來(lái)像物理定律的關(guān)系。在數(shù)據(jù)、算力或參數(shù)與損失之間存在冪律關(guān)系。我們應(yīng)該尋求什么樣的關(guān)系，我們應(yīng)該如何思考這個(gè)新配方可能是什么樣子的？

Ilya Sutskever

我們已經(jīng)見(jiàn)證了從一種類(lèi)型的擴(kuò)展向另一種類(lèi)型的擴(kuò)展的轉(zhuǎn)變，從預(yù)訓(xùn)練到 RL。現(xiàn)在人們正在擴(kuò)展 RL。根據(jù)人們?cè)谕铺厣系恼f(shuō)法，他們?cè)?RL 上花費(fèi)的算力此時(shí)比預(yù)訓(xùn)練還多，因?yàn)?RL 實(shí)際上可以消耗相當(dāng)多的算力。你做很長(zhǎng)的推演（rollouts），所以產(chǎn)生這些推演需要很多算力。然后你從每個(gè)推演中獲得相對(duì)較少的學(xué)習(xí)量，所以你真的可以花費(fèi)很多算力。

我甚至不會(huì)稱(chēng)之為擴(kuò)展。我會(huì)說(shuō)，“嘿，你在做什么？你做的事情是你最能產(chǎn)出的事情嗎？你能找到一種更有效利用算力的方法嗎？”我們之前討論過(guò)價(jià)值函數(shù)的事情。也許一旦人們擅長(zhǎng)價(jià)值函數(shù)，他們將更有效地利用資源。如果你發(fā)現(xiàn)了一種完全不同的訓(xùn)練模型的方法，你會(huì)說(shuō)，“這是擴(kuò)展還是僅僅是利用你的資源？”我認(rèn)為這變得有點(diǎn)模棱兩可。

某種意義上，當(dāng)人們回到那時(shí)的研究時(shí)代，就是“讓我們?cè)囋囘@個(gè)、這個(gè)和這個(gè)。讓我們?cè)囋嚹莻€(gè)、那個(gè)和那個(gè)。哦，看，有趣的事情發(fā)生了。”我認(rèn)為將會(huì)回歸到這種狀態(tài)。

Dwarkesh Patel

如果我們回到了研究時(shí)代，退一步說(shuō)，我們需要最深入思考的配方部分是什么？當(dāng)你提到價(jià)值函數(shù)時(shí)，人們已經(jīng)在嘗試當(dāng)前的配方，比如用 LLM-as-a-Judge（大模型作為裁判）等等。你可以說(shuō)那是一個(gè)價(jià)值函數(shù)，但聽(tīng)起來(lái)你有更本質(zhì)的想法。我們是否應(yīng)該徹底重新思考預(yù)訓(xùn)練，而不僅僅是在那個(gè)過(guò)程的末尾添加更多步驟？

Ilya Sutskever

關(guān)于價(jià)值函數(shù)的討論，我認(rèn)為很有趣。我想強(qiáng)調(diào)，我認(rèn)為價(jià)值函數(shù)會(huì)讓 RL 更有效率，我認(rèn)為這很重要。但我認(rèn)為任何你可以用價(jià)值函數(shù)做的事，你不用它也能做，只是更慢。我認(rèn)為最根本的事情是，這些模型不知何故泛化能力比人類(lèi)差得多。這非常明顯。這似乎是一個(gè)非常根本的事情。

Dwarkesh Patel

這就是關(guān)鍵：泛化。這有兩個(gè)子問(wèn)題。一個(gè)是關(guān)于樣本效率：為什么這些模型學(xué)習(xí)需要比人類(lèi)多得多的數(shù)據(jù)？還有第二個(gè)問(wèn)題。即使不談所需的數(shù)據(jù)量，為什么教模型我們要的東西比教人類(lèi)要難得多？對(duì)于人類(lèi)，我們不一定需要一個(gè)可驗(yàn)證的獎(jiǎng)勵(lì)來(lái)……你現(xiàn)在可能正在指導(dǎo)一群研究人員，你和他們交談，向他們展示你的代碼，向他們展示你是如何思考的。從中，他們學(xué)到了你的思維方式以及他們應(yīng)該如何做研究。

你不需要為他們?cè)O(shè)定一個(gè)可驗(yàn)證的獎(jiǎng)勵(lì)，比如“好，這是課程的下一部分，現(xiàn)在這是你課程的下一部分。哦，這次訓(xùn)練不穩(wěn)定。”沒(méi)有這種繁瑣的、定制的過(guò)程。也許這兩個(gè)問(wèn)題實(shí)際上以某種方式相關(guān)，但我很想探討這第二件事，這更像是終身學(xué)習(xí)（continual learning），而第一件事感覺(jué)就像是樣本效率。

Ilya Sutskever

其實(shí)你可以思考，對(duì)人類(lèi)樣本效率的一種可能的解釋是進(jìn)化。進(jìn)化給了我們少量最有用信息的先驗(yàn)。對(duì)于視覺(jué)、聽(tīng)覺(jué)和運(yùn)動(dòng)這些東西，我認(rèn)為有很強(qiáng)的理由證明進(jìn)化給了我們很多。

例如，人類(lèi)的靈巧度遠(yuǎn)遠(yuǎn)超過(guò)……我是說(shuō)，如果你在模擬中對(duì)機(jī)器人進(jìn)行大量訓(xùn)練，它們也能變得靈巧。但在現(xiàn)實(shí)世界中訓(xùn)練機(jī)器人像人一樣快速掌握一項(xiàng)新技能似乎遙不可及。在這里你可以說(shuō)，“哦是的，運(yùn)動(dòng)能力。我們所有的祖先都需要極好的運(yùn)動(dòng)能力，比如松鼠。所以對(duì)于運(yùn)動(dòng)能力，也許我們有一些不可思議的先驗(yàn)。”

你可以為視覺(jué)提出同樣的理由。我相信 Yann LeCun 提出過(guò)一個(gè)觀點(diǎn)，孩子在 10 小時(shí)的練習(xí)后學(xué)會(huì)開(kāi)車(chē)，這是真的。但我們的視覺(jué)太好了。至少對(duì)我來(lái)說(shuō)，我記得我五歲的時(shí)候。那時(shí)候我對(duì)汽車(chē)非常興奮。我敢肯定，我五歲時(shí)的汽車(chē)識(shí)別能力已經(jīng)足以用來(lái)開(kāi)車(chē)了。作為一個(gè)五歲的孩子，你看不到那么多數(shù)據(jù)。你大部分時(shí)間都待在父母家里，所以數(shù)據(jù)多樣性很低。

但你可以說(shuō)也許那也是進(jìn)化。但在語(yǔ)言、數(shù)學(xué)和編程方面，可能不是。

Dwarkesh Patel

它看起來(lái)仍然比模型好。顯然，模型在語(yǔ)言、數(shù)學(xué)和編程方面比普通人好。但它們?cè)趯W(xué)習(xí)方面比普通人好嗎？

Ilya Sutskever

哦是的。哦是的，絕對(duì)的。我想說(shuō)的是，語(yǔ)言、數(shù)學(xué)和編程——尤其是數(shù)學(xué)和編程——表明，無(wú)論是什么讓人類(lèi)擅長(zhǎng)學(xué)習(xí)，可能不僅僅是一個(gè)復(fù)雜的先驗(yàn)，而是更多的東西，某種根本性的東西。

Dwarkesh Patel

我不確定我理解了。為什么會(huì)這樣？

Ilya Sutskever

考慮一項(xiàng)人們表現(xiàn)出某種巨大可靠性的技能。如果這項(xiàng)技能對(duì)我們的祖先在數(shù)百萬(wàn)年、數(shù)億年里都非常有用，你可以爭(zhēng)辯說(shuō)，也許人類(lèi)擅長(zhǎng)它是因?yàn)檫M(jìn)化，因?yàn)槲覀冇幸粋€(gè)先驗(yàn)，一個(gè)以某種非常不明顯的方式編碼的進(jìn)化先驗(yàn)，不知何故使我們?nèi)绱松瞄L(zhǎng)它。

但是，如果人們?cè)谝粋€(gè)直到最近才存在的領(lǐng)域表現(xiàn)出巨大的能力、可靠性、魯棒性和學(xué)習(xí)能力，那么這更多地表明人們可能只是擁有更好的機(jī)器學(xué)習(xí)機(jī)制，句號(hào)。

Dwarkesh Patel

我們應(yīng)該如何思考那是什么？什么是 ML 類(lèi)比？這里有幾件有趣的事情。它需要更少的樣本。它更像是無(wú)監(jiān)督的。一個(gè)孩子學(xué)開(kāi)車(chē)……孩子不學(xué)開(kāi)車(chē)。一個(gè)青少年學(xué)開(kāi)車(chē)并不是真的得到了某種預(yù)先建立的、可驗(yàn)證的獎(jiǎng)勵(lì)。它來(lái)自他們與機(jī)器和環(huán)境的互動(dòng)。它需要的樣本少得多。它看起來(lái)更無(wú)監(jiān)督。它看起來(lái)更魯棒？

Ilya Sutskever

魯棒得多。人類(lèi)的魯棒性真的令人震驚。

Dwarkesh Patel

你有沒(méi)有一個(gè)統(tǒng)一的方式來(lái)思考為什么所有這些事情同時(shí)發(fā)生？能夠?qū)崿F(xiàn)類(lèi)似這種東西的 ML 類(lèi)比是什么？

Ilya Sutskever

你一直在問(wèn)的一件事是，青少年司機(jī)如何在沒(méi)有外部老師的情況下自我糾正并從經(jīng)驗(yàn)中學(xué)習(xí)？答案是他們有自己的價(jià)值函數(shù)。他們有一種普遍的感覺(jué)，順便說(shuō)一下，這種感覺(jué)在人身上也非常魯棒。無(wú)論人類(lèi)的價(jià)值函數(shù)是什么，除了成癮等少數(shù)例外，它實(shí)際上非常非常魯棒。

所以對(duì)于像學(xué)開(kāi)車(chē)的青少年來(lái)說(shuō)，他們開(kāi)始開(kāi)車(chē)，馬上就能感覺(jué)到自己開(kāi)得怎么樣，有多糟糕，多不自信。然后他們看到，“好的。”然后，當(dāng)然，任何青少年的學(xué)習(xí)速度都太快了。10 個(gè)小時(shí)后，你就可以上路了。

Dwarkesh Patel

看起來(lái)人類(lèi)有某種解決方案，但我很好奇他們是如何做到的，以及為什么這這么難？我們需要如何重新構(gòu)想訓(xùn)練模型的方式來(lái)實(shí)現(xiàn)這種可能？

Ilya Sutskever

這是一個(gè)很好的問(wèn)題，這也是我有很多觀點(diǎn)的問(wèn)題。但不幸的是，我們生活在一個(gè)并非所有機(jī)器學(xué)習(xí)想法都可以自由討論的世界里，這就是其中之一。可能有一種方法可以做到。我認(rèn)為這是可以做到的。人們就是這樣，我認(rèn)為這證明了它是可以做到的。

不過(guò)可能還有另一個(gè)阻礙，就是人類(lèi)神經(jīng)元進(jìn)行的計(jì)算量可能比我們要多。如果是真的，如果那起到了重要作用，那么事情可能會(huì)更困難。但無(wú)論如何，我確實(shí)認(rèn)為這指向了某種機(jī)器學(xué)習(xí)原則的存在，對(duì)此我有自己的看法。但不幸的是，環(huán)境使得很難詳細(xì)討論。

Dwarkesh Patel

我很好奇。如果你說(shuō)我們回到了研究時(shí)代，你在 2012 年到 2020 年就在那里。如果我們要回到研究時(shí)代，現(xiàn)在的氛圍會(huì)是什么樣的？

例如，即使在 AlexNet 之后，用于運(yùn)行實(shí)驗(yàn)的算力也在不斷增加，前沿系統(tǒng)的規(guī)模也在不斷增加。你認(rèn)為現(xiàn)在的研究時(shí)代是否仍然需要大量的算力？你認(rèn)為這需要回到檔案館去閱讀舊論文嗎？

當(dāng)你在 Google、OpenAI 和斯坦福這些地方時(shí)，那時(shí)有更多的研究氛圍？我們?cè)谏鐓^(qū)中應(yīng)該期待什么樣的事情？

Ilya Sutskever

擴(kuò)展時(shí)代的一個(gè)后果是，擴(kuò)展吸走了房間里所有的空氣。因?yàn)閿U(kuò)展吸走了所有的空氣，每個(gè)人都開(kāi)始做同樣的事情。我們到了這樣一個(gè)地步，世界上的公司比想法多得多。實(shí)際上關(guān)于這一點(diǎn)，硅谷有句俗話(huà)說(shuō)，想法是廉價(jià)的，執(zhí)行就是一切。人們常這么說(shuō)，這也確實(shí)有道理。但我看到有人在 Twitter 上說(shuō)，“如果想法這么廉價(jià)，怎么沒(méi)人有想法呢？”我覺(jué)得這也是真的。

如果你從瓶頸的角度思考研究進(jìn)展，有幾個(gè)瓶頸。其中一個(gè)是想法，另一個(gè)是你實(shí)現(xiàn)它們的能力，這可能是算力也可能是工程。如果你回到 90 年代，假設(shè)有人有很好的想法，如果他們有更大的計(jì)算機(jī)，也許他們可以證明他們的想法是可行的。但他們做不到，所以他們只能做一個(gè)非常非常小的演示，無(wú)法說(shuō)服任何人。所以瓶頸是算力。

然后在擴(kuò)展時(shí)代，算力增加了很多。當(dāng)然，有個(gè)問(wèn)題是需要多少算力，但算力是巨大的。算力大到你并不明顯需要更多的算力來(lái)證明某個(gè)想法。我給你一個(gè)類(lèi)比。AlexNet 是在兩個(gè) GPU 上構(gòu)建的。那是它使用的總算力。Transformer 是在 8 到 64 個(gè) GPU 上構(gòu)建的。2017 年沒(méi)有任何單一的 Transformer 論文實(shí)驗(yàn)使用的 GPU 超過(guò) 64 個(gè)，這大概相當(dāng)于今天的兩個(gè) GPU？ResNet 也是，對(duì)吧？你可以爭(zhēng)辯說(shuō) o1 推理并不是世界上最耗算力的東西。

所以對(duì)于研究，你肯定需要一定量的算力，但這遠(yuǎn)不意味著你需要有史以來(lái)絕對(duì)最大的算力來(lái)進(jìn)行研究。你可能會(huì)爭(zhēng)辯，而且我認(rèn)為這是真的，如果你想構(gòu)建絕對(duì)最好的系統(tǒng)，那么擁有更多的算力會(huì)有幫助。特別是如果每個(gè)人都在同一個(gè)范式內(nèi)，那么算力就成了巨大的差異化因素。

Dwarkesh Patel

我問(wèn)你歷史是因?yàn)槟惝?dāng)時(shí)真的在場(chǎng)。我不確定實(shí)際發(fā)生了什么。聽(tīng)起來(lái)使用最少的算力來(lái)開(kāi)發(fā)這些想法是可能的。但 Transformer 并沒(méi)有立即變得出名。它成為了每個(gè)人開(kāi)始做的事情，然后開(kāi)始在其基礎(chǔ)上進(jìn)行實(shí)驗(yàn)和構(gòu)建，因?yàn)樗诟邔蛹?jí)的算力上得到了驗(yàn)證。

Ilya Sutskever

沒(méi)錯(cuò)。

Dwarkesh Patel

如果你在 SSI 有 50 個(gè)不同的想法，如果不擁有其他前沿實(shí)驗(yàn)室那種算力，你怎么知道哪一個(gè)是下一個(gè) Transformer，哪一個(gè)是脆弱的？

Ilya Sutskever

我可以評(píng)論一下。簡(jiǎn)短的評(píng)論是，你提到了 SSI。具體對(duì)我們來(lái)說(shuō)，SSI 用于研究的算力真的不小。我想解釋一下為什么。簡(jiǎn)單的數(shù)學(xué)可以解釋為什么我們擁有的研究算力比人們想象的要多。我會(huì)解釋。

SSI 籌集了 30 億美元，這在絕對(duì)意義上是一筆巨款。但你會(huì)說(shuō)，“看看其他籌集更多資金的公司。”但他們的大部分算力都用于推理（inference）。這些大數(shù)字，這些大額貸款，是專(zhuān)門(mén)用于推理的。這是第一點(diǎn)。第二，如果你想擁有一個(gè)進(jìn)行推理的產(chǎn)品，你需要有龐大的工程師、銷(xiāo)售人員團(tuán)隊(duì)。大量的研究需要致力于生產(chǎn)各種與產(chǎn)品相關(guān)的功能。所以當(dāng)你看看實(shí)際上留給研究的是什么時(shí)，差距就變得小得多了。

另一件事是，如果你在做不同的事情，你真的需要絕對(duì)最大的規(guī)模來(lái)證明它嗎？我不認(rèn)為這是真的。我認(rèn)為在我們的案例中，我們有足夠的算力來(lái)證明，來(lái)說(shuō)服我們自己和其他任何人，我們?cè)谧龅氖虑槭钦_的。

Dwarkesh Patel

有公開(kāi)估計(jì)稱(chēng)，像 OpenAI 這樣的公司僅在實(shí)驗(yàn)上每年就花費(fèi) 50-60 億美元。這與他們?cè)谕评淼确矫娴闹С鍪欠珠_(kāi)的。所以看起來(lái)他們每年運(yùn)行研究實(shí)驗(yàn)的支出比你們的總資金還多。

Ilya Sutskever

我認(rèn)為這是一個(gè)你用它做什么的問(wèn)題。這是一個(gè)你用它做什么的問(wèn)題。在他們的情況下，在其他人的情況下，對(duì)訓(xùn)練算力有更多的需求。有更多不同的工作流，有不同的模態(tài)，只是有更多的東西。所以它變得碎片化了。

Dwarkesh Patel

SSI 將如何賺錢(qián)？

Ilya Sutskever

我對(duì)這個(gè)問(wèn)題的回答是這樣的。現(xiàn)在，我們只專(zhuān)注于研究，然后這個(gè)問(wèn)題的答案會(huì)自己顯現(xiàn)出來(lái)。我認(rèn)為會(huì)有很多可能的答案。

Dwarkesh Patel

SSI 的計(jì)劃仍然是直通超級(jí)智能嗎？

Ilya Sutskever

也許。我認(rèn)為這樣做有其優(yōu)點(diǎn)。我認(rèn)為這有很多優(yōu)點(diǎn)，因?yàn)椴皇苋粘Ｊ袌?chǎng)競(jìng)爭(zhēng)的影響是非常好的。但我認(rèn)為有兩個(gè)原因可能會(huì)導(dǎo)致我們改變計(jì)劃。一個(gè)是務(wù)實(shí)的，如果時(shí)間線(xiàn)變得很長(zhǎng)，這是可能的。其次，我認(rèn)為最強(qiáng)大、最好的 AI 在外面影響世界是有很大價(jià)值的。我認(rèn)為這是一件有意義且有價(jià)值的事情。

Dwarkesh Patel

那為什么你的默認(rèn)計(jì)劃是直通超級(jí)智能？因?yàn)槁?tīng)起來(lái) OpenAI、Anthropic 以及所有其他公司，他們的明確想法是，“看，我們有越來(lái)越弱的智能，公眾可以適應(yīng)并為此做好準(zhǔn)備。”為什么直接構(gòu)建超級(jí)智能可能更好？

Ilya Sutskever

我會(huì)分別陳述支持和反對(duì)的理由。支持的理由是，人們?cè)谑袌?chǎng)中面臨的挑戰(zhàn)之一是他們必須參與激烈的競(jìng)爭(zhēng)（rat race）。這種競(jìng)爭(zhēng)非常困難，因?yàn)樗屇忝媾R需要做出的艱難權(quán)衡。說(shuō)“我們將把自己與這一切隔離開(kāi)來(lái)，只專(zhuān)注于研究，只在準(zhǔn)備好時(shí)才出來(lái)，而不是之前”是很好的。但反駁也是有效的，那是相反的力量。反駁是，“嘿，讓世界看到強(qiáng)大的 AI 是有用的。讓世界看到強(qiáng)大的 AI 是有用的，因?yàn)槟鞘悄隳軌騻鬟_(dá)它的唯一方式。”

Dwarkesh Patel

我想甚至不僅僅是你能夠傳達(dá)這個(gè)想法——

Ilya Sutskever

傳達(dá) AI，不是想法。傳達(dá) AI。

Dwarkesh Patel

你說(shuō)的“傳達(dá) AI”是什么意思？

Ilya Sutskever

假設(shè)你寫(xiě)了一篇關(guān)于 AI 的文章，文章說(shuō)，“AI 將會(huì)是這樣，AI 將會(huì)是那樣，它會(huì)是這個(gè)。”你讀了之后說(shuō)，“好的，這是一篇有趣的文章。”現(xiàn)在假設(shè)你看到一個(gè) AI 做這個(gè)，一個(gè) AI 做那個(gè)。這是無(wú)法比擬的。基本上我認(rèn)為 AI 公開(kāi)化有很大的好處，這將是我們不完全直通的一個(gè)理由。

Dwarkesh Patel

我想甚至不僅僅是那個(gè)，雖然我確實(shí)認(rèn)為那是其中的重要部分。另一件大事是，我想不出人類(lèi)工程和研究中有哪一門(mén)學(xué)科，其最終產(chǎn)品主要是通過(guò)僅僅思考如何使其安全而變得更安全的，相比之下——為什么今天的飛機(jī)每英里墜毀率比幾十年前低得多。為什么現(xiàn)在在 Linux 中找 bug 比幾十年前難得多？我認(rèn)為這主要是因?yàn)檫@些系統(tǒng)被部署到了世界上。你注意到了故障，這些故障被糾正了，系統(tǒng)變得更加健壯。

我不確定為什么 AGI 和超人類(lèi)智能會(huì)有什么不同，尤其是考慮到——我希望我們會(huì)談到這點(diǎn)——看起來(lái)超級(jí)智能的危害不僅僅是關(guān)于有一個(gè)惡意的回形針制造者。這是一個(gè)真正強(qiáng)大的東西，我們甚至不知道如何概念化人們?nèi)绾闻c之互動(dòng)，人們會(huì)用它做什么。逐步接觸它似乎是分散其影響并幫助人們?yōu)榇俗龊脺?zhǔn)備的更好方式。

Ilya Sutskever

嗯，我認(rèn)為關(guān)于這一點(diǎn)，即使在直通方案中，你仍然會(huì)逐步發(fā)布它，我是這樣想象的。漸進(jìn)主義將是任何計(jì)劃的固有組成部分。只是問(wèn)題在于你推出的第一件東西是什么。這是第一點(diǎn)。

第二，我相信你比其他人更提倡終身學(xué)習(xí)（continual learning），而且我實(shí)際上認(rèn)為這是一件重要且正確的事情。原因如下。我給你另一個(gè)語(yǔ)言如何影響思維的例子。在這種情況下，我認(rèn)為有兩個(gè)詞塑造了每個(gè)人的思維。第一個(gè)詞：AGI。第二個(gè)詞：預(yù)訓(xùn)練。讓我解釋一下。

AGI 這個(gè)術(shù)語(yǔ)，為什么這個(gè)術(shù)語(yǔ)存在？這是一個(gè)非常特別的術(shù)語(yǔ)。它為什么存在？有原因的。在我看來(lái)，AGI 這個(gè)術(shù)語(yǔ)之所以存在，與其說(shuō)是因?yàn)樗悄撤N智能終極狀態(tài)的非常重要、本質(zhì)的描述，不如說(shuō)它是因?yàn)樗菍?duì)另一個(gè)存在的術(shù)語(yǔ)的反應(yīng)，那個(gè)術(shù)語(yǔ)是“狹義 AI”（narrow AI）。如果你回到游戲和 AI、跳棋 AI、國(guó)際象棋 AI、電腦游戲 AI 的遠(yuǎn)古歷史，每個(gè)人都會(huì)說(shuō)，看這個(gè)狹義的智能。當(dāng)然，國(guó)際象棋 AI 可以擊敗卡斯帕羅夫，但它不能做任何其他事情。它是如此狹隘，人工狹義智能。所以作為回應(yīng)，作為對(duì)此的反應(yīng)，有些人說(shuō)，這不好。它太狹隘了。我們需要的是通用 AI，一個(gè)可以做所有事情的 AI。那個(gè)術(shù)語(yǔ)獲得了很多關(guān)注。

第二個(gè)獲得很多關(guān)注的是預(yù)訓(xùn)練，特別是預(yù)訓(xùn)練的配方。我認(rèn)為人們現(xiàn)在做 RL 的方式可能正在消除預(yù)訓(xùn)練的概念印記。但預(yù)訓(xùn)練有這種屬性。你做更多的預(yù)訓(xùn)練，模型在所有方面都會(huì)變得更好，或多或少是一致的。通用 AI。預(yù)訓(xùn)練產(chǎn)生 AGI。

但是 AGI 和預(yù)訓(xùn)練發(fā)生的事情是，在某種意義上它們超出了目標(biāo)。如果你在預(yù)訓(xùn)練的背景下思考“AGI”這個(gè)術(shù)語(yǔ)，你會(huì)意識(shí)到人類(lèi)并不是一個(gè) AGI。是的，肯定有技能的基礎(chǔ)，但人類(lèi)缺乏大量的知識(shí)。相反，我們依賴(lài)終身學(xué)習(xí)。

所以當(dāng)你思考，“好吧，假設(shè)我們?nèi)〉昧顺晒Γ覀儺a(chǎn)生某種安全的超級(jí)智能。”問(wèn)題是，你如何定義它？它會(huì)在終身學(xué)習(xí)曲線(xiàn)的哪里？

我生產(chǎn)了一個(gè)超級(jí)聰明的 15 歲少年，非常渴望出發(fā)。他們知道的不多，是一個(gè)很好的學(xué)生，非常渴望。你去當(dāng)程序員，你去當(dāng)醫(yī)生，去學(xué)習(xí)。所以你可以想象部署本身將涉及某種學(xué)習(xí)試錯(cuò)期。這是一個(gè)過(guò)程，而不是你扔出一個(gè)成品。

Dwarkesh Patel

我明白了。你是在暗示你指出的超級(jí)智能不是某種已經(jīng)知道如何做經(jīng)濟(jì)中每一項(xiàng)工作的成品思維。因?yàn)椋热缯f(shuō)，最初的 OpenAI 章程或其他文件定義 AGI 的方式是，它可以做每一項(xiàng)工作，人類(lèi)能做的每一件事。你提議的是一種可以 學(xué)會(huì) 做每一項(xiàng)工作的思維，那就是超級(jí)智能。

Ilya Sutskever

是的。

Dwarkesh Patel

但是一旦你有了學(xué)習(xí)算法，它就會(huì)像人類(lèi)勞動(dòng)力加入組織一樣被部署到世界上。

Ilya Sutskever

完全正確。

Dwarkesh Patel

看起來(lái)這兩種情況之一可能會(huì)發(fā)生，也許這兩種情況都不會(huì)發(fā)生。第一，這種超級(jí)高效的學(xué)習(xí)算法變得超人，變得和你一樣好，甚至可能比你更好，在 ML 研究任務(wù)上。結(jié)果算法本身變得越來(lái)越超人。

另一個(gè)是，即使那沒(méi)有發(fā)生，如果你有一個(gè)單一的模型——這顯然是你的愿景——模型的實(shí)例被部署到整個(gè)經(jīng)濟(jì)中做不同的工作，學(xué)習(xí)如何做那些工作，在工作中不斷學(xué)習(xí)，學(xué)會(huì)任何人能學(xué)會(huì)的所有技能，但同時(shí)也學(xué)會(huì)所有技能，然后合并它們的學(xué)習(xí)成果，你基本上就有了一個(gè)功能上變得超級(jí)智能的模型，即使軟件沒(méi)有任何遞歸的自我改進(jìn)。因?yàn)槟悻F(xiàn)在有了一個(gè)可以做經(jīng)濟(jì)中每一項(xiàng)工作的模型，而人類(lèi)無(wú)法以同樣的方式合并我們的思想。所以你預(yù)計(jì)廣泛部署會(huì)帶來(lái)某種智能爆炸嗎？

Ilya Sutskever

我認(rèn)為我們很可能會(huì)有快速的經(jīng)濟(jì)增長(zhǎng)。我認(rèn)為隨著廣泛部署，你可以提出兩個(gè)相互沖突的論點(diǎn)。一個(gè)是，一旦你確實(shí)到了擁有一個(gè)可以快速學(xué)習(xí)做事的 AI 并且你有很多這樣的 AI 的地步，那么將會(huì)有一股強(qiáng)大的力量將它們部署到經(jīng)濟(jì)中，除非會(huì)有某種監(jiān)管阻止它，順便說(shuō)一句，可能會(huì)有。

但是關(guān)于非常快速的經(jīng)濟(jì)增長(zhǎng)的想法，我認(rèn)為從廣泛部署來(lái)看是非常可能的。問(wèn)題是它會(huì)有多快。我認(rèn)為這很難知道，因?yàn)橐环矫婺阌羞@個(gè)非常高效的工人。另一方面，世界真的很大，有很多東西，而那些東西以不同的速度移動(dòng)。但另一方面，現(xiàn)在 AI 可以……所以我認(rèn)為非常快速的經(jīng)濟(jì)增長(zhǎng)是可能的。我們將看到各種各樣的事情，比如不同的國(guó)家有不同的規(guī)則，那些規(guī)則更友好的國(guó)家，經(jīng)濟(jì)增長(zhǎng)會(huì)更快。很難預(yù)測(cè)。

Dwarkesh Patel

在我看來(lái)，這是一個(gè)非常不穩(wěn)定的處境。在極限情況下，我們知道這應(yīng)該是可能的。如果你有某種在學(xué)習(xí)方面和人類(lèi)一樣好，但可以合并其大腦——以人類(lèi)無(wú)法合并的方式合并不同實(shí)例——的東西，這似乎是一件物理上應(yīng)該可能的事情。人類(lèi)是可能的，數(shù)字計(jì)算機(jī)是可能的。你只需要把這兩者結(jié)合起來(lái)就能產(chǎn)生這個(gè)東西。

看起來(lái)這種東西也非常強(qiáng)大。經(jīng)濟(jì)增長(zhǎng)是描述它的一種方式。戴森球也是很多經(jīng)濟(jì)增長(zhǎng)。但另一種說(shuō)法是，你將在可能非常短的時(shí)間內(nèi)擁有……你在 SSI 雇傭人，六個(gè)月后，他們可能就是凈產(chǎn)出的。人類(lèi)學(xué)得很快，而這個(gè)東西正變得越來(lái)越聰明。你如何考慮讓這一切順利進(jìn)行？為什么 SSI 定位于能做好這件事？SSI 在那里的計(jì)劃是什么，這基本上就是我想問(wèn)的。

Ilya Sutskever

我的想法發(fā)生變化的一種方式是，我現(xiàn)在更加重視 AI 的增量部署和提前部署。關(guān)于 AI 的一件非常困難的事情是，我們正在談?wù)撋胁淮嬖诘南到y(tǒng)，很難想象它們。

我認(rèn)為正在發(fā)生的一件事是，實(shí)際上很難 感覺(jué)到 AGI。很難感覺(jué)到 AGI。我們可以談?wù)撍@就像談?wù)摦?dāng)你年老體弱時(shí)是什么感覺(jué)。你可以談?wù)摚憧梢栽噲D想象，但這很難，你會(huì)回到那不是事實(shí)的現(xiàn)實(shí)中。我認(rèn)為許多圍繞 AGI 及其未來(lái)力量的問(wèn)題源于這樣一個(gè)事實(shí)：很難想象。未來(lái)的 AI 會(huì)有所不同。它將會(huì)很強(qiáng)大。確實(shí)，AI 和 AGI 的問(wèn)題是什么？整個(gè)問(wèn)題就是力量。整個(gè)問(wèn)題就是力量。

當(dāng)力量真的很大時(shí)，會(huì)發(fā)生什么？我在過(guò)去一年中改變主意的一種方式——這種改變，我會(huì)稍微對(duì)沖一下，可能會(huì)反向傳播到我們公司的計(jì)劃中——是，如果很難想象，你做什么？你必須展示這個(gè)東西。你必須展示這個(gè)東西。我堅(jiān)持認(rèn)為，大多數(shù)從事 AI 工作的人也無(wú)法想象它，因?yàn)樗c人們?nèi)粘？吹降臇|西太不同了。

我確實(shí)堅(jiān)持，這是我的一個(gè)預(yù)測(cè)。我堅(jiān)持認(rèn)為隨著 AI 變得更強(qiáng)大，人們會(huì)改變他們的行為。我們將看到各種前所未有的事情，這些事情現(xiàn)在還沒(méi)有發(fā)生。我會(huì)舉一些例子。我認(rèn)為不管是好是壞，前沿公司將在發(fā)生的事情中扮演非常重要的角色，政府也是如此。我認(rèn)為你會(huì)看到的事情，你已經(jīng)看到了開(kāi)端，那就是作為激烈競(jìng)爭(zhēng)對(duì)手的公司開(kāi)始在 AI 安全方面進(jìn)行合作。你可能已經(jīng)看到 OpenAI 和 Anthropic 邁出了一小步，但這以前是不存在的。這是我在大約三年前的一次演講中預(yù)測(cè)的事情，這種事情會(huì)發(fā)生。我還堅(jiān)持認(rèn)為，隨著 AI 繼續(xù)變得更強(qiáng)大，更明顯地強(qiáng)大，政府和公眾也會(huì)渴望做點(diǎn)什么。我認(rèn)為這是一股非常重要的力量，即展示 AI。

這是第一點(diǎn)。第二點(diǎn)，好的，AI 正在被構(gòu)建。需要做什么？我堅(jiān)持認(rèn)為會(huì)發(fā)生的一件事是，目前，從事 AI 工作的人，我堅(jiān)持認(rèn)為 AI 并不讓人感到強(qiáng)大，是因?yàn)樗腻e(cuò)誤。我確實(shí)認(rèn)為在某個(gè)時(shí)刻，AI 會(huì)開(kāi)始讓人感到真正強(qiáng)大。我認(rèn)為當(dāng)這種情況發(fā)生時(shí)，我們將看到所有 AI 公司對(duì)待安全的方式發(fā)生巨大變化。他們會(huì)變得更加偏執(zhí)。我這是作為一個(gè)預(yù)測(cè)說(shuō)出來(lái)的，我們會(huì)看到這種事發(fā)生。我們要看看我是不是對(duì)的。但我認(rèn)為這是會(huì)發(fā)生的，因?yàn)樗麄儠?huì)看到 AI 變得更強(qiáng)大。目前發(fā)生的一切，我堅(jiān)持認(rèn)為是因?yàn)槿藗兛粗裉斓?AI，很難想象未來(lái)的 AI。

還有第三件事需要發(fā)生。我是從更廣泛的角度說(shuō)的，不僅僅是從 SSI 的角度，因?yàn)槟銌?wèn)到了我們公司。問(wèn)題是，公司應(yīng)該渴望建立什么？他們應(yīng)該渴望建立什么？有一個(gè)每個(gè)人都被鎖定的大主意，那就是自我改進(jìn)的 AI。為什么會(huì)這樣？因?yàn)橄敕ū裙旧佟５覉?jiān)持認(rèn)為有更好的東西可以建立，我認(rèn)為每個(gè)人都會(huì)想要那個(gè)。

那就是穩(wěn)健地對(duì)齊以關(guān)愛(ài)感知生命（sentient life）的 AI。我想特別指出，有理由認(rèn)為建立一個(gè)關(guān)心感知生命的 AI 比建立一個(gè)只關(guān)心人類(lèi)生命的 AI 更容易，因?yàn)?AI 本身將是有感知的。如果你想想鏡像神經(jīng)元和人類(lèi)對(duì)動(dòng)物的同理心，你可能會(huì)說(shuō)這不夠大，但它確實(shí)存在。我認(rèn)為這是一種涌現(xiàn)屬性，源于我們用模擬自己的同一回路來(lái)模擬他人，因?yàn)槟鞘亲罡咝У淖龇ā?/p>

Dwarkesh Patel

即使你讓 AI 關(guān)心感知生物——如果真的解決了對(duì)齊問(wèn)題，我不清楚這是否就是你應(yīng)該嘗試做的——情況仍然是，大多數(shù)感知生物將是 AI。最終會(huì)有數(shù)萬(wàn)億、數(shù)千萬(wàn)億的 AI。人類(lèi)將是感知生物中非常小的一部分。所以如果不清楚目標(biāo)是對(duì)這個(gè)未來(lái)文明進(jìn)行某種人類(lèi)控制，那么我不清楚這是不是最好的標(biāo)準(zhǔn)。

Ilya Sutskever

這是真的。它可能不是最好的標(biāo)準(zhǔn)。我會(huì)說(shuō)兩點(diǎn)。第一，關(guān)心感知生命，我認(rèn)為有其優(yōu)點(diǎn)。應(yīng)該被考慮。我認(rèn)為如果有一些公司在處于這種情況下時(shí)可以使用的簡(jiǎn)短想法清單，那會(huì)有所幫助。這是第二點(diǎn)。

第三，我認(rèn)為如果最強(qiáng)大的超級(jí)智能的力量以某種方式被設(shè)定上限，那將真的有實(shí)質(zhì)性的幫助，因?yàn)檫@將解決很多這些擔(dān)憂(yōu)。關(guān)于如何做到這一點(diǎn)的問(wèn)題，我不確定，但我認(rèn)為當(dāng)你談?wù)撜嬲⒄嬲龔?qiáng)大的系統(tǒng)時(shí)，那將有實(shí)質(zhì)性的幫助。

Dwarkesh Patel

在我們繼續(xù)對(duì)齊討論之前，我想深入探討一下這一點(diǎn)。頂部有多少空間？你是如何看待超級(jí)智能的？利用這個(gè)學(xué)習(xí)效率的想法，你認(rèn)為它可能只是在學(xué)習(xí)新技能或新知識(shí)方面極快嗎？它是否只是擁有更大的策略池？中心是否有一個(gè)單一的、有凝聚力的“它”更強(qiáng)大或更大？如果是這樣，你是否想象這與其余人類(lèi)文明相比會(huì)像神一樣，還是它只是感覺(jué)像另一個(gè)智能體，或另一組智能體？

Ilya Sutskever

這是不同人有不同直覺(jué)的領(lǐng)域。我認(rèn)為它肯定會(huì)非常強(qiáng)大。我認(rèn)為最有可能發(fā)生的是，大約在同一時(shí)間會(huì)有多個(gè)這樣的 AI 被創(chuàng)造出來(lái)。我認(rèn)為如果集群足夠大——比如如果集群真的是大陸級(jí)的——那個(gè)東西可能會(huì)非常強(qiáng)大，確實(shí)如此。如果你真的擁有一個(gè)大陸級(jí)的集群，那些 AI 可能會(huì)非常強(qiáng)大。我能告訴你的是，如果你在談?wù)摌O其強(qiáng)大的 AI，真正極其強(qiáng)大的，如果它們能以某種方式受到限制，或者有某種協(xié)議之類(lèi)的東西，那就太好了。

超級(jí)智能的擔(dān)憂(yōu)是什么？解釋這種擔(dān)憂(yōu)的一種方式是什么？如果你想象一個(gè)足夠強(qiáng)大的系統(tǒng)，真的足夠強(qiáng)大——你可以說(shuō)你需要做一些理智的事情，比如以一種非常專(zhuān)一的方式關(guān)心感知生命——我們可能不喜歡結(jié)果。這就是它的本質(zhì)。

順便說(shuō)一句，也許答案是你不用通常意義上的 RL 智能體。我會(huì)指出幾件事。我認(rèn)為人類(lèi)是半 RL 智能體。我們追求獎(jiǎng)勵(lì)，然后情緒或其他東西讓我們對(duì)獎(jiǎng)勵(lì)感到厭倦，我們追求不同的獎(jiǎng)勵(lì)。市場(chǎng)是一種非常短視的智能體。進(jìn)化也是一樣。進(jìn)化在某些方面非常聰明，但在其他方面非常愚蠢。政府被設(shè)計(jì)成三個(gè)部分之間永無(wú)止境的斗爭(zhēng)，這也是一種效果。所以我想像這樣的事情。

另一件讓這個(gè)討論變得困難的事情是，我們談?wù)摰氖遣淮嬖诘南到y(tǒng)，我們不知道如何構(gòu)建。那是另一件事，實(shí)際上這也是我的信念。我認(rèn)為人們現(xiàn)在正在做的事情會(huì)走一段距離，然后逐漸平息。它會(huì)繼續(xù)改進(jìn)，但它也不會(huì)是“那個(gè)東西”。我們不知道如何構(gòu)建“那個(gè)東西”，很多都取決于理解可靠的泛化。

我還要說(shuō)另一件事。你可以說(shuō)導(dǎo)致對(duì)齊困難的原因之一是，你學(xué)習(xí)人類(lèi)價(jià)值觀的能力是脆弱的。然后你優(yōu)化它們的能力是脆弱的。你實(shí)際上學(xué)會(huì)了去優(yōu)化它們。你難道不能說(shuō)，“這些不都是不可靠泛化的例子嗎？”為什么人類(lèi)似乎泛化得這么好？如果泛化能力好得多呢？在這種情況下會(huì)發(fā)生什么？會(huì)有什么效果？但這些問(wèn)題目前仍然無(wú)法回答。

Dwarkesh Patel

人們?cè)撊绾嗡伎?AI 進(jìn)展順利是什么樣子的？你已經(jīng)勾勒了 AI 可能如何演變。我們將擁有這類(lèi)終身學(xué)習(xí)智能體。AI 將非常強(qiáng)大。也許會(huì)有許多不同的 AI。你怎么看待許多大陸級(jí)算力的智能體四處游蕩？那有多危險(xiǎn)？我們?nèi)绾巫屗兊貌荒敲次ｋU(xiǎn)？我們?nèi)绾我砸环N保護(hù)平衡的方式做到這一點(diǎn)，即使外面可能有未對(duì)齊的 AI 和壞人？

Ilya Sutskever

這也是我喜歡“關(guān)心感知生命的 AI”的一個(gè)原因。我們可以爭(zhēng)論它是好是壞。但如果前 N 個(gè)這樣的劇變性系統(tǒng)真的關(guān)心、愛(ài)護(hù)人類(lèi)或者什么的，關(guān)心感知生命，顯然這也就必須實(shí)現(xiàn)。這需要被實(shí)現(xiàn)。所以如果前 N 個(gè)系統(tǒng)實(shí)現(xiàn)了這一點(diǎn)，那么我可以看到它進(jìn)展順利，至少在相當(dāng)長(zhǎng)的一段時(shí)間內(nèi)。

然后就是長(zhǎng)期會(huì)發(fā)生什么的問(wèn)題。你如何實(shí)現(xiàn)長(zhǎng)期均衡？我認(rèn)為那里也有一個(gè)答案。我不喜歡這個(gè)答案，但它需要被考慮。

長(zhǎng)期來(lái)看，你可能會(huì)說(shuō)，“好吧，如果你有一個(gè)強(qiáng)大的 AI 存在的世界，短期內(nèi)，你可以說(shuō)你有普遍高收入。你有普遍高收入，我們都過(guò)得很好。”但佛教徒怎么說(shuō)？“變化是唯一的常數(shù)。”事情會(huì)變。有某種政府、政治結(jié)構(gòu)的東西，它會(huì)變，因?yàn)檫@些東西有保質(zhì)期。一些新的政府形式出現(xiàn)了，它運(yùn)作，然后過(guò)了一段時(shí)間它停止運(yùn)作。這是我們一直看到發(fā)生的事情。

所以我認(rèn)為對(duì)于長(zhǎng)期均衡，一種方法是你可以說(shuō)也許每個(gè)人都會(huì)有一個(gè) AI 聽(tīng)命于他們，這很好。如果這能無(wú)限期維持下去，那是真的。但這的缺點(diǎn)是，然后 AI 去為這個(gè)人賺錢(qián)并在政治領(lǐng)域倡導(dǎo)他們的需求，也許然后寫(xiě)一份小報(bào)告說(shuō)，“好吧，這是我所做的，這是情況，”然后人說(shuō)，“太棒了，繼續(xù)保持。”但人不再是參與者了。然后你可以說(shuō)這是一個(gè)不穩(wěn)定的處境。

我要先說(shuō)我不喜歡這個(gè)解決方案，但它是一個(gè)解決方案。解決方案是如果人們通過(guò)某種 Neuralink++ 變成半 AI。因?yàn)榻Y(jié)果將會(huì)是，現(xiàn)在 AI 理解了一些東西，我們也理解了它，因?yàn)楝F(xiàn)在理解是全盤(pán)傳遞的。所以現(xiàn)在如果 AI 處于某種情況，你自己也完全參與了那種情況。我認(rèn)為這是均衡的答案。

Dwarkesh Patel

我想知道，數(shù)百萬(wàn)年——或者在很多情況下是數(shù)十億年——前在一個(gè)完全不同的環(huán)境中演化出來(lái)的情緒，至今仍如此強(qiáng)烈地指導(dǎo)著我們的行動(dòng)，這是否是對(duì)齊成功的一個(gè)例子。

為了說(shuō)明我的意思——我不知道稱(chēng)之為價(jià)值函數(shù)還是獎(jiǎng)勵(lì)函數(shù)更準(zhǔn)確——腦干有一個(gè)指令說(shuō)，“與更成功的人交配。”皮層是理解現(xiàn)代背景下成功意味著什么的部分。但腦干能夠?qū)R皮層并說(shuō)，“無(wú)論你認(rèn)為成功是什么——我不夠聰明去理解那是什么——你仍然要追求這個(gè)指令。”

Ilya Sutskever

我認(rèn)為有一個(gè)更普遍的觀點(diǎn)。實(shí)際上進(jìn)化如何編碼高層級(jí)的欲望真的很神秘。很容易理解進(jìn)化如何賦予我們對(duì)聞起來(lái)好的食物的欲望，因?yàn)闅馕妒且环N化學(xué)物質(zhì)，所以只要追求那種化學(xué)物質(zhì)就行了。很容易想象進(jìn)化做那件事。

但進(jìn)化也賦予了我們所有這些社會(huì)欲望。我們真的很在乎被社會(huì)積極看待。我們?cè)诤鯎碛辛己玫牡匚弧Ｋ羞@些我們擁有的社會(huì)直覺(jué)，我強(qiáng)烈感覺(jué)它們是內(nèi)置的。我不知道進(jìn)化是怎么做到的，因?yàn)槟鞘窃诖竽X中表征的一個(gè)高層級(jí)概念。

比方說(shuō)你在乎某種社會(huì)事物，這不像氣味那樣是低層級(jí)信號(hào)。這不是某種有傳感器對(duì)應(yīng)的東西。大腦需要做大量的處理，拼湊大量的信息碎片來(lái)理解社會(huì)上正在發(fā)生什么。不知何故進(jìn)化說(shuō)，“這就是你應(yīng)該關(guān)心的。”它是怎么做到的？

而且它做得很快。所有這些我們?cè)诤醯膹?fù)雜的社會(huì)事物，我認(rèn)為它們演化得相當(dāng)近。進(jìn)化很容易就硬編碼了這種高層級(jí)的欲望。我不知道有什么好的假設(shè)能解釋它是如何完成的。我有過(guò)一些反復(fù)思考的想法，但沒(méi)有一個(gè)是令人滿(mǎn)意的。

Dwarkesh Patel

特別令人印象深刻的是，如果是你在有生之年學(xué)會(huì)的欲望，那是有道理的，因?yàn)槟愕拇竽X是智能的。你有能力學(xué)會(huì)智能的欲望是有道理的。也許這不是你的觀點(diǎn)，但理解它的一種方式是，欲望內(nèi)置于基因組中，而基因組并不智能。但你卻能描述這個(gè)特征。甚至都不清楚你是如何定義這個(gè)特征的，而你卻能把它構(gòu)建進(jìn)基因里。

Ilya Sutskever

基本上是這樣，或者我也許換個(gè)說(shuō)法。如果你思考基因組可用的工具，它說(shuō)，“好吧，這是構(gòu)建大腦的配方。”你可以說(shuō)，“這是把多巴胺神經(jīng)元連接到氣味傳感器的配方。”如果氣味是某種好的氣味，你就想吃它。

我可以想象基因組做那件事。我聲稱(chēng)這（社會(huì)欲望）更難想象。更難想象基因組說(shuō)你應(yīng)該關(guān)心你的整個(gè)大腦、或者大腦的一大塊所做的某種復(fù)雜計(jì)算。這只是我的主張。我可以告訴你一個(gè)猜測(cè)，它是如何做到的，我也會(huì)解釋為什么這個(gè)猜測(cè)可能是錯(cuò)的。

大腦有腦區(qū)。我們有皮層。它有所有那些腦區(qū)。皮層是均勻的，但腦區(qū)和皮層中的神經(jīng)元大多只與其鄰居對(duì)話(huà)。這解釋了為什么會(huì)有腦區(qū)。因?yàn)槿绻阆胱瞿撤N語(yǔ)音處理，所有做語(yǔ)音的神經(jīng)元需要互相交流。因?yàn)樯窠?jīng)元大多只能與附近的鄰居交流，所以它必須是一個(gè)區(qū)域。

所有的區(qū)域在人與人之間大多位于同一個(gè)地方。所以也許進(jìn)化硬編碼了大腦上的一個(gè)物理位置。所以它說(shuō)，“哦，當(dāng)大腦的 GPS 坐標(biāo)某某某，當(dāng)那里點(diǎn)火時(shí)，那就是你應(yīng)該關(guān)心的。”也許那是進(jìn)化所做的，因?yàn)槟窃谶M(jìn)化的工具箱之內(nèi)。

Dwarkesh Patel

是的，盡管有些例子，例如生來(lái)失明的人，他們皮層的那個(gè)區(qū)域被另一種感官接管了。我不知道，但如果那些需要視覺(jué)信號(hào)的欲望或獎(jiǎng)勵(lì)函數(shù)對(duì)于那些皮層區(qū)域被征用的人不再起作用，我會(huì)感到驚訝。

例如，如果你不再有視覺(jué)，你是否仍然能感覺(jué)到我希望周?chē)娜讼矚g我這種感覺(jué)，通常這也有視覺(jué)線(xiàn)索。

Ilya Sutskever

我完全同意這一點(diǎn)。我認(rèn)為對(duì)這個(gè)理論有一個(gè)更強(qiáng)的反駁。有些人童年時(shí)期被切除了一半大腦（大腦半球切除術(shù)），他們?nèi)匀粨碛兴械哪X區(qū)。但它們不知何故都移動(dòng)到了一個(gè)半球，這表明腦區(qū)的位置不是固定的，所以那個(gè)理論是不正確的。

如果是真的那就太酷了，但它不是。所以我認(rèn)為這是一個(gè)謎。但這是一個(gè)有趣的謎。事實(shí)是，不知何故進(jìn)化能夠賦予我們非常非常可靠地關(guān)心社會(huì)事物的能力。即使是有各種奇怪的精神狀況、缺陷和情緒問(wèn)題的人也傾向于關(guān)心這個(gè)。

Dwarkesh Patel

SSI 計(jì)劃做什么不同的事情？大概你們的計(jì)劃是當(dāng)那個(gè)時(shí)刻到來(lái)時(shí)成為前沿公司之一。大概你創(chuàng)立 SSI 是因?yàn)槟阆耄拔矣X(jué)得我有一種方法可以安全地做這件事，而其他公司沒(méi)有。”那個(gè)區(qū)別是什么？

Ilya Sutskever

我會(huì)這樣描述，有一些我認(rèn)為有前途的想法，我想調(diào)查它們，看看它們是否真的有前途。真的就這么簡(jiǎn)單。這是一種嘗試。如果這些想法被證明是正確的——我們討論的這些圍繞理解泛化的想法——那么我認(rèn)為我們將擁有有價(jià)值的東西。

它們會(huì)被證明是正確的嗎？我們?cè)谧鲅芯俊Ｎ覀円獙?shí)事求是地作為一家“研究時(shí)代”的公司。我們?cè)谌〉眠M(jìn)展。實(shí)際上我們?cè)谶^(guò)去一年取得了相當(dāng)不錯(cuò)的進(jìn)展，但我們需要繼續(xù)取得更多進(jìn)展，更多研究。這就是我的看法。我看作是一種嘗試，試圖成為一個(gè)聲音和一個(gè)參與者。

Dwarkesh Patel

你的聯(lián)合創(chuàng)始人和前 CEO 最近離開(kāi)去了 meta，人們問(wèn)，“好吧，如果有大量的突破正在發(fā)生，這看起來(lái)似乎是不太可能發(fā)生的事情。”我想知道你如何回應(yīng)。

Ilya Sutskever

對(duì)此，我只想提醒幾個(gè)可能被遺忘的事實(shí)。我認(rèn)為這些提供背景的事實(shí)解釋了情況。背景是我們當(dāng)時(shí)正以 320 億美元的估值融資，然后 meta 進(jìn)來(lái)提議收購(gòu)我們，我拒絕了。但在某種意義上，我的前聯(lián)合創(chuàng)始人同意了。結(jié)果，他也能夠享受到大量的近期流動(dòng)性，他是 SSI 唯一加入 meta 的人。

Dwarkesh Patel

聽(tīng)起來(lái) SSI 的計(jì)劃是當(dāng)你到達(dá)人類(lèi)歷史這一非常重要的時(shí)期，即擁有超人智能時(shí)，成為一家前沿公司。你有關(guān)于如何讓超人智能順利發(fā)展的想法。但其他公司也會(huì)嘗試他們自己的想法。是什么讓 SSI 使超級(jí)智能順利發(fā)展的方法與眾不同？

Ilya Sutskever

主要讓 SSI 與眾不同的是其技術(shù)方法。我們有不同的技術(shù)方法，我認(rèn)為它是值得的，我們正在追求它。

我堅(jiān)持認(rèn)為最終會(huì)有戰(zhàn)略的趨同。我認(rèn)為會(huì)有戰(zhàn)略的趨同，在某個(gè)時(shí)刻，隨著 AI 變得更強(qiáng)大，對(duì)每個(gè)人來(lái)說(shuō)或多或少都會(huì)變得清晰，戰(zhàn)略應(yīng)該是什么。它應(yīng)該是這樣的：你需要找到某種方式互相交談，你希望你的第一個(gè)真正的超級(jí)智能 AI 是對(duì)齊的，并以某種方式關(guān)心感知生命、關(guān)心人類(lèi)、民主，諸如此類(lèi)，某種組合。

我認(rèn)為這是每個(gè)人都應(yīng)該爭(zhēng)取的條件。這就是 SSI 正在爭(zhēng)取的。我認(rèn)為這一次，如果還沒(méi)發(fā)生的話(huà)，所有其他公司都會(huì)意識(shí)到他們正在朝著同一個(gè)目標(biāo)努力。我們拭目以待。我認(rèn)為隨著 AI 變得更強(qiáng)大，世界將真正改變。我認(rèn)為事情會(huì)真的很不同，人們的行為也會(huì)真的很不同。

Dwarkesh Patel

說(shuō)到預(yù)測(cè)，你對(duì)你描述的這個(gè)系統(tǒng)——它可以像人類(lèi)一樣學(xué)習(xí)并因此隨后變成超人——的預(yù)測(cè)是什么？

Ilya Sutskever

我認(rèn)為大概 5 到 20 年。

Dwarkesh Patel

5 到 20 年？

Ilya Sutskever

嗯。

Dwarkesh Patel

我想展開(kāi)看看你可能如何看待未來(lái)的到來(lái)。就像，我們還有幾年時(shí)間，其他公司繼續(xù)當(dāng)前的方法并停滯不前。“停滯不前”在這里是指他們的收入不超過(guò)幾千億？你如何思考停滯不前意味著什么？

Ilya Sutskever

我認(rèn)為停滯不前看起來(lái)會(huì)……在所有不同的公司看來(lái)都非常相似。可能是這樣的。我不確定，因?yàn)榧词雇磺埃艺J(rèn)為這些公司也能創(chuàng)造驚人的收入。也許不是利潤(rùn)，因?yàn)樗麄冃枰κ棺约号c彼此區(qū)分開(kāi)來(lái)，但收入肯定是有的。

Dwarkesh Patel

但在你的模型中有些東西暗示，當(dāng)正確的解決方案真的出現(xiàn)時(shí)，所有公司之間會(huì)有趨同。我很好奇你為什么認(rèn)為會(huì)這樣。

Ilya Sutskever

我更多是在談?wù)搶?duì)齊策略的趨同。我認(rèn)為最終技術(shù)方法的趨同可能也會(huì)發(fā)生，但我指的是對(duì)齊策略的趨同。到底應(yīng)該做什么？

Dwarkesh Patel

我只是想更好地理解你如何看待未來(lái)的展開(kāi)。目前，我們有這些不同的公司，你預(yù)計(jì)他們的方法會(huì)繼續(xù)產(chǎn)生收入但達(dá)不到這種類(lèi)人學(xué)習(xí)者。所以現(xiàn)在我們有這些不同的公司分支。有你們，有 Thinking Machines，還有一堆其他實(shí)驗(yàn)室。也許其中一個(gè)找到了正確的方法。但是他們產(chǎn)品的發(fā)布會(huì)讓其他人清楚如何做這件事。

Ilya Sutskever

我認(rèn)為怎么做并不清楚，但有些不同的東西是可能的這一點(diǎn)會(huì)變得清楚，這就是信息。人們隨后會(huì)試圖弄清楚那是如何工作的。不過(guò)我確實(shí)認(rèn)為，這里沒(méi)有提到、沒(méi)有討論的一件事是，隨著 AI 能力的每一次提升，我認(rèn)為做事的方式會(huì)有某種變化，但我不知道具體是哪些變化。我認(rèn)為這會(huì)很重要，但我無(wú)法確切拼出那是什么。

Dwarkesh Patel

默認(rèn)情況下，你會(huì)預(yù)期擁有那個(gè)模型的公司會(huì)獲得所有這些收益，因?yàn)樗麄儞碛性谑澜缟戏e累技能和知識(shí)的模型。有什么理由認(rèn)為這種好處會(huì)被廣泛分配，而不僅僅是最終落在最先讓這個(gè)終身學(xué)習(xí)循環(huán)運(yùn)轉(zhuǎn)起來(lái)的模型公司手中？

Ilya Sutskever

我認(rèn)為會(huì)發(fā)生以下情況。第一，讓我們看看過(guò)去的 AI 是如何發(fā)展的。一家公司取得了一項(xiàng)進(jìn)展，另一家公司爭(zhēng)先恐后，在一段時(shí)間后也搞出了一些類(lèi)似的東西，他們開(kāi)始在市場(chǎng)上競(jìng)爭(zhēng)并將價(jià)格壓低。所以我認(rèn)為從市場(chǎng)角度來(lái)看，類(lèi)似的事情也會(huì)發(fā)生。

順便說(shuō)一句，我們談?wù)摰氖敲篮玫氖澜纭Ｊ裁词敲篮玫氖澜纾烤褪俏覀儞碛羞@些強(qiáng)大的人類(lèi)般的學(xué)習(xí)者，它們也是……順便說(shuō)一下，也許還有一件事我們沒(méi)有討論，關(guān)于超級(jí)智能 AI 的規(guī)格，我認(rèn)為值得考慮。那就是你把它做成狹義的，它可以同時(shí)是有用的和狹義的。你可以有很多狹義的超級(jí)智能 AI。

但假設(shè)你有很多這樣的 AI，你有一家公司從中賺取大量利潤(rùn)。然后你有另一家公司進(jìn)來(lái)開(kāi)始競(jìng)爭(zhēng)。競(jìng)爭(zhēng)的方式將通過(guò)專(zhuān)業(yè)化進(jìn)行。競(jìng)爭(zhēng)喜歡專(zhuān)業(yè)化。你在市場(chǎng)上看到這一點(diǎn)，你在進(jìn)化中也看到這一點(diǎn)。你會(huì)有很多不同的利基市場(chǎng)，你會(huì)有很多占據(jù)不同利基市場(chǎng)的不同公司。在這個(gè)世界上，我們可能會(huì)說(shuō)一家 AI 公司在某些真正復(fù)雜的經(jīng)濟(jì)活動(dòng)領(lǐng)域要好得多，而另一家公司在另一個(gè)領(lǐng)域更好。第三家公司非常擅長(zhǎng)訴訟。

Dwarkesh Patel

這難道不與類(lèi)人學(xué)習(xí)所暗示的相矛盾嗎？即它可以學(xué)習(xí)……

Ilya Sutskever

它可以，但你有積累的學(xué)習(xí)。你有巨大的投資。你花費(fèi)了大量的算力才變得非常非常優(yōu)秀，在這個(gè)事情上真正非凡。別人花費(fèi)了大量的算力和大量的經(jīng)驗(yàn)才在其他事情上變得非常優(yōu)秀。你應(yīng)用了大量的人類(lèi)學(xué)習(xí)才到達(dá)那里，但現(xiàn)在你處于這個(gè)高點(diǎn)，別人會(huì)說(shuō)，“看，我不想從頭開(kāi)始學(xué)你已經(jīng)學(xué)過(guò)的東西。”

Dwarkesh Patel

我想這需要許多不同的公司同時(shí)開(kāi)始擁有類(lèi)人終身學(xué)習(xí)智能體，以便他們可以在不同的分支開(kāi)始不同的樹(shù)搜索。但是，如果一家公司首先獲得了那個(gè)智能體，或者首先獲得了那個(gè)學(xué)習(xí)者，確實(shí)看起來(lái)……嗯，如果你只考慮經(jīng)濟(jì)中的每一份工作，讓一個(gè)實(shí)例學(xué)習(xí)每一份工作對(duì)于一家公司來(lái)說(shuō)似乎是可行的。

Ilya Sutskever

這是一個(gè)有效的論點(diǎn)。我的強(qiáng)烈直覺(jué)是，事情不會(huì)這樣發(fā)展。論點(diǎn)說(shuō)它會(huì)這樣發(fā)展，但我的強(qiáng)烈直覺(jué)是它不會(huì)這樣發(fā)展。理論上，理論和實(shí)踐沒(méi)有區(qū)別。在實(shí)踐中，是有區(qū)別的。我認(rèn)為這將是其中之一。

Dwarkesh Patel

許多人的遞歸自我改進(jìn)模型字面上、明確地指出，我們將在服務(wù)器中有 100 萬(wàn)個(gè) Ilya，他們會(huì)想出不同的想法，這將導(dǎo)致超級(jí)智能非常快地涌現(xiàn)。

你對(duì)你正在做的事情的可并行化有某種直覺(jué)嗎？復(fù)制 Ilya 的收益是什么？

Ilya Sutskever

我不知道。我認(rèn)為肯定會(huì)有收益遞減，因?yàn)槟阆胍季S不同的人，而不是相同的人。如果有我的字面副本，我不確定你會(huì)得到多少增量?jī)r(jià)值。思維不同的人，那才是你想要的。

Dwarkesh Patel

為什么如果你看不同的模型，即使是由完全不同的公司發(fā)布的，可能在不重疊的數(shù)據(jù)集上訓(xùn)練的，LLM 彼此之間的相似程度實(shí)際上是瘋狂的？

Ilya Sutskever

也許數(shù)據(jù)集并不像看起來(lái)那樣不重疊。

Dwarkesh Patel

但在某種意義上，即使個(gè)人可能不如未來(lái)的 AI 那么多產(chǎn)，也許有些道理是人類(lèi)團(tuán)隊(duì)比 AI 團(tuán)隊(duì)擁有更多的多樣性。我們?nèi)绾我l(fā) AI 之間有意義的多樣性？我認(rèn)為僅僅提高溫度（temperature）只會(huì)導(dǎo)致胡言亂語(yǔ)。你想要更像是不同的科學(xué)家有不同的偏見(jiàn)或不同的想法。你如何在 AI 智能體之間獲得那種多樣性？

Ilya Sutskever

我相信，沒(méi)有多樣性的原因是預(yù)訓(xùn)練。所有預(yù)訓(xùn)練模型幾乎都是一樣的，因?yàn)樗鼈冊(cè)谙嗤臄?shù)據(jù)上進(jìn)行預(yù)訓(xùn)練。現(xiàn)在的 RL 和后訓(xùn)練（post-training）是一些差異化開(kāi)始出現(xiàn)的地方，因?yàn)椴煌娜颂岢隽瞬煌?RL 訓(xùn)練。

Dwarkesh Patel

我過(guò)去聽(tīng)你暗示過(guò)自我博弈（self-play）是一種獲取數(shù)據(jù)或?qū)⒅悄荏w與同等智能的其他智能體匹配以啟動(dòng)學(xué)習(xí)的方式。我們應(yīng)該如何思考為什么沒(méi)有關(guān)于這種東西在 LLM 上起作用的公開(kāi)提議？

Ilya Sutskever

我會(huì)說(shuō)有兩點(diǎn)。我認(rèn)為自我博弈有趣的原因是因?yàn)樗峁┝艘环N僅使用算力而不使用數(shù)據(jù)來(lái)創(chuàng)建模型的方法。如果你認(rèn)為數(shù)據(jù)是最終瓶頸，那么僅使用算力就非常有趣。這就是讓它有趣的原因。

問(wèn)題是自我博弈，至少在過(guò)去的做法中——當(dāng)你有以某種方式相互競(jìng)爭(zhēng)的智能體時(shí)——它只對(duì)發(fā)展一套特定的技能有好處。它太狹窄了。它只對(duì)談判、沖突、某些社交技能、戰(zhàn)略制定那類(lèi)東西有好處。如果你關(guān)心這些技能，那么自我博弈將是有用的。

實(shí)際上，我認(rèn)為自我博弈確實(shí)找到了歸宿，只是形式不同。所以像辯論、證明者-驗(yàn)證者（prover-verifier），你有某種 LLM-as-a-Judge（大模型作為裁判），它也被激勵(lì)去發(fā)現(xiàn)你工作中的錯(cuò)誤。你可以說(shuō)這不完全是自我博弈，但我相信這是人們正在做的一種相關(guān)的對(duì)抗性設(shè)置。

真正的自我博弈是智能體之間更普遍競(jìng)爭(zhēng)的一個(gè)特例。對(duì)競(jìng)爭(zhēng)的自然反應(yīng)是試圖與眾不同。所以如果你把多個(gè)智能體放在一起，你告訴他們，“你們都需要處理某個(gè)問(wèn)題，你是一個(gè)智能體，你在檢查其他人正在做什么，”他們會(huì)說(shuō)，“好吧，如果他們已經(jīng)采取了這種方法，我不清楚我也應(yīng)該追求它。我應(yīng)該追求一些差異化的東西。”所以我認(rèn)為像這樣的東西也可以為方法的多樣性創(chuàng)造激勵(lì)。

Dwarkesh Patel

最后一個(gè)問(wèn)題：什么是研究品味（research taste）？你顯然被認(rèn)為是世界上 AI 研究品味最好的人。你是深度學(xué)習(xí)歷史上發(fā)生的那些最重大事件的合著者，從 AlexNet 到 GPT-3 等等。它是什么，你如何描述你是如何想出這些主意的？

Ilya Sutskever

關(guān)于這一點(diǎn)我可以評(píng)論我自己。我認(rèn)為不同的人做法不同。有一件事指引著我個(gè)人，那就是通過(guò)思考人類(lèi)是怎樣的，但要正確地思考，來(lái)形成 AI 應(yīng)該是怎樣的審美。很容易不正確地思考人類(lèi)是怎樣的，但正確地思考人類(lèi)意味著什么？

我給你舉幾個(gè)例子。人工神經(jīng)元的想法直接受到大腦的啟發(fā)，這是一個(gè)偉大的想法。為什么？因?yàn)槟銜?huì)說(shuō)大腦有所有這些不同的器官，它有褶皺，但褶皺可能并不重要。為什么我們認(rèn)為神經(jīng)元重要？因?yàn)橛泻芏嗌窠?jīng)元。這感覺(jué)是對(duì)的，所以你想要神經(jīng)元。你想要某種局部的學(xué)習(xí)規(guī)則來(lái)改變神經(jīng)元之間的連接。大腦這樣做感覺(jué)是合理的。

分布式表征的想法。大腦對(duì)經(jīng)驗(yàn)做出反應(yīng)，因此我們的神經(jīng)網(wǎng)絡(luò)應(yīng)該從經(jīng)驗(yàn)中學(xué)習(xí)的想法。大腦從經(jīng)驗(yàn)中學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)應(yīng)該從經(jīng)驗(yàn)中學(xué)習(xí)。你會(huì)問(wèn)自己，有些東西是根本的還是非根本的？事物應(yīng)該是怎樣的。

我認(rèn)為這對(duì)我指引頗多，從多個(gè)角度思考，幾乎是在尋找美，美和簡(jiǎn)單。丑陋，沒(méi)有丑陋的容身之地。它是美、簡(jiǎn)單、優(yōu)雅、來(lái)自大腦的正確靈感。所有這些東西都需要同時(shí)存在。它們?cè)绞峭瑫r(shí)存在，你就越能對(duì)一種自頂向下的信念充滿(mǎn)信心。

自頂向下的信念是當(dāng)實(shí)驗(yàn)與你相悖時(shí)支撐你的東西。因?yàn)槿绻憧偸窍嘈艛?shù)據(jù)，嗯，有時(shí)候你可能在做正確的事情，但有個(gè) bug。但你不知道有個(gè) bug。你怎么分辨有沒(méi)有 bug？你怎么知道你是應(yīng)該繼續(xù)調(diào)試還是斷定這是錯(cuò)誤的方向？靠的是自頂向下。你會(huì)說(shuō)事情必須是這樣的。像這樣的東西必須行得通，因此我們要繼續(xù)前進(jìn)。那就是自頂向下，它是基于這種多層面的美和受大腦啟發(fā)而來(lái)的。

Dwarkesh Patel

好，我們就聊到這里