文: Web3天空之城 | 未經(jīng)許可不得轉(zhuǎn)載
![]()
[城主說]這次最新的超長篇訪談深入探討了人工智能的前沿領(lǐng)域。谷歌DeepMind的領(lǐng)導(dǎo)者德米斯·哈薩比斯與Lex·弗里德曼討論了他關(guān)于自然模式可學(xué)習(xí)性的猜想、AI在模擬物理世界(如流體動力學(xué))和創(chuàng)造交互式游戲世界中的巨大潛力。對話還涵蓋了通往通用人工智能(AGI)的路徑、其定義與測試方法,以及AI對科學(xué)、能源、經(jīng)濟(jì)和人類未來的深遠(yuǎn)影響。
核心觀點
? 任何在自然界中可以進(jìn)化或生成的模式,原則上都可以被經(jīng)典的機(jī)器學(xué)習(xí)算法有效發(fā)現(xiàn)和建模。
? AI在模擬物理現(xiàn)象(如視頻生成模型VEO)和創(chuàng)造動態(tài)、個性化的開放世界游戲方面展現(xiàn)出驚人潛力。
? 實現(xiàn)AGI不僅需要計算規(guī)模的擴(kuò)展,還可能需要類似AlphaGo的“第37步”那樣的研究突破,并需解決“研究品味”等難題。
? AI將成為解決能源、氣候、疾病等重大挑戰(zhàn)的終極工具,可能帶領(lǐng)人類進(jìn)入一個資源極大豐富的后稀缺時代。
? AGI的開發(fā)必須以謹(jǐn)慎的樂觀態(tài)度進(jìn)行,合作與安全是確保這項強大技術(shù)造福全人類的關(guān)鍵。
引言:可學(xué)習(xí)的宇宙
Lex: 我們?nèi)祟惡茈y對高度非線性的動力系統(tǒng)做出任何清晰的預(yù)測。但再次回到你的觀點,我們可能會對經(jīng)典學(xué)習(xí)系統(tǒng)在流體方面所能做的事情感到非常驚訝。
德米斯: 是的,沒錯。我的意思是,流體動力學(xué)、納維-斯托克斯方程,這些傳統(tǒng)上被認(rèn)為是經(jīng)典系統(tǒng)上非常、非常困難、棘手的問題。它們需要大量的計算,例如天氣預(yù)測系統(tǒng),你知道的,這些都涉及流體動力學(xué)計算。但同樣,如果你看看像VEO這樣的東西,我們的視頻生成模型,它可以很好地模擬液體,出奇地好,以及材料、鏡面反射光照。我喜歡那些有人生成視頻,其中有透明液體通過液壓機(jī),然后被擠出來的視頻。我早期在游戲領(lǐng)域編寫過物理引擎和圖形引擎,我知道構(gòu)建能夠做到這一點的程序是多么費力。然而,不知何故,這些系統(tǒng)正在通過觀看YouTube視頻進(jìn)行逆向工程。因此,推測發(fā)生的情況是,它正在提取這些材料行為方式的一些底層結(jié)構(gòu)。因此,如果我們真正完全理解了內(nèi)部發(fā)生的事情,也許存在某種可以學(xué)習(xí)的低維流形。也許,你知道,這可能對大多數(shù)現(xiàn)實都是如此。
Lex: 以下是與德米斯·哈薩比斯(Demis Hassabis)的對話,這是他第二次參加播客節(jié)目。他是谷歌DeepMind的領(lǐng)導(dǎo)者,現(xiàn)在是諾貝爾獎獲得者。德米斯是當(dāng)今世界上最聰明、最迷人的人才之一,致力于理解和構(gòu)建智能,并探索我們宇宙的重大謎團(tuán)。能夠邀請他參加節(jié)目,我感到非常榮幸。
在您的諾貝爾獎演講中,您提出了我認(rèn)為非常有趣的猜想,即“自然界中可以生成或發(fā)現(xiàn)的任何模式都可以通過經(jīng)典的機(jī)器學(xué)習(xí)算法有效地發(fā)現(xiàn)和建模”。其中可能包含哪些類型的模式或系統(tǒng)?生物學(xué)、化學(xué)、物理學(xué),或許是宇宙學(xué)、神經(jīng)科學(xué),我們在談?wù)撌裁矗?/p>
德米斯: 當(dāng)然。嗯,你看,我覺得諾貝爾獎的演講有點像是傳統(tǒng),我認(rèn)為,你應(yīng)該有點挑釁意味,我想遵循這個傳統(tǒng)。我在那里談?wù)摰氖牵绻阃艘徊剑纯次覀兯龅乃泄ぷ鳎貏e是 Alpha X 項目,所以我想到的是 Alpha Go,當(dāng)然還有 Alpha Fold,它們真正的意義在于,我們正在構(gòu)建非常組合性高維空間的模型,如果你試圖強行找到解決方案,比如在圍棋中找到最佳著法,或者找到蛋白質(zhì)的精確形狀,如果你列舉所有可能性,宇宙的時間都不夠用。所以你必須做一些更聰明的事情。在這兩種情況下,我們所做的都是構(gòu)建這些環(huán)境的模型,從而以一種聰明的方式引導(dǎo)搜索,使其變得易于處理。
所以如果你考慮蛋白質(zhì)折疊,這顯然是一個自然系統(tǒng),為什么這會成為可能?物理學(xué)是如何做到這一點的?蛋白質(zhì)在我們體內(nèi)以毫秒級的速度折疊,所以物理學(xué)以某種方式解決了這個問題,而我們現(xiàn)在也通過計算解決了這個問題。我認(rèn)為之所以成為可能,是因為在自然界中,自然系統(tǒng)具有結(jié)構(gòu),因為它們受到塑造它們的進(jìn)化過程的影響。如果這是真的,那么你也許可以了解這種結(jié)構(gòu)是什么。
Lex: 所以我認(rèn)為,這個視角確實非常有趣。你已經(jīng)暗示過了,粗略地說,任何可以進(jìn)化的事物都可以被高效地建模。認(rèn)為這有道理嗎?
德米斯: 是的,我有時稱它為“最穩(wěn)定者的生存”或類似的東西,因為當(dāng)然存在生命、生物的進(jìn)化,但是,如果你考慮到地質(zhì)時間,比如山脈的形狀,那是經(jīng)過數(shù)千年的風(fēng)化過程塑造的,然后你甚至可以將其推廣到宇宙學(xué),行星的軌道,小行星的形狀,這些都經(jīng)歷了某種生存過程,這些過程在它們身上發(fā)生了無數(shù)次。所以如果這是真的,那么應(yīng)該存在某種模式,你可以逆向?qū)W習(xí),并且實際上存在一種流形,可以幫助你搜索到正確的解決方案,正確的形狀,并且實際上允許你以有效的方式預(yù)測有關(guān)它的信息,因為它不是隨機(jī)模式,對嗎?
所以對于人造事物或抽象事物(例如分解大數(shù))來說,這可能是不可能的,因為除非數(shù)字空間中存在模式,這可能存在,但如果沒有并且它是均勻的,那么就沒有要學(xué)習(xí)的模式。沒有可以學(xué)習(xí)的模型來幫助你搜索。你必須使用蠻力。所以在這種情況下,你可能需要一臺量子計算機(jī),或者類似的東西。但是我們感興趣的大多數(shù)自然事物并非如此。它們擁有因某種原因而進(jìn)化并在時間中幸存下來的結(jié)構(gòu)。如果這是真的,我認(rèn)為這可能可以通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。
Lex: 就像大自然在進(jìn)行一個搜索過程,令人著迷的是,在這個搜索過程中,它創(chuàng)造了可以被有效建模的系統(tǒng)。
德米斯: 是的,沒錯。是啊。真有趣。所以它們可以被有效地重新發(fā)現(xiàn)或恢復(fù),因為自然不是隨機(jī)的,對吧?這些,我們周圍看到的一切,包括更穩(wěn)定的元素,所有這些東西,都受到某種選擇過程、壓力的影響。
模擬現(xiàn)實:從物理到計算
Lex: 你認(rèn)為,因為你也是理論計算機(jī)科學(xué)和復(fù)雜性的愛好者,你認(rèn)為我們可以提出一種復(fù)雜性類別,比如一種復(fù)雜性動物園類型的類別,也許是可學(xué)習(xí)系統(tǒng)集合,可學(xué)習(xí)的自然系統(tǒng)集合,L和S?這是一類新的系統(tǒng),實際上可以通過這種方式被經(jīng)典系統(tǒng)學(xué)習(xí),是可以被有效建模的自然系統(tǒng)。
德米斯: 是的。我的意思是,我一直對P=NP問題著迷,以及經(jīng)典系統(tǒng)可以建模什么,即非量子系統(tǒng),你知道,實際上是圖靈機(jī)。這正是我實際上在用一些空閑時間和一些同事一起研究的內(nèi)容,關(guān)于是否應(yīng)該存在,你知道,可能有一種新型的問題,可以通過這種類型的神經(jīng)網(wǎng)絡(luò)過程解決,并映射到這些自然系統(tǒng)上。所以,你知道,存在于物理學(xué)中并具有結(jié)構(gòu)的事物。所以我認(rèn)為這可能是一種非常有趣的新思考方式。這在某種程度上符合我思考物理學(xué)的方式,也就是說,你知道,我認(rèn)為信息是首要的。信息是宇宙中最基本的一個單位,比能量和物質(zhì)更基本。所以我認(rèn)為它們都可以相互轉(zhuǎn)化。但我認(rèn)為宇宙是一種信息系統(tǒng)。所以當(dāng)你把宇宙看作一個信息系統(tǒng)時,那么P=NP問題就是一個物理學(xué)問題。
Lex: 因此,當(dāng)你把宇宙看作一個信息系統(tǒng)時,那么P=NP問題就是一個物理問題。
德米斯: 沒錯。
Lex: 而且這個問題實際上可以幫助我們解決目前正在發(fā)生的整個事件。
德米斯: 是的,我認(rèn)為這實際上是最根本的問題之一,如果你認(rèn)為物理學(xué)是信息性的。我認(rèn)為這個問題的答案將會非常具有啟發(fā)性。
Lex: 更具體地說是關(guān)于P與NP問題。再次聲明,我們現(xiàn)在所說的一些東西可能有點瘋狂。就像克里斯蒂安·阿特金森的諾貝爾獎獲獎感言一樣,他說了一些有爭議的事情,聽起來很瘋狂。然后你和約翰· jumper一起憑借這個獲得了諾貝爾獎,解決了這個問題。所以,讓我回到P等于NP的問題。你認(rèn)為我們正在討論的這個問題中是否存在一些東西可以被證明,如果你能做到類似多項式時間或常數(shù)時間,提前計算,并構(gòu)建這個巨大的模型,那么你就可以用一種理論計算機(jī)科學(xué)的方式來解決這些極其困難的問題嗎?
德米斯: 是的,我認(rèn)為實際上有很大一類問題可以用這種方式來解決,就像我們做AlphaGo和AlphaFold的方式一樣,你知道,你可以建模系統(tǒng)的動態(tài)特性、系統(tǒng)的屬性以及你試圖理解的環(huán)境。然后,這使得尋找解決方案或預(yù)測下一步變得高效,基本上是多項式時間。所以對于經(jīng)典系統(tǒng)來說是可以處理的,而神經(jīng)網(wǎng)絡(luò)就是一個經(jīng)典系統(tǒng),它在普通的計算機(jī)上運行,對吧?經(jīng)典計算機(jī),實際上就是圖靈機(jī)。
我認(rèn)為這是目前最有趣的問題之一,那就是這種范式能走多遠(yuǎn)?你知道,我認(rèn)為我們已經(jīng)證明了,整個AI社區(qū)也證明了,經(jīng)典系統(tǒng),圖靈機(jī),可以比我們之前認(rèn)為的走得更遠(yuǎn)。你知道,它們可以做一些事情,比如模擬蛋白質(zhì)的結(jié)構(gòu),以及在圍棋方面比世界冠軍水平更高。而且,你知道,很多人可能在10、20年前會認(rèn)為,這還需要幾十年,或者可能需要某種量子機(jī)器或量子系統(tǒng)才能做像蛋白質(zhì)折疊這樣的事情。所以我認(rèn)為,我們甚至還沒有真正觸及所謂的經(jīng)典系統(tǒng)能夠做什么的皮毛。當(dāng)然,建立在神經(jīng)網(wǎng)絡(luò)系統(tǒng)之上,建立在經(jīng)典計算機(jī)之上的AGI,將是這種表達(dá)的終極體現(xiàn)。我認(rèn)為這個限制,你知道,這種系統(tǒng)的界限,它能做什么,這是一個非常有趣的問題,直接關(guān)系到P等于NP問題。
Lex: 你覺得,再次假設(shè),什么可能會超出這個范圍,也許是涌現(xiàn)現(xiàn)象?比如你看看元胞自動機(jī),一些,你擁有極其簡單的系統(tǒng),然后一些復(fù)雜性涌現(xiàn)出來。也許那會超出范圍,或者你甚至?xí)聹y,即使是那樣,也可能可以通過經(jīng)典機(jī)器進(jìn)行高效建模?
德米斯: 是的,我認(rèn)為這些系統(tǒng)正處于邊界上,對吧?所以我認(rèn)為大多數(shù)涌現(xiàn)系統(tǒng),元胞自動機(jī),諸如此類的東西,都可以用經(jīng)典系統(tǒng)建模。你只需對它進(jìn)行正向模擬,而且可能足夠高效。當(dāng)然,存在諸如混沌系統(tǒng)之類的問題,其中初始條件至關(guān)重要,然后你得到一些,你知道,不相關(guān)的最終狀態(tài)。現(xiàn)在這些可能很難建模。所以我認(rèn)為這些都是開放性問題,但我覺得當(dāng)你退一步,看看我們用這些系統(tǒng)所做的事情,以及我們所解決的問題,然后你再看看像VEO3這樣的視頻生成,比如渲染物理和光照等,你知道,真正物理學(xué)中的核心基本要素,那就非常有趣了。我認(rèn)為這在告訴我一些關(guān)于宇宙如何被構(gòu)建的非常根本的東西。所以,你知道,在某種程度上,這就是我想構(gòu)建通用人工智能(AGI)的原因,是為了幫助我們作為科學(xué)家回答像P=NP這樣的問題。是的,我認(rèn)為我們可能會對經(jīng)典計算機(jī)可以建模的東西不斷感到驚訝。
Lex: 我的意思是,AlphaFold 3 在交互方面令人驚訝,你可以在那個方向上取得任何進(jìn)展。Alpha Genome 令人驚訝,你可以將基因代碼映射到功能。有點像在玩涌現(xiàn)現(xiàn)象,你認(rèn)為有如此多的組合選項,但結(jié)果卻出乎意料。你可以找到可以有效建模的內(nèi)核。
德米斯: 是的,因為有一些結(jié)構(gòu),有一些景觀,你知道,在能量景觀或其他什么中,你可以遵循,一些梯度你可以遵循。當(dāng)然,神經(jīng)網(wǎng)絡(luò)非常擅長跟蹤梯度。因此,如果有一個可以遵循的梯度,并且你可以正確指定目標(biāo)函數(shù),你知道,你就不必處理所有這些復(fù)雜性,我認(rèn)為這也許是我們幾十年來天真地思考這些問題的方式。如果你只是列舉所有可能性,它看起來完全是難以處理的。那里有非常非常多的類似問題。然后你會想,嗯,就像10的300次方種可能的蛋白質(zhì)結(jié)構(gòu),10的170次方種可能的圍棋局面。所有這些都遠(yuǎn)遠(yuǎn)超過了宇宙中的原子數(shù)量。那么,人們怎么可能找到正確的解決方案或預(yù)測下一步呢?而且,但事實證明這是可能的。當(dāng)然,自然界的現(xiàn)實確實做到了,對吧?蛋白質(zhì)確實會折疊。所以這讓你有信心,一定有,如果我們理解了物理學(xué)在某種意義上是如何做到這一點的,那么,如果我們能夠模仿這個過程,模擬這個過程,那么在我們經(jīng)典的系統(tǒng)上也是可以實現(xiàn)的,這基本上就是這個猜想的內(nèi)容。
Lex: 當(dāng)然還有非線性動力系統(tǒng),高度非線性的動力系統(tǒng),所有涉及流體的東西。是的,沒錯。你知道,我最近和陶哲軒進(jìn)行了一次談話,他在數(shù)學(xué)上研究了具有一些奇點的系統(tǒng)的非常困難的方面,這些奇點破壞了數(shù)學(xué)。對于我們?nèi)祟悂碚f,對高度非線性動力系統(tǒng)做出任何清晰的預(yù)測都很難。但再次,正如你所說,我們可能會對經(jīng)典學(xué)習(xí)系統(tǒng)在流體方面所能做的事情感到非常驚訝。
德米斯: 是的,完全正確。我的意思是,流體動力學(xué)、納維-斯托克斯方程,這些傳統(tǒng)上被認(rèn)為是經(jīng)典系統(tǒng)上非常、非常困難、棘手的問題。它們需要大量的計算,你知道,天氣預(yù)報系統(tǒng),你知道,這些東西都涉及到流體動力學(xué)計算。而且,但是再次,如果你看看像VEO這樣的東西,我們的視頻生成模型,它可以很好地模擬液體,出奇地好,還有材料,鏡面反射。我喜歡那些有人生成視頻,里面有透明液體通過液壓機(jī),然后被擠壓出來的視頻。我早年在游戲行業(yè)時,曾編寫過物理引擎和圖形引擎。我知道構(gòu)建能夠做到這一點的程序是多么令人費力。然而,不知何故,這些系統(tǒng)正在通過觀看YouTube視頻進(jìn)行逆向工程。因此,推測發(fā)生的情況是,它正在提取關(guān)于這些材料如何表現(xiàn)的一些底層結(jié)構(gòu)。因此,也許存在某種低維流形,如果我們真正完全理解了內(nèi)部發(fā)生的事情,就可以學(xué)習(xí)它。也許這適用于大多數(shù)現(xiàn)實。
Lex: 是的,我一直被VEO 3的這個方面所吸引。我認(rèn)為很多人強調(diào)不同的方面,包括喜劇和刻薄以及所有類似的東西,然后是超現(xiàn)實的能力,以一種引人注目并感覺接近現(xiàn)實的方式捕捉人類。然后將其與原生音頻結(jié)合起來。所有這些都是VEO 3的奇妙之處,但正是您提到的物理特性。是的。它并不完美,但已經(jīng)相當(dāng)不錯了。然后,真正有趣的科學(xué)問題是,它理解了我們世界的什么才能做到這一點?由于對擴(kuò)散模型的憤世嫉俗的看法,它不可能理解任何東西。但看起來,我的意思是,我認(rèn)為不理解就無法生成那樣的視頻。然后我們自己對理解的哲學(xué)概念就被提到了表面。你認(rèn)為VEO 3在多大程度上理解我們的世界?
德米斯: 我認(rèn)為,如果它能以連貫的方式預(yù)測接下來的幀,那就是一種理解,對吧?不是擬人化的版本,不是對正在發(fā)生的事情的某種深刻的哲學(xué)理解。我認(rèn)為這些系統(tǒng)不具備那種理解。但它們肯定已經(jīng)對足夠多的動態(tài)進(jìn)行了建模,這么說吧,它們可以相當(dāng)準(zhǔn)確地生成任何東西,8秒鐘的連貫視頻,至少乍一看,很難區(qū)分問題是什么。想象一下,再過兩三年,這就是我在考慮的事情,鑒于我們已經(jīng)取得的進(jìn)展,以及一兩年前的早期版本,這將是多么不可思議。因此,進(jìn)展的速度是驚人的。
我想我和你一樣,很多人喜歡所有的單口喜劇演員,實際上這很好地捕捉了很多人類動態(tài)和肢體語言。但實際上,我印象最深刻、最著迷的是物理行為,光照、材質(zhì)和液體。并且它能做到這一點,這非常了不起。我認(rèn)為這表明它至少對直覺物理學(xué)有一些概念,對吧?事物應(yīng)該如何憑直覺運作,也許像一個孩子理解物理學(xué)的方式,對吧,而不是一個博士生真正能夠拆解所有的方程式。這更像是一種直覺上的物理學(xué)理解。
Lex: 好的,這種直覺上的物理學(xué)理解,那是基礎(chǔ)層。那是人們有時稱之為常識的東西。它確實理解了一些東西。我認(rèn)為這真的讓很多人感到驚訝。這讓我震驚,我之前竟然認(rèn)為不理解就無法生成那種程度的真實感。有一種觀念認(rèn)為,你只能通過擁有一個具身人工智能系統(tǒng),一個與世界互動的機(jī)器人,來理解物理世界。這是構(gòu)建對世界理解的唯一途徑。但VEO3似乎直接挑戰(zhàn)了這一點。
德米斯: 是的。這非常有趣,即使你5年或10年前問我,即使我當(dāng)時沉浸在所有這些之中,我也會說,是的,你可能需要理解直覺物理學(xué)。比如,如果我把這個玻璃杯從桌子上推下去,它可能會摔碎,液體會濺出來,對吧?所以我們都知道這些事情。但我當(dāng)時認(rèn)為,你知道,神經(jīng)科學(xué)中有很多理論,叫做行動中的感知,即你需要在世界中行動才能真正地以深刻的方式感知它。并且有很多關(guān)于你需要具身智能或機(jī)器人技術(shù)或其他東西,或者至少是模擬行動的理論,這樣你才能理解諸如直覺物理學(xué)之類的事情。但看起來你可以通過被動觀察來理解它,這對我來說非常令人驚訝。
而且,我認(rèn)為這再次暗示了關(guān)于現(xiàn)實本質(zhì)的某些深層?xùn)|西,在我看來,不僅僅是它生成的那些酷炫視頻。當(dāng)然,下一個階段可能是讓這些視頻具有互動性。這樣人們就可以真正地進(jìn)入它們并在其中移動,這將是真正令人震驚的,特別是考慮到我的游戲背景。所以你可以想象。然后我認(rèn)為,你知道,我們開始接近我所說的世界模型,一個關(guān)于世界如何運作、世界的機(jī)制、世界的物理學(xué)以及世界中事物運作的模型。當(dāng)然,這對于真正的通用人工智能(AGI)系統(tǒng)來說是必需的。
游戲的未來:AI驅(qū)動的開放世界
Lex: 我必須和你談?wù)勲娮佑螒颉K阅阌悬c在釣魚。我認(rèn)為你在推特(現(xiàn)在的X)上越來越開心了,很高興看到這一點。所以有個叫吉米·阿普爾斯的人發(fā)推文說,讓我玩一個基于我的VEO3視頻的電子游戲吧。谷歌做得如此出色,可玩的世界模型何時推出,拼寫為H-E-N,問號。然后你轉(zhuǎn)發(fā)了那條推文,還配文說,那豈不是一件很棒的事情?那么用人工智能構(gòu)建游戲世界有多難?也許,你能展望一下視頻游戲的未來,5年,10年后嗎?
德米斯: 你覺得會是什么樣的?嗯,游戲?qū)嶋H上是我的初戀,為游戲開發(fā)人工智能是我青少年時期第一份專業(yè)工作,也是我構(gòu)建的第一個大型人工智能系統(tǒng)。而且我一直想,我想有一天能止癢,然后回到那個領(lǐng)域。所以,你知道,我會做的,我想。而且我想我會夢想著,如果我在90年代就能接觸到我們今天擁有的人工智能系統(tǒng),我會做些什么?而且我認(rèn)為你可以構(gòu)建出絕對令人震驚的游戲。
我認(rèn)為下一個階段是,我一直喜歡制作,我制作的所有游戲都是開放世界游戲。所以它們是這樣一種游戲:其中有一個模擬,然后有AI角色,然后玩家與該模擬互動,而模擬會適應(yīng)玩家的玩法。我一直覺得它們是最酷的游戲,比如我參與制作的《主題公園》之類的游戲,每個人的游戲體驗對他們來說都是獨一無二的,因為你實際上是在共同創(chuàng)造游戲,對吧?我們設(shè)置參數(shù),我們設(shè)置初始條件,然后你作為玩家沉浸其中,然后你與模擬共同創(chuàng)造它。
但當(dāng)然,編程開放世界游戲非常困難。你必須能夠創(chuàng)造內(nèi)容,無論玩家朝哪個方向前進(jìn),而且你希望無論玩家選擇什么,它都引人入勝。因此,實際上很難構(gòu)建像細(xì)胞自動機(jī)這樣的東西,即創(chuàng)建某種涌現(xiàn)行為的經(jīng)典系統(tǒng)。但它們總是有點脆弱,有點局限性。現(xiàn)在,我們可能在未來幾年,5到10年內(nèi),即將擁有能夠真正圍繞你的想象力進(jìn)行創(chuàng)作的AI系統(tǒng),現(xiàn)在可以動態(tài)地改變故事,圍繞敘事進(jìn)行講述,并使其無論你最終選擇什么都充滿戲劇性。所以這就像終極的“選擇你自己的冒險”式游戲。我認(rèn)為也許我們觸手可及,如果你想到一種互動版本的VEO,然后將其向前推進(jìn)5到10年,想象一下它會有多好。
Lex: 是的,你剛才說了很多非常有趣的東西。首先,其中內(nèi)置的開放世界是一種深度個性化,正如你所描述的那樣。所以不僅僅是開放世界,比如你可以打開任何一扇門,然后里面會有東西。而是以一種不受約束的方式選擇你打開哪扇門,定義了你所看到的世界。
所以有些游戲試圖這樣做,它們給你選擇,但實際上只是一種選擇的幻覺,就像《史丹利的寓言》(Stanley Parable)一樣,這是我本打算玩的游戲。實際上,只有幾扇門,它只是把你帶入一個敘事中。《史丹利的寓言》是一個很棒的電子游戲,我推薦大家玩,它以一種元方式嘲弄了選擇的幻覺,并且存在關(guān)于自由意志的哲學(xué)概念等等。但我確實喜歡我最喜歡的游戲之一,《上古卷軸》(Felder Scrolls),《匕首雨》(Daggerfall),我相信,他們真的玩弄了一種,比如隨機(jī)生成地牢的方式。是的。如果你能介入,他們會給你一種開放世界的感覺。而且,你提到了互動性,你不需要互動,這是第一步,因為你不需要互動那么多,只是當(dāng)你打開門時,你所看到的一切都是為你隨機(jī)生成的。這已經(jīng)是一種難以置信的體驗了,因為你可能是唯一一個看到它的人。
德米斯: 是的,完全正確。所以,但你想要的可能比僅僅是某種隨機(jī)生成要好一點,對吧?所以你希望,而且比簡單的A、B硬編碼選擇要好,對吧?那不是真正的開放世界,對吧?正如你所說,那只是給你一種選擇的錯覺。你想能夠做到的是在這個游戲環(huán)境中潛在地做任何事情。而且我認(rèn)為實現(xiàn)這一點的唯一方法是擁有生成系統(tǒng),即能夠動態(tài)生成內(nèi)容的系統(tǒng)。當(dāng)然,你不能創(chuàng)造無限數(shù)量的游戲資產(chǎn),對吧?如今3A游戲的制作成本已經(jīng)非常高昂了。
而且早在90年代,當(dāng)我制作所有這些游戲時,這對我們來說是很明顯的。我認(rèn)為《黑與白》可能是我早期參與制作的游戲,它可能仍然擁有最好的AI,即學(xué)習(xí)型AI。這是一個早期的強化學(xué)習(xí)系統(tǒng),你負(fù)責(zé)照看這個神話般的生物,并讓它成長和被培養(yǎng)。根據(jù)你對待它的方式,它會以同樣的方式對待那個世界的村民。所以如果你對它很刻薄,它也會很刻薄。如果你很友善,它就會有保護(hù)欲。所以它實際上是你玩游戲方式的一種反映。所以實際上,在我職業(yè)生涯的初期,我一直在通過游戲媒介研究模擬和AI。實際上,我今天所做的一切仍然是從早期那些更硬編碼的AI方法,到現(xiàn)在的完全通用的學(xué)習(xí)系統(tǒng)的一個延續(xù),它們都在試圖實現(xiàn)同樣的目標(biāo)。
Lex: 是的,看到你和埃隆顯然都渴望創(chuàng)造游戲真是既有趣又滑稽,而且很有意思,因為你們都是游戲玩家。而你在如此多的科學(xué)領(lǐng)域,比如嚴(yán)肅的成人事務(wù)方面取得令人難以置信的成功,其中一個令人難過的方面是你可能沒有時間真正創(chuàng)造一款游戲。你最終可能會創(chuàng)造出其他人用來創(chuàng)造游戲的工具。你不得不看著別人創(chuàng)造出你一直夢想的東西。你認(rèn)為你是否有可能在極其繁忙的日程中抽出時間來創(chuàng)造像《黑與白》這樣的東西,一個真正的電子游戲,在那里你可以讓童年的夢想成為現(xiàn)實?
德米斯: 嗯,當(dāng)我想到這件事時,有兩個想法,也許隨著氛圍編碼技術(shù)的改進(jìn),有可能在你的空閑時間里做到這一點。所以我對此感到非常興奮。如果我有時間做一些氛圍編碼,那將是我的項目。我實際上很想這樣做。還有一件事是,也許在AGI(通用人工智能)被安全地管理并交付到世界之后,可以休個學(xué)術(shù)假。你知道,然后研究我的物理理論,正如我們在開始時談到的那樣,這將是我的兩個后AGI項目。就這么稱呼它吧。
Lex: 我很想看看后通用人工智能時代你會選擇哪個,解決一些人類歷史上最聰明的人都在爭論的問題。所以P是否等于NP,或者創(chuàng)造一個酷炫的視頻。
德米斯: 是的,好吧,但在我的世界里,它們會是相關(guān)的,因為它會是一個盡可能逼真的開放世界模擬游戲。所以,你知道,宇宙是什么?這就是在探討同一個問題,對吧?以及P是否等于NP。我認(rèn)為所有這些事情都是相關(guān)的,至少在我看來是這樣。
Lex: 我的意思是,非常嚴(yán)肅地說,我認(rèn)為電子游戲有時會受到一些貶低。那只是一個有趣的副業(yè)活動。但尤其是在人工智能完成越來越多困難、乏味的任務(wù)時,我們現(xiàn)代世界稱之為工作的那些事,電子游戲可能是我們找到意義所在,找到如何利用時間的方式。你可以創(chuàng)造極其豐富、有意義的體驗。就像那是人類的生活一樣。然后在電子游戲中,你可以創(chuàng)造更復(fù)雜、更多樣化的生活方式。是的,我是這么認(rèn)為的。
德米斯: 我的意思是,我們這些熱愛游戲的人,而且我現(xiàn)在仍然熱愛,你知道,它幾乎可以讓你的想象力自由馳騁。對吧?我曾經(jīng)非常熱愛游戲和開發(fā)游戲,因為它是一種融合,尤其是在90年代和2000年代初,那個黃金時代,也許是游戲行業(yè)的80年代。一切都在被發(fā)現(xiàn)。新的游戲類型不斷涌現(xiàn)。我們不僅僅是在制作游戲。我們覺得我們正在創(chuàng)造一種前所未有的全新娛樂媒介,尤其是在這些開放世界游戲和模擬游戲中,玩家可以共同創(chuàng)造故事。沒有其他媒體,沒有其他娛樂媒體能讓你做到這一點,讓作為觀眾的你實際參與共同創(chuàng)造故事。當(dāng)然,現(xiàn)在有了多人游戲,這也可以成為一種非常具有社交性的活動,并可以在其中探索各種有趣的世界。
但另一方面,你知道,享受和體驗現(xiàn)實世界也非常重要。但問題是,你知道,我認(rèn)為我們將不得不再次面對關(guān)于現(xiàn)實的本質(zhì)是什么的問題?這些日益逼真的模擬、多人游戲以及涌現(xiàn)的(emergent)事物與我們在現(xiàn)實世界中所做的事情之間,區(qū)別將是什么?
Lex: 是的,體驗真實世界的自然風(fēng)光顯然具有巨大的價值。親身體驗他人,就像我們今天坐在這里一樣,也具有巨大的價值。但是我們需要真正科學(xué)地、嚴(yán)格地回答這個問題,為什么?以及其中哪些方面可以映射到虛擬世界中?沒錯。而且僅僅說,是啊,你應(yīng)該去接觸草地,在自然中閑逛,這還不夠。這就像,那樣做究竟為什么有價值?
德米斯: 是的,我想這也許就是從我職業(yè)生涯一開始就一直困擾我、讓我著迷的事情。如果你考慮我所做的所有不同的事情,它們都以那種方式相關(guān)聯(lián)。模擬,現(xiàn)實的本質(zhì),以及可以被建模的范圍的界限是什么?
進(jìn)化與創(chuàng)造:AI的自我超越
Lex: 抱歉問一個荒謬的問題,但到目前為止,有史以來最偉大的電子游戲是什么?
德米斯: 那里有什么?嗯,我一直以來最喜歡的游戲是《文明》,我不得不說。那是《文明I》和《文明II》,我一直以來最喜歡的游戲。
Lex: 我只能認(rèn)為你避開了最新的一部,因為它可能會,那會是你的學(xué)術(shù)休假。這樣你就會消失。
德米斯: 是的,完全正確。這些《文明》游戲會占用大量時間。所以我必須小心對待它們。
Lex: 有趣的問題。你和埃隆似乎都是資深玩家。擅長游戲和成為人工智能公司的偉大領(lǐng)導(dǎo)者之間是否存在某種聯(lián)系?
德米斯: 我不知道。這是個有趣的問題。我的意思是,我們都熱愛游戲,而且有趣的是,他最初也是通過編寫游戲起家的。這很可能,尤其是在我成長的年代,80年代末和90年代家用電腦剛剛興起的時候,尤其是在英國。我有一臺Spectrum,然后是Commodore Amiga 500,這是我最喜歡的電腦。這就是我學(xué)習(xí)所有編程的原因。當(dāng)然,編程是一件非常有趣的事情,尤其是游戲編程。所以我認(rèn)為這是一種學(xué)習(xí)編程的好方法,可能現(xiàn)在仍然是。然后,當(dāng)然,我立即將它引向了人工智能和模擬的方向,所以我能夠同時表達(dá)我對游戲和我更廣泛的科學(xué)興趣。
我認(rèn)為游戲的最后一個偉大之處在于,它將藝術(shù)設(shè)計、美術(shù)與最前沿的編程融合在一起。所以同樣,在90年代,所有最有趣的技術(shù)進(jìn)步都發(fā)生在游戲領(lǐng)域,無論是人工智能、圖形、物理引擎、硬件,甚至是GPU,當(dāng)然,最初都是為游戲設(shè)計的。因此,90年代推動計算機(jī)技術(shù)進(jìn)步的一切都?xì)w功于游戲。所以有趣的是,那是研究的前沿領(lǐng)域。而它是藝術(shù)、圖形以及音樂的不可思議的融合,以及全新的敘事媒體。我喜歡那樣。對我來說,這種多學(xué)科的努力又是我一生都在享受的事情。
Lex: 我得問你,我?guī)缀跬浟俗罱l(fā)生的眾多事情中的一件,我認(rèn)為也是最不可思議的事情之一,不知何故,這件事還沒有得到足夠的關(guān)注,那就是Alpha Evolve。我們稍微談到了進(jìn)化,但它是谷歌DeepMind的系統(tǒng),可以進(jìn)化算法。像這種類似進(jìn)化的技術(shù),作為未來超級智能系統(tǒng)的組成部分,有希望嗎?所以對于那些不了解的人來說,可以這么說,我不知道這么說是否公平,它是LLM引導(dǎo)的進(jìn)化搜索。所以進(jìn)化算法在進(jìn)行搜索,而LLM告訴你搜索的方向。
德米斯: 是的,完全正確。所以LLM有點像提出一些可能的解決方案,然后你在此基礎(chǔ)上使用進(jìn)化計算來找到搜索空間中的一些新穎部分。所以實際上,我認(rèn)為這是一個非常有希望的方向的例子,你可以將LLM或基礎(chǔ)模型與其他計算技術(shù)相結(jié)合。進(jìn)化方法是一種,但你也可以想象蒙特卡洛樹搜索,基本上許多類型的搜索算法或推理算法都建立在或使用基礎(chǔ)模型作為基礎(chǔ)。所以我實際上認(rèn)為,通過這些混合系統(tǒng)(我們這樣稱呼它們),可能會發(fā)現(xiàn)很多有趣的東西。
Lex: 但不要把進(jìn)化浪漫化。是的。我只是個普通人,但你認(rèn)為無論那種機(jī)制是什么,都有其價值嗎?因為我們已經(jīng)談?wù)撨^自然系統(tǒng)了。你是否認(rèn)為,在理解、建模和模擬進(jìn)化方面,有很多唾手可得的成果,然后利用我們所理解的關(guān)于自然啟發(fā)機(jī)制的一切,從而使搜索做得越來越好?
德米斯: 因此,如果你再次考慮將我們構(gòu)建的系統(tǒng)分解為真正基本的核心,你會得到系統(tǒng)底層動態(tài)的模型。然后,如果你想發(fā)現(xiàn)一些新的、以前從未見過的東西,那么你需要某種搜索過程來把你帶到搜索空間的一個新的區(qū)域。你可以通過多種方式做到這一點。進(jìn)化計算就是其中之一。有了AlphaGo,我們只是使用了蒙特卡洛樹搜索,對吧?這就是找到第37步的原因,圍棋中前所未見的全新策略。這就是你如何超越可能已知的范圍。所以這個模型可以模擬你目前所知道的一切,對吧?所有你目前擁有的數(shù)據(jù),但是你如何超越它呢?這就開始談到創(chuàng)造力的概念。這些系統(tǒng)如何創(chuàng)造新的事物,發(fā)現(xiàn)新的事物?顯然,這與科學(xué)發(fā)現(xiàn)或推動科學(xué)和醫(yī)學(xué)進(jìn)步超級相關(guān),而這正是我們想用這些系統(tǒng)做的事情。實際上,你可以在這些模型之上附加一些相當(dāng)簡單的搜索系統(tǒng),并將你帶入一個全新的空間區(qū)域。當(dāng)然,你還必須確保你沒有完全隨機(jī)地搜索那個空間。那樣會太大了。所以你必須有一個你試圖優(yōu)化的目標(biāo)函數(shù),并且朝著它進(jìn)行爬山算法,從而指導(dǎo)搜索。
Lex: 但是有一些有趣的進(jìn)化機(jī)制,可能在程序的空間中,而程序的空間是一個極其重要的空間,因為你可能可以將其推廣到所有事物。但例如,突變。所以它不僅僅是蒙特卡洛樹搜索,而像是一種搜索。你可以偶爾——組合事物,是的。組合事物,比如事物的組成部分。所以進(jìn)化真正擅長的不僅僅是自然選擇,還在于組合事物并構(gòu)建日益復(fù)雜的層級系統(tǒng)。所以那個組成部分非常有趣,特別是像Alpha Evolve在程序空間中的應(yīng)用。
德米斯: 是的,沒錯。因此,你可以從進(jìn)化系統(tǒng)中獲得一些額外的屬性,即可能會出現(xiàn)一些新的涌現(xiàn)能力。當(dāng)然,就像生命發(fā)生的那樣。有趣的是,使用不含大型語言模型和現(xiàn)代人工智能的樸素的傳統(tǒng)進(jìn)化計算方法,它們的問題在于,在90年代和2000年代初得到了很好的研究,并取得了一些有希望的結(jié)果。但問題是,他們始終無法弄清楚如何進(jìn)化出新的屬性,新的涌現(xiàn)屬性。你總是擁有你放入系統(tǒng)中的屬性的某種子集。但也許如果我們把它們和這些基礎(chǔ)模型結(jié)合起來,也許我們可以克服這個限制。
顯然,自然進(jìn)化確實做到了,因為它確實進(jìn)化出了新的能力,對吧?從細(xì)菌進(jìn)化到我們現(xiàn)在這樣。因此,很明顯,進(jìn)化系統(tǒng)必須能夠生成新的模式,回到我們談到的第一件事,以及新的能力和涌現(xiàn)屬性。也許我們正處于發(fā)現(xiàn)如何做到這一點的風(fēng)口浪尖。
Lex: 是的,聽著,“阿爾法進(jìn)化”是我見過的最酷的東西之一。我在家里的辦公桌上,大部分時間都花在那臺電腦上,只是編程。在三個屏幕旁邊是一個提塔利克魚的頭骨,它是早期從水中爬到陸地上的生物之一。我只是看著那個小家伙。這就像,無論進(jìn)化的計算機(jī)制是什么,它都非常不可思議。真是,真是不可思議。現(xiàn)在,這是否正是我們需要用來進(jìn)行搜索的方法,但永遠(yuǎn)不要忽視自然的力量及其在此所做的事情。
德米斯: 是的。令人驚嘆的是,這實際上是一個相對簡單的算法,對吧。它可以產(chǎn)生所有這些巨大的復(fù)雜性。顯然,它是在超過40億年的時間里運行而產(chǎn)生的。但是,你可以再次將其視為一個搜索過程,該過程在宇宙的物理基質(zhì)上運行了很長的計算時間。但隨后它產(chǎn)生了所有這些令人難以置信的、豐富的多樣性。
科學(xué)的品味:AI能提出偉大的猜想嗎
Lex: 所以,我有很多問題想問你。所以首先,你確實有一個夢想。你想嘗試建模的自然系統(tǒng)之一是細(xì)胞。這是一個美麗的夢想。我可以問你關(guān)于那個的問題。還有,就為此目的而言,在人工智能科學(xué)家方面,只是泛泛地說。所以丹尼爾·科卡塔格里奧、斯科特·亞歷山大和其他人寫了一篇文章,概述了通往人工智能超智能的步驟。它有很多有趣的觀點,其中之一是包括一個超人類程序員和一個超人類人工智能研究員。在那篇文章中,有一個“研究品味”的術(shù)語非常有趣。所以在你所看到的一切中,你認(rèn)為人工智能系統(tǒng)有可能擁有研究品味嗎?能夠像人工智能合作科學(xué)家那樣幫助你,幫助引導(dǎo)人類,人類杰出的科學(xué)家,然后可能靠自己弄清楚你想在哪些方向上產(chǎn)生真正新穎的想法?因為這似乎是做好偉大科學(xué)的一個非常重要的組成部分。
德米斯: 是的,我認(rèn)為品味或判斷力這個概念將是最難模仿或建模的事情之一。我認(rèn)為這就是偉大科學(xué)家和優(yōu)秀科學(xué)家的區(qū)別所在。像所有專業(yè)的科學(xué)家在技術(shù)上都很好,否則他們不會在學(xué)術(shù)界等方面取得如此大的成就。但是你是否有品味去嗅出正確的方向是什么,正確的實驗是什么,正確的問題是什么。所以選擇正確的問題是科學(xué)中最難的部分,以及提出正確的假設(shè)。這也是今天的系統(tǒng)絕對無法做到的。
所以我經(jīng)常說,提出一個猜想,一個真正好的猜想,比解決它更難。所以我們可能很快就會有能夠解決相當(dāng)困難的猜想的系統(tǒng)。你知道,我參與了數(shù)學(xué)奧林匹克競賽的問題,我們,你知道,去年的 Alpha Proof,我們的系統(tǒng)在那次競賽中獲得了銀牌,題目非常難。也許最終我們能夠解決一個千禧難題。但是一個系統(tǒng)能否提出一個值得研究的猜想,讓像陶哲軒這樣的人會說,你知道嗎,這是一個關(guān)于數(shù)學(xué)本質(zhì)、數(shù)字本質(zhì)或物理本質(zhì)的非常深刻的問題。那是一種更難的創(chuàng)造力。我們現(xiàn)在真的不知道,今天的系統(tǒng)顯然做不到這一點。而且我們不太確定那種機(jī)制會是什么,這種想象力的飛躍,就像愛因斯坦在提出狹義相對論,然后根據(jù)他當(dāng)時的知識提出廣義相對論時所擁有的。
Lex: 對于猜想,你想要提出一個有趣的東西,它易于證明。是的。所以,很容易提出一個極其困難的東西。很容易提出一個極其容易的東西,但就在那個邊緣。那個最佳點,對吧?
德米斯: 基本上是推進(jìn)科學(xué)發(fā)展,并將假設(shè)空間理想地分成兩部分,對嗎?無論它是真是假,你都學(xué)到了一些非常有用的東西。那很難。并且制造出一些可證偽的東西,并在你目前可用的技術(shù)范圍內(nèi)。所以這實際上是一個非常有創(chuàng)造性的過程,一個高度創(chuàng)造性的過程,我認(rèn)為僅僅在模型之上進(jìn)行一種幼稚的搜索是不夠的。
Lex: 好的,將假設(shè)空間分成兩部分的想法非常有趣。所以我聽你說過,基本上不存在失敗,或者如果問題構(gòu)建得當(dāng),實驗構(gòu)建得當(dāng),設(shè)計得當(dāng),那么失敗就非常有價值,也就是說,失敗或成功都是有用的。所以也許因為它將假設(shè)空間分成兩部分,就像一個二分搜索。
德米斯: 沒錯。所以當(dāng)你做真正的藍(lán)天研究時,實際上并不存在失敗,只要你選擇的實驗和假設(shè)能夠有意義地分割假設(shè)空間。所以,你知道,如果你學(xué)到了一些東西,你可以從一個不成功的實驗中學(xué)到同樣有價值的東西。這應(yīng)該能告訴你實驗設(shè)計是否合理,以及你的假設(shè)是否有趣,它應(yīng)該能告訴你接下來該往哪個方向走。然后你實際上是在做一個搜索過程,并以非常有用的方式利用這些信息。
藍(lán)圖:模擬細(xì)胞與生命起源
Lex: 所以要實現(xiàn)你建模細(xì)胞的夢想,我們未來會面臨哪些重大挑戰(zhàn)?我們或許應(yīng)該強調(diào)一下AlphaFold,我的意思是,這里面有很多飛躍。所以,如果說AlphaFold解決了蛋白質(zhì)折疊問題,這是很公平的,而且有很多令人難以置信的事情可以討論,包括開源、你發(fā)布的一切。AlphaFold 3正在進(jìn)行蛋白質(zhì)、RNA、DNA的相互作用,這非常復(fù)雜且引人入勝。它適合建模。AlphaGenome預(yù)測了微小的基因變化,比如如果我們考慮單點突變,它們?nèi)绾闻c實際功能聯(lián)系起來。所以,這看起來進(jìn)展緩慢。從復(fù)雜到像細(xì)胞這樣更復(fù)雜的東西,但是細(xì)胞有很多非常復(fù)雜的組成部分。
德米斯: 是的,所以我整個職業(yè)生涯都在嘗試做的事情就是,我有一些非常宏偉的夢想。然后我嘗試,正如你注意到的,然后我嘗試分解,但我嘗試分解它們。任何,你知道,擁有一個瘋狂的雄心勃勃的夢想很容易,但訣竅在于如何將其分解為可管理的、可實現(xiàn)的、有意義且有用的中間步驟。因此,虛擬細(xì)胞,我這樣稱呼模擬細(xì)胞的項目,你知道,我一直想做這件事,可能已經(jīng)超過25年了。
我過去經(jīng)常和保羅·納斯交談,他是我在生物學(xué)方面的一位導(dǎo)師。他負(fù)責(zé),你知道,創(chuàng)立了克里克研究所,并在2001年獲得了諾貝爾獎。我們一直在談?wù)撨@件事,你知道,在90年代之前。我過去每五年回來一次,就像,你需要什么來模擬細(xì)胞的完整內(nèi)部結(jié)構(gòu),以便你可以在虛擬細(xì)胞上做實驗,以及那些實驗,你知道,在計算機(jī)上,并且這些預(yù)測對你來說是有用的,可以為你節(jié)省大量的濕實驗室時間,對吧?那將是夢想。也許你可以通過在計算機(jī)上完成大部分工作,在計算機(jī)上進(jìn)行搜索,然后你在濕實驗室中進(jìn)行驗證步驟,從而將實驗速度提高100倍。那會是,那是夢想。
所以,但也許現(xiàn)在終于,所以我試圖構(gòu)建這些組件,AlphaFold只是其中之一,它最終能讓你模擬完整的互動,一個細(xì)胞的完整模擬。我可能會從酵母細(xì)胞開始,部分原因是保羅·納斯研究過酵母細(xì)胞,因為酵母細(xì)胞就像一個完整的單細(xì)胞生物,對吧?所以它是最簡單的單細(xì)胞生物。所以它不僅僅是一個細(xì)胞,它是一個完整的生物體。而且人們對酵母的了解非常透徹。所以這將是進(jìn)行完整模擬模型的一個好選擇。
現(xiàn)在,AlphaFold是解決蛋白質(zhì)靜態(tài)圖像的方案,即3D結(jié)構(gòu)蛋白看起來是什么樣子的,它是靜態(tài)圖像。但是我們知道生物學(xué)中,所有有趣的事情都發(fā)生在動態(tài)、互動中。而AlphaFold3是朝著模擬這些互動邁出的第一步。所以首先,成對地,你知道,蛋白質(zhì)與蛋白質(zhì),蛋白質(zhì)與RNA和DNA。但在那之后的下一步可能是建模整個通路,可能像參與癌癥的TOR通路或類似的東西。然后最終你也許能夠建模,你知道,整個細(xì)胞。
Lex: 此外,這里還有另一個復(fù)雜性,細(xì)胞中的物質(zhì)發(fā)生在不同的時間尺度上。那很棘手嗎?這就像,你知道,蛋白質(zhì)折疊是,你知道,超級快。我不了解所有的生物機(jī)制,但其中一些需要很長時間。是的。所以這是一個層次。因此,交互的層次具有不同的時間尺度,你必須能夠?qū)ζ溥M(jìn)行建模。
德米斯: 所以那會很難。所以你可能需要幾個模擬系統(tǒng),它們可以在這些不同的時間動態(tài)中相互作用,或者至少可能像一個分層系統(tǒng)。所以你可以上下跳躍于不同的時間階段。
Lex: 所以你能否避免,我的意思是,這里的一個挑戰(zhàn)是不避免模擬,例如,任何這些的量子力學(xué)方面,對吧?你想要避免過度建模。你可以跳過,直接建模真正高層次的東西,從而讓你對即將發(fā)生的事情有一個非常好的估計。
德米斯: 是的,所以你在建模任何自然系統(tǒng)時必須做出決定,你要建模的粒度截止水平是什么,然后它捕獲你感興趣的動態(tài)。所以可能對于一個細(xì)胞來說,我希望那會是蛋白質(zhì)水平,而且不必下降到原子水平。所以,你知道,當(dāng)然,這就是AlphaFold大顯身手的地方。所以這將是基礎(chǔ),然后你將構(gòu)建這些更高層次的模擬,將這些作為構(gòu)建塊,然后你得到涌現(xiàn)行為。
Lex: 提前為接下來可能很傻的問題道歉,但你認(rèn)為我們能夠模擬一個關(guān)于生命起源的模型嗎?所以能夠模擬第一個,從非生物有機(jī)體到生物有機(jī)體的誕生。
德米斯: 我認(rèn)為這是其中一個,當(dāng)然,是最深刻和最引人入勝的問題之一。我喜歡生物學(xué)的那個領(lǐng)域。你知道,有些人像,尼克·萊恩寫了一本很棒的書,他是這個領(lǐng)域的頂級專家之一,書名叫《進(jìn)化的10大偉大發(fā)明》。我覺得這本書太棒了,它也說明了偉大的過濾器可能是什么,但是,你知道,它們是在我們之前還是在我們之后?如果你讀過那本書,我認(rèn)為它們很可能存在于過去,書中講述了生命出現(xiàn)的可能性有多小,然后從單細(xì)胞到多細(xì)胞似乎是一個難以置信的巨大飛躍,我認(rèn)為這在地球上花費了大約10億年的時間才完成,對吧?所以它告訴你這有多么困難,對吧?
Lex: 細(xì)菌在很長一段時間里都非常快樂。
德米斯: 在它們以某種方式捕獲線粒體之前,經(jīng)歷了非常長的一段時間,對吧?我看不出為什么不,為什么人工智能不能在這方面提供幫助,某種模擬。再次強調(diào),這又是一個在組合空間中進(jìn)行搜索的過程。這是所有的,你知道的,化學(xué)湯,你開始的地方,原始湯,你知道的,也許它在地球上,在這些熱噴口附近。這是是一些初始條件。你能產(chǎn)生一些看起來像細(xì)胞的東西嗎?所以或許虛擬細(xì)胞項目之后的下一個階段是,好吧,你實際上如何能讓類似的東西從化學(xué)湯中涌現(xiàn)出來?
Lex: 嗯,如果生命起源有第37步就好了。我認(rèn)為這是那種偉大的謎團(tuán)之一。我認(rèn)為最終我們會弄清楚它們是連續(xù)的,不存在非生命和生命之間的界限。但如果我們能使之嚴(yán)謹(jǐn)。是的。從大爆炸到今天,整個過程都是一樣的。如果我們能夠打破我們頭腦中構(gòu)建的從非生命到生命的實際起源的壁壘,并且它不是一條線,而是一個連接物理、化學(xué)和生物學(xué)的連續(xù)體。是的,沒有界限。
德米斯: 我的意思是,這就是我一生致力于人工智能和通用人工智能的全部原因,因為我認(rèn)為它可以成為幫助我們回答這類問題的終極工具。我不太明白為什么普通人不會更擔(dān)心這些事情。例如,我們怎么能沒有對生命、非生命和無生命、時間的本質(zhì),更不用說意識、引力以及所有這些事物有一個好的定義呢。還有,量子力學(xué)的怪異之處。對我來說,我一直有這種在我面前尖叫的感覺。整個,我需要那個,它變得越來越響。你知道,就像,怎么回事,這里發(fā)生了什么?我指的是最深刻的意義,比如現(xiàn)實的本質(zhì),這必須是能夠回答所有這些問題的終極問題。如果你仔細(xì)想想,這有點瘋狂。我們可以互相凝視,也可以一直觀察所有這些生物,我們可以在顯微鏡下檢查它們,幾乎可以將它們分解到原子層面。然而,我們?nèi)匀粺o法用一種簡單的方式清楚地回答這個問題:你如何定義生命?這有點令人驚奇。
Lex: 對于生命,你可以通過某種方式避免思考它,但就像意識一樣,我們顯然有這種主觀的意識體驗。就像我們處于自己世界的中心,并且感覺像是某種東西。然后,你怎能不對這一切的神秘感到驚呼呢?我的意思是,但實際上,人類一直在與周圍世界的神秘作斗爭,已經(jīng)很久很久了,存在著許多謎團(tuán)。比如太陽和雨是怎么回事?這是怎么回事?比如去年我們有很多雨,而今年我們沒有雨。我們究竟做錯了什么?人類已經(jīng)問這個問題很久了。
德米斯: 所以我們相當(dāng),我想我們已經(jīng)發(fā)展出許多機(jī)制來應(yīng)對這些,這些我們無法完全理解的深刻奧秘,我們能看到,但我們無法完全理解。我們必須繼續(xù)日常生活。我們讓自己保持忙碌,對吧?在某種程度上,我們是否讓自己分心了?
Lex: 我的意思是,天氣是人類歷史上最重要的問題之一。我們?nèi)匀唬鞖馐鞘走x的閑聊話題。是的,尤其是在英國。然后就是,眾所周知,這是一個極其難以建模的系統(tǒng)。即使是那個系統(tǒng),谷歌DeepMind也取得了進(jìn)展。
德米斯: 是的,我們有。我們已經(jīng)創(chuàng)造了世界上最好的天氣預(yù)測系統(tǒng),它們比通常在大型超級計算機(jī)上計算的傳統(tǒng)流體動力學(xué)系統(tǒng)更好,后者需要幾天時間來計算。我們已經(jīng)設(shè)法用神經(jīng)網(wǎng)絡(luò)系統(tǒng),用我們的WeatherNet系統(tǒng),模擬了許多天氣動態(tài)。而且,有趣的是,即使這些動態(tài)非常復(fù)雜,在某些情況下幾乎接近混沌系統(tǒng),但它們?nèi)匀豢梢员唤!:芏嘤腥さ姆矫娑伎梢酝ㄟ^這些神經(jīng)網(wǎng)絡(luò)系統(tǒng)來建模,包括最近我們做的,關(guān)于颶風(fēng)部分可能走向的颶風(fēng)預(yù)測,當(dāng)然,這對世界來說非常有用,非常重要。而且非常及時、非常快速以及非常準(zhǔn)確地做到這一點至關(guān)重要。我認(rèn)為這是一個非常有前景的方向,可以用來模擬,這樣你就可以對非常復(fù)雜的現(xiàn)實世界系統(tǒng)進(jìn)行前瞻性預(yù)測和模擬。
Lex: 我應(yīng)該提一下,我在德克薩斯州有機(jī)會遇到一個被稱為“追風(fēng)者”的群體。是的。關(guān)于他們真正令人難以置信的是,我需要和他們多聊聊,他們對技術(shù)非常精通,因為他們必須使用模型來預(yù)測風(fēng)暴的位置。所以這是一種奇妙的結(jié)合,既要足夠瘋狂去進(jìn)入風(fēng)暴眼,又要為了保護(hù)你的生命并預(yù)測極端事件將發(fā)生在哪里,他們必須擁有越來越精密的 weather 模型。是的,這是一種美妙的平衡,既要像生物體一樣身處其中,又要掌握最前沿的科學(xué)。所以他們實際上可能會使用 DeepMind 系統(tǒng)。所以那是...
德米斯: 是的,希望他們正在使用。而且我很想加入他們的追逐行動。它們看起來很棒,對吧?真正體驗一次。
Lex: 沒錯。而且還能體驗到正確的預(yù)測,知道某事將發(fā)生在哪里以及它將如何演變。這太不可思議了。是的。
通往AGI之路:定義、測試與挑戰(zhàn)
Lex: 你估計我們將在2030年實現(xiàn)通用人工智能(AGI)。所以圍繞這一點存在著有趣的問題。我們?nèi)绾尾拍苷嬲牢覀円呀?jīng)達(dá)到了目標(biāo)?通用人工智能的第37步棋可能是什么?
德米斯: 我的估計是在未來五年內(nèi)有大約50%的幾率。所以,你知道,比如說,到2030年。所以我認(rèn)為很有可能發(fā)生這種情況。其中一部分取決于你對通用人工智能的定義是什么?當(dāng)然,人們現(xiàn)在正在爭論這個問題。而我的標(biāo)準(zhǔn)一直很高,比如,我們能否匹配大腦所擁有的認(rèn)知功能?所以我們知道我們的大腦幾乎是通用的圖靈機(jī),近似的。當(dāng)然,我們用我們的頭腦創(chuàng)造了令人難以置信的現(xiàn)代文明。這也說明了大腦的普遍性。
為了知道我們是否擁有真正的人工通用智能(AGI),我們必須確保它擁有所有這些能力。它不是一種參差不齊的智能,在某些方面,比如今天的系統(tǒng),它非常擅長,但在其他方面,它又存在缺陷。這就是我們目前通過今天的系統(tǒng)所擁有的。它們不一致。所以你會希望在各個方面都保持這種智能的一致性。然后我們還有一些缺失的能力,我認(rèn)為,比如我們之前談到的真正的發(fā)明能力和創(chuàng)造力。所以你會希望看到這些。
如何測試呢?我認(rèn)為你只需要測試它。一種方法是對數(shù)以萬計的人類可以做的認(rèn)知任務(wù)進(jìn)行某種程度的暴力測試,并且可能讓世界頂尖的數(shù)百位專家,即各個學(xué)科領(lǐng)域的泰倫斯·陶,使用這個系統(tǒng),看看他們是否能找到明顯的缺陷,比如給他們一兩個月的時間看看他們能不能找到。如果他們找不到,那么我認(rèn)為你就可以相當(dāng)自信地說我們擁有一個完全通用的系統(tǒng)。
Lex: 也許稍微反駁一下,似乎人類在所有領(lǐng)域都隨著智力的提高而變得非常不可思議,以至于認(rèn)為這是理所當(dāng)然的。就像你提到的泰倫斯·陶,這些杰出的專家,他們可能會在短短幾周內(nèi)迅速將它能做的所有不可思議的事情視為理所當(dāng)然,然后專注于“啊哈,就在那里”。你知道,首先,我認(rèn)為自己是人類。我把自己定義為人類。你知道,有些人聽我說話,他們會覺得,那家伙不擅長說話,結(jié)結(jié)巴巴的,你知道的。所以即使是人類,即使在數(shù)學(xué)和物理學(xué)等等領(lǐng)域之外,也有明顯的跨領(lǐng)域局限性。我想知道是否需要像第37步這樣的舉動,從積極的方面來說,而不是像10000個認(rèn)知任務(wù)的狂轟濫炸,在這10000個任務(wù)中,可能有一兩個任務(wù)讓人覺得,我的天,這太特別了。
德米斯: 沒錯,所以我認(rèn)為既要進(jìn)行全面測試,以確保一致性,也要關(guān)注像圍棋37手那樣的燈塔時刻。其中一個就是像愛因斯坦那樣,提出關(guān)于物理學(xué)的新猜想或新假設(shè)。所以也許你可以非常嚴(yán)格地對它進(jìn)行回溯測試,比如設(shè)置1900年的知識截止點,然后給系統(tǒng)提供1900年之前的所有文獻(xiàn),看看它是否能提出狹義相對論和廣義相對論,對吧?就像愛因斯坦做的那樣。那將會是一個有趣的測試。另一個是,它能否發(fā)明一種像圍棋一樣的游戲? 不僅僅是提出圍棋37手,一種新的策略,而是能否發(fā)明一種像圍棋一樣深刻、具有美感和優(yōu)雅的游戲?這些是我會關(guān)注的事情,而且可能需要一個系統(tǒng)能夠完成其中幾件事,對吧,才能使其非常通用,而不僅僅局限于一個領(lǐng)域。所以我認(rèn)為這些跡象,至少是我會尋找的跡象,表明我們擁有一個達(dá)到通用人工智能(AGI)水平的系統(tǒng)。然后也許為了完善它,你還會檢查一致性,確保系統(tǒng)中也沒有漏洞。
Lex: 是的,類似新的猜想或科學(xué)發(fā)現(xiàn)。那會是一種很酷的感覺。
德米斯: 是的,那會非常棒。所以它不僅僅是幫助我們做到這一點,而且實際上是在提出全新的東西。
Lex: 而你也會參與其中。這樣的話,可能要在宣布之前兩到三個月。而你只會坐在那里,努力不發(fā)推特。
德米斯: 諸如此類,沒錯。這就像,這個驚人的新物理學(xué)想法是什么?然后我們可能會與該領(lǐng)域的全球?qū)<液藢崳瑢Π桑坎Ⅱ炞C它,并仔細(xì)檢查它的運作方式。我想這也包括解釋它的運作方式。是的,那將是一個了不起的時刻。
Lex: 您是否擔(dān)心我們?nèi)祟悾踔潦窍衲@樣的專家,可能會錯過它?
德米斯: 嗯,它可能非常復(fù)雜。所以可能是,我給出的類比是,我認(rèn)為對于最優(yōu)秀的人類科學(xué)家來說,它不會完全神秘,但可能有點像,例如,在國際象棋中,如果我和加里·卡斯帕羅夫或馬格努斯·卡爾森交談并和他們下棋,他們走了一步妙棋,我可能想不出那一步棋,但之后他們可以解釋為什么那一步棋有意義。我們可以在某種程度上理解它。達(dá)不到他們的水平,但如果他們善于解釋,這實際上也是智力的一部分,即能夠用簡單的方式解釋你在想什么。我認(rèn)為對于最優(yōu)秀的人類科學(xué)家來說,這非常有可能。
Lex: 但我在想,也許您可以在圍棋方面給我一些指導(dǎo)。我想知道,馬格努斯或加里是否有某些棋步,他們起初會認(rèn)為這是臭棋。
德米斯: 是啊,當(dāng)然。有可能。但之后他們會憑直覺弄明白為什么這樣有效。然后從經(jīng)驗上來說,游戲的好處之一是,游戲最棒的地方之一是你可以把它當(dāng)作一種科學(xué)測試。你能贏得游戲嗎?還是不能?然后它會告訴你,好吧,最終這一步走得很好。這個策略是好的。然后你可以回過頭來分析它,甚至向自己更多地解釋為什么,并圍繞它進(jìn)行探索。象棋分析和類似的事情就是這樣運作的。所以也許這就是為什么我的大腦會這樣運作,因為我從四歲起就開始這樣做了。而且你接受過訓(xùn)練,從某種程度上來說,那是種硬核訓(xùn)練。
Lex: 但即使是現(xiàn)在,比如當(dāng)我生成代碼時,也會出現(xiàn)這種細(xì)微的、引人入勝的爭論,我一開始可能會認(rèn)為一組生成的代碼在某些有趣的細(xì)微之處是不正確的。但我總是不得不問這個問題,這里面是否隱藏著更深層的見解,而實際上是我自己錯了?隨著系統(tǒng)變得越來越智能,你將不得不面對這個問題。這就像,什么,什么,你,這是你提出的一個漏洞還是一個特性?
德米斯: 是的,而且它們將會非常復(fù)雜,但當(dāng)然,你可以想象也會有AI系統(tǒng)生成那些代碼或其他什么。然后人類程序員會查看它,但也會借助AI工具的幫助。所以這將會是一種有趣的,你知道,也許不同的AI工具,和那些監(jiān)控工具比起來,它們更像是生成工具。
Lex: 所以如果我們看一個AGI系統(tǒng),抱歉又提起來了,但Alpha Evolve,超級酷。因此,Alpha Evolve 在編程方面實現(xiàn)了遞歸式自我改進(jìn)之類的可能性。如果我們能想象那個通用人工智能系統(tǒng),也許不是第一個版本,而是之后的幾個版本,它實際上會是什么樣子?你認(rèn)為它會很簡單嗎?你認(rèn)為它會像是簡單的自我改進(jìn)程序嗎?
德米斯: 我的意思是,這有可能是可行的,我會這么說。我不確定這是否是人們所期望的,因為這有點像是硬起飛 (情景),但是像Alpha Evolve這樣的當(dāng)前系統(tǒng),你知道,它們有人工參與來決定各種事情。它們是獨立的混合系統(tǒng),彼此交互。人們可以想象最終實現(xiàn)端到端。我不明白為什么這不可能,但現(xiàn)在,你知道,我認(rèn)為這些系統(tǒng)還不夠好,無法在提出代碼架構(gòu)方面做到這一點。
并且,它與提出新的推測性假設(shè)的想法有些重新連接。就像,如果你給他們關(guān)于你試圖做什么的非常具體的指示,他們就做得很好,但是如果你給他們非常模糊的高級指示,目前這是行不通的。比如,我認(rèn)為這與發(fā)明一款像圍棋一樣好的游戲有關(guān),對吧?想象一下,這就是提示。這就太不明確了。所以我認(rèn)為,目前的系統(tǒng)不知道該如何處理,如何將其縮小到可處理的范圍。而且我認(rèn)為也有類似的,比如,只是做一個更好的自己。這太不受約束了。
但是我們已經(jīng)做到了,你知道,正如你所知,通過Alpha Evolve,比如更快的矩陣乘法。所以當(dāng)你把它磨練成你想要的非常具體的東西時,它非常擅長逐步改進(jìn)它。但目前,這些更像是漸進(jìn)式的改進(jìn),有點像小的迭代。然而,你知道,如果你想要在理解上取得巨大的飛躍,你需要一個更大的進(jìn)步。
Lex: 是的,但它也可能是為了反擊硬著陸情景。它可能只是一系列漸進(jìn)式的改進(jìn),比如矩陣乘法。就像它必須在那里坐幾天,思考如何逐步改進(jìn)一件事。并且它是以遞歸的方式進(jìn)行的。并且隨著你做越來越多的改進(jìn),你的速度會減慢。對。就像,就像通往通用人工智能的道路不會是,它會是隨著時間的推移而逐漸改進(jìn)。
德米斯: 是的。如果只是漸進(jìn)式的改進(jìn),那它看起來就會是那樣。所以問題是,它能否提出一個新的飛躍,就像Transformer架構(gòu)?是的。就像,它能否在2017年做到這一點,你知道,當(dāng)我們和Brain做到這一點時?并且這些系統(tǒng),像Alpha Evolve這樣的東西,是否能夠做出如此大的飛躍,這一點尚不清楚。所以可以肯定的是,這些系統(tǒng)很好。我認(rèn)為,我們擁有可以進(jìn)行增量爬坡的系統(tǒng)。這就引出了一個更大的問題,那就是從現(xiàn)在開始,是否只需要這些就夠了?或者我們是否真的需要一兩個更大的突破?
Lex: 同樣的系統(tǒng)也能提供突破嗎?所以把它做成一堆S型曲線。比如漸進(jìn)式改進(jìn),但也時不時地有飛躍。
德米斯: 是的。我認(rèn)為沒有人擁有可以明確展示這些巨大飛躍的系統(tǒng)。對吧?我們有很多系統(tǒng)可以進(jìn)行你當(dāng)前所處的S型曲線的爬坡。
Lex: 是的。那應(yīng)該是第37步,是嗎?
德米斯: 是的。我認(rèn)為會是一個跳躍,類似那樣的。
計算、能源與文明的未來
Lex: 你認(rèn)為縮放定律在預(yù)訓(xùn)練、后訓(xùn)練、測試時間和計算方面都保持強勁嗎?反過來說,你是否預(yù)計人工智能的進(jìn)展會遇到瓶頸?
德米斯: 我們當(dāng)然覺得在擴(kuò)展方面還有很大的空間。所以實際上是所有步驟,預(yù)訓(xùn)練、后訓(xùn)練和推理時間。所以有三種擴(kuò)展同時發(fā)生。我們再次強調(diào),這取決于你有多大的創(chuàng)新能力。我們?yōu)樽约簱碛凶顝V泛和最深入的研究團(tuán)隊而感到自豪。我們擁有杰出、令人難以置信的研究人員,比如諾姆·沙澤爾,他提出了Transformer模型,還有戴維·席爾瓦,他領(lǐng)導(dǎo)了AlphaGo項目等等。這種研究基礎(chǔ)意味著,如果需要像AlphaGo或Transformer這樣的新突破,我會支持我們成為實現(xiàn)突破的地方。
所以實際上我非常喜歡地形變得更加困難,對吧?因為這樣它就更多地從單純的工程轉(zhuǎn)向真正的研究,或者研究加上工程。那是我們的優(yōu)勢所在。而且我認(rèn)為這更難。發(fā)明東西比快速跟進(jìn)更難。因此,我們不知道,我想說這有點像五五開,是否需要新的東西,或者擴(kuò)展現(xiàn)有東西是否就足夠了。所以以一種真正的經(jīng)驗主義的方式,我們正在盡可能地推動這兩方面。全新的藍(lán)天創(chuàng)意,也許我們大約一半的資源都投入在其中。然后擴(kuò)展到最大限度,即當(dāng)前的能力。
Lex: 我們?nèi)匀豢吹?Gemini 的每個不同版本都取得了令人驚嘆的進(jìn)展。你用深度儲備來描述它的方式很有意思,如果通往 AGI(通用人工智能)的進(jìn)展不僅僅是擴(kuò)展計算能力,還包括問題的工程方面,并且更多地是科學(xué)方面,需要突破,那么你是否認(rèn)為 DeepMind,或者說 Google DeepMind,也同樣有能力在該領(lǐng)域大展拳腳。
德米斯: 嗯,我的意思是,如果你回顧過去十年或十五年的歷史,也許,我不知道,支撐當(dāng)今現(xiàn)代人工智能領(lǐng)域的 80%、90% 的突破最初都來自 Google Brain、Google Research 和 DeepMind。所以,是的,我希望并支持這種情況繼續(xù)下去。
Lex: 那么在數(shù)據(jù)方面,您是否擔(dān)心高質(zhì)量數(shù)據(jù),尤其是高質(zhì)量的人類數(shù)據(jù)會耗盡?
德米斯: 我不太擔(dān)心,部分原因是我認(rèn)為有足夠的數(shù)據(jù),而且已經(jīng)證明這些數(shù)據(jù)足以讓系統(tǒng)變得相當(dāng)好。這又回到了模擬。如果你有足夠的數(shù)據(jù)來進(jìn)行模擬,這樣你就可以創(chuàng)建更多來自正確分布的合成數(shù)據(jù)。顯然,這是關(guān)鍵。因此,你需要足夠的真實世界數(shù)據(jù),才能創(chuàng)建那些類型的數(shù)據(jù)生成器。我認(rèn)為我們目前正處于那個階段。
Lex: 是的,你在科學(xué)和生物學(xué)方面做了很多了不起的事情,用不多的數(shù)據(jù)做了很多。是的。我是說,數(shù)據(jù)仍然很多,但我猜足以起飛。
德米斯: 讓它運轉(zhuǎn)起來,沒錯。的確如此。
Lex: 計算規(guī)模的擴(kuò)大對于構(gòu)建AGI有多么關(guān)鍵? 這是一個工程問題。這幾乎是一個地緣政治問題,因為它也融入了供應(yīng)鏈和能源,這是你非常關(guān)心的問題,即潛在的核聚變。也在能源方面進(jìn)行創(chuàng)新。你認(rèn)為我們會繼續(xù)擴(kuò)大計算規(guī)模嗎?
德米斯: 我也這么認(rèn)為。有幾個原因。我認(rèn)為計算方面,存在用于訓(xùn)練的計算量的問題。通常需要將它們放置在同一地點。所以實際上,即使是數(shù)據(jù)中心之間的帶寬限制也會影響這一點。所以即使在那方面也有額外的限制。這對訓(xùn)練來說很重要,顯然可以訓(xùn)練出最大的模型。而且,由于現(xiàn)在人工智能系統(tǒng)已應(yīng)用于產(chǎn)品中,并被全球數(shù)十億人使用,因此現(xiàn)在需要大量的推理計算。除此之外,還有思考系統(tǒng),這是去年出現(xiàn)的新范式,即在測試時給予它們越長的推理時間,它們就會變得越聰明。
所以所有這些都需要大量的計算。我真的沒看到這種趨勢會放緩。隨著人工智能系統(tǒng)變得更好,它們將變得更有用,對它們的需求也會更大。因此,無論是從訓(xùn)練方面來說,訓(xùn)練方面實際上只是其中的一部分,甚至可能成為總體計算需求中較小的一部分。
Lex: 是的,這有點像一個迷因梗,就像VEO3的成功和令人難以置信之處。人們會拿這個開玩笑,比如,它越成功,服務(wù)器就越辛苦。是的,完全正確。為了進(jìn)行推理。
德米斯: 是的,是的,完全正確。我們做了一個小視頻,關(guān)于服務(wù)器煎雞蛋之類的,沒錯。我們必須想辦法解決這個問題。我們有很多有趣的硬件創(chuàng)新要做。正如你所知,我們有自己的TPU產(chǎn)品線,并且正在研究諸如僅推理事物、僅推理芯片以及如何提高效率的問題。我們也非常有興趣構(gòu)建人工智能系統(tǒng),并且已經(jīng)在能源使用方面提供了幫助。例如,幫助數(shù)據(jù)中心節(jié)能,像冷卻系統(tǒng)那樣提高效率,優(yōu)化電網(wǎng),最終還有幫助等離子體約束聚變反應(yīng)堆之類的事情。我們與聯(lián)邦聚變公司在這方面做了很多工作,而且人們可以想象反應(yīng)堆設(shè)計,我認(rèn)為材料設(shè)計是最令人興奮的。新型太陽能材料、太陽能電池板材料、超棒的室溫超導(dǎo)體一直是我夢想突破和優(yōu)化電池的清單上的項目。而且我認(rèn)為,任何一個問題的解決方案都將對氣候和能源使用產(chǎn)生絕對性的革命。而且我們可能已經(jīng)接近了,并且在未來5年內(nèi)將擁有能夠切實幫助解決這些問題的人工智能系統(tǒng)。
Lex: 如果你要下注,很抱歉這個問題很荒謬,但在20、30、40年后,主要的能源來源會是什么?你認(rèn)為會是核聚變嗎?
德米斯: 我認(rèn)為聚變和太陽能是我會押注的兩種能源。太陽,我的意思是,當(dāng)然,它是天空中的聚變反應(yīng)堆。而且我認(rèn)為真正的問題在于電池和傳輸。因此,除了更高效、越來越高效的太陽能材料之外,或許最終會在太空,類似于戴森球類型的想法。而聚變,我認(rèn)為絕對是可行的,看起來,如果我們有正確設(shè)計的反應(yīng)堆,并且能夠足夠快地控制等離子體等等。而且我認(rèn)為這兩件事實際上都會得到解決。所以我們可能至少會擁有,那些可能是可再生、清潔、幾乎免費,或者可能免費能源的兩個主要來源。
Lex: 真是個美好的時代。如果我與你一起穿越到100年后的未來,如果我們已經(jīng)超越了1型卡爾達(dá)肖夫文明,你會感到多么驚訝?
德米斯: 如果從現(xiàn)在開始有大約100年的時間尺度,我不會感到那么驚訝。我的意思是,我認(rèn)為很明顯,如果我們以我們剛才討論的其中一種方式解決了能源問題,即聚變或非常高效的太陽能,那么如果能源是某種程度上免費、可再生且清潔的,那么這將解決一大堆其他問題。舉例來說,用水問題就消失了,因為你可以直接使用海水淡化。我們有這項技術(shù),只是太貴了。所以只有像新加坡和以色列等相當(dāng)富裕的國家才會實際使用它。但如果它很便宜,那么所有有海岸線的國家都可以使用。而且你還會擁有無限的火箭燃料。你可以用能量將海水分離成氫和氧,那就是火箭燃料。再加上埃隆令人驚嘆的自著陸火箭,那就可能像太空巴士服務(wù)一樣。這就開啟了令人難以置信的新資源和領(lǐng)域。我認(rèn)為小行星采礦將會成為現(xiàn)實,并將人類的繁榮推向星辰。這也是我夢想的,就像卡爾·薩根的那種將意識帶到宇宙,喚醒宇宙的想法。而且我認(rèn)為如果我們正確地使用人工智能并解決它帶來的一些問題,人類文明將在完整的時間意義上做到這一點。
Lex: 是的,我想知道,如果你只是一個在太空中飛行的游客,那會是什么樣子,你可能會注意到地球,因為如果你解決了能源問題,你可能會看到很多太空火箭。所以這就像倫敦的交通一樣,只是在太空中,有很多火箭。然后你可能會看到漂浮在太空中的某種能源,比如太陽能。所以地球表面看起來會更加科技化。然后你將利用這種能量的力量來保護(hù)自然,比如熱帶雨林和所有類似的東西。
德米斯: 因為在人類歷史上,我們第一次不會受到資源限制。而且我認(rèn)為那可能是人類一個了不起的新時代,不再是零和博弈,對吧?我擁有這片土地,而你沒有。或者如果老虎擁有它們的森林,那么當(dāng)?shù)卮迕窬筒荒埽麄冊撛趺崔k?我認(rèn)為這會有很大幫助。不,它不會解決所有問題,因為仍然存在其他人類弱點,但至少會消除一個,我認(rèn)為是其中一個主要因素,即資源的稀缺,包括土地和更多的材料和能源。我們應(yīng)該像一些人所說的那樣,進(jìn)入另一種關(guān)于這種徹底富足時代的學(xué)派,在這個時代里有充足的資源可以分配。當(dāng)然,下一個大問題是確保公平分配,并且社會中的每個人都能從中受益。
人性的游戲:沖突、意義與合作
Lex: 所以關(guān)于人性,我總覺得,就像《波拉特》里一樣,像我的鄰居,就像你挑起事端,我們確實會引發(fā)沖突。這就是為什么游戲一直以來,正如我實際上越來越多地了解到的那樣,即使在古代歷史上,也起到了使人們遠(yuǎn)離戰(zhàn)爭,實際上是熱戰(zhàn)的目的。所以也許我們可以設(shè)計出越來越復(fù)雜的電子游戲,來滿足我們的那種沖動,那種類似于沖突的渴望,無論那是什么關(guān)于我們,關(guān)于人性的東西,然后避免實際的熱戰(zhàn),因為隨著日益精密的技術(shù),我們早已過了我們所能創(chuàng)造的武器實際上可以摧毀所有人類文明的階段。所以,再也不能用與鄰居開戰(zhàn)的方式來挑起事端了。最好是下盤棋。
德米斯: 或者踢足球。或者足球,是的。我認(rèn)為這就是我的現(xiàn)代運動。我喜歡足球,喜歡觀看。我只是覺得,而且我過去也經(jīng)常踢足球。它非常發(fā)自內(nèi)心,而且具有部落性。我認(rèn)為它確實將很多能量導(dǎo)入到一個,我認(rèn)為這是一種人類需要歸屬于某個群體的需求。但是進(jìn)入一個有趣的方式,一個健康的方式,和一個非破壞性的方式,一種建設(shè)性的事物。
而且我認(rèn)為再次回到游戲,我認(rèn)為最初它們之所以如此偉大,比如讓孩子們玩象棋,是因為它們是很好的小規(guī)模世界模擬。它們也是世界的模擬。它們是某些現(xiàn)實世界情況的簡化版本,無論是撲克、圍棋還是象棋,現(xiàn)實世界的不同方面或者外交的不同方面。它也允許你練習(xí)這些。而且,你知道,你一生中有多少次機(jī)會練習(xí)一個重大的決策時刻?你知道,該選擇什么工作?該去哪所大學(xué)?你知道,你也許會,我不知道,一個人大概需要做出十幾個左右的關(guān)鍵決定。而且你必須盡可能地把這些決定做好。游戲是一種安全的環(huán)境,可重復(fù)的環(huán)境,在那里你可以提高你的決策過程。并且它可能還有這個額外的好處,可以將一些精力引導(dǎo)到更具創(chuàng)造性和建設(shè)性的追求中。
Lex: 嗯,我認(rèn)為練習(xí)失敗和獲勝也非常重要。對。比如失敗真的是,你知道,這就是為什么我喜歡游戲。這就是為什么我喜歡巴西柔術(shù)之類的東西,在那里你可以在安全的環(huán)境中一次又一次地被打敗。它提醒你關(guān)于方式、關(guān)于物理學(xué)、關(guān)于世界運作的方式,關(guān)于有時你輸,有時你贏。你仍然可以和每個人成為朋友。是的。那種失敗的感覺。我的意思是,對于我們?nèi)祟悂碚f,真正理解它是一件很奇怪的事情。就像那是生活的一部分。失敗是生活的一個基本組成部分。
德米斯: 是的。而且我認(rèn)為在武術(shù)中,正如我所理解的那樣,但在像輕量級國際象棋這樣的事情中,至少我所理解的方式是,它與自我提升、自我認(rèn)知有很多關(guān)系,你知道,好吧。所以我做了這件事。這與真正超越另一個人無關(guān)。這是關(guān)于最大化你自己的潛力。如果你以一種健康的方式去做,你就會學(xué)會如何利用勝利和失敗。不要被勝利沖昏頭腦,認(rèn)為你就是世界上最棒的。失敗讓你保持謙遜,并且始終明白總有更多東西需要學(xué)習(xí)。總有更資深的專家可以指導(dǎo)你。你知道,我想你會學(xué)到這些。我很確定在武術(shù)中是這樣。我認(rèn)為這也是至少我接受國際象棋訓(xùn)練的方式。因此,以同樣的方式,它可以非常硬核,非常重要。當(dāng)然,你想要贏,但你也需要學(xué)習(xí)如何以一種健康的方式處理挫折,并將你失去某些東西時的那種感覺轉(zhuǎn)化為建設(shè)性的東西,例如下次我要改進(jìn)這一點,對吧?或者在這方面做得更好。
Lex: 有些東西是幸福的源泉,是意義的源泉,它改進(jìn)了這種狀況。這與輸贏無關(guān)。
德米斯: 是的,精通。在某種程度上,沒有什么比“哇,這件我以前做不到的事情”更令人滿足的了。現(xiàn)在我可以了。再次,游戲、體育運動和腦力運動都是衡量的方式。它們很棒,因為你可以衡量這種進(jìn)步。
Lex: 是的。我的意思是,有些東西,我想這就是我喜歡角色扮演游戲的原因,比如技能樹上的數(shù)字在增長。就像字面意義上那樣,那是我們?nèi)祟愐饬x的來源。
德米斯: 無論我們?nèi)绾巍堑模覀兎浅3撩杂谶@種,是的,這些數(shù)字不斷增長,也許這就是我們制作此類游戲的原因,因為很明顯,這是我們自己也在進(jìn)行爬山算法的系統(tǒng),對吧?
Lex: 是的,如果我們沒有任何機(jī)制,那將是非常可悲的。彩色腰帶,我們到處都這么做,對吧?在那里我們只是擁有這樣一件很棒的事情。而且我不想否定這一點。那是我們?nèi)祟惿羁桃饬x的來源。
領(lǐng)導(dǎo)力與創(chuàng)新:重塑谷歌AI
Lex: 所以在商業(yè)和領(lǐng)導(dǎo)力方面,最令人難以置信的故事之一是谷歌過去一年所做的事情。所以我認(rèn)為可以公平地說,一年前,谷歌在LLM產(chǎn)品方面因Gemini 1.5而失利,而現(xiàn)在憑借Gemini 2.5而獲勝,你掌舵并領(lǐng)導(dǎo)了這項工作。在一年之內(nèi),從所謂的“失敗”到所謂的“獲勝”,需要付出什么?
德米斯: 是的,首先,我們的團(tuán)隊絕對是令人難以置信的,你知道,由科里、杰夫·迪恩和奧里爾以及我們在 Gemini 上的出色團(tuán)隊領(lǐng)導(dǎo)。絕對是世界一流的。所以,沒有最優(yōu)秀的人才,你做不到。當(dāng)然,你知道,我們也有大量的強大計算能力,但更重要的是我們創(chuàng)造的研究文化,對吧?基本上是將谷歌的不同團(tuán)隊聚集在一起,你知道,有世界一流的谷歌大腦團(tuán)隊,然后是之前的 DeepMind,匯集所有最優(yōu)秀的人才和最佳的想法,齊心協(xié)力打造我們所能做到的最偉大的系統(tǒng)。
這很困難,但我們都非常有競爭力,而且,你知道,我們熱愛研究。做這件事太有趣了。而且,你知道,很高興看到我們的發(fā)展軌跡。這并非理所當(dāng)然,但我們對我們目前所處的位置以及進(jìn)步的速度感到非常滿意,這是最重要的事情。所以,如果你看看我們從兩年前到現(xiàn)在,再到一年前到現(xiàn)在的發(fā)展歷程,你知道,我認(rèn)為我們的,我們稱之為“沿著持續(xù)不斷的進(jìn)步方向持續(xù)交付”的做法非常成功。而且,你知道,整個領(lǐng)域,整個 AI 領(lǐng)域,競爭異常激烈,世界上一些最偉大的企業(yè)家、領(lǐng)導(dǎo)者和公司都在參與競爭,因為每個人都意識到 AI 有多么重要。而且看到這種進(jìn)步,我們感到非常高興。
Lex: 你知道,谷歌是一家龐大的公司。你能談?wù)勗谶@種情況下自然發(fā)生的事情嗎,比如出現(xiàn)的官僚主義。比如,你想要小心,你知道,就像那種自然的,會有會議,會有經(jīng)理,像這樣,從領(lǐng)導(dǎo)力的角度來看,突破這些挑戰(zhàn)是什么,以便像你說的,交付,就像過去一年交付的與Gemini相關(guān)的產(chǎn)品數(shù)量簡直是瘋了。
德米斯: 對,確實是。是的,沒錯。這就是堅持不懈的樣子。我認(rèn)為這是一個問題,就像任何大公司一樣,最終都會有很多管理層級之類的事情,這在某種程度上是其運作方式的本質(zhì)。但我仍然以創(chuàng)業(yè)公司的狀態(tài)運營,我一直以老DeepMind作為一家創(chuàng)業(yè)公司來運營。規(guī)模很大,但仍然是一家創(chuàng)業(yè)公司。這也是我們今天仍然像對待谷歌DeepMind那樣行事的方式,以果斷的決心和從最佳小型組織中獲得的活力行事。
我們試圖兼得兩全,既擁有數(shù)十億用戶、界面和令人難以置信的產(chǎn)品,我們可以用人工智能和我們的研究來增強它們。這太棒了。而且你知道,世界上很少有地方能讓你一方面進(jìn)行令人難以置信的世界級研究,另一方面又能將其應(yīng)用并改善數(shù)十億人的生活。這真是一個了不起的結(jié)合。我們不斷地奮斗并削減官僚主義,以允許研究文化和堅持不懈的交付文化蓬勃發(fā)展。我認(rèn)為我們已經(jīng)取得了相當(dāng)好的平衡,同時對此負(fù)責(zé),你知道,作為一個大公司,你必須這樣做,而且擁有大量的、你知道的、巨大的產(chǎn)品界面。
Lex: 所以你說的關(guān)于十億級用戶界面的事情很有趣,我和一位名叫歐文·芬克爾的家伙聊過,他是大英博物館一位杰出的家伙。他是楔形文字的世界級專家,楔形文字是古代寫在泥板上的文字。他不了解ChatGPT或Gemini。他甚至不認(rèn)識任何人工智能,但他第一次接觸到人工智能是在谷歌上的AI模式。是的。他說,這就是你所說的這種人工智能模式嗎?然后,你知道,這只是提醒我們,世界上還有很大一部分人并不了解人工智能這件事。
德米斯: 是的,我知道這很滑稽。因為如果你生活在X和Twitter上,我的意思是,至少在我的訂閱源里,全部都是人工智能。而且在某些地方,你知道,在硅谷和某些區(qū)域,每個人都在思考人工智能。但是很多普通人還沒有接觸過它。
Lex: 但是他們的第一次互動肩負(fù)著重大的責(zé)任。是的。廣闊的印度農(nóng)村或世界任何地方的規(guī)模。對,對。
德米斯: 我們希望它盡可能好。在很多情況下,它只是在后臺驅(qū)動,使地圖或搜索等功能運行得更好。理想情況下,對很多人來說,這應(yīng)該是無縫銜接的。這只是一種新技術(shù),它讓他們的生活更有成效,并幫助他們。
Lex: Gemini產(chǎn)品和工程團(tuán)隊中的很多人都對你的另一個維度評價很高,這幾乎出乎我的意料。因為我有點把你當(dāng)作深奧的科學(xué)家,關(guān)心這些重大的研究科學(xué)問題。但他們也說你是個很棒的產(chǎn)品人,比如如何創(chuàng)造一款很多人會使用并樂于使用的產(chǎn)品。那么你能談?wù)剟?chuàng)造一款很多人會樂于使用的基于人工智能的產(chǎn)品需要什么嗎?
德米斯: 是的,嗯,我的意思是,這又回到了我游戲設(shè)計的日子,那時我過去為數(shù)百萬游戲玩家設(shè)計游戲。人們會忘記這一點。我在產(chǎn)品中使用尖端技術(shù)方面有經(jīng)驗。這就是九十年代游戲的樣子。所以我真的很喜歡尖端研究與產(chǎn)品應(yīng)用以及為全新體驗提供支持的結(jié)合。因此,我認(rèn)為這實際上是同一種技能,即設(shè)身處地地想象使用它的感受,并且如先前所說,擁有良好的品味。我認(rèn)為,在科學(xué)中有用的東西,在產(chǎn)品設(shè)計中也同樣有用。
我一直是一個跨領(lǐng)域的人。所以我真的看不到藝術(shù)和科學(xué)、產(chǎn)品和研究之間的界限。對我來說,這是一個連續(xù)統(tǒng)一體。我的意思是,我只從事尖端產(chǎn)品的研發(fā),我喜歡這樣做。我需要引擎蓋下的尖端技術(shù)。如果它們只是普通的常規(guī)產(chǎn)品,我就不會對它們感到興奮。因此,這需要發(fā)明創(chuàng)造能力。
人機(jī)交互的未來:從聊天框到心靈感應(yīng)
Lex: 當(dāng)您在LLM方面與Gemini互動時,您具體學(xué)到了一些什么?比如,您覺得布局、界面、或者延遲之間的權(quán)衡,例如如何呈現(xiàn)給用戶,等待多久,以及如何展示這種等待,或者推理能力。這里有一些有趣的東西,因為就像你說的,它非常前沿。我們不知道如何正確地呈現(xiàn)它。那么你學(xué)到了一些具體的東西嗎?
德米斯: 我的意思是,這是一個快速發(fā)展的領(lǐng)域。我們一直在評估這些,但我們目前的觀點是,你想要不斷地簡化事物,無論是界面還是你在模型之上構(gòu)建的東西。你想擺脫模型的束縛。模型列車正沿著軌道駛來,而且正在以令人難以置信的速度改進(jìn)。我們之前談到的這種 relentless 進(jìn)步,你看看 2.5 版本與 1.5 版本,這簡直是一個巨大的改進(jìn)。而且我們期望未來版本也能如此。因此,這些模型正變得更加強大。
所以,在當(dāng)今世界,關(guān)于AI優(yōu)先產(chǎn)品的設(shè)計空間,有趣之處在于,你所設(shè)計的不是針對該事物今天能做什么,或者今天的技術(shù)能做什么,而是針對一年后。所以你實際上必須是一個非常懂技術(shù)的產(chǎn)品人員,因為你必須對以下情況有很好的直覺和感覺:好的,我現(xiàn)在夢想的東西今天無法實現(xiàn),但研究路線圖是否按計劃在六個月或一年內(nèi)基本實現(xiàn)這一目標(biāo)?因此,你必須掌握這項高度變化的技術(shù)的發(fā)展方向,以及不斷涌現(xiàn)的新功能,你以前沒有意識到這些新功能,但它們可以使深度研究發(fā)揮作用,或者現(xiàn)在我們有了視頻生成,我們該如何利用它?
這個多模態(tài)的東西,我有一個問題是,它真的會是我們今天擁有的當(dāng)前用戶界面嗎?一旦你考慮到這些超級多模態(tài)系統(tǒng),這些文本框聊天似乎不太可能,它不應(yīng)該更像是《少數(shù)派報告》中的東西,你在某種協(xié)作方式中與之產(chǎn)生共鳴,對嗎?今天看來非常受限制。我認(rèn)為我們回顧今天的界面、產(chǎn)品和系統(tǒng),可能會覺得它們在短短幾年內(nèi)就相當(dāng)過時了。所以我認(rèn)為在產(chǎn)品方面以及研究方面實際上都有很大的創(chuàng)新空間。
Lex: 然后我們在私下討論這個鍵盤的問題,未決的問題是,我們會在何時、以何種程度轉(zhuǎn)向以音頻作為與周圍機(jī)器交互的主要方式,而不是打字?
德米斯: 是的,我的意思是,即使你打字速度很快,打字也是一種帶寬非常低的交互方式。我認(rèn)為我們將不得不開始利用其他設(shè)備,無論是智能眼鏡、音頻、耳塞,最終可能是一些神經(jīng)設(shè)備,以便我們可以將輸入和輸出帶寬提高到現(xiàn)在的100倍。
Lex: 我認(rèn)為被低估的藝術(shù)形式是界面設(shè)計。但我認(rèn)為,如果沒有合適的界面,你就無法釋放一個系統(tǒng)的智能力量。界面實際上是你釋放其力量的方式。如何做到這一點是一個非常有趣的問題。你會認(rèn)為不礙事才是真正的藝術(shù)形式。
德米斯: 是的,這有點像我想史蒂夫·喬布斯總是談?wù)摰哪菢樱瑢Π桑课覀兿胍氖呛啙崱⒚烙^和優(yōu)雅,對吧?而且我們還沒到那一步,依我之見,還沒人達(dá)到那一步。這就是我希望我們達(dá)到的目標(biāo)。再次,這有點像再次出發(fā),對吧?作為一款游戲,最優(yōu)雅、最精美的游戲。你能做出一個像那樣的精美界面嗎?實際上,我認(rèn)為我們將進(jìn)入一個由人工智能生成的界面時代,這些界面可能是為你量身定制的。因此,它符合你的方式、你的審美、你的感覺以及你的大腦運作方式。人工智能會根據(jù)任務(wù)來生成這些,你知道,感覺這可能就是我們將要發(fā)展的方向。
Lex: 是的,因為有些人是高級用戶,他們希望屏幕上顯示每一個參數(shù),一切都基于此,比如我,使用基于鍵盤的導(dǎo)航。我希望一切都有快捷方式。而且有些人喜歡極簡主義。只是隱藏所有這些復(fù)雜性,是的,沒錯。嗯,我很高興你也有史蒂夫·喬布斯模式,這太棒了。愛因斯坦模式,史蒂夫·喬布斯模式。
AGI競賽與全球合作
Lex: 好了,讓我試著引誘你回答一個問題。Gemini 3 什么時候發(fā)布?它是在 DTS 6 之前還是之后?世界都在等待這兩者。從 2.5 到 3.0 需要什么?因為似乎已經(jīng)發(fā)布了很多 2.5 的版本,它們在性能上已經(jīng)有了飛躍。那么,升級到新版本到底意味著什么呢?是關(guān)于性能嗎?還是關(guān)于一種完全不同的體驗?
德米斯: 是的,嗯,所以我們不同的版本號運作方式是,我們,你知道,我們嘗試收集,所以可能需要,你知道,大約6個月或類似的時間來完成一次新的完整運行和新版本的完整產(chǎn)品化。在此期間,會出現(xiàn)許多新的有趣的研究迭代和想法。我們將它們收集在一起,你知道,你可以想象過去6個月在架構(gòu)方面產(chǎn)生的所有有趣的想法。也許是在數(shù)據(jù)方面,就像許多不同的可能性。我們收集這些,將其打包在一起,測試哪些可能對下一次迭代有用,然后將所有這些捆綁在一起。然后我們開始新的,你知道,巨大的英雄訓(xùn)練運行,對吧?然后當(dāng)然會對其進(jìn)行監(jiān)控。
然后在預(yù)訓(xùn)練結(jié)束時,還有所有的后訓(xùn)練,有很多不同的方法可以做到這一點,不同的修補方法。所以那里有一個完整的實驗階段,你也可以從中獲得很多收益。這就是你通常看到的版本號指的是基礎(chǔ)模型,預(yù)訓(xùn)練模型的地方。然后是2.5的中間版本,你知道,以及不同的尺寸和不同的小補充,它們通常是補丁或后訓(xùn)練的想法,可以在相同的基本架構(gòu)上之后完成。當(dāng)然,最重要的是,我們還有不同的尺寸,Pro和Flash以及Flashlight,它們通常是從最大的那些中提煉出來的,你知道,F(xiàn)lash模型來自Pro模型。這意味著如果我們是開發(fā)者,我們有一系列不同的選擇,你想優(yōu)先考慮性能還是速度,對吧?還有成本。我們喜歡把這看作是帕累托前沿,你知道,一方面,Y軸是,你知道,像性能一樣,然后X軸是,你知道,成本或延遲和速度,基本上。我們有完全定義前沿的模型。所以無論你作為個人用戶或開發(fā)者想要什么樣的權(quán)衡,你都應(yīng)該找到一個我們的模型來滿足這個約束。
Lex: 所以在轉(zhuǎn)移性改變的背后,有一場大型的英雄行動。是的。然后就是產(chǎn)品化過程中瘋狂的復(fù)雜性。然后是對沿著帕累托前沿不同規(guī)模的提煉。然后隨著你采取的每一步,你意識到可能會有一個很棒的產(chǎn)品。還有支線任務(wù)。
德米斯: 是的,完全正確。
Lex: 但是,而且你也不想接受太多的支線任務(wù),因為那樣你就會有一百萬個版本的一百萬個產(chǎn)品。是的, .這非常不清楚,但你也會超級興奮,因為它超級酷。比如怎么會,你看VEO,非常酷。它如何融入更大的事物中?
德米斯: 沒錯,沒錯。然后你不斷地進(jìn)行這個向上游收斂的過程,我們稱之為,你知道,來自產(chǎn)品表面的想法,或者來自訓(xùn)練后,甚至更下游的想法,你將這些向上游輸送到核心模型訓(xùn)練中,用于下一次運行,對吧?這樣,主模型,主要的 Gemini 軌道變得越來越通用。
Lex: 最終,你知道,通用人工智能。一次一次的英雄運行。
德米斯: 是的,沒錯。幾次英雄運行之后。
Lex: 是的。所以有時當(dāng)你發(fā)布這些新版本,或者實際上是每個版本時,基準(zhǔn)測試對于展示模型的性能是有益的還是適得其反的?
德米斯: 你需要它們。我敢打賭,重要的是你不要過度擬合它們。對吧?所以不應(yīng)該有一個一勞永逸的結(jié)局。于是就有了LM競技場,或者過去被稱為Alemsis。那是其中之一,它以一種有機(jī)的方式成為了人們測試這些系統(tǒng)(至少是聊天機(jī)器人)的主要方式之一。顯然,有大量的學(xué)術(shù)基準(zhǔn),用于測試數(shù)學(xué)和編碼能力、通用語言能力、科學(xué)能力等等。然后我們有我們自己關(guān)心的內(nèi)部基準(zhǔn)。這是一種多目標(biāo),你知道的,優(yōu)化問題,對吧?你不想只擅長一件事。我們正試圖構(gòu)建在各個方面都表現(xiàn)良好的通用系統(tǒng)。
而且你試圖做出不會后悔的改進(jìn)。比如你在編碼方面有所提高,但它不會降低你在其他領(lǐng)域的表現(xiàn)。對吧?這就是困難的部分,因為你當(dāng)然可以投入更多的編碼數(shù)據(jù),或者你可以投入更多的,我不知道,游戲數(shù)據(jù),但這樣做會不會讓你的語言系統(tǒng)或翻譯系統(tǒng)以及你關(guān)心的其他方面變得更糟?所以你必須不斷地監(jiān)控這套越來越龐大的基準(zhǔn)測試。而且,當(dāng)你把這些模型應(yīng)用到產(chǎn)品中時,你也會關(guān)心直接的使用情況、直接的統(tǒng)計數(shù)據(jù)以及你從最終用戶那里獲得的信號,無論是程序員還是使用聊天界面的普通人。
Lex: 是的,因為最終你想衡量其有用性,但很難將其轉(zhuǎn)化為一個數(shù)字。對。這實際上是基于大量用戶的氛圍型基準(zhǔn)測試,很難知道。對我來說,擁有一個更聰明的模型,但它只是某種基于氛圍的東西,這將是令人恐懼的。它不太管用。這太可怕了,而且你剛才說的一切,它必須在如此多的領(lǐng)域都既聰明又有用。所以你會非常興奮,因為它突然解決了你以前從未解決過的編程問題,但現(xiàn)在它卻寫出糟糕的詩歌之類的東西。我不知道,這是一種壓力,這種平衡太難把握了。而且因為你不能真正信任基準(zhǔn)測試,所以你真的必須信任最終用戶。
德米斯: 然后,其他更深奧的東西也會發(fā)揮作用,比如,你知道的,系統(tǒng)的角色風(fēng)格,你知道的,它是冗長的嗎?它是簡潔的嗎?它是幽默的嗎?你知道,不同的人喜歡...





京公網(wǎng)安備 11011402013531號