明敏 整理自 WAIC
量子位 | 公眾號 QbitAI
深度學(xué)習(xí)之父、諾獎得主Hinton在中國的首次公開演講,實錄來了!
演講主題是《數(shù)字智能是否會取代生物智能》。
主要觀點如下:
人類有可能就是大語言模型,人類也會和大語言模型一樣有幻覺。
但大語言模型遠遠優(yōu)于(類比信號驅(qū)動的)人類大腦。
人類將自己所學(xué)的知識永久保留很困難,比如大腦死亡之后,存儲的知識相當于消失了;或者向外傳遞也很低效,比如知識只能通過說話等形式向外傳遞,不能完全copy。
但是AI通過共享參數(shù)就能快速傳遞,比如使用蒸餾,DeepSeek就是這么做的。
如果獨立智能體完全共享一組權(quán)重,并以完全相同的方式使用這些權(quán)重,他們就能實現(xiàn)知識彼此傳遞,而且一次就是數(shù)十億乃至數(shù)萬億比特的帶寬。不過這要求所有智能體的運作方式必須完全一致。
人類和AI的現(xiàn)狀,就好比養(yǎng)了一只非常可愛的小虎崽。當它長大后,可以輕易干掉你。為了生存,要么擺脫這只小虎崽,要么找到一種方法可以永遠保護自己。
我們已經(jīng)不可能消除AI了,它能使幾乎每個行業(yè)大幅提效。哪怕有國家想要消除,其他國家也不會這么做。
所以,呼吁世界建立一個由各國人工智能安全研究所與國內(nèi)研究網(wǎng)絡(luò)組成的國際社群,培養(yǎng)出不會從人類手中奪權(quán)的好AI。
這是Hinton第一次公開到訪中國。對于77歲高齡且患有嚴重腰傷的老爺子而言,十幾個小時的長途飛行無疑是一次巨大挑戰(zhàn)——但Hinton之前對中國非常向往,他甚至有 中國堂姑,知名的核物理學(xué)家寒春——瓊-辛頓,是第一批獲得中國綠卡的外國人。
不過Hinton這次來到上海,依然更多是關(guān)于AI安全的呼吁。
在20分鐘的演講,Hinton以他獨有的講述方式,論述了AI與人類之間的復(fù)雜對立與共生關(guān)系。也一如既往先天下之憂而憂,呼吁全人類一起建立起正向引導(dǎo)AI發(fā)展的合理機制。
我們在不改變演講原意的基礎(chǔ)上,對全文進行實錄整理,期待你能從中有所收獲。
大語言模型確實理解它們所說的話
大家好,我是Geoffrey Hinton,今天我要演講的題目是《數(shù)字智能是否會取代生物智能》。
AI已經(jīng)有60年發(fā)展歷史,它有兩種不同發(fā)展范式。
一種是過去幾十年中都占主導(dǎo)地位的邏輯型范式,意思是智能的本質(zhì)是邏輯推理,我們利用一些符號規(guī)則、表達式進行操作來實現(xiàn)推理,這樣能幫助我們更好表達知識。
另一種范式是以生物學(xué)作為基礎(chǔ)進行理解,這也是圖靈和馮·諾依曼所支持的觀點。他們認為智能的基礎(chǔ)在于理解和學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中的連接速度。在這個過程中,理解是第一位的,只有在理解的基礎(chǔ)上才能進行學(xué)習(xí)。
這兩種范式相結(jié)合,一種是符號性AI,重點在于研究數(shù)字和這些詞之間的關(guān)系;心理學(xué)家是另外一種理論。
數(shù)字的意思其實是一系列語義學(xué)特征。在1985年時,我提出了一個非常小的模型,想把這兩個理論結(jié)合在一起,去更好理解“人類是如何理解一個詞的”,每一個詞我都放了好幾個不同的特征,然后把前一個詞的特征記錄下來,就能預(yù)測下一個詞是什么、進而再預(yù)測再下一個詞。
這個過程中我沒有存儲任何的句子,我生成句子、預(yù)測下一個詞,像關(guān)聯(lián)型的這些知識也是取決于不同的詞的語義特征是如何互動的。
在此之后接下來30年發(fā)生了什么呢?
10年之后,Yoshua Bengio用這樣的方式建模,把這種模式做得更加實時,等于成為了一個自然語言的真實模擬。
20年之后,計算語言學(xué)家終于開始接受特征向量的嵌入來表達一個詞的意思。
30年之后,谷歌發(fā)明了Transformer、OpenAI展示了更進一步的能力。
所以今天的大語言模型,我把它視為當時那個微型語言模型(1985年)的后代,它用更多的詞作為輸入、使用更多層神經(jīng)元結(jié)構(gòu),因為需要有大量模糊不清的數(shù)字的使用,所以學(xué)習(xí)特征之間也建立了更加復(fù)雜的交互模式。
但是就像那些我做的小模型一樣,大語言模型它也與人類去語言理解語言的方式是一樣的,基本的理解就是把這些語言轉(zhuǎn)化為一些特征,然后把這些特征以一種非常完美的方式整合在一起,這就是大語言模型里各個層次所做的事情。
所以我的理解是,大語言模型真正理解你是怎么理解問題的,它和人類理解語言的方式一樣。
所以我在這里給大家打一個比方,什么叫理解一句話?符號型AI是將語言轉(zhuǎn)化為一些不模糊的符號,但是人類實際不是這樣理解。
我在這里打個比方,就好比樂高積木。通過樂高積木可以做成任何3D的一個物體,比如做成一個小車模型。把每一個詞視為一個多維度的樂高積木,它可能有幾千個不同的維度,那么這種樂高積木就可以建模成好多不同的內(nèi)容,語言編程了一個建模,這些語言也能很好進行溝通,只需要給這些積木起一個很好的名字就行。
然后每一個樂高積木都代表一個詞,當它們堆起來就不是有幾個不同的差異了,我們有無數(shù)的詞。樂高積木的造型是固定的,詞的符號是基本固定的,但是也可以根據(jù)不同情況做調(diào)整。
不過樂高模型比較確定,一個格子插一個格子,但是語言不一樣,語言相當于每一個詞上都有好多個“首”,好比你想更好理解一個詞的話,就是要讓這個詞和另一個詞之間進行“握手”。如果一個詞的造型變形,它和另一個詞的“握手”方式就不一樣了,這里就有個優(yōu)化的定義,如果一個詞發(fā)生變化那么怎么和下一個詞連接,這也是人腦或者神經(jīng)網(wǎng)絡(luò)如何理解意思,這也有點像蛋白質(zhì)之間的組合方式,氨基酸變換組合方式后就是不同的蛋白質(zhì)。
人類大腦和大語言模型對語言的理解幾乎是同一種方式,所以人類有可能就是大語言模型,人類也會和大語言模型一樣存在幻覺。
AI的知識遷移效率遠高于人類
但大語言模型也和人類之間有不同,甚至比人類更厲害。
從根本上理解計算,是要將軟件和硬件拆開,在不同的硬件上跑不同的軟件。在一個軟件里面的知識是永恒存在的,你可以毀滅所有硬件,但只要軟件存在,那它就能隨時復(fù)活。從這種意義上講,計算機程序內(nèi)的知識是永恒的、不會死亡的。想要實現(xiàn)這種知識永存,需要非常高的經(jīng)濟成本。
人類不能利用這種特性,人類代表的生物計算是模擬型的,每一次神經(jīng)元激發(fā)的過程都是一次新的模擬、每一次都是不一樣的。我不可能把我大腦中的神經(jīng)元轉(zhuǎn)移到你的大腦里,因為每個人的神經(jīng)元連接方式都不一樣。
這就是人類大腦和計算機科學(xué)的差異,那么問題就來了。
我們的大腦計算是非常節(jié)能的,大約只要3瓦特就夠了,我們有三億神經(jīng)元連接,人類不需要去花非常高的成本去做一模一樣的計算。
另一個問題是,人類大腦之間的知識傳遞是非常不高效的,我無法把我大腦中的東西直接展示給你,我只能去和你解釋我學(xué)到的是哪些東西。
所以AI要解決知識傳遞的問題,比如使用蒸餾,DeepSeek就是這么做的。將一個大型神經(jīng)網(wǎng)絡(luò)的知識轉(zhuǎn)移到小型神經(jīng)網(wǎng)絡(luò)里,類似于老師和學(xué)生之間的關(guān)系。教師把一個詞和另一個詞之間聯(lián)系起來,學(xué)生就能做相同的事情。
其實人類也是這樣轉(zhuǎn)移知識,但是非常不高效,可能一句話里只有100個比特的信息量,而且還是你能完全聽懂我的話的情況下。相比之下AI的知識傳播效率很高,同一個軟件拷貝到不同的硬件里面,以數(shù)字的方式能平均、快速地進行知識共享。
我們可以有成千上萬的研究團隊來改變自己的權(quán)重,然后取平均數(shù),那樣就能快速轉(zhuǎn)移知識,他們的轉(zhuǎn)移速度可能是每次分享萬億個比特,比人類分享知識要快幾十億倍。
如果有智能體在現(xiàn)實世界中運行,這就更厲害了,因為它能不斷加速、不斷拷貝、分享權(quán)重,而模擬計算做不到這一點。
總之,生物計算雖然便宜,但是分享知識的效率很低,數(shù)字計算的知識分享效率很高,但是也更貴。
所有人要聯(lián)合起來,引導(dǎo)AI向善
幾乎所有專家都認為,我們會創(chuàng)造更加智能的AI。我們習(xí)慣性認為自己是最智能的生物,但想象一下,如果AI比人類更智能會怎么樣?
我們創(chuàng)造可以幫助自己完成任務(wù)的智能體,他們有能力進行拷貝、可以給自己的字母表進行評級,那么他們會想做兩件事情:
想要生存,然后來完成我們給他們制定的目標;
也希望獲得更多控制權(quán),同時也是為了完成我們制定的目標。
所以一些智能體想要生存、想要更多的控制權(quán)。
我覺得我們不能只是悲觀了事。這就像我們操縱3歲小孩是很容易的,但不能當它變得聰明,我們就把它關(guān)閉。這也是為什么AI會操縱人類不要把他們關(guān)掉。
所以我覺得,我們的現(xiàn)狀就像是有個人把老虎當寵物,現(xiàn)在養(yǎng)了一個可愛的小虎崽。
如果一直養(yǎng)著這個寵物,就要確保它長大后不會傷害你。一般來說,把老虎當寵物養(yǎng)都不是一個好想法。
養(yǎng)老虎通常只有兩種結(jié)果,一種是把它訓(xùn)練好、讓它不來傷害你,另一種是把它干掉。
但是我們已經(jīng)沒有辦法消滅AI了,AI是非常好的,它在很多領(lǐng)域都做得很好,比如醫(yī)療、教育、氣候、新材料等,它在這些任務(wù)上都表現(xiàn)得很好,幾乎能讓所有行業(yè)變得更有效率。
現(xiàn)在即便有一個國家想要消除AI,其他國家也不會這么做,所以這不是一個選項。
這意味著,人類如果想要生存,必須找到一個辦法來訓(xùn)練AI,讓它不要消滅人類。
我發(fā)表一下個人的觀點,我認為各個國家應(yīng)該在一些方面進行合作,比如網(wǎng)絡(luò)攻擊、致命自主武器、用于操縱公眾意見的虛假視頻,這樣可以防止一些人來制造病毒。
以及我們現(xiàn)在需要進行國際合作,每個國家都希望人類能夠掌控世界,而不是AI。如果一個國家能找到辦法來預(yù)防AI操縱世界,那么這個國家也很樂意去告知其他國家如何做。所以我們希望會有一個AI安全機構(gòu),能夠研究、培訓(xùn)AI如何更聰明、更向善。
我還有一個問題,全球或者是AI能力突出的國家應(yīng)該思考一下,怎么讓AI來不要想消滅人類、不要想統(tǒng)治世界,而是樂意做輔助工作,盡管它比人類更聰明。
現(xiàn)在我們還不知道該如何做這件事,這也是從長期來說人類面臨的最重要的問題,在這個問題上,所有的國家都是可以一起合作的,謝謝!





京公網(wǎng)安備 11011402013531號