一水 鷺羽 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
好一個(gè)一吐為快!
年底就要正式離開(kāi)meta的LeCun,這下真是啥都不藏了。
不看好大語(yǔ)言模型能通往AGI,他就言辭犀利地指出:
通往超級(jí)智能之路——只需訓(xùn)練大語(yǔ)言模型,用更多合成數(shù)據(jù)訓(xùn)練,雇傭成千上萬(wàn)的人在后訓(xùn)練中“教育”你的系統(tǒng),發(fā)明強(qiáng)化學(xué)習(xí)的新花招——我認(rèn)為這完全是胡說(shuō)八道。這根本行不通。
看不慣即將成為“前任”的meta的封閉作風(fēng),他也直言不諱:
meta正在變得更加封閉……FAIR被推動(dòng)去從事一些比傳統(tǒng)上更偏向短期的項(xiàng)目。
而且還順帶劇透,自己將要?jiǎng)?chuàng)辦的新公司仍會(huì)繼續(xù)堅(jiān)持開(kāi)放。

以上內(nèi)容來(lái)自LeCun最新參與的一檔播客節(jié)目。在接近兩小時(shí)的對(duì)談中,他主要回答了:
為什么硅谷對(duì)擴(kuò)展語(yǔ)言模型的癡迷是一條死路?
為什么AI領(lǐng)域最難的問(wèn)題是達(dá)到狗的智能水平,而非人類的智能水平?
為什么新公司選擇構(gòu)建在抽象表示空間中進(jìn)行預(yù)測(cè)的世界模型,而非直接生成像素的模型?
……
總結(jié)起來(lái)就是,不管是在meta接近12年的研究經(jīng)歷,還是接下來(lái)要?jiǎng)?chuàng)辦的新公司,抑或是未來(lái)想要實(shí)現(xiàn)的AGI,通通都在這里了。

人生下一程:創(chuàng)辦新公司AMI
告別工作十二年的老東家,LeCun的下一步已然明了——創(chuàng)業(yè)。
做的還是之前在meta被打壓的世界模型。
LeCun透露,自己的公司名叫Advanced Machine Intelligence(AMI),將優(yōu)先專注于世界模型的研究,而且開(kāi)源……
這一招算是把和meta的矛盾擺在臺(tái)面上了。
畢竟眾所周知,自從亞歷山大王走馬上任,meta就開(kāi)始急轉(zhuǎn)方向盤,從原來(lái)的開(kāi)源先鋒變得越來(lái)越封閉。

LeCun更是直言不諱:
FAIR曾對(duì)AI研究生態(tài)產(chǎn)生了巨大影響,核心就在于高度開(kāi)放的理念。但在過(guò)去幾年里,包括OpenAI、谷歌、meta都在變得封閉。
所以與其留在meta任人宰割,不如自己出來(lái)做喜歡的研究。
而且LeCun強(qiáng)調(diào),如果不公開(kāi)發(fā)表研究成果,就算不上真正的研究。故步自封,只會(huì)陷入自我欺騙,不讓學(xué)術(shù)界檢驗(yàn),就很可能只是一廂情愿的妄想。
他曾見(jiàn)過(guò)很多類似現(xiàn)象:內(nèi)部對(duì)某個(gè)項(xiàng)目大肆吹捧,卻沒(méi)意識(shí)到其他人正在做的事情其實(shí)更優(yōu)秀。
更何況meta現(xiàn)在只追求短期項(xiàng)目影響,實(shí)則難以做出有價(jià)值的貢獻(xiàn),要突破就要公開(kāi)發(fā)表成果,這是唯一的途徑。
所以新公司走的是一條和meta現(xiàn)在截然不同的路。
不止要做研究,還會(huì)推出圍繞世界模型、規(guī)劃能力的實(shí)際產(chǎn)品,AMI的終極目標(biāo)是成為未來(lái)智能系統(tǒng)的主要供應(yīng)商之一。
之所以選擇世界模型,是因?yàn)長(zhǎng)eCun認(rèn)為:
構(gòu)建智能系統(tǒng)的正確打開(kāi)方式就是世界模型。
這也是他多年來(lái)一直致力于研究的內(nèi)容,在紐約大學(xué)和meta的多個(gè)項(xiàng)目中,已經(jīng)取得了快速發(fā)展,現(xiàn)在也是時(shí)候?qū)⒀芯柯涞亓恕?/p>
至于他離職后,自己一手打造的FAIR會(huì)駛向何處?LeCun也透露了一二。

首先他表示,亞歷山大王不是他在meta的繼任者。
亞歷山大王的內(nèi)部職責(zé)更偏向于整體運(yùn)營(yíng)管理,而非專門的科研人員,超級(jí)智能實(shí)驗(yàn)室也由他領(lǐng)導(dǎo),下設(shè)四個(gè)部門:
FAIR:專注于長(zhǎng)期研究;
TBD實(shí)驗(yàn)室:專注于前沿模型(主要是LLM);
AI基礎(chǔ)設(shè)計(jì)部門:負(fù)責(zé)軟件基礎(chǔ)設(shè)施;
產(chǎn)品部門:將前沿模型轉(zhuǎn)化為聊天機(jī)器人等實(shí)際產(chǎn)品,并集成到WhatsApp等平臺(tái)。
其中FAIR被交給了Rob Fergus領(lǐng)導(dǎo),他也是LeCun在紐約大學(xué)的同事,目前FAIR內(nèi)部減少了對(duì)論文發(fā)表的重視,更傾向于短期項(xiàng)目和為TBD實(shí)驗(yàn)室的前沿模型提供支持。
而LeCun自己目前仍然是FAIR的AI科學(xué)家,不過(guò)任期只剩下最后三周。

LeCun的離開(kāi),標(biāo)志著meta以FAIR為代表的、長(zhǎng)達(dá)十年的“學(xué)院派”研究黃金時(shí)代的徹底結(jié)束,也標(biāo)志著LeCun自己離開(kāi)LLM轉(zhuǎn)投世界模型的決心。
那么問(wèn)題來(lái)了,為什么LeCun認(rèn)為世界模型正確、LLM錯(cuò)誤呢?
要做的世界模型和LLM“根本不是一回事”
核心原因在于,LeCun認(rèn)為它們本質(zhì)上是為了解決不同的問(wèn)題而生,二者“根本不是一回事”。
前者是為了處理高維、連續(xù)且嘈雜的數(shù)據(jù)模態(tài)(如圖像或視頻),這些構(gòu)成了與現(xiàn)實(shí)世界進(jìn)行感知和交互的基礎(chǔ);
后者在處理離散、符號(hào)化的文本數(shù)據(jù)上表現(xiàn)出色,但不適合處理上述現(xiàn)實(shí)世界數(shù)據(jù),LeCun對(duì)其評(píng)價(jià)為“完全糟糕”。
他還斷言,處理圖像視頻類數(shù)據(jù)“就不能使用生成模型”,尤其不能使用那種將數(shù)據(jù)tokenize化為離散符號(hào)的生成模型(而這正是大多數(shù)LLM的基礎(chǔ))。
大量經(jīng)驗(yàn)證據(jù)表明,這根本行不通。
基于此,LeCun堅(jiān)信僅靠訓(xùn)練文本數(shù)據(jù),AI永遠(yuǎn)不可能達(dá)到人類智能水平。
他在對(duì)比了LLM訓(xùn)練所需的海量文本數(shù)據(jù)(約30萬(wàn)億tokens)與等量字節(jié)的視頻數(shù)據(jù)(約15000 小時(shí))后發(fā)現(xiàn):
15000小時(shí)的視頻信息量相當(dāng)于一個(gè)4歲孩子一生中清醒時(shí)接收到的視覺(jué)信息總量,但這僅相當(dāng)于YouTube半小時(shí)的上傳量,而且后者信息結(jié)構(gòu)更為豐富、冗余度更高。
這表明,視頻這樣的真實(shí)世界數(shù)據(jù),其內(nèi)部結(jié)構(gòu)比文本豐富得多。

正是因?yàn)樯羁陶J(rèn)識(shí)到“文本無(wú)法承載世界的全部結(jié)構(gòu)與動(dòng)態(tài)” ,LeCun將目光重新投向了一條更接近人類學(xué)習(xí)本質(zhì)的路徑——讓機(jī)器像嬰兒一樣,通過(guò)觀察世界的連續(xù)變化,主動(dòng)構(gòu)建一個(gè)內(nèi)在的、可預(yù)測(cè)的模型。
而這,就是LeCun眼中世界模型的畫(huà)像。
在他看來(lái),世界模型的關(guān)鍵作用就是預(yù)測(cè)特定動(dòng)作或一系列動(dòng)作所導(dǎo)致的后果,其核心基石為預(yù)測(cè)和規(guī)劃。
預(yù)測(cè):能夠基于當(dāng)前狀態(tài)和潛在行動(dòng),推演出未來(lái)可能的狀態(tài)(或狀態(tài)的抽象表示);
規(guī)劃:以預(yù)測(cè)為基礎(chǔ),通過(guò)搜索和優(yōu)化,來(lái)確定實(shí)現(xiàn)預(yù)設(shè)目標(biāo)的最佳行動(dòng)序列。
至于怎樣才能算一個(gè)“好的”世界模型,LeCun反駁了需要完美模擬現(xiàn)實(shí)的觀點(diǎn),強(qiáng)調(diào)了抽象的重要性*。
以前很多人認(rèn)為世界模型必須是“重現(xiàn)世界所有細(xì)節(jié)的模擬器”,就像《星際迷航》中的全息甲板那樣。
(全息甲板是一個(gè)特制的封閉房間,內(nèi)部由計(jì)算機(jī)控制,能夠通過(guò)全息投影技術(shù)生成三維的、逼真的環(huán)境和物體。)
但LeCun認(rèn)為,這一想法是“錯(cuò)誤且有害的”,實(shí)踐證明抽象有時(shí)候往往更有效。
所有科學(xué)和模擬都通過(guò)“發(fā)明抽象”來(lái)工作,例如計(jì)算流體力學(xué)忽略了分子等底層細(xì)節(jié),只關(guān)注宏觀變量(如速度、密度、溫度),而這種抽象能夠帶來(lái)“更長(zhǎng)期、更可靠的預(yù)測(cè)”。
因此,有效的方法是學(xué)習(xí)一個(gè)抽象的表示空間,它會(huì)“消除輸入中所有不可預(yù)測(cè)的細(xì)節(jié),包括噪聲”。
由此他也總結(jié)道,世界模型不必是完全的模擬器,“它們是模擬器,但在抽象表示空間中”。
至于具體實(shí)現(xiàn)方式,他目前想到了通過(guò)聯(lián)合嵌入預(yù)測(cè)架構(gòu)(JEPA)在這一抽象表示空間中進(jìn)行預(yù)測(cè)。
而關(guān)于JEPA想法是如何誕生的?LeCun帶我們回顧了20年來(lái)“AI如何學(xué)習(xí)”的曲折發(fā)展史。
從無(wú)監(jiān)督到JEPA
LeCun坦言,在長(zhǎng)達(dá)近二十年的時(shí)間里,他一直堅(jiān)信構(gòu)建智能系統(tǒng)的正確路徑是某種形式的無(wú)監(jiān)督學(xué)習(xí)。
這就和嬰兒看世界一樣,他們不是被“標(biāo)注”后才認(rèn)識(shí)世界的。同理,真正的智能也不可能依靠海量人工標(biāo)注數(shù)據(jù)來(lái)構(gòu)建。
因此,他一開(kāi)始就將重點(diǎn)放在了無(wú)監(jiān)督學(xué)習(xí)上,這種“讓機(jī)器自己從原始數(shù)據(jù)中發(fā)現(xiàn)規(guī)律”的設(shè)計(jì)完美契合了他的理念。
說(shuō)干就干,他開(kāi)始嘗試訓(xùn)練自編碼器(Autoencoders)來(lái)學(xué)習(xí)表示。
其核心邏輯是:先壓縮,再還原。
比如將一張圖片(輸入數(shù)據(jù))經(jīng)由編碼器壓縮成一個(gè)緊湊的、低維的“摘要”(即表示或特征);然后將這個(gè)“摘要”經(jīng)由解碼器重構(gòu),還原為一張與原始輸入盡可能相似的圖片。
一旦這個(gè)“摘要”能夠近乎完美地還原出原始輸入,那么合理推測(cè)它必然抓住了數(shù)據(jù)中最關(guān)鍵、最本質(zhì)的信息。
因此,如果后續(xù)有其他任務(wù)用到這個(gè)“摘要”,其表現(xiàn)大概率也不錯(cuò)。

然而,后來(lái)的研究讓LeCun意識(shí)到,“堅(jiān)持表示必須包含所有輸入信息的直覺(jué)是錯(cuò)誤的”。
因?yàn)樗l(fā)現(xiàn),AI在上述學(xué)習(xí)過(guò)程中存在“作弊”現(xiàn)象。
就像數(shù)學(xué)上的“恒等函數(shù)”所代表的含義——輸出只是輸入的另一種形式,AI根本不理解自己所學(xué)的內(nèi)容,它們只是在“抄答案”。
而連理解都沒(méi)有,又何談?wù)嬲闹悄苣兀?/p>
于是,LeCun接著引入了“信息瓶頸”(Information Bottleneck)這個(gè)核心思想來(lái)糾正方向。
其目的是限制表示的信息內(nèi)容,從而迫使系統(tǒng)學(xué)習(xí)更精簡(jiǎn)、更有用的表示,也即所謂的抽象能力。
后來(lái)他與多位學(xué)生在這一方向上做了大量工作,希望以此預(yù)訓(xùn)練非常深的神經(jīng)網(wǎng)絡(luò)。
然而,隨著深度學(xué)習(xí)迎來(lái)歷史轉(zhuǎn)折點(diǎn)——全監(jiān)督學(xué)習(xí)開(kāi)始崛起,有關(guān)無(wú)監(jiān)督或自監(jiān)督學(xué)習(xí)的研究一度被擱置。
當(dāng)時(shí)的情況是這樣的。
在2010年代初期,研究者們面臨一個(gè)核心難題:理論上有強(qiáng)大表達(dá)能力的深度神經(jīng)網(wǎng)絡(luò),在實(shí)踐中卻極其難以訓(xùn)練。 梯度不是消失就是爆炸,網(wǎng)絡(luò)深層的參數(shù)幾乎學(xué)不到東西。
而幾項(xiàng)簡(jiǎn)潔卻革命性的工程改進(jìn),徹底改變了局面。
一個(gè)是ReLU(線性整流函數(shù))的勝利。之前大家普遍使用Sigmoid或Tanh作為激活函數(shù),它們的梯度在兩端會(huì)變得非常平緩(飽和區(qū)),導(dǎo)致反向傳播時(shí)梯度信號(hào)迅速衰減,無(wú)法有效更新深層權(quán)重。這就是“梯度消失”問(wèn)題。
而ReLU的梯度在正區(qū)間恒為1,完美解決了梯度消失問(wèn)題,計(jì)算速度也極快,幾乎憑一己之力讓訓(xùn)練可以深入到數(shù)十甚至上百層。
另一個(gè)是歸一化(Normalization)開(kāi)始發(fā)威。隨著網(wǎng)絡(luò)層數(shù)加深,每一層輸入的分布都會(huì)發(fā)生劇烈偏移,這迫使后續(xù)層需要不斷適應(yīng)新的數(shù)據(jù)分布,大大拖慢了訓(xùn)練速度,也使得學(xué)習(xí)率等超參數(shù)設(shè)置變得極其敏感。
而歸一化技術(shù)使得每一層的輸入進(jìn)入激活函數(shù)前,強(qiáng)行將其歸一化到均值為0、方差為1的標(biāo)準(zhǔn)分布。這就像給每一層安裝了一個(gè)“自動(dòng)穩(wěn)壓器” ,確保了訓(xùn)練流程的平穩(wěn)。
正是這些改進(jìn)的結(jié)合,使得研究者第一次能夠可靠、高效地訓(xùn)練出非常深的神經(jīng)網(wǎng)絡(luò)。
換言之,深度網(wǎng)絡(luò)的威力終于從理論照進(jìn)了現(xiàn)實(shí)。
而且更幸運(yùn)的是,技術(shù)的突破還遇上了數(shù)據(jù)的爆炸——包括李飛飛帶頭創(chuàng)建的ImageNet和一些大型文本語(yǔ)料庫(kù)等大規(guī)模高質(zhì)量標(biāo)注數(shù)據(jù)集,越來(lái)越多地被創(chuàng)建和公開(kāi)。
在技術(shù)和數(shù)據(jù)的雙重紅利下, 監(jiān)督學(xué)習(xí)在當(dāng)時(shí)表現(xiàn)良好(比如大名鼎鼎的AlexNet引爆“深度學(xué)習(xí)革命”)。

直到2015年,LeCun開(kāi)始再次思考如何推動(dòng)人工智能達(dá)到人類水平。他觀察到,當(dāng)時(shí)主流的強(qiáng)化學(xué)習(xí)方法在樣本效率方面極其低效,“無(wú)法實(shí)現(xiàn)目標(biāo)”。
因此,他重新將研究重心轉(zhuǎn)向了世界模型和規(guī)劃,即一個(gè)能夠預(yù)測(cè)其行動(dòng)后果并能進(jìn)行規(guī)劃的系統(tǒng)。
他最初的設(shè)想很直接:要建立一個(gè)世界模型,那就讓它像物理模擬器一樣,預(yù)測(cè)下一幀畫(huà)面的每一個(gè)像素。
這一想法和當(dāng)時(shí)主流的觀點(diǎn)不謀而合,但事實(shí)證明它錯(cuò)了。
我起初和當(dāng)時(shí)所有人的做法一樣,犯了試圖在像素級(jí)別預(yù)測(cè)視頻的錯(cuò)誤,這實(shí)際上是不可能的,因?yàn)轭A(yù)測(cè)是非決定性的。
因?yàn)楝F(xiàn)實(shí)世界往往充滿隨機(jī)性。比如預(yù)測(cè)一杯水被打翻后,每一顆水珠的確切軌跡和形狀,是不可能的。未來(lái)有無(wú)限多種可能的像素級(jí)狀態(tài)。
如果強(qiáng)行訓(xùn)練一個(gè)確定性模型來(lái)預(yù)測(cè)像素,它為了最小化誤差,通常會(huì)學(xué)會(huì)輸出一個(gè)所有可能未來(lái)的模糊平均。這就是為什么早期視頻預(yù)測(cè)模型生成的畫(huà)面總是模糊不清的原因——它不是預(yù)測(cè),而是“和稀泥”。
而為了解決不確定性,LeCun最初嘗試了潛變量模型。這就像給模型一個(gè)“隨機(jī)數(shù)骰子”(潛變量),允許它根據(jù)骰子的不同結(jié)果,生成不同的未來(lái)畫(huà)面。
不過(guò)LeCun最終意識(shí)到,這本質(zhì)上仍是在像素空間中工作,沒(méi)有觸及核心。
直到這時(shí),主打“在抽象表示空間中進(jìn)行預(yù)測(cè)”的JEPA架構(gòu)終于應(yīng)運(yùn)而生。
其靈感源自LeCun在90年代研究的Siamese Networks,只不過(guò)一直面臨一個(gè)巨大的難題——防止系統(tǒng)崩潰(Collapse)。
在訓(xùn)練過(guò)程中,模型可能將所有輸入映射到單一的點(diǎn)或低維空間,導(dǎo)致嵌入空間中的樣本不可區(qū)分,從而無(wú)法有效捕捉樣本間的語(yǔ)義差異。
為了解決這個(gè)問(wèn)題,LeCun依次嘗試了對(duì)比學(xué)習(xí)、非對(duì)比學(xué)習(xí)的方法,最新進(jìn)展就是LeJEPA技術(shù)。
LeJEPA核心提出了一種基于各向同性高斯嵌入的自監(jiān)督學(xué)習(xí)方法,通過(guò)引入SIGReg正則化,有效解決了表示崩潰問(wèn)題,并顯著提升了模型的泛化能力。

LeCun認(rèn)為,“LeJEPA+SIGReg”是訓(xùn)練模型學(xué)習(xí)抽象表示的“非常有前途的技術(shù)集合”,并預(yù)計(jì)未來(lái)一兩年內(nèi)在這個(gè)領(lǐng)域?qū)?huì)有更多進(jìn)展。
“LLM無(wú)法通往AGI,最難的是達(dá)到狗的智能水平”
基于上述,LeCun判斷,那些號(hào)稱一兩年就能實(shí)現(xiàn)AGI的人完全是癡心妄想。

因?yàn)楝F(xiàn)實(shí)世界遠(yuǎn)比token化的文本復(fù)雜,僅靠現(xiàn)在的LLM路線不可能直接實(shí)現(xiàn)AGI。
更何況對(duì)于AGI這個(gè)概念,LeCun本身就覺(jué)得毫無(wú)意義。
AGI通用智能指的是人類水平的智能,但事實(shí)上人類智能是高度專業(yè)的,比如人類擅長(zhǎng)處理現(xiàn)實(shí)世界的問(wèn)題(導(dǎo)航、互動(dòng)),但在棋類任務(wù)上表現(xiàn)差勁。
甚至在很多任務(wù)上,其實(shí)動(dòng)物比人類更擅長(zhǎng),而人類之所以自詡為“通用”,只是因?yàn)槿祟愖哉J(rèn)為能處理所有可以想象到的問(wèn)題,但很多想象之外的問(wèn)題,人類其實(shí)無(wú)法做到。

所以與其討論人類水平的智能,不如討論機(jī)器是否可以在人類擅長(zhǎng)的領(lǐng)域達(dá)到或超越人類。
毫無(wú)疑問(wèn),答案是肯定的。已經(jīng)有機(jī)器在部分領(lǐng)域超越人類,但要說(shuō)全部領(lǐng)域,則需要一個(gè)漸進(jìn)的過(guò)程,而非突發(fā)事件。
可預(yù)見(jiàn)的是,在未來(lái)幾年,世界模型、規(guī)劃能力這方面或許能取得概念性突破,這將為實(shí)現(xiàn)人類水平的AI鋪平道路。
但這還遠(yuǎn)遠(yuǎn)不夠,還需要很多的基礎(chǔ)概念鋪墊,需要新的理論創(chuàng)新才能突破當(dāng)前人類智能的瓶頸。
總的來(lái)說(shuō),人類智能距離人類還很遙遠(yuǎn)。
而且并非大家所普遍認(rèn)知的那樣:“人類智能難以實(shí)現(xiàn),那么低一檔的狗級(jí)智能或許更容易實(shí)現(xiàn)”。
LeCun認(rèn)為恰恰相反,實(shí)現(xiàn)人類智能的過(guò)程中,最難的反而是達(dá)到狗的智能水平。

能夠達(dá)到狗級(jí)智能,說(shuō)明在研究人類智能上已經(jīng)具備了大量的基礎(chǔ)理論,再?gòu)墓芳?jí)智能到人類智能就容易得多。
因?yàn)殪`長(zhǎng)類動(dòng)物和人類的差異,除了大腦尺寸的增長(zhǎng),關(guān)鍵在語(yǔ)言。語(yǔ)言其實(shí)是由大腦中很小的一塊區(qū)域(Wernicke區(qū)和Broca區(qū))負(fù)責(zé),而這些區(qū)域在不到100萬(wàn)年(甚至200萬(wàn)年)前才進(jìn)化出,復(fù)雜性并沒(méi)有想象中那么高。
現(xiàn)在的LLM就可以很好地扮演這一區(qū)域的角色,將語(yǔ)言編碼為抽象表征,并將思想解碼為文本,而世界模型則相當(dāng)于大腦的前額葉皮層,負(fù)責(zé)規(guī)劃和決策。
所以LeCun的觀點(diǎn)是,單靠LLM或者單靠世界模型是無(wú)法實(shí)現(xiàn)真正的人類智能的,這需要很多的相關(guān)研究支撐,也需要很多時(shí)間完成。
也正因?yàn)槿绱耍蠣斪覮eCun說(shuō)他還不能退休。
拒絕退休,人生目標(biāo)是提升人類智能
事實(shí)上,今年LeCun就已經(jīng)65歲了。
花甲之年、榮譽(yù)等身,LeCun的妻子也希望他退休回歸家庭,但LeCun如今還要大齡創(chuàng)業(yè),據(jù)他所說(shuō),原因只有兩個(gè)字——“使命”。
大道至簡(jiǎn),LeCun的一生都在追求的,無(wú)非是提升人類的智能。
他說(shuō),智能是世界上最稀缺的資源,人類和地球的發(fā)展總是受到智能總量的限制,這也是為什么人類會(huì)前仆后繼地投入大量資源進(jìn)行教育、發(fā)展機(jī)器。
所以回顧LeCun整個(gè)職業(yè)生涯的全部研究項(xiàng)目,都緊緊圍繞著“讓人類更聰明”這一核心目標(biāo):
作為教授,LeCun教書(shū)育人;作為機(jī)器智能的研究者,LeCun希望通過(guò)機(jī)器輔助人類提升智能;通過(guò)社交媒體發(fā)聲,公開(kāi)傳播AI和科學(xué)知識(shí),讓更多人了解相關(guān)領(lǐng)域……

LeCun表示:
為了這一目標(biāo),我愿意繼續(xù)做出貢獻(xiàn)。
不過(guò)他也坦然表示,這么多年的職業(yè)生涯里,他也有遺憾。
很多想要做的想法,都沒(méi)有足夠的時(shí)間去做,結(jié)果同行們比他搶先一步發(fā)表,典型的比如反向傳播算法 (backpropagation)。
他曾發(fā)表過(guò)一篇關(guān)于訓(xùn)練多層網(wǎng)絡(luò)的目標(biāo)傳播算法論文,那時(shí)他就衍生想到了反向傳播的核心思路,但受時(shí)間和精力限制沒(méi)能做成,后來(lái)David Rumelhart和Hinton發(fā)表了相關(guān)論文,并引用了LeCun的論文。

類似的事情還有很多,但LeCun并不后悔。
在他的視角里,一個(gè)好的想法的涌現(xiàn)往往是復(fù)雜的,很少有人能在完全孤立的情況下提出全新的想法。
這在科學(xué)界里再正常不過(guò),所以不能只把功勞歸結(jié)于第一個(gè)產(chǎn)生想法的人,那些將想法落地的人同樣需要巨大的努力。
或許正因如此,他才始終堅(jiān)持開(kāi)源的技術(shù)路徑——在他看來(lái),科學(xué)的進(jìn)步從來(lái)都不是少數(shù)天才的靈光乍現(xiàn),而是無(wú)數(shù)人思想在開(kāi)放交流中的不斷疊加延伸。
因此再回頭看LeCun的離職,其實(shí)并不突兀。
當(dāng)meta已經(jīng)不再是那個(gè)鼓勵(lì)長(zhǎng)期開(kāi)放研究的“科學(xué)烏托邦”,LeCun的離開(kāi),幾乎成為一種必然。





京公網(wǎng)安備 11011402013531號(hào)