新智元報(bào)道

編輯：定慧

陶哲軒最新發(fā)文總結(jié)AI領(lǐng)域現(xiàn)狀，當(dāng)前AI發(fā)展高度依賴(lài)經(jīng)驗(yàn)與算力，缺乏理論支撐，導(dǎo)致成功難以復(fù)制、失敗無(wú)法解釋。辛頓、Rahimi、Jordan等也紛紛警示，AI的黑箱本質(zhì)和缺乏解釋性將限制其可持續(xù)發(fā)展。唯有建立堅(jiān)實(shí)理論基礎(chǔ)，AI才能真正走向透明、安全與可靠的未來(lái)。

黑箱、煉金術(shù)、大力出奇跡。。。

這些看起來(lái)與嚴(yán)謹(jǐn)?shù)目茖W(xué)和數(shù)學(xué)格格不入的詞匯，卻成為當(dāng)下描述大語(yǔ)言模型（LLM）最貼切的比喻。

陶哲軒最近就發(fā)表了類(lèi)似的觀(guān)點(diǎn)。

當(dāng)前AI領(lǐng)域的許多突破，更像是工業(yè)界「大力出奇跡」式的成功，而并非理論先行的成果。

除了優(yōu)化數(shù)學(xué)和數(shù)值線(xiàn)性代數(shù)這兩個(gè)相對(duì)成熟的領(lǐng)域之外，用于解釋AI優(yōu)缺點(diǎn)的大多數(shù)理論數(shù)學(xué)框架仍處于早期發(fā)展階段。

目前的主要瓶頸并不完全是基礎(chǔ)研究資金的缺乏，而是我們對(duì)這些數(shù)學(xué)本身的理解尚未達(dá)到我們所期望的程度。

如今LLM這種成功更多依賴(lài)于大量的試錯(cuò)、海量的數(shù)據(jù)和強(qiáng)大的算力，卻缺乏嚴(yán)謹(jǐn)系統(tǒng)的理論支撐。

AI研究的現(xiàn)狀是明顯缺乏系統(tǒng)性的理論解釋?zhuān)叨纫蕾?lài)經(jīng)驗(yàn)主義和數(shù)據(jù)驅(qū)動(dòng)的方式。

這導(dǎo)致的一個(gè)突出問(wèn)題便是，成功的案例往往難以復(fù)制，而真正前景光明的用途反而容易意外碰壁。

即使是被譽(yù)為「AI教父」的辛頓，對(duì)此也有深刻反思。他曾明確指出：

「深度學(xué)習(xí)系統(tǒng)沒(méi)有任何解釋能力」—「系統(tǒng)越強(qiáng)大越不透明」

準(zhǔn)確揭示了模型雖然能工作，但其內(nèi)部「為什么這么做」我們卻不知道

他警告，未來(lái) AI 系統(tǒng)可能會(huì)發(fā)展出我們無(wú)法理解的內(nèi)部語(yǔ)言

進(jìn)一步讓人類(lèi)無(wú)法追蹤其思路與計(jì)劃，使得「黑箱」更深不可測(cè)

甚至，有人評(píng)論，目前對(duì)AI的投資不僅沒(méi)有促進(jìn)基礎(chǔ)研究，反而是「肥了」那些黑箱制造商，比如OpenAI、Anthropic、谷歌。。。

陶哲軒一開(kāi)始討論的是「壓縮感知領(lǐng)域」。

陶哲軒將當(dāng)前的AI研究現(xiàn)狀與早期壓縮感知領(lǐng)域的情況做了類(lèi)比。

壓縮感知最初由數(shù)學(xué)家提出了極為嚴(yán)格的理論假設(shè)及證明框架，明確了特定條件下算法一定會(huì)有效的前提。

然而，實(shí)際上早在這些理論出現(xiàn)之前，MRI、地震學(xué)、天文學(xué)等應(yīng)用領(lǐng)域早已通過(guò)經(jīng)驗(yàn)和實(shí)驗(yàn)摸索出了類(lèi)似的方法。

這說(shuō)明，盡管理論在事后給予了嚴(yán)謹(jǐn)?shù)淖C明和統(tǒng)一的解釋?zhuān)趯?shí)際應(yīng)用上，卻并非不可或缺。

LLM的情況則更加極端：即使到目前為止，能準(zhǔn)確解釋其成功原因的理論框架仍然完全缺位。

類(lèi)似GPT-4這樣的模型，以驚人的效果震撼了世界，但它們的出現(xiàn)更多是工業(yè)界巨頭憑借龐大資源進(jìn)行盲目實(shí)驗(yàn)的產(chǎn)物，而非建立在深厚的理論理解基礎(chǔ)上。

這讓我們不禁想起Ilya早年的看法：他認(rèn)為機(jī)器學(xué)習(xí)領(lǐng)域最先進(jìn)的理論往往非常接地氣，你很容易就能理解。

正因?yàn)槿绱耍珹I領(lǐng)域經(jīng)常出現(xiàn)難以解釋的現(xiàn)象。

比如，一個(gè)模型在特定任務(wù)上展現(xiàn)出強(qiáng)大能力，但換一個(gè)看似相近的任務(wù)，它卻莫名其妙地失敗了。

同樣的技術(shù)方法在不同的模型之間難以復(fù)制，某個(gè)特定的模型訓(xùn)練策略在一個(gè)情景下取得突破，卻無(wú)法在其他場(chǎng)景中重現(xiàn)。

更直白地講，目前人類(lèi)對(duì)AI成功背后的真正機(jī)制幾乎毫無(wú)頭緒。

即使是辛頓他老人家除了只能「敦促」各國(guó)往善良AI發(fā)展外，似乎也并沒(méi)有更深入的解釋。

盡管有大量論文試圖分析LLM的內(nèi)部運(yùn)作機(jī)制，但大多停留在表面現(xiàn)象和經(jīng)驗(yàn)規(guī)律的描述上，距離真正的理論基礎(chǔ)和第一性原理分析仍然遙遠(yuǎn)。

事實(shí)上，當(dāng)前深度學(xué)習(xí)領(lǐng)域中唯一相對(duì)成熟的理論工具僅限于數(shù)值優(yōu)化方法（如梯度下降）和線(xiàn)性代數(shù)的應(yīng)用（矩陣運(yùn)算），而其它更高級(jí)的數(shù)學(xué)工具——如高維統(tǒng)計(jì)理論、信息幾何理論、隨機(jī)矩陣?yán)碚摰取形茨苷嬲行У刂笇?dǎo)深度學(xué)習(xí)的工程實(shí)踐。

機(jī)器學(xué)習(xí)領(lǐng)域的著名研究員Ali Rahimi早在2017年就曾尖銳地批評(píng)過(guò)這一現(xiàn)狀，稱(chēng)當(dāng)前的機(jī)器學(xué)習(xí)研究如同「煉金術(shù)」，其本質(zhì)是缺乏系統(tǒng)性的科學(xué)理論指導(dǎo)。

Rahimi指出，我們的機(jī)器學(xué)習(xí)模型越來(lái)越強(qiáng)大，但我們卻不清楚為何這些模型能如此有效，更無(wú)法準(zhǔn)確預(yù)測(cè)其在未來(lái)任務(wù)上的表現(xiàn)。

著名計(jì)算機(jī)科學(xué)家、AI先驅(qū)Michael Jordan也持相似看法。

他形象地指出，當(dāng)前AI的進(jìn)步就如同在沒(méi)有任何橋梁工程理論的情況下盲目建橋，有些橋可能僥幸沒(méi)有倒塌，但一些則不可避免地會(huì)失敗。

換句話(huà)說(shuō)，缺乏系統(tǒng)的理論支撐導(dǎo)致當(dāng)前AI領(lǐng)域成功的偶然性大幅增加，真正的可持續(xù)進(jìn)步變得困難。

對(duì)于陶哲軒而言，壓縮感知的早期歷史提供了一些啟示：理論雖非一切，但良好的理論能夠?qū)α闵⒔?jīng)驗(yàn)進(jìn)行有效的統(tǒng)一，并提供跨領(lǐng)域的普適性標(biāo)準(zhǔn)。

用陶哲軒的話(huà)，就是數(shù)學(xué)定理（理論）為領(lǐng)域帶來(lái)的是一種清晰性、洞察力、普遍性以及信任度，而這些并不是僅靠經(jīng)驗(yàn)得出的結(jié)果本身所能提供的。

簡(jiǎn)單說(shuō)，就是雖然沒(méi)有理論隨便修橋可能會(huì)成功，但如果想要提前確保成功，你必須有堅(jiān)實(shí)的理論基礎(chǔ)。

陶哲軒還舉了一個(gè)例子。

像昂貴的MRI（核磁共振）設(shè)備制造商（西門(mén)子、通用電氣、飛利浦、東芝等）若要真正投入大量研發(fā)資源，嘗試將壓縮感知算法應(yīng)用到他們的最新機(jī)型中（他們現(xiàn)在都已經(jīng)這樣做了），就必須高度確信在將理論論證實(shí)際應(yīng)用時(shí)不會(huì)遇到根本性的障礙。

在這里，起關(guān)鍵作用的并不僅僅是我（陶哲軒）或其他人提出的某個(gè)定理，而是數(shù)學(xué)信號(hào)處理文獻(xiàn)中壓縮感知結(jié)果的顯著廣度（使用了多種不同的數(shù)學(xué)領(lǐng)域得出了相同的結(jié)論），以及數(shù)學(xué)領(lǐng)域現(xiàn)在認(rèn)為與醫(yī)學(xué)成像背景相似的其他學(xué)科中的壓縮感知實(shí)驗(yàn)，這些因素共同說(shuō)服了這些公司，使其相信風(fēng)險(xiǎn)足夠低，從財(cái)政角度看值得進(jìn)行相應(yīng)的投資。

簡(jiǎn)單來(lái)說(shuō)就是，邏輯上嚴(yán)絲合縫，靠著完美的「推導(dǎo)」建立投資自信。

AI領(lǐng)域呢？

總之，AI領(lǐng)域迫切需要解決的并非單純?cè)黾淤Y金或數(shù)據(jù)規(guī)模，而是找到真正的理論根基。

黑箱、煉金術(shù)與大力出奇跡的時(shí)代終究不是長(zhǎng)久之計(jì)。

我們需要更多嚴(yán)謹(jǐn)?shù)睦碚撎剿鳎倜つ康脑囧e(cuò)與幸運(yùn)的賭博。

只有如此，AI領(lǐng)域才能真正實(shí)現(xiàn)可持續(xù)的發(fā)展，成功的案例才能夠廣泛而穩(wěn)定地復(fù)制，人類(lèi)才能真正安全地將未來(lái)托付給AI。

幸運(yùn)的是，目前已經(jīng)很多這方面的研究。

參考資料：

https://mathstodon.xyz/@tao/114967747513180139