接到諾貝爾獎通知時，杰弗里·辛頓（Geoffrey Hinton）立刻想起了好友特倫斯·謝諾夫斯基（Terrence Sejnowski）。他們曾約定——一人得獎，獎金同享。在 1985年，他們共同發明了玻爾茲曼機（Boltzmann machine），為這一輪深度學習的熱潮奠定了基礎。

謝諾夫斯基謝絕了辛頓的好意，于是這部分獎金被用于設立一個名為 Sejnowski-Hinton Prize 的獎項 ，鼓勵腦科學的研究，每年在 NeurIPS 會議上頒發。謝諾夫斯基從 1993 年起擔任 NeurIPS 基金會主席至今。

交集開始于 1979 年，倆人在一個“小型”研討會上結識。彼時，業界普遍認為的“光明未來”是基于“符號主義”的人工智能，愿意相信“聯結主義”的人寥寥。后來，這一小撮人逐漸從角落走向臺前的故事也在深度學習復興后被反復提及。

謝諾夫斯基和辛頓在討論視覺網絡模型，拍攝于1980年

謝諾夫斯基開創了計算神經科學（Computational Neuroscience）這一全新的學派。通俗理解他的研究路徑，將物理學、數學、統計學等學科中的方法用于分析神經科學家獲得的高度復雜的數據集，理解大腦的計算資源，并構建大腦和行為之間的關聯模型。

因此，去年謝諾夫斯基（與 Haim Sompolinsky，Larry Abbott一起）獲得 The Brain Prize——被譽為“神經科學界的諾獎”。同時，他們對于大腦里一些活動的解讀，也在為 AI 發展提供理論基礎。

特倫斯·謝諾夫斯基在爬山

近期，果殼與特倫斯·謝諾夫斯基進行了一場對話。在他的新書《大語言模型》（ChatGPT and the Future of AI: The Deep Language Revolution ）中，謝諾夫斯基憑借其深厚的學術積淀和前瞻視野，勾勒出人工智能，尤其是大語言模型從何處來，向何處去的宏觀圖景。

他自詡技術的樂觀派，但也承認對人工智能的未來有太多難以預測。

以下對話經果殼編輯整理。

“當我意識到他們都在錯誤的方向上解釋大模型是否智能”

過去幾年，就連專業的認知科學家也難對“AI 真的理解它在說什么嗎？”這樣的疑問達成一致。謝諾夫斯基提出了一個很有意思的觀點，每一次人類與 AI 的對話，都是一次 AI 對人類的“反向圖靈測試”——AI 答得越好，說明對話者提問水平越高。人們之所以有這樣的分歧，原因在于過去那套基于自然智能的傳統認知框架已經不再適用。深度學習被稱為“黑箱”。大語言模型本質上是高維空間中的新函數，推動基礎數學的建立和突破，將深入對大模型智能以及自身大腦（這個復雜太多的系統）的理解。

果殼：說到寫書的契機，你說在 ChatGPT 出來后，看到了很多“褒貶不一”的使用案例，這讓你意識到“他們都在錯誤的方向尋找智能的痕跡”。你認為像現代物理學的基礎奠定是將“力”等模糊概念轉變為公式一樣，描述 AI 是不是智能的前提是對高維空間的數學理解。那么，目前我們在這條正確的道路上進展如何了？

謝諾夫斯基：在過去的幾年里，ChatGPT 的出現就像一個外星人，突然降落在地球上，會講流利的英語同我們交流。唯一肯定的，它不是人類。

怎么定義它？它是什么？全世界所有心理學家，認知科學家，語言學家，各抒己見，不能彼此認同。有人說它很智能，似乎能理解語言；另有人說，它只是記住了很多東西，然后再吐給你。

很多跡象表明，不同的人輸入不同的提示詞得到不同的結果。我一下子頓悟了，也許這是跟人類的不同之處。它的智力是可變的，這取決于誰在提問？換句話說，它反映了使用它的人的智能。而人類智能是固定的，是垂直的，你是物理學家但不意味著你擅長文學或政治。

為什么聊天機器人表現時好時壞？

那么我們從大家無法達成一致的這個事實中得到什么？在我看來，如果他們爭論，AI 是否理解自己在說什么？那就意味著我們不理解“理解”這個詞本身。不同的人對“理解與否”有不同的解釋方式，我們必須超越語言層面（定義理解）。

你對“球是如何投出去的”有直觀的概念。要想深入地解釋這個現象，需要將物理現象公式化。

神經網絡就是一個有著數萬億參數的巨大方程。誰會比數學家更了解方程呢？

未來人們談論可解釋的人工智能時，不會用語言描述。我們需要深入挖掘，從根本層面上去真正理解。

AI 和腦科學是 two-way street

玻爾茲曼機引入了統計物理學中的玻爾茲曼分布概念，為神經網絡帶來了隨機性的特征。通俗地解釋玻爾茲曼機的開創性，它是最早能通過看大量圖片后總結出“香蕉是黃的彎的”規律并在下一次識別出來，以及做多任務排列優化以達全局最優的神經網絡。辛頓曾說，“當時我們覺得這個學習算法太優雅了，確信大腦就是這樣工作的。”玻爾茲曼機雖然不是典型的多層神經網絡，但具備一些多層網絡的特征，而這是上世紀 60 年代末（感知器 Perceptrons）未被解決的難題。

果殼：你去年拿了腦科學領域非常重要的一個獎。因為你創建了“計算神經科學”這個研究領域。你能講講最近的研究進展嗎？

謝諾夫斯基：我從物理學轉向神經科學時，計算神經科學并不存在。那時候，我們做實驗非常困難，非常昂貴，而且數據不多。所以我們基本上用傳統的物理學方法，寫方程式。

40年來，神經科學家開發了更好的技術，更多的數據。因為有了海量數據，我們得以用機器學習技術來測試想法。“大腦獎”頒給我們，因為我們意識到了采用新方法研究神經科學的重要性，在此之前"計算神經科學"學派并不存在。

過去幾年，基于我們為大腦神經網絡模型寫下的方程，人工智能發生了變化，從上個世紀基于邏輯和規則的公式變成大量相互連接的節點所組成的計算模型。

人工智能取得進步的方式不是靠編寫計算機程序。而是像人類學習一樣，每當遇到新的例子，大腦吸收新的信息，整合到原有的知識庫里。

視覺皮層與卷積網絡在圖像對象識別上的比較

ChatGPT 對我的研究產生巨大影響。從某種意義上來說，它是大腦的簡化版。大腦有 1000 億個神經元，你無法記錄，你只能記錄其中的一小部分。但對大語言模型，能訪問每個單元、每個連接、每個輸入活動模式。我們可以有“干凈”的訪問權限。這樣我們就能嘗試研究它是如何工作的。

人工智能受到大腦啟發，現在我們反過來。我受到大模型如何解決問題的啟發，提出關于大腦實驗和模型的新想法。

果殼：人工智能幫助科學研究已經成為普遍共識。談談你認為 AI 仍存在哪些局限性？

謝諾夫斯基：讓我們回到 2018 年，我寫第一本書《深度學習》時，有點像站在當時對今天做預測。寫那本書時因為我參與了深度學習算法早期開發，我能從一個局內人的角度講述我們一路發展深度學習的起源故事。在一次圖書簽售會上，有一個讀者當時問了一個問題，“你怎么知道深度學習不是一場‘泡沫’呢？它是能識別圖像，但是你們怎么知道這將產生一些重要影響呢？”

我的答案是，從采用這項技術的科學家那里，影響已經發生。比如 DeepMind 解決了上個世紀生物學中最大的問題之一，通過氨基酸序列預測出蛋白質的三維結構。人們曾經試圖用物理學進行模擬，但非常困難，所需要的計算量遠超當時任何一臺計算機能做到的。

每一個從事神經網絡工作的人在三年前就明白它將產生的巨大影響，直到 ChatGPT 出現才讓大眾意識到了這一點。但就像互聯網早期，我們已經意識到它將產生巨大影響，但不知道到底會如何發展，現在我們也不知道 AI 會走向何方。

很多人擔心超級智能，擔心 AI 威脅到他們的生存。事實上，這是技術無人看管的后果。因為任何技術都有好壞影響之分就像核能，我們最好謹慎地開發，因為那些負面也會發生在 AI 上。

果殼：那么哪些你在當時做的預測在今天實現了？

謝諾夫斯基：在那本書里我說，AI 將讓人類變得更聰明。世界國際象棋冠軍是馬格努斯·卡爾森，在挪威的一個小鎮長大，他通過和電腦對弈來學習象棋。AI 發掘了他的大師潛力，讓象棋“民主化”。我們必須弄清楚如何使用 AI，即便開始時這是一條緩慢增長的學習曲線，但是人類在 AI 的幫助下會做得越來越好。

每一次公開演講，我都會被問到一個問題，“我會失業嗎？”因為他們經常在報紙上讀到。報紙經常寫有誤導性的內容。不如我們再次“以史為鑒”，想想工業革命。AI 正在改變科學，改變職業，無論你的工作內容是什么，必須適應新技術。

關于機器人，人們以前和現在都低估了一些困難

大語言模型僅模擬了大腦新皮質的功能，而大腦其他更古老的部分，才是負責自主行為和生存本能的關鍵。在人類大腦中，負責目標導向行為發起的關鍵結構叫基底神經元；長期記憶的形成靠海馬體和睡眠紡錘波；多巴胺在內的數十個神經調節系統共同調控人類的情緒狀態；以及人作為一個“有機整體”，人的大腦是通過分布式控制實現對身體多自由度的協調。大語言模型需要繼續從人腦中找答案，實現自主性和與物理世界的交互。不過人類對大腦依舊了解甚少，比如“我們不知道大腦如何自發產生意識和想法。”謝諾夫斯基說。

意識在大腦中的哪個位置躲避著我們的探尋？

果殼：我前段時間參加一個人形機器人發布會，對方想做消費級市場。當下我突然想到多年前看過的一個電影叫 A.I. Artificial Intelligence—一個機器人男孩試圖代替人類男孩的故事。我想問問您對人形機器人目前進展的看法，以及你未來會給自己家買一臺嗎？

謝諾夫斯基：他們讓機器人看起來很花哨，但我告訴你我所知道的。

人形機器人能做的還很有限，比如像人類一樣拿起一杯水喝，像貓一樣在桌子上跳來跳去。動物是很優雅的，因為它們進化了數百萬年才進化出做出這些驚人動作的身體。

90年代，日本研發了一個機器狗叫 AIBO。你和它玩，向它扔球，它有狗的外觀，會學狗吠。但是人們逐漸對它失去了興趣。

現在同樣的命題給到兩只腳的機器人——機器人的適應能力，像人一樣與世界互動，依然差得遠。未來，AI 與機器人技術結合會讓機器人至少在互動上更貼近人類。但是現在機器人真正擅長的在汽車裝配線。

上個世紀，人們大大低估了視覺和機器人技術等問題的計算難度。我給你講個真事兒，是我從馬文·明斯基那里聽說的。

1960年，當MIT獲得第一筆DARPA資助時，后者提議建造一個打乒乓的機器人——即便在 60年后，我們都沒有一個能完全打乒乓的機器人。

MIT 拿到了錢，然后他們意識到他們忘記索要為機器人編寫視覺程序的錢。他們認為“視覺”是一個微不足道的問題。然后把這個項目分配給了一個研究生。我天啊，計算機視覺過了 60 年直到神經網絡才讓其有了進展。后來我問明斯基，他說：不對，本來想交給本科生來著。

我們對于“困難”有糟糕的直覺，因為我們忽略了進化論。對于人類來說，“看”這件事，很微不足道。他們認為可以為視覺編寫程序，靠人力勞動將程序越寫越長，在一條錯誤的道路上投入了數十億美元。

然后我們有了像人類一樣的神經網絡模型，可以從圖像例子中學習。它在某些方面不如人類那么完美，但正在改變利用到這項新技術的很多行業。就像《星際迷航》里的萬能翻譯器，翻譯已經是一個被神經網絡解決的問題。

最終很多問題都會解決，只是需要時間和大量的計算。

果殼：聊聊腦機接口吧。多年前你的一篇論文促成建立了一家公司 Neurovigil，使用無監督學習自動監測睡眠。今天哪些腦機接口領域的發展，最讓你興奮？

謝諾夫斯基：神經科學家現在使用人工智能，了解大腦以及如何與大腦交流。例如，針對癲癇患者可以通過放置侵入式電極定位癲癇在大腦中發作的區域。

大腦研究中的層級

我們現在可以在人不說話的情況下解碼語言——我們目前可以看到大腦遣詞造句時哪些部分正在被激活。因此我們通過使用 AI 工具解釋翻譯神經元中的活動模式并將其在大腦以外重建，轉化為具體行為。比如，針對截癱患者我們能從他的運動系統中獲取記錄，重建機械臂拾起東西的動作。類似地，我們正在取得進展，但是處于非常早期的階段。

“super intelligence is a bad term”

果殼：你和 AI 合著了這本新書，尤其是讓 AI 做了它擅長的事情，總結和提煉每一章的關鍵內容。今天無論是學習還是工作，人們都離不開 AI，你如何看待“由于過于依賴 AI 導致創作者主體身份被削弱的問題。”

謝諾夫斯基：我在每一章的末尾都用一個框，表明這是 ChatGPT 的評論，表明這不是我寫的。對此，我非常開放。事實也是 AI 確實比我總結得好。因為我身處行業里，反而不是非常清楚讀者想看什么，但是 AI 清楚。

至于 AI 的使用現狀，我認為正在經歷一個過渡期。一開始，人們會非常興奮“哇，我可以用它來代替我的工作啦！”然后慢慢就會發現一些弊端。首先就是你如何聲稱作品歸屬于誰。

也有其他人將 AI 作為一個改進的工具。我實驗室里的很多人不是英語母語者。他們在寫完論文后，都會讓 GPT 修改。GPT 的語法比我都好。

我想說的是，你使用方式不同，決定了它是否能成為一個有效工具。

從它問世到今天，包括紐約州在內很多地區視其為一種作弊方式。禁止學生使用它。這就是問題所在，你如何執行？你怎么辨認是學生還是 GPT 完成的？然后呢，給學生趕出學校嗎？我認識一位老師，她十分清楚“打不過，就加入吧”這一點。她給學生布置完文章后，會打兩個分，一個分給學生的提示詞，一個分學生如何修正 AI 給出的結果，學生是不是檢查了幻覺，是不是加入了自己的觀點和敘述風格。

果殼：教學生使用日新月異的工具，也是教育的一部分。

謝諾夫斯基：沒錯，這才是未來，指導學生而非一味禁止。我認為，在我們學會如何正確使用之后，未來 AI 才和我們是合作伙伴關系。

上個世紀 70 年代，當計算器出現在學校時，有人反對說，學生用計算器就不會算術了。往后 50 年呢？學生們還是得學算術，如果對數字大小、平均值等等這些沒有概念的話，你用不好計算器的。

果殼：有人曾經問過你，AI 最有可能在哪個領域出現“killer app”？你的回答是“教育”，因為人工智能可以為每個人提供個人導師。大模型對齊依靠人類標準和反饋。尤其針對教育，如何避免 AI 導師帶有人類標注者的平均偏見？

謝諾夫斯基：從某種意義上說，這已經發生了。大模型的數據庫來自靠互聯網接受的所有文本，它吸收了一切包括人類偏見。同時它在變得越來越好。

人類在將 AI 與“理想人類”做比較。為什么不與普通人比較呢？我們的目標當然是希望 AI 越來越好。世界各地的各種文化間彼此不同，你在哪里長大，說那里的方言，吸收那里的文化價值觀和禁忌，你必須從模仿中學習，從父母、學校和社會的反饋中學習。這就是所謂的對齊對吧？這在每種文化中都是不同的。所以對于人類來說，就不會有一種普遍的對齊。

也許批評 AI 像不像理想人類這個要求太高了。我們需要努力讓 AI 更加本地化，而不是用普遍性標準來衡量。

作者：馬文

編輯：臥蟲

配圖來自 ChatGPT and the Future of AI: The Deep Language Revolution 和 The Deep Learning Revolution

Guokr

12月17日晚19點，國民休閑品牌斯凱奇冬季鞋服專場直播來嘍！

老爹鞋、跑步鞋、戶外鞋、健步鞋、兒童體訓鞋、衛衣衛褲、運動外套、長短羽絨服、休閑包、帽子等全場89元起，性價比拉滿，還有福袋等直播間專屬福利，點好預約，準時來！

火速預約直播