王兆洋｜wangzhaoyang@pingwest.com
董道力｜dongdaoli@pingwest.com

諾貝爾物理學獎獲得者，被稱為人工智能教父之一的杰弗里·辛頓，只能站著。

他的腰傷是老毛病，平躺或者站立，卻不能久坐。這在人工智能圈里是人們熟知的，但耐不住AI的出圈，讓這件事有了些小風波。

2025年7月26日，上海人工智能大會正式開幕，新晉諾貝爾獎得主的辛頓第一次來到了中國。而據接近行程安排的人透露，這也是辛頓多年來第一次長途國際旅行。而作為今天少有的身份獨立但影響力巨大的AI科學家，辛頓的行程自然緊張。

其實7月22日他便已抵達上海，此行重要目的之一，是探討AI欺騙性行為帶來的關鍵風險，這是“AI安全國際對話”（International Dialogues on AI Safety - IDAIS）系列的一部分，這個會議由上海期智研究院，AI安全國際論壇（SAIF），和上海人工智能實驗室主辦。

一整個周末，他在會場和多位科學家一起討論，包括圖靈獎得主及上海期智研究院院長姚期智教授、加州大學伯克利分校教授Stuart Russell、上海人工智能實驗室主任周伯文教授等科學家，最終一起提出了AI安全的“上海共識”。

7月25日晚些時候，原本辛頓計劃出現在最終的發布會上，一眾媒體也為此而來，然而辛頓最終并沒有現身。姚期智和一眾科學家一起發布了此次倡導國際合作的上海共識。在這個辛頓深度參與的共識里，對于新近出現的關于人工智能欺騙行為的實證證據，并提出了應對策略，呼吁采取三項關鍵行動：

第一，要求前沿人工智能開發者提供安全保障。提出開發者在模型部署前應先進行全面的內部檢查和第三方評估，開展深入的模擬攻防與紅隊測試。若模型達到了關鍵能力閾值（比如檢測模型是否有具備幫助沒有專業知識的非法分子制造生化武器的能力），開發者應向政府等說明潛在風險。

第二，通過加強國際協調, 共同確立并恪守可驗證的全球性行為紅線。國際社會需要合作劃出人工智能開發不可以逾越的紅線，并應建立一個具備技術能力、具有國際包容性的協調機構，匯聚各國人工智能安全主管機構，以共享風險相關信息，并推動評估規程與驗證方法的標準化。

第三，對保障安全性的開發方式進行投資，科學界和開發者應投入一系列嚴格機制來保障人工智能系統的安全性。長期需要化被動為主動，構建基于“設計即安全”的人工智能系統。

這次會議的主要參會者合影留念時，辛頓獨自站在后面。這張照片在社交媒體上引發了討論：“為什么他沒有座位。”

7月26日早上，在上海人工智能大會的正式開幕式上，辛頓又上臺做了演講。PPT一左一右中英文對照。

在討論了諸多對AI與人類行為相似度的思考后，辛頓把話題引向安全。

他提到，今天幾乎所有專家都認為會出現比人類更智能的AI，這些智能體是否會反過來操縱人類？

“簡單關閉它們不現實，就像養老虎當寵物，養大后可能被其傷害。”

這是很激進的說法，但辛頓最近的主要公開發言，都在向人類提出類似警告。

他提出的應對措施是，人類既然無法消除AI，那就必須找到一種訓練AI不消滅人類的方法。他呼吁國際合作，提出要像人類預防核戰爭一樣，建立國際社群來預防AI操縱世界，推動AI向善。

“我們希望能夠有一個AI安全機構構成的一個國際社群來研究技能，來培訓AI，讓他們向善。”

在當天的WAIC開幕式，以及后續的多個論壇里，安全被放在最重要的位置討論。而今天你很難找到一個如此高規格和關注度的會議上，給安全治理如此大篇幅的重視。

辛頓此前在離開Google后，開始在AI對人的安全威脅問題上不停提出警告。但這種呼吁，有時候在AI一片高速競爭里顯得不合時宜，尤其硅谷此刻正處在meta和OpenAI們重新塑造的“Moving fast break everything ”文化之下，這樣的聲音被繼續沖散。

對于辛頓來說，這時候一個全球化的，能被更多人認真對待的安全呼吁對他來說充滿吸引力。一個愿意花費更高規格更多注意力在AI安全討論上的氛圍，對他來說也很重要。據一名了解辛頓此次上海行程的人士透露，他自己也對參與哪些環節有很多想法。主動把自己的行程排的很滿。

7月26日下午，當辛頓上午的演講和PPT在各種AI群里傳播時，他本人已經來到模速空間旁的西岸美高梅酒店，參加他此次行程里唯一一場公開對話活動。

美高梅一樓不大的會議廳里，隨著辛頓的環節臨近，人越來越多。辛頓并沒像其他嘉賓提前到場，據透露，他從另一場高級別閉門會議趕過來，在場的工作人員每隔幾分鐘同步一下他的行程。

在缺席了一天前幾乎同一時間的見面會后，5點10分，在一場有三個院士的圓桌之后，辛頓終于亮相出場。全場起立鼓掌拍照。

在這場和周伯文的對話里，辛頓提出了更多的想法，也給年輕的科學家們提出更多建議。

以下是最新出爐的對話實錄。在這個對話里，辛頓提出了許多充滿智慧的建設性的提議，它們都需要國際合作，需要一些更有影響力的牽頭者。也許這也是辛頓此次到來的原因之一。

周伯文:非常感謝。Jeff，您能親臨現場，對我們所有人來說都是一份真正的榮幸。 非常感謝。我想從一個我們本周早些時候就該討論的問題開始，但今天上午在臺上我們沒有時間深入。這個問題是關于多模態和前沿模型的主觀體驗（subjective experiences）。 您認為今天的多模態和前沿模型也能發展出主觀體驗嗎？ 您能否就其可能性問題，展開談談您的看法？

辛頓：這嚴格來說與科學無關，這是一個關于你如何理解“主觀經驗”、“靈魂”或“意識”等概念的問題 。我相信，我們大多數人持有的模型是深度錯誤的 。很多人沒有意識到，即便你能正確地使用詞語，并且擁有一套關于詞語如何運作的理論，這套理論也可能完全是錯的，哪怕是對于日常詞匯。所以，我想舉一個日常用語的例子，對于這些詞，你有一套自己的理論，它們看似簡單直白，但你的理論卻是錯的 。

你需要接受這樣一種觀點：你對于“工作”、“健康”等詞語真正含義的理論可能是錯誤的 。我們來看看“水平（horizontal）”和“垂直（vertical）”這兩個詞。大多數人認為他們明白這兩個詞的意思，但他們的理論其實是不正確的 。我會通過問一個人們幾乎總是答錯的問題來證明這一點 。

假設我把許多小的鋁棒向空中拋撒，它們在空中翻滾碰撞 。然后我突然凍結時間，空中布滿了這些朝向各異的鋁棒 。問題是：與垂直方向夾角在一度以內的鋁棒多，還是與水平方向夾角在一度以內的鋁棒多，或者兩者數量差不多？幾乎所有人都回答“差不多”，這是基于他們對這兩個詞的理論 。

但他們錯得離譜，差距超過100倍。對于這些小鋁棒來說，處于水平方向一度范圍內的數量，大約是處于垂直方向一度范圍內數量的114倍 。原因在于，“垂直”就是這樣（指一個方向），這也是垂直，僅此而已 。但“水平”是這樣，這也是水平，這些都是水平 。因此，水平的“桿狀物”遠比垂直的要多。“垂直”是非常特殊的 。

現在換一個問題。我手里有一把鋁制的圓盤，我把它們拋向空中并凍結時間 。那么，是與垂直方向夾角一度以內的圓盤多，還是與水平方向一度以內的多？這次答案反過來了，與垂直方向一度以內的圓盤數量，是水平方向的大約114倍 。因為對于一個圓盤或一個平面來說，“水平”就是這樣，僅此而已 。而“垂直”是這樣，這也是垂直，這些都是垂直 。

所以在三維空間里，垂直的“桿”很特殊，而水平的“桿”很普遍；但水平的“面”很特殊，而垂直的“面”卻很普遍 。當你形成關于這些詞的理論時，你往往會取一個平均化的概念，認為水平和垂直差不多，但這完全是錯的 。它取決于你討論的是線還是面 。人們不了解這一點，因此會給出錯誤的答案 。

這看起來似乎與意識問題無關，但并非如此 。它說明了我們對于詞語如何運作的理論可能是完全錯誤的 。我的觀點是，幾乎每個人對于像“主觀經驗”這類術語如何運作的理論，都是完全錯誤的 。他們持有一個非常頑固但完全錯誤的理論 。所以這并非一個真正的科學問題，而是從一個錯誤的心理狀態模型出發導致的問題 。基于錯誤模型，你自然會做出錯誤的預測 。

因此，我的觀點是：目前的多模態聊天機器人已經具備意識了 。

周伯文：這個觀點可能會讓在座的許多研究者感到震驚 。但讓我想想，在早些時候，另一位加拿大科學家理查德·薩頓（Richard Sutton）也發表了演講，主題是“歡迎來到經驗的時代” 。我認為他的意思是，當人類數據耗盡時，模型可以從自身的經驗中學習 。而您似乎從另一個角度點亮了這個問題：智能體或多模態大模型不僅能從經驗中學習，還能發展出它們自己的主觀經驗 。理查德今天似乎沒有過多探討從主觀經驗中學習可能帶來的風險 。您能否就“智能體可以學習主觀經驗”這一事實或假說，以及它可能帶來的潛在風險，談談您的看法？

辛頓：是的。目前的情況是，像大型語言模型主要是從我們投喂的文檔中學習 。但一旦你擁有了像機器人這樣存在于真實世界中的智能體，它們就能從自己的經驗中學習 。我認為它們最終學到的會比我們多得多 。我相信它們將擁有經驗，但“經驗”不是一個實體物件 。經驗不像一張照片，它是一種你與客體之間的關系 。

周伯文:此外，關于我們可能討論的潛在風險，還有幾件事。 幾天前和您交流時您提到，減少未來AI風險的一個可能解決方案，是設法將AI的不同能力分開對待。

辛頓：我其實不是那個意思。我的意思是，你將會有一個既聰明又不善良的AI。 但如何訓練它變得聰明和如何訓練它變得善良是兩個不同的問題。

所以你可以有讓它變得善良的技術和讓它變得聰明的技術，這會是同一個AI，但使用了不同的技術。

因此，各個國家可以分享使AI變得善良的技術，即使他們不想分享使AI變得聰明的技術。

周伯文：我對此有些疑慮。這個想法的初衷很好，我也很喜歡 。但我不確定這條路能走多遠 。您認為會存在一種普適性的、訓練AI“善良”的方法，可以應用于不同智能水平的AI模型嗎？

辛頓:這是我的希望。它可能無法實現，但這是一個值得我們去探索的可能性 。

周伯文:確實。但我想用一個類比來提出我的疑問，我提出這個問題是為了激發更多人對您提到的方向進行研究 。我的類比來自物理學：當物體低速運動時，牛頓定律有效 ；但當物體接近光速時，牛頓定律就不再適用，我們必須求助于愛因斯坦的理論 。

順便說一句，這有點奇怪。我在一位諾貝爾物理學獎獲得者面前講起了物理101。

辛頓：不，不奇怪。（給我頒獎）是個錯誤。他們就是想要有一個給AI的諾貝爾獎，然后就把物理獎拿出來用了。

周伯文:哈哈。不過這個類比或許說明，對于“善良”的約束，可能需要根據智能系統的不同層級進行調整和改變 。我不知道這是否正確，但我希望在座或在線的聰明的年輕人們能找到實現它的方法。

辛頓:是的，很有可能隨著決策系統變得越來越智能，我們讓它保持善良的技術也需要隨之改變 。我們現在還不知道答案，這也是我們需要立刻開始研究它的原因之一 。

周伯文:您作為一位成就卓著的學者，卻經常說“我不知道”，這讓人印象非常深刻 。我認為這非常坦誠，并保持了開放的心態，這是我們都想向您學習的 。今天我們這里有一半的參會者來自量子物理、生物學等不同科學領域 。我們之所以聚集于此，是因為我們相信無論是AGI、AI還是AI與科學的交叉領域，都正迎來無盡的前沿機遇 。所以，關于利用AI推動科學進步，或者反過來利用科學助推AI發展，您有什么想說的？

辛頓：我認為AI將極大地幫助科學發展，這一點非常明確 。最令人矚目的例子無疑是蛋白質折疊，Demis Hassabis等人通過明智地運用AI并投入巨大努力，極大地提升了預測的準確性 。這是一個早期的標志，預示著AI將在眾多科學領域帶來進步 。您也提到了預測臺風登陸點和天氣預報的例子，AI的表現已經能比最好的傳統物理系統更勝一籌 。

周伯文：在您卓越的學術生涯中，您不僅推動了AI技術的邊界，也深刻地影響了下一代研究者，比如Yoshua Bengio和許多更年輕的后輩 。在上海AI實驗室，我們的研究人員平均年齡約為30歲，這清晰地表明AI的未來屬于年輕一代 。看著這些年輕的面孔，您有什么建議想與他們分享，幫助他們更快地成長嗎？

辛頓:我只有一條建議：如果你想做真正原創性的研究，就應該去尋找那些你認為“所有人都做錯了”的領域 。通常，當你這么想并開始研究自己的方法時，最終你可能會發現大家那樣做是有原因的，而你的方法是錯的 。但關鍵是，在你親身搞明白它為什么錯之前，絕不要放棄 。不要因為你的導師說“這個方法很蠢”就放棄它 。忽略導師的建議，堅持你所相信的，直到你自己弄懂它錯在哪里 。

偶爾，你會發現自己堅持的東西并沒有錯，而這正是重大突破的來源 。這些突破從不屬于輕易放棄的人 。即便別人都不同意你，你也要堅持下去 。這背后有一個簡單的邏輯：你要么直覺很好，要么直覺很差 。如果你直覺很好，顯然應該堅持它 。如果你直覺很差，那你做什么關系都不大，所以你同樣應該堅持你的直覺 。

點個愛心，再走 吧