存在某種普世的訓練方法，來讓AI變“善良”嗎？

文｜《中國企業家》記者李艷艷

編輯｜張曉迪

圖片來源｜上海人工智能實驗室

7月26日下午，在2025世界人工智能大會上，“人工智能教父”、圖靈獎和諾貝爾獎得主杰弗里·辛頓（Geoffrey Hinton）與上海人工智能實驗室主任、首席科學家周伯文教授展開了一場備受關注的尖峰對話。

這是辛頓此次中國行程里唯一一場面向AI和科學前沿研究者的公開對話活動。兩位科學家談及AI多模態大模型技術前沿、“主觀體驗”和“意識”、如何訓練“善良”的超級智能、AI與科學發現，以及給年輕科學家的建議。

這個夏天，77歲的辛頓第一次飛越重洋踏上了中國的土地。但他并不為了再去復述大模型的能力有多強，而是發出警醒。他擔憂的是，未來超級智能將很容易操縱人類，人類要避免“養虎為患”，建立國際社群來預防AI操縱世界，推動AI向善。

此次對話前，周伯文代表上海人工智能實驗室作了《無盡的前沿：AGI與科學的交叉口》主題演講，他認為AGI應具備專業深度與泛化廣度，并在“通專融合”技術路線的基礎上提出“SAGE”框架：基礎模型層、融合層以及評估獎勵層三層并行、閉環反哺，使模型在科學發現中由“工具”升維為“引擎”。

周伯文還發布了全球領先的科學多模態大模型Intern-S1，它具有多學科、多模態、深思考能力，多模態綜合能力超越當前最優開源模型，多學科超Grok 4等前沿閉源模型。

以下為核心要點：

1.目前的多模態聊天機器人已經具備意識了。

2.像大語言模型主要是從我們輸入的文檔中學習。但一旦你擁有了像機器人這樣存在于真實世界中的智能體，它們就能從自己的經驗中學習。

3.你最終將會擁有一個既聰明又善良的AI，但如何訓練它變得聰明和如何訓練它變得善良是兩個不同的問題。

4.AI將極大地助推科學發展，這一點非常明確。

5.如果你想做真正原創性的研究，就應該去尋找那些你認為“所有人都搞錯了”的領域。

以下為對話實錄（有刪減）:

周伯文：感謝Jeff（杰弗里），您能親臨現場，對我們所有人來說都是一份真切的榮幸。我想從一個咱們本周早些時候探討的問題開始。這個問題是關于多模態和前沿模型的主觀體驗（Subjective Experiences）。您認為今天的多模態大模型也能衍生出主觀體驗嗎？您能否就其可能性問題，展開談談看法？

辛頓：這嚴格來說與科學無關，這是一個關于你如何理解“主觀經驗”、“靈魂”或“意識”等概念的問題。我相信，大多數人持有的想法是深度錯誤的。很多人沒有意識到，即便你能正確地運用詞語（word），并且擁有一套關于詞語該如何運作的理論，這套理論也可能完全是錯的，哪怕是對于最常用的詞。我舉一個最常用詞的例子，對于這些詞，你有一套自己的看法，它們看起來不復雜，但你的看法卻是錯的。

你需要接受這樣一種觀點：對于“工作”“健康”等常用詞語真正含義的解釋可能都是錯誤的。讓我們來看看“水平（horizontal）”和“垂直（vertical）”這兩個詞。大多數人認為他們理解這兩個詞的意思，但他們的理解其實是不正確的。我會通過問一個人們很少答對的問題來印證這一點。

辛頓

假設我把許多小鋁棒向空中拋散，它們在空中翻滾、碰撞。然后我突然讓時間凝固，空中布滿了這些朝向千差萬別的鋁棒。問題是：是與“垂直”方向夾角在1度以內的鋁棒多，還是與“水平”方向夾角在1度以內的鋁棒多，或者兩者數量接近？幾乎所有人都回答“差不多”，這是基于他們對這兩個詞的理解。

但他們大錯特錯，差距超過100倍。對于這些小鋁棒來說，處于水平方向1度范圍內的數量，大約是處于垂直方向1度范圍內數量的114倍。原因在于，“垂直”的桿（rod）就是這樣（指一個方向），這也是垂直，僅此一個方向。但“水平”是這樣，這也是水平，凡圍繞地平面的，都是水平。因此，水平的“桿狀物”遠比垂直的要多。（對鋁棒而言）“垂直”是非常特殊的（手勢）。

現在換個問題。假設我手里有一把鋁制的圓盤，我還是把它們撒向空中并凝固時間。那么，是與垂直方向夾角1度以內的圓盤多，還是與水平方向1度以內的多？這次情形逆轉，與垂直方向1度以內的圓盤數量，是水平方向的大約114倍。因為對于圓盤或平面（plane）來說，“水平”就是這樣，只能如此。而“垂直”是這樣，這也是垂直，任何垂直于地面的面，都算垂直。

所以在三維空間里，垂直的“桿”（rod）很特殊，而水平的“桿”很普遍；但水平的“面”（plane）很特殊，而垂直的“面”卻很普遍。你看，當你形成關于這些詞的理解時，你常常取一個平均化的概念，認為水平和垂直差不多，但這完全是錯的。它取決于你討論的是線還是面。人們不了解這一點，因此會給出錯誤的答案。

乍一看這似乎與意識問題無關，但并非如此。它說明了我們對于詞語如何運作的見解可能是完全錯誤的。我的觀點是，幾乎每個人對于像“主觀經驗”這類術語如何運作的認識，都是完全錯誤的。他們持有一個非常根深蒂固但完全錯誤的理論。所以這并非一個真正的科學問題，而是從一個錯誤的心理狀態模型出發導致的問題。基于錯誤模型，你必會做出錯誤的預測。

故此，我的觀點是：目前的多模態聊天機器人已經具備意識了。

周伯文：這個觀點可能會讓在座的許多研究者感到訝異。但讓我想想，在早些時候，另一位加拿大科學家理查德·薩頓（Richard Sutton）也進行了演講，主題是“歡迎來到經驗的時代”。我認為他的意思是，當人類數據耗盡時，模型可以從自身的經驗中學習。

而您似乎從另一個角度闡明了這個問題：智能體或多模態大模型不僅能從經驗中學習，還能發展出它們自己的主觀經驗。理查德今天似乎沒怎么提及模型從主觀經驗中學習可能帶來的風險。您能否就“智能體可以學習其主觀經驗”這一事實或假說，以及它可能隱藏的潛在風險，談談您的看法？

周伯文

辛頓：是的。目前的情況是，像大語言模型主要是從我們輸入的文檔中學習。但一旦你擁有了像機器人這樣存在于真實世界中的智能體，它們就能從自己的經驗中學習。我認為它們最終學到的會比我們格外多。

我相信它們將擁有經驗，但“經驗”不是一個真實的存在。經驗不像一張照片，它是一種你與客體之間的關系。

周伯文：此外，關于我們可能涉及的潛在風險，還有幾件事。幾天前（在IDAIS）和您交流時您提到，減少未來AI風險的一個可能解決方案，是設法將AI的不同能力分別處理。比如分開訓練一個“聰明”的AI，和一個“善良” 的AI。

辛頓：我其實不是那個意思。我的意思是，你最終將會擁有一個既聰明又善良的AI，但如何訓練它變得聰明和如何訓練它變得善良是兩個不同的問題。所以你可以有讓它變得善良的法子和讓它變得聰明的法子——這會是同一個AI，但使用了不同的技術。因此，各個國家可以分享使AI變得善良的技術，即使他們不想分享使AI變得聰明的技術。

周伯文：我對此也有些疑慮的。這個想法的初衷很好，我也很欣賞，但我不確定這條路能走多遠。您認為會存在一種普適性的、可以應用于不同智能水平的讓AI變“善良”的訓練方法嗎？

辛頓：這是我的希望。它可能無法實現，但這是一個值得我們去深究的可能性。

周伯文：確實。但我還是想用一個類比來描述我的疑問，我提出這個問題是為了激發更多人對您提到的方向進行研究。我的類比來自物理學：當物體低速運動時，牛頓定律有效；但當物體接近光速時，牛頓定律就喪失效力，我們必須求助于愛因斯坦的理論。順便說一句，我真不敢相信自己正在一位諾貝爾物理學獎獲得者面前講大學物理101（大學物理入門課）！

辛頓：哦不（他們給我頒獎）原本就是個錯誤。其實他們（組委會）就是想頒一個給AI的諾貝爾獎，只好就把物理學獎拿出來用了。

周伯文：哈哈，您絕對值得這項殊榮。不過這個類比或許說明，對于“善良”的要求，可能需要根據智能系統的不同層級進行調整和改變。我不知道這是否正確，但我希望在座或在線的聰明的年輕人們，能找到實現它的方法。

辛頓：是的，很有可能隨著決策系統變得越來越智能，我們讓它保持善良的技術也需要相應改變。我現在還不知道答案，這也是我們需要立刻開始研究它的原因之一。

周伯文：您作為一位成就卓著的學者，卻常常說“我不知道”，這讓人深感佩服。我認為這非常坦誠，并保持了開放的態度，這是我們都應該向您學習的。

其實，今天我們這里有一半的參會者來自量子物理、細胞生物學等不同前沿科學領域。我們之所以聚集于此，正是因為我們相信無論是Science還是AI與科學的交叉領域，都正迎來“無盡的前沿”的大好機遇。

所以，關于利用AI賦能科學進步，或者反過來用好科學來驅動AI技術發展，您有什么想說的嗎？

辛頓：我認為AI將極大地助推科學發展，這一點非常明確。最令人矚目的例子莫過于蛋白質折疊，Demis Hassabis和John Jumper等人通過明智地運用AI并投入巨大努力，極大地提升了蛋白質結構預測的準確性。

我認為這是一個早期的信號，預示著AI將在眾多科學領域帶來巨大進步。您也提到了智能預測臺風登陸點和天氣預報的例子，這說明AI的表現已經能比最好的傳統物理系統高出一籌。

周伯文：在您卓越的學術生涯中，您不僅推動了AI技術的邊界，也深刻地指引了下一代研究者，比如Yoshua Bengio和許多更年輕的后輩。在上海人工智能實驗室，我們的研究人員平均年齡僅30歲左右，這清晰地表明AI的未來掌握在年輕一代手中。看著在座這些年輕的面孔，您有什么建議想與他們分享、幫助他們更快地成長嗎？

辛頓：我只有一條建議：如果你想做真正原創性的研究，就應該去尋找那些你認為“所有人都搞錯了”的領域。通常，當你抱著這種想法并開始研究自己的方法時，最終你可能會發現大家那樣做是有原因的，而你的方法是錯的。

但關鍵是，在你親身領悟到它為什么錯之前，絕不要放棄。

不要因為你的導師說“這個方法很蠢”就放棄它，忽略導師的建議，堅持你所篤信的，直到你自己弄懂它錯在哪里。偶爾，你會發現自己堅持的東西并沒有錯，而這正是重大突破性創新的起點。這些突破從不屬于半途而廢者。

因此，你必須堅持己見，即使他人并不認同。這背后有一個簡單的邏輯：你要么直覺很好，要么直覺很差。如果你直覺很好，你顯然應該堅持它；如果你直覺很差，那你做什么關系都不大，所以你同樣應該堅持你的直覺。

周伯文：咱們可以就此暢談一整天，但我知道您需要休息了。最后，懇請在場所有人隨我一同再次感謝Jeff付出的寶貴時間。非常感謝您！