如果人工智能（AI）變得比人更聰明，如何保證AI系統受人類掌控且符合人類價值觀？

在7月26日舉行的2025世界人工智能大會暨人工智能全球治理高級別會議（WAIC）上，圖靈獎得主、中國科學院院士姚期智接受第一財經記者獨家專訪時談到了全球人工智能的治理問題。

他說，大家感覺到AGI（通用人工智能）的時代來臨得比想象中更快，隨之就會出現很多商業應用，在此背景下AI的安全性就更為重要，因為相比傳統的算法設計，AI的安全性沒有理論上的保證。還有一點就是近年來AI專家們認為AGI到來以后可能比人還聰明，人類就很難控制它。

“AI安全治理是長期系統性的工作，同時也是理論性的工作，而中國近幾年跟國際接軌很頻繁，比如我們今天舉行的大會。”姚期智說。

就在WAIC開幕前的7月22日至25日，在AI安全國際論壇及第四屆AI安全國際對話中，包括諾貝爾獎和圖靈獎得主杰弗里·辛頓 (Geoffrey Hinton)教授，姚期智、加州大學伯克利分校計算機科學教授斯圖爾特·羅素 (Stuart Russell) 等全球頂尖人工智能科學家齊聚上海，就未來人工智能系統可能超越人類智能水平帶來的失控風險，進行了深入的交流與研討，并簽署了上海共識。

本次會議促成了《AI安全國際對話上海共識》(簡稱“上海共識”)，首次呼吁全球各國政府及研究人員“確保高級人工智能系統的對齊與人類控制，保障人類福祉”。共識指出，人工智能正迅速逼近并可能超越人類智能水平。然而，依據現有的系統欺瞞人類開發者的證據推測，具有超過人類智慧的人工智能系統可能在未來脫離人類控制或被不法分子利用，帶來災難性風險。因此，全球研究者必須聯合起來，確保人工智能系統受人類掌控且符合人類價值觀。

共識認為，全球主要國家和地區必須對接協調，采取可信的安全舉措，在能共同推進的領域協同發力，在必要時自主行動。需要在國際層面逐步建立互信機制，并加大對人工智能安全科學研究的投入。為了保障在不久的將來所有人類都能更好地生存，上海共識呼吁國際社會：要求前沿人工智能開發者提供安全保障；通過加強國際協調，共同確立并恪守可驗證的全球性行為紅線；投資基于設計的安全人工智能研究。

姚期智告訴記者，將來人工智能帶來的巨大改變會達到什么程度，現在沒有人會知道，原則上如果把治理做得好，全球人民都可以擁有很好的生活。他認為，在人工智能安全治理方面，上海有著天時地利人和的條件，上海的城市稟賦吸引海外的專家在此匯聚，未來在全球人工智能治理方面上海也將會是世界上最重要的中心之一。

姚期智在26日WAIC上主持圓桌討論

作為一位教育工作者，姚期智創建的清華大學“姚班”，培養了諸多計算機科學創新人才。面對快速發展的AGI，年輕學子應該加強哪些方面的能力？

他告訴記者，年輕人要把基礎學業掌握好，比如數學、物理、計算機等?！皩淼氖澜缱兓煤芸?，科技如何發展，什么樣的工作會存在，最后還是要靠這些基本的積累。因為現在流行的職業、流行的一種工作過兩年可能就不見了，誰能夠不斷地自主學習，能夠適應世界的改變是唯一的安全保障?！?/p>