IT之家 7 月 26 日消息，據澎湃新聞報道，7 月 25 日，杰弗里?辛頓、姚期智、約書亞?本吉奧、斯圖爾特、羅素等 20 余名行業專家、學者共同簽署的 AI 安全國際對話上海共識（IT之家注：下文簡稱“上海共識”）正式對外公開。

“上海共識”指出，當前人類正處于一個關鍵轉折點：AI 系統正迅速接近并可能超越人類智能水平。這些未來的系統可能在操作者毫不知情的情況下，執行并非操作者所期望或預測的行動。這可能導致失控，即一個或多個通用 AI 系統脫離任何人的控制，從而帶來災難性甚至是生存層面的風險。

當前，對于能夠在更高級的通用 AI 超越人類智能水平后，仍可靠地確保其對齊，并保持人類的有效控制尚無可行方法。

為防范與糾正此類行為的技術路徑與治理機制，“上海共識”提出應對策略，并呼吁采取三項關鍵行動：要求前沿 AI 開發者提供安全保障、通過加強國際協調，共同確立并恪守可驗證的全球性行為紅線、投資基于設計的安全 AI 研究。

“上海共識”還呼吁國際社會需要合作劃出 AI 開發不可逾越的“紅線”，應聚焦于 AI 系統的行為表現，需同時考量系統執行特定行為的能力及其采取該行為的傾向性。為落實這些紅線，各國應建立一個具備技術能力、具有國際包容性的協調機構，匯聚各國 AI 安全主管機構，以共享風險相關信息，并推動評估規程與驗證方法的標準化。

另據新浪科技，在今天開幕的 2025 世界 AI 大會上，圖靈獎得主、中國科學院院士、上海期智研究院院長姚期智表示，“AI 快速發展但是只掌握在少數國家、少數公司手中，如何才能確保 AI 發展中不會出現我們擔憂的數字鴻溝問題，這是個很值得討論的問題。”