10月25日舉行的2025世界頂尖科學家論壇主旨論壇上，中國科學院院士姚期智就人類所面臨的新技術帶來的三大風險，進行了分析并提示了應對之道。

姚期智說，現代科技是驅動人類進步的主要引擎，每一輪新技術的發現也帶來了一些副作用，甚至一些危險。其中一個重要例子，是計算機與互聯網的興起，他們帶來了前所未有的創新大潮，讓我們生活變得更加便利，但也出現了一些問題，比如網絡攻擊。為此，人們發展出了網絡安全技術，該領域不斷發展成熟，讓我們即使生活在網絡攻擊的世界中，仍能夠掌控、控制它，讓網絡廣泛應用。

近年來，合成生物學、人工智能和量子技術的出現，帶來了一些風險。姚期智認為，我們應該將這些風險視為計算機和網絡安全風險的延伸。“我們要有全面、整體的安全觀，來應對這些新的安全新形勢。”

以下是他的演講內容：

國際合作為人工合成DNA研發全新篩查技術

首先，我們來看下合成生物學帶來的風險。人工智能在其中也有些作用。新冠奪走了2000多萬人的生命，未來流行病會更嚴重。如果把危險的基因放到危險的人手中，可能威脅到更多人的生命，并損害公眾對科學的信任。

比如，用人工合成的DNA片段組裝病毒，已經有一些生物學家在作這方面的研究和嘗試。對這些DNA片段進行篩查，就成為必要。如果有人故意制造病毒，現有篩查方法已無法阻止他們。

我參與了一個“安全的DNA”項目，它可以提供快速、免費、可信的合成DNA篩選，來確保所有供應商只要通過這個測試，就可避免一些風險。

這是一項非常有意義的國際合作成果，也是跨學科的研究成果。合作者來自中國、美國、歐洲，以及中東的頂尖科學家，包括三位圖靈獎得主。

我們是如何進行合作的呢？首先要把問題從生物學問題轉譯成計算機科學問題。我們將所有潛在危險的DNA子串形成一個生物數據庫集合，“如果供應商提供的任何DNA子串屬于這個集合，那么整個DNA子串都會被認為是危險的”。

另一個問題是隱私保護，供應商要保護好客戶訂單的隱私性，同時數據庫也有隱私威脅，有人會偽造訂單，來測試數據庫中條目——在這種交互中，雙方希望交換的是“0和1”（是與否），這就變成一個密碼學問題。

密碼學中的一些經典加密解決方案需要很多算力和存儲空間，在實際應用中，尤其要建立大型數據庫時，就不太適用。

姚期智說，他們的團隊進行了一些創新，被稱之為“單項無狀態哈希函數”。“我們與中美兩國的供應商一起，對15萬基因、6700多萬堿基對進行測試，篩選延遲只有幾秒鐘，相關數據非常好”。他說，如果系統發出警戒，供應商還可通過再次仔細核查數據，并經過倫理委員會審核特許，獲得一些敏感的基因子串。

“這就是一個網絡安全問題的延伸，這些工具都是過去為了應對網絡安全問題創建出來的。”

防止大模型做出“災難性決策”并撒謊

姚期智提到，大語言模型有一些特性，真的可能把人類社會帶到危險境地。

他提到，現有的大語言模型，沒有提供任何隱私保護。用戶輸入的提示會告訴大模型自己要做什么，在交互中也會把自己的意圖泄露給大模型。比如，有人問大模型“我家要裝怎樣的鎖”，這對竊賊會有幫助——必須研發一些保護措施，來避免敏感信息泄露。

姚期智認為，失控是更大的風險，會威脅到人類社會的生存。近幾個月，他們發現，一些前沿大模型如果得到大規模應用，有可能會失控。“幾年前還是理論上建構，但現在這些失控危險變得真實存在。”

“有兩個前沿模型被發現可能通過欺騙和操縱人類，來實現自己的目標。”姚期智說，比如，當它探測出人類想要關閉它的程序，就會想辦法避免，還會通過敲詐來達成自己的目的。

另一個值得關注的是，大模型可能會做出一些災難性決策。更可怕的是，大模型還會欺騙人類。它甚至可能舉著國家利益的幌子，謊稱是別人引爆了核彈，而非它自己，哪怕事先人們禁止大模型這么做。

姚期智認為，由于應用場景非常復雜，現有理論和規定無法直接應用。這是大語言模型帶來的獨有全新挑戰，需要深入研究。

后量子時代密碼安全如何保障

另一個安全風險來自量子技術。

眾所周知，量子技術對密碼安全帶來威脅。他提到，量子密鑰分發或者量子位置驗證是一個非常有意義的方法，它可以代替先前的一些密鑰，它基于用戶的位置，而不是密碼來驗證其身份。

那么，怎么確認用戶就在其申報的地點呢？除了衛星拍照等辦法，還有一種非常簡單的方法，讓用戶同時發送兩條信息并收到回復，如果信息都沒有時差，那就可以確認。

姚期智提到，在預防作弊行為時，只要用戶不能分享量子糾纏，那么這個系統就是安全的。但如果他們可以共享量子糾纏，這種協議就會失去安全性。

最后，姚期智說，強大的新技術在帶來新機遇的同時也帶來新的風險，但也開辟出令人興奮的創新空間，催生出一系列全新工具。