由同濟大學(xué)和上海市楊浦區(qū)人民政府聯(lián)合主辦的2025年世界人工智能大會智能社會論壇7月27日在上海舉辦。中國工程院院士吳世忠在會上做了題為《大模型安全治理的現(xiàn)狀與展望》的主旨演講。以下為演講的主要內(nèi)容。

尊敬的各位領(lǐng)導(dǎo)、專家、同志們、朋友們，大家下午好！

非常高興參加“2025世界人工智能大會智能社會論壇”。當(dāng)前，人工智能治理已成為全球高度關(guān)注的熱門話題。一年多來，我們跟蹤、研究人工智能發(fā)展和治理動態(tài)，今天借此機會將部分觀察和體會與大家分享，涉及三方面內(nèi)容：一是技術(shù)發(fā)展與安全態(tài)勢；二是全球政策和監(jiān)管動向，三是未來挑戰(zhàn)和發(fā)展建議。

技術(shù)發(fā)展和安全態(tài)勢

生成式人工智能技術(shù)憑借強大的多語言理解和生成能力，已廣泛應(yīng)用于科學(xué)、教育、醫(yī)療、金融等行業(yè)，并向多模態(tài)、具身方向快速演進。可謂技術(shù)創(chuàng)新日新月異，應(yīng)用推廣勢不可擋。尤其是近一年內(nèi)，人工智能技術(shù)迭代更加迅速，大模型發(fā)展應(yīng)用走深走實。有四點觀察與大家分享。

一是模型思考，由快到慢。ChatGPT剛普及時，反應(yīng)快但容易出錯。隨著思維鏈以及長上下文技術(shù)的發(fā)展，模型開始從勤學(xué)好答轉(zhuǎn)變?yōu)樯钏际鞈]，快回答正在轉(zhuǎn)向慢推理。

二是技術(shù)應(yīng)用，由點到面。大模型從能說會道，發(fā)展到能說會動，再到能跑會跳。多語言、多模態(tài)帶來多場景的廣闊應(yīng)用，并更加深入、徹底、全面的滲透改造經(jīng)濟、文化等人類社會的方方面面。

三是中美差距，由大到小。一年來，DeepSeek、通義千問等國內(nèi)系列模型，在算法上積極創(chuàng)新，已成為全球開源社區(qū)頂流，越來越多的國產(chǎn)模型正在向世界展示中國技術(shù)與中國方案。

四是科學(xué)影響，由廣到深。人工智能已經(jīng)成為一門重要的基礎(chǔ)學(xué)科，開啟了科學(xué)研究的新范式。去年，諾貝爾物理學(xué)獎和化學(xué)獎都授予了人工智能領(lǐng)域的學(xué)者，這在科技發(fā)展史上都是空前的。

從應(yīng)用推廣上看，人工智能技術(shù)和社會的互動也表現(xiàn)出顯著的特點。不斷發(fā)展的技術(shù)創(chuàng)新激發(fā)了更多應(yīng)用場景，而應(yīng)用反饋也在不斷驅(qū)動算法優(yōu)化創(chuàng)新。治理約束則貫穿其中，保障技術(shù)創(chuàng)新與應(yīng)用推廣的健康可持續(xù)發(fā)展。

講到大模型的發(fā)展，必然要提到安全。安全問題在這十年來不斷深入、聚焦，目前看主要涉及四個方面。

一是內(nèi)在的模型安全風(fēng)險。這主要是模型不可解釋性、魯棒性、幻覺干擾和不可控的風(fēng)險。這是技術(shù)與生俱來的。

二是新型的倫理挑戰(zhàn)風(fēng)險。尤其是對價值觀、意識形態(tài)、個人隱私的保護、歧視偏見以及就業(yè)帶來的影響。這是過去信息技術(shù)時代較少涉及的。

三是衍生的應(yīng)用安全風(fēng)險。深度偽造、淺度偽造、欺詐等給社會治理、數(shù)據(jù)安全、文化安全帶來嚴(yán)峻挑戰(zhàn)。

四是潛在的國家安全風(fēng)險。主要是信息干擾、操縱以及智能武器、軍事化方面的風(fēng)險。

全球政策和監(jiān)管動向

在上述背景下，世界各國都高度關(guān)注人工智能的風(fēng)險隱患，推動監(jiān)管需求不斷走高。盡管目前美國等西方國家的主論調(diào)是放松監(jiān)管，但從長遠趨勢來講，監(jiān)管呼聲和需求將會越來越高。特別是近一年多來，國際AI企業(yè)、大咖紛紛表示，通用AI奇點將至。時間從幾十年到十幾年，眾說紛紜，甚至有學(xué)者認為幾年內(nèi)就將實現(xiàn)通用智能。在這種快速發(fā)展情況下，安全問題引發(fā)更多人的擔(dān)憂。主要動向有：

一是AI領(lǐng)軍人物紛紛呼吁重視安全風(fēng)險。此次大會嘉賓諾獎得主杰弗里·辛頓教授，幾年來持續(xù)呼吁高度關(guān)注安全問題。圖靈獎得主本吉奧一直致力于推進人工智能安全方面的研究和治理。楊立昆盡管相對樂觀，但依然提出要在設(shè)計中間就把安全考慮好。前谷歌CEO施密特在最近的訪談中也多次強調(diào)，人工智能的發(fā)展?jié)撃鼙粐?yán)重低估，必須高度關(guān)注安全風(fēng)險。

二是全球主要國家和組織積極應(yīng)對安全挑戰(zhàn)。非常典型就是歐盟，歐盟主要把自己定位為人工智能的應(yīng)用方，制定《人工智能法案》，采取強監(jiān)管的策略，針對10的25次方flops運算大模型設(shè)定嚴(yán)格監(jiān)管要求。美國特朗普政府持續(xù)放松監(jiān)管，主要是為了保持技術(shù)領(lǐng)先地位。另外，國際組織，無論是聯(lián)合國還是G7等，都在廣泛推進治理策略的制定。還有學(xué)術(shù)團體，包括產(chǎn)業(yè)界，也紛紛提出政策建議，希望能夠把發(fā)展和安全統(tǒng)籌好。

三是先發(fā)國家紛紛成立專門機構(gòu)研究安全對策，搶占治理話語權(quán)和領(lǐng)導(dǎo)權(quán)。在美、英牽頭下，全球近十個國家成立了AI安全研究機構(gòu)，開展安全風(fēng)險、安全測評和安全治理的技術(shù)和對策研究。特別值得關(guān)注的是，西方多國發(fā)起了全球AI安全峰會，組建了安全研究機構(gòu)網(wǎng)絡(luò)，開展了大模型跨國間安全測評，著手國際治理的謀劃和實踐。從前年的倫敦峰會，到去年的首爾峰會，再到今年初的巴黎峰會，治理方向和主題也出現(xiàn)一些新的變化。前兩次是安全優(yōu)先，巴黎峰會主題則更加寬泛，強調(diào)開放、包容，促進發(fā)展。多方和區(qū)域的作用得到不斷強化，科技界、產(chǎn)業(yè)界等多方機構(gòu)從技術(shù)、應(yīng)用、標(biāo)準(zhǔn)等方面積極發(fā)聲，推動更加靈活的治理。再者，就是地緣政治更加極化。過去，歐洲、中國、美國治理方面各成體系。到今年，全球治理基本聚焦美國和中國。幾天前，美國發(fā)布了“人工智能行動計劃”，明確提出通過“加速AI創(chuàng)新，建設(shè)AI基礎(chǔ)設(shè)施，引領(lǐng)國際AI外交和安全”這三大核心支柱，贏得全球AI競賽。昨天，我國也公布了人工智能全球治理行動計劃。針對人工智能治理的競爭，日益激烈。此外，國外人工智能安全研究所的最新變化也值得關(guān)注：美國將安全研究所改名為標(biāo)準(zhǔn)和創(chuàng)新研究中心；英國把研究所名稱中的安全由safety改成security。一個名稱改變、一個名詞之差，表明了人工智能安全關(guān)切的內(nèi)在變化，即更加關(guān)注安全隱患與社會發(fā)展的深度關(guān)聯(lián)。

四是我國在AI治理方面系統(tǒng)布局、穩(wěn)步推進。我們堅持統(tǒng)籌發(fā)展與安全，發(fā)布了推進人工智能技術(shù)發(fā)展，安全監(jiān)管和倫理規(guī)范的系列文件；秉承“以人為本，智能向善”，公布了人工智能治理全球倡議。我們堅持邊發(fā)展邊治理的基本原則，希望探索出一條具有中國特色和中國智慧的治理路徑。我們有戰(zhàn)略規(guī)劃和政策方面的引導(dǎo)，牽頭組織相應(yīng)技術(shù)攻堅和產(chǎn)業(yè)布局，在社會治理方面，網(wǎng)信辦在加強大模型倫理對齊和合規(guī)備案的同時，與多部委齊心協(xié)力，在全國推進人工智能社會應(yīng)用和治理實踐。上海楊浦區(qū)就是其中一個典型實踐。

在探索安全治理過程中，測評技術(shù)成為衡量大模型智能水平、安全性能等指標(biāo)的重要手段。近年來，國內(nèi)人工智能測評大致分為四個方面，第一類是合規(guī)性測評，支撐模型備案，這方面工作越做越細，效果越來越好；第二類是商業(yè)發(fā)展的評比，在促進技術(shù)迭代，激發(fā)應(yīng)用創(chuàng)新等方面積極作為；第三類是基準(zhǔn)測試，主要是學(xué)術(shù)領(lǐng)域?qū)δＰ退惴ā?shù)據(jù)集、軟件棧等各種功能組件的性能評判，有效促進技術(shù)發(fā)展和安全提升；第四類是系統(tǒng)評估，維護國家安全，主要是對大模型應(yīng)用從硬件、軟件、模型、數(shù)據(jù)、應(yīng)用等多個層面、多個維度的測試評估，促進技術(shù)自主可控、科技自立自強，也取得了顯著成效。

未來挑戰(zhàn)和發(fā)展建議

展望未來，大模型的推廣應(yīng)用是大勢所趨、人心所向。大模型治理依然挑戰(zhàn)嚴(yán)峻、任重道遠。從宏觀上講，治理面臨的困難主要是以下四大方面。

一是技術(shù)本身的復(fù)雜性。模型不透明導(dǎo)致權(quán)責(zé)劃分、倫理規(guī)范的制定十分困難。

二是技術(shù)創(chuàng)新與監(jiān)管面臨兩難。簡單而言，就是“一管就死，一放就亂”。如何求得創(chuàng)新發(fā)展和安全監(jiān)管的平衡是全球性的治理難題。

三是商業(yè)利益和社會責(zé)任的平衡。在人工智能發(fā)展過程中，產(chǎn)業(yè)界特別是科技界發(fā)揮著原創(chuàng)、基礎(chǔ)和關(guān)鍵性作用。OpenAI的管理層“宮斗”就是例證。商業(yè)利益和社會責(zé)任難以平衡是AI產(chǎn)業(yè)發(fā)展的難題。

四是大國之間的信任缺失。因為文化傳統(tǒng)、政治體制、價值觀、道德觀以及發(fā)展階段的不同，大國之間在AI發(fā)展治理方面很難達成一致，給全球治理又新增了一個難題。

在這種情況下，全球?qū)⑾Ｍ哪抗馔断蜃哌M世界舞臺中心的中國，時代也給我們提供一個主動作為，體現(xiàn)擔(dān)當(dāng)?shù)臋C會。我國經(jīng)過十年謀劃和布局，已經(jīng)探索出一套體現(xiàn)中國智慧的治理路徑，包括技術(shù)自立、應(yīng)用引領(lǐng)、安全為本、國際合作和倫理規(guī)范。只要我們保持戰(zhàn)略定力，堅持久久為功，繼續(xù)突破核心技術(shù)的瓶頸、提升安全測評的能力、完善法治倫理的規(guī)范以及增強全球治理的主動，我們就一定能為世界奉獻具有中國特色的AI治理方案。為此，我提出四點發(fā)展建議。

一是要加強創(chuàng)新驅(qū)動，以新型舉國體制推動技術(shù)發(fā)展和應(yīng)用賦能，重點在于突破關(guān)鍵技術(shù)點，打造核心產(chǎn)業(yè)鏈，形成垂域應(yīng)用面。這需要我們充分發(fā)揮體制優(yōu)勢、組織優(yōu)勢和政策的優(yōu)勢，始終把發(fā)展作為第一要務(wù)。

二是要加強安全研究，推進安全測評。確保大模型在關(guān)鍵行業(yè)、重要部門、重點單位和敏感部位的應(yīng)用做到安全穩(wěn)妥，有效防控安全風(fēng)險。

三是要加強倫理規(guī)范，以中華傳統(tǒng)文化為根基，賡續(xù)大模型文明血脈。未來，全球模型掌握的知識將會趨同，唯一不同的就是文化底色。這是區(qū)分各國模型間根本的區(qū)別。將中國的倫理道德和傳統(tǒng)文化融進大模型，不僅需要細化倫理準(zhǔn)則，構(gòu)建法規(guī)體系，還要強化技術(shù)保障，使倫理和法規(guī)能夠落實落地。

四是要落實全球倡議，加強國際合作。主要是細化實化人類命運共同體理念，推進國際治理框架的互認互信，包括推動線上線下國際合作與交流。世界人工智能大會就是很好的平臺。昨天，我們正式公布將成立世界人工智能合作組織。這更是體現(xiàn)我國大國擔(dān)當(dāng)?shù)膭?wù)實舉措，必將為人工智能的全球治理注入新的活力和智慧。

各位嘉賓、同志們、朋友們，最后我想基于我們的觀察，給學(xué)術(shù)研究界的同行們提三點倡議。

一是總結(jié)近15年人工智能方面的科學(xué)研究發(fā)現(xiàn)，安全研究相對技術(shù)發(fā)展已經(jīng)嚴(yán)重滯后，需要安全兜底、及時跟上。

二是十年樹木百年樹人。模型學(xué)習(xí)人類的知識已經(jīng)快到只需幾個月，但要學(xué)會人類的倫理道德，不是一年半載就能成的事情，需要技術(shù)賦能、及時跟進。

三是科學(xué)和工程領(lǐng)域人工智能研究突飛猛進，但人文社會科學(xué)方面的研究略微顯得不足，社會發(fā)展需要技術(shù)創(chuàng)新的銳度，技術(shù)創(chuàng)新更需要社會人文的溫度。大模型乃至人工智能的發(fā)展、安全與治理，迫切需要人文滋養(yǎng)、及時跟隨。這樣，才能更好推動智能向善，才能最終實現(xiàn)同球共濟。