一、人工智能與化學和生物風險的交叉問題
該主題深入探討了人工智能模型在化學和生物風險評估中的應用、挑戰和未來發展方向，為制定相應的科學評估方法和政策提供了重要參考。
會議首先回顧了以往完成的人工智能模型評估項目，分析了其中的經驗與教訓。研究發現，現有的評估方法在處理復雜的化學和生物威脅時存在一定的局限性。由于化學和生物威脅具有高度復雜性和適應性，早期的評估方法無法全面、準確模擬惡意行為者的應對策略。為了解決這一問題，與會專家建議采用模擬工具等動態評估技術，以更精準地捕捉惡意行為者的應對策略和行為模式。此外，會議強調了根據模型用途分類構建威脅模型的必要性。當前，專用模型和通用模型都面臨著被惡意濫用的風險。特別是專用模型，其獨特的風險配置文件更易被惡意利用。因此，對這兩類模型進行更細致的評估至關重要。
會議還討論了下一輪模型評估的需求和優先事項。其中，獲取模型和評估工具的權限成為一個關鍵議題。目前，法律和合同框架對數據共享和評估行為的限制，尤其是保密協議的普遍存在，使得獨立研究人員難以全面評估模型的能力和潛在風險。與會者呼吁建立共享機制，提高對模型開發階段的可見性，特別是對于計劃開源的模型，以便更好地理解和控制其潛在風險。
總體而言，該主題系統闡述了人工智能與化學和生物風險的交叉領域面臨的挑戰。
二、開發者與用戶的控制權喪失的問題
在人工智能領域的研究與應用中，“控制權喪失”這一議題始終占據著關鍵地位，其核心在于探討當人工智能系統的行為超出開發者或使用者預先設定的邊界時，可能引發的一系列復雜問題。隨著技術的飛速發展，這一領域的挑戰也日益凸顯。
在模型自主性方面，METR[1]（前身為ARC evals）提出了針對自主性評估的深入研究。METR強調，與傳統的以增強惡意行為者能力為中心的威脅模型不同，人工智能的自主威脅主要源于人工智能在缺乏明確惡意目標的情況下，獨立執行潛在有害行動的能力。這些行動可能包括網絡釣魚攻擊、操控數字基礎設施等。METR提出，盡管目前自主人工智能行動的全部范圍尚未完全展現，但有必要進行充分的準備和警惕，以預測和應對這些新型威脅。為了更準確地評估相關自主能力，METR開發了一系列任務，如實施機器學習研究、改進人工智能代理的腳手架以及管理大型復雜代碼庫等。
在欺騙性評估方面，阿波羅研究中心通過演示驗證了人工智能系統在特定情境下的欺騙能力，揭示了欺騙行為可能源于復雜人工智能系統的意外結果，而并非僅僅是惡意行為者的故意行為，這一發現進一步凸顯了防范人工智能欺騙行為的緊迫性。為了應對這一挑戰，阿波羅研究中心提出了建立“評估科學”的構想，倡導綜合運用多種技術手段揭示和理解人工智能模型的欺騙行為，例如直接誘導、設置陷阱以及利用可解釋性方法等。此外，阿波羅研究中心還強調了借鑒其他人工智能風險領域（如公平性和偏見）的文獻和專業知識，以及參考其他高風險系統（例如商業航空）的保證生態系統的必要性，以有效解決人工智能保證生態系統中的倫理、技術和運營難題。
控制權喪失主題以嚴謹的學術態度，深入剖析了人工智能系統的自主性和欺騙性問題。通過詳細探討METR和阿波羅研究中心的研究成果，為未來人工智能模型在控制權喪失領域的評估工作提供了寶貴的指導和參考。
三、風險不可知論方法框架的問題
風險不可知論方法框架旨在制定一種風險不可知的方法論框架，以增強模型評估的穩健性。會議首先探討了多種評估方法，包括紅隊測試、自動化基準測試以及復雜任務設計。與會者們強調，在模型開發不斷進步的背景下，穩健的評估方法對于衡量前沿模型的潛在風險至關重要。會上，一位蘭德公司的主持人展示了一張草稿表格，列出了主要評估方法的關鍵屬性，如可重復性、深度和通用性，以促進討論。該框架旨在通過分解評估方法的核心維度，促進對不同方法優勢與局限性的深入理解，從而為模型能力提供有力證據。
會議還討論了如何在擴大評估工具的可及性以促進創新和社區審查的同時，確保評估的完整性、穩健性和有效性。重點強調了保留任務的重要性，即在評估時保持模型的未知性，并探討了運用密碼學哈希技術來保護評估數據完整性的方法。這些措施對于防止評估數據被納入模型訓練集、維護評估穩健性至關重要。此外，會議還提出了在促進透明度與維護評估完整性及穩健性之間尋求平衡的必要性。
在評估的穩健性和有效性方面，METR提出了一系列關鍵問題，為構建有效評估提供了基礎，同時認識到了解方法局限性的重要性。如評估需要忠實于相關威脅模型，評估的可擴展性以及如何識別評估問題的警告信號等。此外，與會者還討論了評估獨立模型與評估更廣泛系統之間的區別，強調了根據威脅模型進行評估的必要性。
四、多元主體的協作與協調問題
多元主體的協作與協調，旨在推動人工智能研究與開發專家、政策研究人員及專業人士之間的對話。與會者提出了未來工作中需要解決的若干開放性問題。強調了對模型開發進行前瞻性風險管理的重要性，因為很難預測未來的模型能力。前沿模型的雙重用途和通用性使其可能被惡意行為者利用以造成重大損害。為了確保有效開發緩解措施，會議確定了評估人工智能輸出的質量和準確性、考慮威脅模型的廣度以及模型部署的操作環境的必要性。如今，紅線旨在主動識別負責任的模型部署的風險閾值，如果超過這些閾值，則需要采取重大應對措施。這些閾值仍在開發中，可能支持創建標準和最佳實踐。
在本次會議中，參與者研討了一條從模型的初步探索性評估到制定標準的路徑。這條路徑需要包括學術界、工業界和政府在內的各個領域的利益相關者的協作努力，他們被邀請識別模型開發的基本倫理和安全要素。這種方法將指導政策制定和探索性評估，促進前沿模型的負責任發展和部署。從這些評估中獲得的見解將為風險評估、緩解和標準制定的迭代過程提供信息。然而，達成關于紅線的共識構成挑戰，因為模型能力具有復雜且往往模糊的性質。實現這些問題的共識需要廣泛聯盟的協調努力。這一過程中不可或缺的策略包括組織專題研討會、維持持續對話以及考慮私營部門的見解和創新。
此外，會議還探討了在負責任的能力擴展（RCS）背景下，在人工智能開發中建立明確風險閾值的可行性和影響。RCS是領先人工智能實驗室用來管理開發和部署前沿人工智能系統相關風險的框架，包括風險評估、預設風險閾值以及在這些閾值上的緩解承諾——包括在必要時暫停開發或部署。然而，會議強調，由于風險和收益的漸變性質，劃定可接受風險與不可接受風險的界限具有挑戰性。與會者指出，實施風險閾值將需要提高人類理解和衡量人工智能風險和收益的能力，但他們也強調了擁有明確決策邊界的重要性。討論還揭示了人工智能風險管理的多面性。與會者強調了進行徹底和定期評估以衡量預訓練改進和更隱蔽的后訓練進展的重要性?？紤]到評估的成本和后勤挑戰，會議參與者探索了人工智能風險評估與生物風險評估之間的類比，并建議人工智能可以借鑒生物風險評估的重新評估標準——例如在用于訓練模型的計算能力顯著增加或模型的操作環境發生變化后進行評估。此外，對話強調了及時制定和實施有效緩解策略的重要性，這需要向預測性治理轉變，重點是預測潛在危害，并在這些風險顯現之前啟動保護措施。會議最后提出了定期并及時評估及采取緩解措施的建議，強調了實施持續評估人工智能系統的重要性——無論是在訓練期間還是之后——以捕捉改進并迅速解決新興風險。此政策行動旨在通過確保緩解策略有效并得到實施，以適應前沿模型的不斷發展和部署，從而預防潛在濫用。
五、結論
前沿模型評估科學日會議著重強調了合作以及跨學科協作對于有效降低先進人工智能系統潛在風險的關鍵作用。會議所探討的各個主題揭示了高性能人工智能所關聯的復雜風險圖景，涵蓋了自主性濫用、化學與生物威脅以及欺騙能力等多方面內容。
基于會議提出的政策建議，提倡采取多元化的策略，這其中包括優化評估手段、強化法律與倫理框架、保障模型及評估工具的廣泛獲取，以及在相關利益方之間培育共同責任的文化。
盡管這些措施為應對人工智能帶來的挑戰奠定了基礎，但必須認識到，它們并未能為會議中提出的緊迫問題提供立竿見影的解決方案。所提出的行動倡議只是一個起點，旨在實現前瞻性治理，使利益相關者能夠跟上人工智能的快速發展的步伐，并制定出有效的干預措施。然而，要直接應對會議中所強調的具體風險和挑戰，還需要進一步開展研究工作、加強合作并實施精準的舉措。通過營造開放對話、嚴謹評估以及積極政策制定的環境，便可以開始應對人工智能復雜雙重用途的特性。盡管目前仍面臨諸多重大挑戰，但協作以及適應性策略為在保障人工智能收益的同時防范其風險、推動其進步，以促進社會和全球安全做出了積極貢獻。
京公網安備 11011402013531號