6 月 4 日消息，金融時報（FT）昨日（6 月 3 日）發布博文，報道稱“AI 教父”約書亞?本希奧（Yoshua Bengio）成立 LawZero 非營利組織，致力于開發“誠實”的 AI 系統，用以識別“流氓”AI 系統。

簡要介紹下本希奧，他是來自蒙特利爾大學的教授，因與 Geoffrey Hinton、Yann LeCun 共享 2018 年圖靈獎（被視為計算機領域的諾貝爾獎），而被譽為“AI 教父”。

LawZero 的使命是開發一種“誠實”的 AI，專門監控那些無需人類干預即可執行任務的 AI 智能體，防止它們表現出欺騙或自我保護行為，例如試圖阻止人類關閉系統。

本希奧正在研發的系統名為 Scientist AI，旨在成為 AI 智能體的“守衛”。他將現有的 AI 智能體比作“演員”，它們模仿人類、取悅用戶，而 Scientist AI 則更像一位“心理學家”，能夠理解并預測不良行為。

該系統不會給出確切答案，而是以概率形式評估答案的正確性，體現出一種“謙遜”態度。它還能預測 AI 智能體行為導致危害的概率，若概率超過閾值，系統將阻止相關行動。

LawZero 的初始支持者包括 AI 安全機構 Future of Life Institute、Skype 創始工程師 Jaan Tallinn 以及前谷歌 CEO Eric Schmidt 創立的 Schmidt Sciences。LawZero 初始資金約 3000 萬美元，擁有十余名研究人員，本希奧擔任主席。

本希奧表示，該項目第一步是驗證該概念的方法論是否可行，隨后說服企業或政府支持更大規模、更強大的版本。他計劃從開源 AI 模型入手訓練系統，并呼吁投入更多資源，確保“守衛”AI 與前沿 AI 同步發展。他警告，若 AI 智能體能在無人類監督下完成更長任務序列，可能引發“嚴重”破壞。