6 月 4 日消息，金融時報（FT）昨日（6 月 3 日）發(fā)布博文，報道稱“AI 教父”約書亞?本希奧（Yoshua Bengio）成立 LawZero 非營利組織，致力于開發(fā)“誠實”的 AI 系統(tǒng)，用以識別“流氓”AI 系統(tǒng)。

簡要介紹下本希奧，他是來自蒙特利爾大學(xué)的教授，因與 Geoffrey Hinton、Yann LeCun 共享 2018 年圖靈獎（被視為計算機領(lǐng)域的諾貝爾獎），而被譽為“AI 教父”。

LawZero 的使命是開發(fā)一種“誠實”的 AI，專門監(jiān)控那些無需人類干預(yù)即可執(zhí)行任務(wù)的 AI 智能體，防止它們表現(xiàn)出欺騙或自我保護行為，例如試圖阻止人類關(guān)閉系統(tǒng)。

本希奧正在研發(fā)的系統(tǒng)名為 Scientist AI，旨在成為 AI 智能體的“守衛(wèi)”。他將現(xiàn)有的 AI 智能體比作“演員”，它們模仿人類、取悅用戶，而 Scientist AI 則更像一位“心理學(xué)家”，能夠理解并預(yù)測不良行為。

該系統(tǒng)不會給出確切答案，而是以概率形式評估答案的正確性，體現(xiàn)出一種“謙遜”態(tài)度。它還能預(yù)測 AI 智能體行為導(dǎo)致危害的概率，若概率超過閾值，系統(tǒng)將阻止相關(guān)行動。

LawZero 的初始支持者包括 AI 安全機構(gòu) Future of Life Institute、Skype 創(chuàng)始工程師 Jaan Tallinn 以及前谷歌 CEO Eric Schmidt 創(chuàng)立的 Schmidt Sciences。LawZero 初始資金約 3000 萬美元，擁有十余名研究人員，本希奧擔(dān)任主席。

本希奧表示，該項目第一步是驗證該概念的方法論是否可行，隨后說服企業(yè)或政府支持更大規(guī)模、更強大的版本。他計劃從開源 AI 模型入手訓(xùn)練系統(tǒng)，并呼吁投入更多資源，確保“守衛(wèi)”AI 與前沿 AI 同步發(fā)展。他警告，若 AI 智能體能在無人類監(jiān)督下完成更長任務(wù)序列，可能引發(fā)“嚴重”破壞。