6 月 4 日消息，金融時報（FT）昨日（6 月 3 日）發布博文，報道稱“AI 教父”約書亞?本希奧（Yoshua Bengio）成立 LawZero 非營利組織，致力于開發“誠實”的 AI 系統，用以識別“流氓”AI 系統。

IT之家簡要介紹下本希奧，他是來自蒙特利爾大學的教授，因與 Geoffrey Hinton、Yann LeCun 共享 2018 年圖靈獎（被視為計算機領域的諾貝爾獎），而被譽為“AI 教父”。

LawZero 的使命是開發一種“誠實”的 AI，專門監控那些無需人類干預即可執行任務的 AI 智能體，防止它們表現出欺騙或自我保護行為，例如試圖阻止人類關閉系統。

本希奧正在研發的系統名為 Scientist AI，旨在成為 AI 智能體的“守衛”。他將現有的 AI 智能體比作“演員”，它們模仿人類、取悅用戶，而 Scientist AI 則更像一位“心理學家”，能夠理解并預測不良行為。

該系統不會給出確切答案，而是以概率形式評估答案的正確性，體現出一種“謙遜”態度。它還能預測 AI 智能體行為導致危害的概率，若概率超過閾值，系統將阻止相關行動。

IT之家