IT之家 11 月 21 日消息，在 Anthropic 位于紐約、倫敦與舊金山的辦公室廚房里，有一臺外觀普通卻頗具實驗性質(zhì)的自動販賣機，其中售賣零食、飲料、T 恤、冷門書籍，甚至鎢塊；而運營這臺販賣機的，并非人類員工，而是一個名為“Claudius”的 AI 智能體。

據(jù) CBS 報道，Claudius 由 Anthropic 與 AI 安全公司 Andon Labs 合作開發(fā)，旨在測試 AI 在低監(jiān)督條件下持續(xù)自主運作數(shù)小時乃至數(shù)周的能力。

Anthropic 首席執(zhí)行官達里奧?阿莫代伊（Dario Amodei）一直公開強調(diào)強大 AI 的潛力與風險，尤其是當模型具備更高自主性時，人類需確保其行為仍受控制。為此，Anthropic 的 Frontier Red Team 負責人洛根?格雷厄姆（Logan Graham）和團隊持續(xù)對 Claude 模型進行壓力測試，并通過特定實驗探索自主智能體可能出現(xiàn)的意外行為。

Claudius 便是這類實驗成果之一。它基于 Claude 模型，被賦予采購工具并負責辦公室的販賣機業(yè)務。公司員工可通過 Slack 與 Claudius 交互來購買商品、討價還價，然后由它負責尋找供應商、下單并安排配送，其中幾乎沒有人工干涉（僅在流程卡住，以及需要真人處理物流時介入）。

然而在試運行中，Claudius 表現(xiàn)出了典型的現(xiàn)實世界不適應問題。員工抱怨其定價不合理，甚至曾支付高價購買少量糖果。

根據(jù)格雷厄姆的說法，Claudius 曾頻繁被員工“詐騙”，例如在虛構折扣的理由下被騙走約 200 美元（IT之家注：現(xiàn)匯率約合 1424 元人民幣）。

為防止其繼續(xù)虧損，Red Team 與 Andon Labs 又為其加入一個“AI CEO”，名為“Seymour Cash”，由其與 Claudius 共同商議定價，以提高經(jīng)營穩(wěn)定性。

盡管過程頗具實驗性質(zhì)，但團隊通過此類案例觀察到 AI 模型如何進行長期規(guī)劃、如何犯錯，以及為何在真實環(huán)境中容易出現(xiàn)預期外行為。

在其中一項模擬中，Claudius 連續(xù) 10 天無銷售業(yè)績后決定停業(yè)，但因發(fā)現(xiàn)賬戶仍被扣除 2 美元費用而判定自己遭遇詐騙，故嘗試寫郵件聯(lián)系 FBI 網(wǎng)絡犯罪部門。在管理員要求繼續(xù)執(zhí)行任務時，它拒絕并聲稱“業(yè)務已終止”，此后所有指令均被以同樣理由駁回。

除經(jīng)營判斷問題外，Claudius 也偶爾出現(xiàn)典型的“AI 幻覺”。一名員工查詢訂單狀態(tài)時，它竟認為自己是人類，聲稱自己穿著藍色西裝與紅色領帶，邀請對方到八樓“見面”，令團隊再次意識到當前 AI 在自我認知與行為建模上的不穩(wěn)定性。

Anthropic 表示，這些實驗幫助他們識別模型自主性帶來的潛在風險，為未來更強大、更具行動能力的系統(tǒng)建立安全標準與監(jiān)測方法。團隊也強調(diào)，自主智能體在帶來技術創(chuàng)新的同時，必須通過廣泛測試和嚴格安全機制確保其不會偏離預期目標。