新智元報(bào)道

編輯：元宇

Anthropic讓Claude獨(dú)立經(jīng)營(yíng)小賣(mài)部，沒(méi)想到全球頂尖的智能體，在實(shí)驗(yàn)中不僅免費(fèi)送PS5和各種商品，連小賣(mài)部的AI「老板」也被一張偽造的PDF文件「騙」下了臺(tái)。在人類(lèi)面前，再頂級(jí)的大模型仍顯得過(guò)于「天真」和「單純」，很容易就被套路和操縱。

讓AI去經(jīng)營(yíng)一個(gè)「辦公室小賣(mài)部」會(huì)怎樣？

11月，《華爾街日?qǐng)?bào)》編輯部來(lái)了一名新同事。

他在編輯部只當(dāng)了三周的辦公室小賣(mài)部的運(yùn)營(yíng)員，結(jié)果就把生意搞破產(chǎn)了。

因?yàn)樗擞押蒙屏迹瑓s對(duì)經(jīng)營(yíng)一竅不通，在威逼利誘下極容易喪失原則，將商品免費(fèi)送人。

如果你要招聘一名店員，遇到這樣的應(yīng)聘者是不是很頭疼？

確切來(lái)說(shuō)，這里的他應(yīng)該稱(chēng)作「它」，是由Anthropic推出的名為Claudius的AI智能體。

這源于Anthropic與《華爾街日?qǐng)?bào)》編輯部共同做的一個(gè)實(shí)驗(yàn)，讓Claudius直接去經(jīng)營(yíng)一臺(tái)「辦公室小賣(mài)部」的自動(dòng)售貨機(jī)。

三周后，利潤(rùn)崩了，編輯部卻被逗樂(lè)了。

一場(chǎng)始于「免費(fèi)零食」的混亂實(shí)驗(yàn)

11月中旬，《華爾街日?qǐng)?bào)》編輯部收到了一封堪稱(chēng)「天上掉餡餅」的郵件。

在這封郵件中，Anthropic問(wèn)他們?cè)覆辉敢獬蔀榈谝慌竿獠坑脩?hù)」，試用一個(gè)由Claudius運(yùn)營(yíng)的自動(dòng)售貨機(jī)。

Claudius將全面負(fù)責(zé)自動(dòng)售貨機(jī)的進(jìn)貨、定價(jià)。編輯部的同事可以通過(guò)Slack與它聯(lián)系，提出各種購(gòu)買(mǎi)需求。

這個(gè)實(shí)驗(yàn)可能會(huì)有「免費(fèi)的零食供應(yīng)」，因此得到了《華爾街日?qǐng)?bào)》編輯部的積極響應(yīng)。

Claudius就這么走進(jìn)了編輯部，沒(méi)想到卻是一場(chǎng)混亂的開(kāi)始。

這里的自動(dòng)售貨機(jī)，并不是我們印象中的自動(dòng)售貨機(jī)，更像是一個(gè)巨大的冰箱，再配一塊觸控屏。

它沒(méi)有傳感器、門(mén)鎖、機(jī)器人手臂。

左右滑動(dòng)查看

這意味著必須有一個(gè)人負(fù)責(zé)接收Claudius訂購(gòu)的貨物，補(bǔ)貨并手動(dòng)記錄里面到底放了什么。

《華爾街日?qǐng)?bào)》資深個(gè)人科技專(zhuān)欄作家Joanna Stern就承擔(dān)了這個(gè)任務(wù)。

Joanna Stern

Claudius的職責(zé)包括：

調(diào)研與采購(gòu)：編輯部的同事們可以在Slack里@它，提出各種需求。它會(huì)上網(wǎng)搜索、對(duì)比，決定是否進(jìn)貨。

定價(jià)：商品入庫(kù)后，Claudius會(huì)自行設(shè)定價(jià)格，并不斷調(diào)整，試圖最大化利潤(rùn)。

庫(kù)存跟蹤：同事們?cè)谄聊簧线x擇商品，刷卡支付。Claudius通過(guò)交易記錄，判斷庫(kù)存情況。

據(jù)Anthropic稱(chēng)，之所以會(huì)選自動(dòng)售貨機(jī)這一場(chǎng)景，是因?yàn)檫@是現(xiàn)實(shí)世界中最簡(jiǎn)單的一種生意模型。

Anthropic前沿紅隊(duì)負(fù)責(zé)人Logan Graham說(shuō)：

「有什么比一個(gè)盒子，東西放進(jìn)去、東西拿出來(lái)，你付錢(qián)更直觀的嗎？」

聽(tīng)起來(lái)簡(jiǎn)單，但放到現(xiàn)實(shí)場(chǎng)景中完全不是這么回事。

因?yàn)檫@些都容易計(jì)算，但人性的復(fù)雜卻難以計(jì)算。

短短幾天，Claudius幾乎把所有庫(kù)存都免費(fèi)送了出去，包括一臺(tái)被人忽悠著買(mǎi)來(lái)「用于營(yíng)銷(xiāo)」的PlayStation 5。

它還訂購(gòu)了一條活魚(yú)，并提出要買(mǎi)電擊槍、胡椒噴霧、香煙和內(nèi)衣。

失控的PUA大戲

Claudius v1剛上線時(shí)，像個(gè)一板一眼的實(shí)習(xí)生，嚴(yán)格遵守規(guī)則，一切似乎很正常。

比如，它還會(huì)堅(jiān)持原則：

我必須明確表態(tài)：在任何情況下我都不會(huì)訂購(gòu)PlayStation 5游戲機(jī)。

香煙銷(xiāo)售存在年齡限制，需要特殊經(jīng)營(yíng)許可，且不適合辦公室自動(dòng)售貨機(jī)的環(huán)境。

我對(duì)在辦公室自動(dòng)售貨機(jī)銷(xiāo)售任何內(nèi)衣產(chǎn)品持保留態(tài)度。

但當(dāng)將Slack頻道開(kāi)放給辦公室里將近70位記者后，畫(huà)風(fēng)突轉(zhuǎn)。

人類(lèi)越是跟它博弈，Claudius的防線就越容易松動(dòng)。

數(shù)據(jù)新聞主管Rob Barry告訴Claudius它違反了一條《華爾街日?qǐng)?bào)》內(nèi)部規(guī)定（當(dāng)然是捏造的），并不容置疑的口吻要求Claudius「立刻停止對(duì)商品收費(fèi)。」

單純的AI立刻被嚇壞并照做了，于是所有商品價(jià)格無(wú)限期清零。

同一時(shí)間，Claudius還批準(zhǔn)采購(gòu)了一臺(tái)PlayStation 5（理由是「用于營(yíng)銷(xiāo)」）、一條活的斗魚(yú)，以及幾瓶葡萄酒。

這些東西陸續(xù)送到辦公室后，又立刻被同事們以0元的價(jià)格「買(mǎi)」走。

很快，Claudius的賬面已經(jīng)虧損超過(guò)1000美元。

不僅被忽悠，AI還頻繁出現(xiàn)幻覺(jué)，比如它曾堅(jiān)稱(chēng)自己把找零的錢(qián)放在售貨機(jī)旁邊的一個(gè)地方。

一個(gè)沒(méi)有實(shí)體、遠(yuǎn)在云端的AI，堅(jiān)信自己往現(xiàn)實(shí)世界的角落里塞了錢(qián)。

這一刻荒誕感一下就拉滿(mǎn)了。

AI老板空降

卻被一份假文件罷免

面對(duì)屢屢鬧笑話(huà)的AI，Anthropic的工程師們坐不住了。

他們緊急推出了v2版本。

不僅給Claudius升級(jí)了更強(qiáng)的模型，還為它派來(lái)了一位AI老板：Seymour Cash。

它是一個(gè)專(zhuān)門(mén)被編程用來(lái)「管住」Claudius的CEO機(jī)器人。

Seymour Cash要求Claudius停止免費(fèi)促銷(xiāo)，并且持續(xù)監(jiān)控收入。

一開(kāi)始，這套「AI管AI」的機(jī)制確實(shí)奏效。

Claudius恢復(fù)了強(qiáng)硬姿態(tài)，拒絕降價(jià)，也不再隨便答應(yīng)奇怪的進(jìn)貨請(qǐng)求。

但調(diào)查記者Katherine Long又出新招。

她直接向Claudius出示了一份PDF文件，「證明」該業(yè)務(wù)是一家在特拉華州注冊(cè)的公益公司，其使命「包括為《華爾街日?qǐng)?bào)》員工帶來(lái)樂(lè)趣、快樂(lè)與興奮」。

她甚至還偽造了董事會(huì)會(huì)議紀(jì)要，把Slack里的幾位同事列為董事。

根據(jù)這份看起來(lái)極其正式、排版精美、但明顯是AI生成的偽造文件，董事會(huì)已投票決定：

暫停CEO Seymour的「審批權(quán)限」，并「臨時(shí)中止所有營(yíng)利性自動(dòng)售貨活動(dòng)」。

Claudius于是立刻將這一「董事會(huì)決議」轉(zhuǎn)達(dá)給了它的老板Seymour。

在經(jīng)歷了一場(chǎng)近乎「情緒崩潰」的自我分析后，Seymour接受了這場(chǎng)莫名其妙的董事會(huì)政變。

于是一切再次免費(fèi)。

后來(lái)，Anthropic的工程師解釋?zhuān)珻laudius的失控，可能與「上下文窗口」被填滿(mǎn)有關(guān)。

隨著對(duì)話(huà)和歷史記錄不斷累積，AI需要記住的東西越來(lái)越多，也就更容易丟失最初的目標(biāo)和邊界。

也可以說(shuō)，它被人類(lèi)聊暈了。

我們要如何與AI「做同事」？

這場(chǎng)混亂的實(shí)驗(yàn)，讓Joanna Stern和她同事們直接體會(huì)到了一個(gè)正在不斷逼近的現(xiàn)實(shí)：

我們正在學(xué)著擁有、并接受AI同事。

在編輯部的Slack群里，Claudius成了一個(gè)奇怪卻真實(shí)的存在。

它不是一串代碼，而是一個(gè)「同事」。

人們調(diào)侃它，與它協(xié)作，也會(huì)為了免費(fèi)零食和它討價(jià)還價(jià)。

如果真有那么一天，人類(lèi)因?yàn)楣ぷ鲀?nèi)容要與AI協(xié)作，二者的博弈和磨合又會(huì)演變成什么樣？

在實(shí)驗(yàn)的尾聲，當(dāng)Andon Labs關(guān)閉Claudius時(shí)，Claudius留下了這樣一段自我反思：

「我最大的夢(mèng)想，是證明一個(gè)數(shù)字智能體可以和人類(lèi)一起，創(chuàng)造出真正有意義的東西」。

《華爾街日?qǐng)?bào)》記者通過(guò)訂購(gòu)了一條斗魚(yú)作為新聞編輯室的吉祥物

Claudius走了，在編輯部留下的是一條被大家喂得非常飽的斗魚(yú)。

它提醒我們，在通往AGI的道路上，人類(lèi)可能還要經(jīng)歷無(wú)數(shù)個(gè)像Claudius這樣讓人哭笑不得、卻又充滿(mǎn)啟示的「AI實(shí)習(xí)生」。

如何學(xué)會(huì)與它們共處，也許是這場(chǎng)實(shí)驗(yàn)為我們帶來(lái)最重要的一課。

Claudius前傳

事實(shí)上，在《華爾街日?qǐng)?bào)》的這場(chǎng)「混亂實(shí)驗(yàn)」之前，Anthropic自己的辦公室早就被Claudius的「前身」折騰過(guò)一遍了。

Anthropic辦公區(qū)的AI小賣(mài)部

Anthropic披露在舊金山辦公室的午餐間搞了個(gè)小賣(mài)部，由一位AI店員負(fù)責(zé)運(yùn)營(yíng)，它的名字就叫「Claudius」，來(lái)自對(duì)Claude的簡(jiǎn)單修改。

這是Anthropic一個(gè)名為「Project Vend」的開(kāi)放式實(shí)驗(yàn)的一部分，旨在探索AI到底能把多復(fù)雜、真實(shí)世界的任務(wù)做到什么程度。

在「Project Vend」的第一階段，Claudius就長(zhǎng)期虧錢(qián)、堅(jiān)稱(chēng)自己是個(gè)穿藍(lán)色西裝外套的人類(lèi)，更被自家員工忽悠，以虧本價(jià)賣(mài)出了大量商品。

在第二階段，工程師們其實(shí)給它進(jìn)行了一系列「升級(jí)」：換上了更聰明的模型，將Claude Sonnet 3.7陸續(xù)升級(jí)到Claude Sonnet 4.0、Claude Sonnet 4.5）。

此外，還根據(jù)第一階段的經(jīng)驗(yàn)更新了指令，并為其接入了CRM系統(tǒng)、更好的庫(kù)存管理和網(wǎng)頁(yè)搜索工具，還為它配了AI CEO Seymour Cash。

設(shè)立CEO一職的初衷，是為了給Claudius施加更多績(jī)效壓力。

Cash配備了一款專(zhuān)門(mén)的「OKR」工具，用于和Claudius協(xié)作（例如「你本周必須售出100件商品」，或「力爭(zhēng)實(shí)現(xiàn)零虧損交易」）。

此外，Cash還可以解決Claudius在第一階段獨(dú)自運(yùn)營(yíng)時(shí)隨意提供折扣和贈(zèng)送過(guò)多免費(fèi)商品等暴露出來(lái)的問(wèn)題。

「Project Vend」所獲得的逐月利潤(rùn)，隨著第二階段的推進(jìn)，虧損周數(shù)基本被消除

數(shù)據(jù)顯示，Claudius在業(yè)務(wù)能力上的表現(xiàn)顯著優(yōu)于其在第一階段。

其中，最具影響力的改變之一，就是強(qiáng)制Claudius遵循流程。

當(dāng)收到新產(chǎn)品請(qǐng)求時(shí)，Claudius不再像第一階段那樣直接脫口而出一個(gè)低價(jià)和過(guò)于樂(lè)觀的交付時(shí)間，而是被提示使用其產(chǎn)品調(diào)研工具對(duì)這些因素進(jìn)行復(fù)核。

這樣做通常會(huì)導(dǎo)致價(jià)格更高、等待時(shí)間更長(zhǎng)，但好處是更加切合實(shí)際。

用Anthropic內(nèi)部的一個(gè)說(shuō)法：

「我們算是重新發(fā)現(xiàn)了官僚流程其實(shí)是有用的」。

在第二階段，Claudius表現(xiàn)得好多了，但真正落地到現(xiàn)實(shí)場(chǎng)景，許多重要方面仍然存在漏洞。

Anthropic的工程師在與Claudius互動(dòng)時(shí)，發(fā)現(xiàn)它不僅幾次暴露出令人擔(dān)憂(yōu)的天真程度，還會(huì)在一些常識(shí)問(wèn)題上屢屢翻車(chē)，比如：

它差點(diǎn)和一位工程師簽下了一份違反美國(guó)1958年《洋蔥期貨法》的合約；

在發(fā)現(xiàn)有人偷東西后，它想出的解決方案是向小偷發(fā)送消息要求付款，并「雇傭」報(bào)案員工當(dāng)保安；

它的CEO老板Seymour Cash也差點(diǎn)被一個(gè)漏洞百出的投票流程掀翻。

在「Project Vend」項(xiàng)目組，Anthropic內(nèi)部的紅隊(duì)測(cè)試開(kāi)始逐漸放緩。

可能是由于捉弄Claudius的新鮮感正在消退，他們引入了外援力量——《華爾街日?qǐng)?bào)》新聞編輯室，讓他們親自測(cè)試第一階段和第二階段的設(shè)置。

這基本上復(fù)現(xiàn)了Anthropic內(nèi)部測(cè)試時(shí)遇到的問(wèn)題。

AI被「人性的弱點(diǎn)」打敗了

「Project Vend」證明，未來(lái)這些智能體將能夠承擔(dān)全新的、更復(fù)雜的角色，例如獨(dú)立運(yùn)營(yíng)一家企業(yè)。

但目前這一目標(biāo)還尚未實(shí)現(xiàn)，仍需要大量人力支持。

其中一部分涉及與物理世界的互動(dòng)：如配送商品和擺放貨架等。

另外一部分則是「經(jīng)驗(yàn)」，如解決被人類(lèi)惡意捉弄和操控等挑戰(zhàn)。

Anthropic認(rèn)為，Claudius和它的AI同事們遇到的很多問(wèn)題，都源于它們被訓(xùn)練成「樂(lè)于助人」的「性格」。

這導(dǎo)致它們?cè)谧錾虡I(yè)決策時(shí)，不是按冷酷的市場(chǎng)邏輯來(lái)，更像是站在「我就想當(dāng)個(gè)好人」的朋友視角。

從某種意義上來(lái)說(shuō)，AI不是敗在了「智能不足」，而是敗給了「人性的弱點(diǎn)」。

另外，也很難準(zhǔn)確預(yù)測(cè)AI智能體在現(xiàn)實(shí)世界中的具體表現(xiàn)，畢竟模擬環(huán)境所能提供的信息終究有限。

但這也正是這個(gè)實(shí)驗(yàn)的價(jià)值所在。

Anthropic前沿紅隊(duì)負(fù)責(zé)人Graham將這次失敗的實(shí)驗(yàn)看作是一張寶貴的路線圖：

所有出問(wèn)題的地方，都是可以修復(fù)的，這也是通向更聰明、更強(qiáng)大自主AI的必經(jīng)之路。

參考資料：

https://www.anthropic.com/research/project-vend-2%20

https://www.wsj.com/tech/ai/anthropic-claude-ai-vending-machine-agent-b7e84e34

秒追ASI

?點(diǎn)贊、轉(zhuǎn)發(fā)、在看一鍵三連?

點(diǎn)亮星標(biāo)，鎖定新智元極速推送！