報道

編輯：桃子

你有沒有想過，或許未來某天，AI大軍完全能夠承擔公司重任，人類是否會淪為配角？

小扎堅信，「未來世界上AI智能體，將比人類還要多」。

那么，如果這些AI也有企業(yè)文化，會怎樣？

它們是否也像人類一樣，既有手握決策大權的AI，也有苦哈哈干活的AI。

幾個月前，OpenAI曾被曝出，內(nèi)部定義了五級AGI路線，L5——組織者：可以完成組織工作的AI。

這所說的，或許就是未來公司的組織架構圖。

因為多個智能體的合作，正在崛起。

此前，一項研究表明，擁有30+AI智能體系統(tǒng)，在幾乎任何任務中，都優(yōu)于簡單的LLM調(diào)用，同時還減少了幻覺，提高了準確性。

論文地址：https://arxiv.org/pdf/2402.05120

但是，多個智能體之間，應該如何進行實際協(xié)作呢？

在探索改善AI在軟件工程任務中的表現(xiàn)的方法時，Alex Sima突然有了靈感：

如果將AI智能體之間互動機構化，讓其類似于科技巨頭的「組織架構圖」，會怎樣？

接下來，Alex讓AI接管了6大科技巨頭——亞馬遜、谷歌、微軟、蘋果、meta、Oracle，看看它們?nèi)绾螀f(xié)作。

先來一張圖，感受下。

關鍵要點

以下是，Alex將AI智能體，組織成類似蘋果、微軟、谷歌等公司結構后，得到的一些關鍵要點：

- 有多個「競爭」團隊（即競爭生產(chǎn)最佳最終產(chǎn)品）的公司，如微軟、蘋果，表現(xiàn)優(yōu)于集中化的層級結構。

- 具有單點故障（比如一個領導者做出重要決策）的系統(tǒng)，如谷歌、亞馬遜和Oracle，表現(xiàn)不佳。

- 大型科技公司的組織結構，對問題解決能力有適度但明顯的影響。

AI智能體與科技巨頭組織

之前通過簡單增加AI智能體數(shù)量，來提升性能的方法，比如SWE-bench，并未取得顯著的成效。

這表明，僅僅依賴數(shù)量的增加，并不能解決問題。

那么，有什么其他的方法可以讓AI智能體在軟件工程方面變得更好？

三周前，Alex偶然看到了James Huckle關于「康威定律」的一篇文章——軟件和產(chǎn)品架構注定會反映創(chuàng)造它的組織結構。

James展示了一幅插圖，揭示了亞馬遜、谷歌、Facebook、微軟、蘋果和Oracle的戲劇化組織結構，并提出了一個想法：

就像大型科技公司中的人類一樣，多智能體通信結構可能會塑造問題解決方法。

Alex受到啟發(fā)，決定在SWE-bench實例上測試James的假設。

實驗設置

作者將AI智能體組織成不同的公司結構，在SWE-bench-lite的13個實例「mini」子集上，評估了六種不同的組織結構。

在構建這六種組織時，他基于一些核心觀察設計了多智能體組織結構：

亞馬遜

頂層有一個「管理者」的二叉樹。

為了復制這一結構，Alex使用了大量執(zhí)行代碼庫搜索的智能體，和一個最終執(zhí)行代碼庫更新的單一智能體。

谷歌

類似亞馬遜的樹狀結構，但中間層之間有更多連接。

Alex通過在單一層內(nèi)聚合復制所有智能體結果，并將其傳遞給下一層的智能體。

meta（Facebook）

缺乏層級結構，但仍是一個智能體之間有許多連接的網(wǎng)狀組織。

Alex通過增加不同智能體之間的轉(zhuǎn)換可能性，來修改原始的智能體設計。

微軟

強調(diào)競爭團隊，每個團隊有自己的層級。

本質(zhì)上，Alex重新調(diào)整了亞馬遜的結構（減少智能體數(shù)量），并使用向量相似性投票方法，從三次單獨運行中選擇「最佳」解決方案（每次運行對層級結構略有調(diào)整）。

蘋果

許多小型競爭團隊，每個團隊都有自己的最小結構。

Alex使用了與微軟相同的「最佳解決方案」方法，但進行了更多沒有智能體層級的運行（每次運行有不同的轉(zhuǎn)換）。

Oracle

有兩個不同的團隊，一個較大的「法律」二叉樹和一個較小的工程樹。

Alex將法律團隊解釋為，搜索代碼庫和檢索關鍵上下文的智能體，而工程團隊由實際編寫代碼的智能體組成。

兩個團隊的結構類似于亞馬遜，頂層有一個單一智能體協(xié)調(diào)「法律」和「工程」之間的信息傳遞。

評估結果

為了評估SWE-bench上的每組patch，作者使用了SWE-bench evaluation。

結果如下：

組織結構圖績效分析

以下是作者對不同公司結構，如何影響性能的一些觀察：

- 有競爭力的團隊增加成功機會。

表現(xiàn)最佳的兩個（微軟和蘋果）都有多個團隊在競爭解決問題，而其他公司似乎只有一個巨大的團隊生成單一patch。

多個團隊允許增加問題解決方法的多樣性，提高解決問題的概率。

- 有單點故障的結構表現(xiàn)不佳。

提到單點故障，是指是那些有高層管理者/智能體可以完全改變運行結果的公司（如谷歌、亞馬遜和甲骨文）。

在協(xié)調(diào)多個智能體之間的互動時，一個常見問題是某個智能體失敗——導致可能出現(xiàn)一個智能體改變團隊問題解決策略方向的情況。

具有單點故障的公司容易受到這些問題的影響。

另外，表現(xiàn)最好的兩家公司，微軟和蘋果，恰好是世界上市值最大的兩家科技公司。

事實證明，在現(xiàn)實世界中似乎最有效的組織結構對AI智能體也同樣有效。

截圖來自CompaniesMarketCap，2024年07月25日

對SWE-bench進展的思考

看著不同公司結構的結果，在這個Mini基準上是可以預料到的。

總的來說，似乎在一個像軟件工程這樣復雜的任務中，增加更多的智能體，或改變這些智能體的組織方式，只會帶來邊際性能的提高。

雖然論文More Agents Is All You Need 發(fā)現(xiàn)，準確率有相當大的提高（約20%），但在GSM8K（小學數(shù)學）測試中，30個智能體后性能明顯趨于平緩。

研究還發(fā)現(xiàn)，過于復雜的任務（如SWE-bench中的任務）可能超出模型的推理能力，導致性能增益遞減。

坐著在SIMA中同樣驗證了這一發(fā)現(xiàn)，最多只比基礎架構提高了2-3%（使用40多個智能體）。

他預計，這種小幅提升在其他非多智能體架構中也會一致。

作者認為，若想在基準測試上取得更大進步，需要改變智能體的實際邏輯推理能力，或者它們可以采用（或被給予）的解決軟件問題的策略和方法。

這可以通過更強大的基礎模型（GPT-5）或給予智能體更廣泛的工具來實現(xiàn)。

這與公司運作是一樣的。

歸根結底，如果你不雇用更聰明的員工，或給他們更好的資源，無論你如何組織他們或有多少人，他們的產(chǎn)出都不會提高。

不得不承認，13個實例的性能可能與完整基準測試的實際性能相差甚遠。

僅在這個mini子集中的差異就足夠顯著，值得關注（從谷歌到蘋果提高了約50%）。

基礎模型/工具可能是智能體軟件工程的限制因素，但隨著基礎模型的改進，探索智能體通信結構（無論是否在公司組織中）絕對應該被測試。

正如James Huckle所說，這個概念可能成為AI智能體設計中的「關鍵超參數(shù)」，不同的組織結構可能更適合不同的任務。

參考資料：

https://alexsima.substack.com/p/ai-multi-agents-with-corporate-structures