聞樂 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

都說蘋果AI慢半拍，沒想到新研究直接在Transformer頭上動土。（doge）

「Mamba+工具」，在Agent場景更能打！

在最新論文《To Infinity and Beyond》中，研究團(tuán)隊(duì)發(fā)現(xiàn)：

在長任務(wù)、多交互的Agent式任務(wù)中，基于SSM架構(gòu)（狀態(tài)空間模型）的模型，比如Mamba，在效率與泛化能力上，展現(xiàn)出超越Transformer的潛力。

Mamba一作表示：

超越Transformer，怎么說？

Transformer的長篇累牘問題

先說說Transformer的“富貴病”。

Transformer確實(shí)很聰明，靠自注意力機(jī)制能夠同時關(guān)注輸入序列中所有詞語之間的關(guān)聯(lián)，比如閱讀文章時可以快速建立首尾關(guān)鍵信息的聯(lián)系。

但這種能力的實(shí)現(xiàn)需要較高的計(jì)算成本，隨著輸入序列長度的增加，其計(jì)算量會呈平方級增長。

例如，輸入1000個詞時，需要處理1000×1000=100萬次詞對關(guān)系；

要是處理有上萬個詞的長文檔，計(jì)算量會達(dá)到億級，這對普通GPU來說是不小的負(fù)擔(dān)。

而這種計(jì)算成本過高的問題還會引發(fā)連鎖反應(yīng)：

首先是處理延遲顯著增加。在長序列任務(wù)中，模型的響應(yīng)速度會大幅下降；其次，在Agent類任務(wù)中表現(xiàn)不佳。Agent任務(wù)通常需要動態(tài)決策與迭代優(yōu)化的能力，而Transformer在每一步操作中都需重新計(jì)算全局注意力，這就會導(dǎo)致整體效率偏低，難以滿足此類任務(wù)對實(shí)時性和靈活性的需求。

相比之下，Mamba則采用了更為輕量化的設(shè)計(jì)思路。

「Mamba+工具」更高效

作為狀態(tài)空間模型（SSM）的一種，Mamba不依賴全局注意力機(jī)制，而是通過持續(xù)更新的內(nèi)部狀態(tài)來理解輸入信息

有點(diǎn)像人寫流水賬，只記最近進(jìn)展，不翻舊賬。

這種機(jī)制帶來了三項(xiàng)顯著優(yōu)勢：

計(jì)算量隨序列長度呈線性增長例如處理1000個詞僅需對應(yīng)數(shù)量級的計(jì)算，遠(yuǎn)低于Transformer的消耗；支持流式處理能夠邊接收輸入邊進(jìn)行計(jì)算，無需等待完整序列加載完畢；內(nèi)存占用保持穩(wěn)定不會隨序列長度增加而顯著上升，在效率方面表現(xiàn)突出。

不過，Mamba也有個明顯局限：內(nèi)部狀態(tài)的存儲容量有限，在處理超長序列任務(wù)時，早期信息容易被后續(xù)輸入覆蓋，導(dǎo)致模型對前文關(guān)鍵信息的保留能力較弱。

針對這一問題，蘋果團(tuán)隊(duì)提出了新方案——通過引入外部工具擴(kuò)展模型的信息處理能力

比如算數(shù)學(xué)題時用指針工具記數(shù)字、存進(jìn)位；修代碼時用文件查看工具反復(fù)讀代碼、用運(yùn)行工具測報(bào)錯……

這些工具可以在任務(wù)執(zhí)行過程中提供輔助，相當(dāng)給模型提供了可動態(tài)調(diào)用的外部存儲和交互接口。

這樣做的結(jié)果就是，引入工具后Mamba的性能得到顯著提升：

在多位數(shù)加法任務(wù)中，配備指針工具的Mamba展現(xiàn)出良好的泛化能力，經(jīng)過5位數(shù)加法訓(xùn)練后，能夠穩(wěn)定處理1000位數(shù)的計(jì)算，準(zhǔn)確率接近100%，而Transformer在處理20位數(shù)時已出現(xiàn)明顯誤差；

在代碼調(diào)試任務(wù)中，讓Mamba模擬交互式調(diào)試流程（查看文件、局部修改、執(zhí)行驗(yàn)證的迭代方式），面對復(fù)雜度高于訓(xùn)練集的代碼庫，其正確率顯著高于Transformer；

在邏輯推理及漢諾塔等需要分步規(guī)劃的任務(wù)中，結(jié)合工具的Mamba能夠應(yīng)對更復(fù)雜的問題場景，Transformer則要么算得慢，要么直接卡殼……

可以看出，Transformer聰明但慢，做事情講究從頭到尾一步到位，遇上需要反復(fù)調(diào)整的Agent式任務(wù)，就顯得又貴又笨重；

Mamba反應(yīng)快但記性差，但裝上外置大腦后補(bǔ)足記憶短板后，效率嘎嘎提升。

這么一看，「Mamba+工具」的組合可能真要在Agent場景下?lián)孴ransformer的風(fēng)頭了。

論文地址：https://arxiv.org/pdf/2510.14826
參考鏈接：https://x.com/_albertgu/status/1980287154883358864

— 完 —