智東西
作者 ZeR0
編輯 漠影

智東西8月12日報道，今日，華為推出AI推理創新技術——推理記憶數據管理器UCM，通過多級緩存顯著優化AI推理體驗與性價比。

UCM是一款以KV Cache和記憶管理為中心的推理加速套件，提供全場景系列化推理加速方案，通過推理框架、算力、存儲三層協同，優化Tokens在各業務環節中流轉的效率，以實現AI推理的更優體驗、更低成本。

其三大組件包括對接不同引擎與算力的推理引擎插件（Connector）、支持多級KV Cache管理及加速算法的功能庫（Accelerator）、高性能KV Cache存取適配器（Adapter），并通過開放統一的南北向接口，可適配多類型推理引擎框架、算力及存儲系統。

經大量測試驗證，UCM可將首Token時延最高降低90%，系統吞吐最大提升22倍，實現10倍級上下文窗口擴展。

華為計劃在今年9月正式開源UCM，屆時將在魔擎社區首發，后續逐步貢獻給業界主流推理引擎社區，希望通過開放開源的方式，讓業界共享這一成果，共同推動AI推理生態的繁榮發展。

同時，華為與中國銀聯率先在金融典型場景開展UCM技術試點應用，并聯合發布智慧金融AI推理加速方案應用成果。

會后，華為數據存儲產品線副總裁、閃存領域總裁謝黎明，華為數據存儲產品線AI存儲首席架構師李國杰，與智東西等媒體進行深入交流。

李國杰強調，用AI處理更高級別的問題，信息量和數據輸出會更大，UCM則能夠大幅優化成本。今天發布的UCM，是華為第一次提供如此完整的全流程、全場景且可演進的系統性方案。從單點算力模組轉向系統級優化，是一個大的變化和趨勢。業界有很多開源方案有類似的方向，有的是做了其中某一層或某一些組件，但是并未看到可商用的端到端完整方案。

謝黎明談道，開源UCM與業界思路是一致的，華為希望通過開放這些成果，為推理體驗、生態、成本貢獻一份力量，進一步促進框架、存儲、GPU廠商共建和成熟化整套機制，真正解決AI行業化落地的效率和成本問題。

一、優化AI推理體驗：10倍級上下文窗口擴展，TTFT最高降低90%，Token經濟性提升2倍+華為公司副總裁、數據存儲產品線總裁周躍峰談道，AI在金融行業大規模使用，推理效率與體驗是關鍵。AI時代，模型訓練、推理效率與體驗的量綱都以Token數為表征，Token經濟時代到來。

AI推理應用落地過程中面臨三大挑戰：

推不動（輸入超出模型上下文窗口）推得慢（美國大模型推理首Token時延=中國大模型的1/2）推得貴（美國大模型推理吞吐率大約是中國大模型的10倍）

對此，華為推出UCM推理記憶數據管理器（Unified Cache Manager），通過多級緩存解決AI推理體驗與成本問題。

整個AI推理系統中的記憶有三部分：高帶寬內存HBM、DRAM都在智算服務器中，可以充分利用但過去沒有利用起來的是下面的專業共享存儲。

通過一系列算法，UCM把推理過程中有不同延時要求的數據放在不同的記憶體中，實時記憶數據即熱放在HBM中，短期記憶數據放在DRAM，其他放在共享專業存儲中，通過這樣的按需流動來提升整個系統的效率。

UCM主要分為三部分：頂層是推理引擎插件（Connector），與業界多樣引擎與多元算力靈活對接，會連接MindIE、SGLang等一些主流推理引擎框架；中間是對緩存記憶數據進行分級管理的一些創新加速算法，運行在智算服務器中；另一部分是與專業共享存儲相結合的存取適配器，能提升專業存儲的直通效率和降低時延，可以讓三級存儲更好協同。

通過大量測試，UCM能給推理系統的效率、體驗、成本提升帶來明顯進步。

（1）更快的推理響應：依托UCM層級化自適應的全局前綴緩存技術，可實現任意物理位置、任意輸入組合上的KV前綴緩存重用，在多輪對話、RAG知識檢索等場景中直接調用KV緩存數據，避免重復計算，使首Token時延最大降低90%、Token經濟性提升2倍+。

（2）更長的推理序列：通過動態KV逐層卸載、位置編碼擴展、Prefill稀疏等組合技術，將超長序列Cache分層卸載至外置專業存儲，通過算法創新突破模型和資源限制，實現10倍級推理上下文窗口擴展，滿足長文本處理需求。

（3）更低的推理成本：具備智能分級緩存能力，可根據記憶熱度在HBM、DRAM、SSD等存儲介質中自動分級緩存，同時融合多種稀疏注意力算法，實現存算深度協同，使長序列場景下TPS（每秒處理token數）提升2-22倍，降低每Token推理成本。

UCM受打字輸入法聯想的啟發，提供一套基于后綴檢索的預測聯想算法，將行業私域數據和用戶習慣構建token級的后綴索引，突破自回歸的聯想限制，可以一次輸出多詞，并且存得越多推得越快，比傳統MTP預測加速效果更好、更適用于企業場景。

二、面向開源設計，適配多類推理引擎框架、算力、存儲系統

KV Cache與記憶數據管理是大語言模型推理中優化性能、降低計算成本的核心技術。但國內AI推理生態中尚未形成以其為核心的完整加速軟件體系，相關技術布局存在短板。

隨著邁入Agentic AI時代，模型規?；瘮U張、長序列需求激增以及推理任務并發量增長，AI推理的KV Cache容量增長已超出HBM的承載能力，需要構建“軟件優化+硬件創新+存算協同”的架構。

UCM可根據數據冷熱分級存儲到不同介質中，使KV Cache容量從GB級增長至PB級，是一種更經濟、更易用的推理加速方案。

其設計理念是通過開放統一的框架和接口，北向支持多樣化的推理引擎連接，南向接入多樣化的存儲系統，中間在推理加速算法配置方面，開放并呼吁更多的開源和生態伙伴共建豐富的加速算法庫。

UCM面向開源設計，上層推理引擎插件接口積極融入主流的開源社區，中間層分級緩存管理接口與Mooncake聯合設計，在端到端的XPU直通存儲的存儲標準和產業接口的定義上與多家芯片廠商進行聯合定義。

華為希望聯合產業界的力量，共建共創以記憶數據管理為中心的推理加速新范式。

AI技術迭代飛速，因此UCM著眼于未來設計，從KV Cache分層管理走向Agentic AI原生記憶管理與應用加速，除了今年發布的推理加速套件（下圖黃色部分）之外，還會持續構建和發布面向Agent知識感知的多模檢索加速能力以及未來Agent原生記憶的管理和加速能力。

據李國杰透露，UCM大概從去年6-7月份開始孵化，至今差不多一年，僅是算法方面就有百人級團隊投入，未來會面向Agentic AI做更深演進，可能會繼續增加投入。

談到UCM與其他分級緩存管理的差別，李國杰總結了三點：

首先是納入專業存儲。很多分級緩存管理是管理一些裸金屬資源，效率不太能滿足商用客戶要求。納入專業存儲后，華為做了大量軟硬系統和卸載的事情，比如直通加速、KV Cache生命周期管理等。

第二，業界現有方案在算法加速庫方面幾乎只有傳統的Prefix Cache一種技術，并沒有像UCM這樣商用全流程稀疏算法、后綴檢索算法及其他算法。相較業界，華為貢獻了一些更加豐富、可靠的或加速效果更好的算法，這個算法庫還在持續增加中。

第三，推理場景非常豐富，請求輸入輸出變化多端，各場景下沒有一套框架、一套加速機制、一套算法是可以普適的，所以需要一套完整、絲滑、能在各場景、各種長短序列、各種請求下做自動切換和自動適應的方案，只有像UCM這樣真正跟客戶場景貼身聯創和迭代的技術才有這樣的能力。

三、技術價值已在智慧金融場景得到驗證

在與中國銀聯的聯合創新技術試點中，UCM的技術價值得到驗證。

在中國銀聯“客戶之聲”業務場景下，借助UCM技術及工程化手段，大模型推理速度提升125倍，僅需10秒即可精準識別客戶高頻問題，促進服務質量提升。

未來，中國銀聯計劃依托國家人工智能應用中試基地，聯合華為等生態伙伴共建“AI+金融”示范應用，推動技術成果從“實驗室驗證”走向“規模化應用”。

會上，中國信通院人工智能研究所平臺與工程化部主任曹峰分享了大模型推理優化的4個主要趨勢：

（1）大模型落地重心從訓練轉向推理，應用從ToC到ToB加速成熟；

（2）推理目標從單點優化和功能完備轉向“成本-性能-效果”三目標協同優化；

（3）系統級架構優化將成主流，頭部廠商2025年陸續推出推理系統級優化方案，未來結合“模型-場景-架構”的推理架構設計是技術、產業的發展重點；

（4）KV Cache是架構優化焦點，以KV Cache為核心的推理方案迭出，其背后依賴的高性能存儲、先進調度策略的重要性將愈發顯現。

結語：應對AI推理多重性能挑戰，UCM能有效緩解資源瓶頸

推理已成為AI下一階段的發展重心，直接關聯用戶滿意度、商業可行性等，重要性愈發凸顯。

AI推理從生成式AI時代的簡單推理任務，逐漸向Agentic AI時代的復雜長程推理任務發展，帶來了對算力計算量、內存訪問效率、超長上下文處理、Multi-agent狀態共享等方面的性能挑戰。

UCM可通過復用已計算結果、上下文窗口擴展、長記憶保持與共享等技術，減少重復計算與低效內存訪問，有效緩解復雜任務產生的資源瓶頸和性能挑戰。

通過融合多類型緩存加速算法工具，UCM能夠更大程度釋放KV Cache與推理框架的性能潛力，實現推理效率的顯著提升，并通過開源開放進一步加速探索優化商用AI推理方案的高效路徑。