當大語言模型（LLM）走向千行百業，推理效率與顯存成本的矛盾日益尖銳。

KV Cache （Key-Value Cache）作為提升生成速度的核心技術，卻像一個 “吞存巨獸”—— 每增加一個 token，就需要更多顯存存儲鍵（Key）和值（Value）向量，最終成為制約模型規模擴張、并發能力提升的 “緊箍咒”如何高效、經濟地擴展KV Cache存儲空間，已成為全球AI產研界亟待攻克的高地。

業界探索

Nvidia開源的Dynamo項目，實現存儲系統多級緩存算法，熱數據在顯存、溫數據在主機內存、冷數據在 SSD 或遠端對象存儲，并通過一套統一的索引 + 異步流水線實現自動遷移與透明訪問，但是多級存儲之間的數據遷移流程復雜，延遲開銷難以壓縮。

微軟推出的LMCahce存儲系統，高度兼容vLLM等推理框架，但是對分布式存儲支持較低，空間上限低。

阿里巴巴提出一種將KV Cache空間擴展到Tair數據庫的遠端存儲方案，存儲空間易擴展，但是讀寫性能難以滿足LLM推理業務的低延遲需求。

CXL（Compute Express link） 作為一種新興的高速互聯技術，以其高帶寬、低延遲和硬件級緩存一致性的特性，為破解內存瓶頸帶來了新的希望，可以解決AI和高性能計算中遇到的內存瓶頸問題。

業界關于CXL存儲加速LLM推理的研究仍然較少，探索如何利用CXL等新型介質擴展KV Cache空間，進而將成熟的軟件棧遷移到CXL硬件場景，是一項非常有意義的工作。

中興通訊Mariana探索

中興通訊公司和華東師范大學的研究團隊聯合提出了一種名為Mariana（馬里亞納）的分布式共享KV存儲技術，該工作《Mariana: Exploring Native SkipList Index Design for Disaggregated Memory》論文發表在IEEE Transactions on Parallel and Distributed Systems (TPDS) 。

Mariana作為一個面向計算-內存分離架構的高性能分布式KV索引，可以完美適配大模型推理場景的GPU、KV Cache存儲，通過把節點鎖細化到條目級、用自適應分裂/合并抑制熱點寫放大，并以SIMD友好的數據布局和輕量級熱點緩存，實現比現有方案高 1.7 倍吞吐、尾延遲降低 23% 的純有序索引。

Mariana解決了“如何在高并發、熱點傾斜、延遲敏感的高性能計算場景，讓KV索引同時做到高吞吐、低延遲、可擴展？”的問題，為KV Cache存儲提供新的優化方案。

Mariana提出三項關鍵創新，分別針對上述三個問題：

1. 細粒度并發控制方案（MSCS - Multi-Slot lock-based Concurrency Scheme）

將并發控制的粒度從節點級下降到條目級。在每個葉子節點內預留多個槽位Slots和對應的閂鎖Latch，寫入操作時，客戶端通過RDMA_CAS競爭一個空閑槽位的閂鎖，而不是競爭整個節點的鎖，實現同一個節點的不同槽位并發寫入，極大地減少了競爭。葉子節點支持動態調整葉子數據范圍、自動擴縮，將熱點區域隔離以減少后續該節點上的競爭，顯著降低了寫密集型和高偏斜（skewed）工作負載下的爭用，提高吞吐量同時降低了尾延遲。

2. 為葉子節點定制的數據布局（TLN - Tailored Leaf Node）

采用分離式存儲，Key在內存中連續存放，value則與校驗和在另一內存塊連續存儲；連續鍵數組可一次性加載至SIMD寄存器，大幅提升查找速度；優化讀寫操作序列，避免多次RDMA讀寫指令。

3. 自適應緩存策略

提出一種能夠快速感知并緩存變化熱點的輕量級緩存機制。使用Count-Min Sketch算法及時識別出熱點數據，維護一個按熱度排序的鏈表。計算節點緩存熱點L1節點的最小鍵及存儲地址，大幅降低熱點數據加載延遲，提升存儲系統的讀性能。

實驗結果表明，Mariana與目前最新的分布式KV存儲系統相比，在讀寫吞吐、延遲性能方向都有顯著的提示。KV Cache屬于讀多寫少場景，Mariana能夠解決目前存儲方案中的性能瓶頸。

應用驗證

MARIANA的創新設計與大模型KV Cache需求高度契合：

大容量存儲：Mariana的解耦內存架構，支持將數據分布在遠端CPU DRAM甚至PMem/SSD組成的共享內存池內存節點池，理論上存儲空間沒有上限。高吞吐：Mariana通過硬件加速（SIMD） 和智能緩存（元數據緩存） 兩種方式，顯著減少了完成一次KV Cache查找所需的計算和網絡開銷，極大地提升了讀吞吐量。低延遲讀：Mariana的整個數據路徑（本地緩存->RDMA->SIMD搜索）都是為低延遲而優化的。其延遲遠低于需要經過遠端CPU協議棧的解決方案，能夠滿足推理流水線的嚴格延遲要求。水平擴展：Mariana通過去中心化的細粒度并發控制實現了良好的水平擴展能力，非常適合作為大規模分布式推理集群的存儲基礎。

基于vLLM框架搭建大模型推理應用，驗證關閉KV Cache、開啟顯存KV Cache、開啟Mariana多級存儲幾個場景的推理性能，配置足夠多的并發測試請求，GPU顯存空間有限，只能存放50%的KV數據。

測試結果顯示，基于Mariana擴展的多級KV Cache存儲能夠顯著提升大模型的推理過程預加載階段的性能。

擁抱CXL新生態

Mariana的強大之處在于其設計理念與底層硬件解耦。其核心算法無需重新設計，即可從RDMA網絡平滑遷移至未來的CXL硬件生態。僅需將遠程訪問API替換為CXL.mem操作，便能充分利用CXL的低延遲和一致性優勢，成為構建下一代大模型推理基礎設施的堅實基石。

從優化細粒度并發控制到適配CXL新生態，Mariana的突破不僅是一次技術創新，更重新定義了大模型推理的存儲邏輯——當顯存不再是不可逾越的壁壘，當分布式存儲能在高吞吐與低延遲間找到完美平衡點，大模型的規?；瘧脤⒂瓉碚嬲钠栈輹r代。

或許在不久的將來，隨著CXL技術的成熟與Mariana這樣的技術方案的落地，我們會看到百億/千億參數模型在普通硬件上高效運行，讓 AI 的算力紅利真正滲透到每一個需要它的場景中。