這項由清華大學計算機科學與技術系黃宇翔、肖朝君、韓旭、劉知遠團隊開展的研究發表于2025年，研究成果以"NOSA: Native and Offloadable Sparse Attention"為題發表在arXiv預印本平臺上，編號為arXiv:2510.13602v1。有興趣深入了解的讀者可以通過該編號查詢完整論文。

近年來，大語言模型就像一個擁有驚人記憶力的超級大腦，能夠處理越來越長的文本內容。不過，就像人的大腦在處理大量信息時會變慢一樣，這些AI大腦在處理長文本時也面臨著類似的困擾——速度變慢，效率下降。

為了讓AI大腦更高效地工作，研究人員們想出了各種辦法。其中一種叫做"稀疏注意力"的技術特別有效，就像讓大腦學會了"重點關注"——不需要對所有信息都全神貫注，而是有選擇地關注最重要的部分。這種方法確實能讓AI運行得更快，但仍然存在一個關鍵問題：盡管處理速度提升了，但大腦仍需要把所有信息都存儲在最昂貴、最快速的內存中，這就像一個圖書館雖然提高了查閱效率，但仍然需要將所有書籍都放在最貴的黃金書架上。

清華大學的研究團隊敏銳地發現了這個問題的核心所在。他們觀察到一個有趣的現象：在AI處理連續文本的過程中，前后兩個處理步驟所關注的信息有著高達80%的重疊度。這就好比一個人在閱讀小說時，這一頁關注的人物和情節，在下一頁中大部分都會繼續出現。

基于這個發現，研究團隊開發了NOSA技術。這個技術的巧妙之處在于，它就像為AI大腦安裝了一個智能的存儲管理系統。這個系統能夠預測哪些信息在下一個處理步驟中仍然重要，然后將這些重要信息保留在快速存儲中，而將不太需要的信息暫時轉移到相對便宜但稍慢的存儲設備中。

為了讓這種預測更加準確，NOSA引入了一種創新的方法，將信息選擇過程分為兩個部分：一個是"查詢感知選擇"，另一個是"查詢無關選擇"。這就像給圖書館配備了兩種類型的管理員：一種專門根據讀者的具體需求來推薦書籍，另一種則根據書籍本身的重要程度來決定哪些應該放在容易取到的位置。

通過這種雙重管理機制，NOSA能夠將前后處理步驟之間的信息重疊度從原來的88.9%提升到94.4%，這意味著需要在快慢存儲之間傳輸的數據量大大減少了。就像原本需要每次都搬運20%的書籍，現在只需要搬運5.6%，效率提升顯而易見。

研究團隊為了驗證NOSA的有效性，訓練了一個擁有10億參數的模型。在各種測試中，這個模型表現出了近乎完美的性能，在短文本任務上幾乎沒有性能損失，在長文本任務上也保持了優秀的表現。更令人印象深刻的是，在實際的推理速度測試中，NOSA技術實現了高達2.3倍的速度提升。

為了實現這些優秀的表現，研究團隊不僅在算法層面進行了創新，還在系統實現上下了大功夫。他們設計了專門的內存管理器和通信模塊，確保數據在不同存儲設備之間的傳輸能夠高效進行。這就像為圖書館配備了高速的傳送帶系統，讓書籍的搬運變得既快速又可靠。

一、智能選擇的藝術：NOSA如何決定什么信息最重要

在AI處理長文本的過程中，最大的挑戰之一就是如何決定哪些信息需要重點關注。傳統的稀疏注意力技術就像一個勤奮但有些僵化的圖書管理員，它雖然能夠識別出重要信息，但在決定哪些信息可以暫時放置一邊時卻缺乏足夠的靈活性。

NOSA技術的核心創新在于引入了一種更加智能的雙重選擇機制。第一種選擇機制被稱為"查詢感知選擇"，它就像一個能夠根據讀者具體需求提供個性化服務的圖書管理員。當AI需要處理一個新的文本片段時，這個機制會根據當前的具體需求來判斷之前哪些信息最相關。比如說，如果AI正在分析一篇關于氣候變化的文章中的某個段落，它會特別關注之前提到的溫度數據、氣候模式等相關信息。

第二種選擇機制是"查詢無關選擇"，它更像一個具有豐富經驗的資深管理員，能夠憑借對信息本身重要性的判斷來做出決策。這個機制不依賴于當前的具體處理需求，而是根據信息本身的固有重要性來判斷哪些內容應該保留在快速訪問的位置。繼續用圖書館的比喻來說，這就像管理員知道某些經典書籍總是會被頻繁查閱，所以應該永遠放在最容易取到的位置。

這種雙重機制的巧妙之處在于它們的互補性。查詢感知選擇能夠捕捉到動態變化的關注焦點，確保AI能夠靈活地適應不同的處理需求。而查詢無關選擇則提供了一種穩定的基礎，確保那些基礎重要的信息始終能夠快速訪問。兩者結合，就像為AI配備了既能應對突發需求又能維持日常運營的完整管理團隊。

為了確保這種雙重選擇機制能夠有效工作，研究團隊還引入了一個重要的約束條件：系統必須保證相鄰處理步驟之間至少有75%的信息重疊。這就像為圖書館制定了一個基本規則：無論如何調整書籍擺放，都必須確保讀者能夠輕松找到他們需要的大部分資料。

在具體實現上，NOSA使用了一種叫做"Exp-Delayed DMA"的技術來計算信息的重要性得分。這個技術的名字聽起來很復雜，但其實它的作用很簡單：就像給每本書貼上一個重要性標簽，標簽上的數字越大，表示這本書越重要。系統在做選擇時，就根據這些標簽來決定哪些信息應該留在快速訪問區域。

通過大量的實驗驗證，研究團隊發現這種雙重選擇機制確實能夠顯著提高信息重疊度。在他們的測試中，相鄰處理步驟之間的信息重疊度從原來的88.9%提升到了94.4%，這意味著系統需要在不同存儲設備之間傳輸的數據量減少了一半以上。

二、存儲大搬家：讓AI大腦的記憶管理更高效

當AI大腦需要處理長文本時，就面臨著一個類似搬家的問題：有大量的信息需要在不同的存儲空間之間移動。在傳統的系統中，這種"搬家"過程往往效率低下，就像用小推車一次只能搬運幾件物品，來回奔波既費時又費力。

NOSA技術在這方面帶來的改進就像為AI配備了一整套現代化的搬家設備。研究團隊發現，傳統系統的一個主要瓶頸在于數據傳輸的方式過于零散。就像搬家時如果每次只拿一兩件小物品，無論多努力也無法提高整體效率。

為了解決這個問題，研究團隊重新設計了數據的組織方式。他們將原本分散的信息重新排列，使得相關的數據能夠緊密地聚集在一起。這就像搬家時將同類物品打包裝箱，不僅便于搬運，還能避免遺漏。在技術實現上，他們采用了一種特殊的內存布局方式，確保需要一起移動的數據能夠連續存放。

除了重新組織數據，研究團隊還開發了專門的傳輸工具。他們使用了一種叫做"統一虛擬地址"的技術，這就像為搬家公司配備了能夠同時處理多個搬運任務的大型貨車。傳統方法就像用多輛小車分別搬運，每輛車都需要單獨規劃路線和協調，而新方法則像使用一輛大貨車統一調度，效率自然大大提升。

實際測試結果顯示，這種新的傳輸方式能夠達到每秒20GB以上的傳輸速度?？紤]到理論上的最高傳輸速度是每秒31.5GB，這個表現已經非常接近硬件的物理極限。這就好比一條高速公路的理論最高通行能力是每小時1000輛車，而實際達到了每小時800輛車的通行量，可以說是相當高效的利用了。

為了進一步提高效率，研究團隊還開發了一個智能的內存管理器。這個管理器就像一個經驗豐富的倉庫主管，能夠精確地記錄每一件物品的位置，并且在需要時快速找到它們。更重要的是，這個管理器是用C++語言編寫的，比常用的Python語言快了35倍以上。這就像從手工記賬升級到了電子化管理系統，不僅準確度更高，速度也快得多。

內存管理器維護著兩套詳細的"地圖"，分別記錄著信息在快速存儲和慢速存儲中的位置。當系統需要某個信息時，管理器能夠立即告訴系統去哪里找，而不需要費時費力地到處搜索。這種精確的位置管理確保了整個數據搬運過程的高效有序。

通過這些技術的綜合應用，NOSA系統在實際運行中展現出了顯著的性能提升。在處理長文本任務時，系統的整體速度比傳統方法提高了一倍以上，而且隨著文本長度的增加和處理批次的擴大，這種優勢變得更加明顯。

三、實驗驗證：NOSA技術的真實表現如何

為了驗證NOSA技術的實際效果，研究團隊進行了一系列全面而嚴格的測試，就像對一輛新研發的汽車進行各種路況下的試駕一樣。他們首先訓練了一個擁有10億參數的語言模型，這個模型的規模雖然不是最大的，但足以驗證技術的有效性。

在訓練過程中，研究團隊采用了三個階段的方法。第一個階段就像讓學生先學習基礎知識，模型使用普通的注意力機制處理8000字長度的文本。第二個階段則是專門的長文本訓練，模型開始使用NOSA技術處理16000字長度的文本，這個階段就像讓學生開始練習處理更復雜的材料。最后一個階段是精細調整，進一步優化模型的表現。

在性能測試方面，研究團隊選擇了多個不同類型的任務來全面評估模型的能力。對于短文本任務，他們測試了模型在數學、推理、編程等多個領域的表現。結果顯示，使用NOSA技術的模型與原始模型相比幾乎沒有性能損失，在大多數任務上的表現差異都在1%以內。這就像一臺經過改裝的汽車，在燃油效率大大提高的同時，動力性能基本沒有受到影響。

對于長文本任務的測試，研究團隊使用了專門設計的長文本理解基準測試。這些測試包括長文檔問答、文本摘要、信息檢索等多種任務類型。測試結果同樣令人滿意，NOSA模型在絕大多數任務上的表現都與原始模型非常接近，平均性能差異不到1%。這表明引入局部性約束并沒有損害模型處理長文本的能力。

在效率測試方面，結果更加令人印象深刻。研究團隊在不同的硬件配置和任務設置下測試了系統的運行速度。在處理8000字長度的文本時，NOSA系統的處理速度比傳統方法提高了約32%到70%。當文本長度增加到16000字時，速度提升變得更加顯著，最高可達到2.3倍的改進。

特別值得注意的是，隨著批處理大小的增加，NOSA的優勢變得更加明顯。在大批量處理任務中，傳統方法往往因為內存限制而無法充分利用硬件資源，就像一個停車場雖然有很多停車位，但因為通道設計不合理而無法讓更多車輛進入。而NOSA技術通過智能的內存管理，能夠在相同的硬件條件下處理更多的任務，充分發揮硬件的潛力。

研究團隊還專門測試了系統在不同內存限制下的表現。他們模擬了從8.75GB到21GB不同內存配置的情況，發現NOSA技術在所有配置下都能提供穩定的性能提升。這種一致性表明該技術具有良好的適應性和實用性，能夠在各種實際應用環境中發揮作用。

為了確保測試結果的可靠性，研究團隊對每個測試配置都運行了20次，然后取平均值作為最終結果。這種嚴格的測試方法確保了結果的統計顯著性，就像藥物臨床試驗需要大量樣本才能得出可靠結論一樣。

四、技術深度解析：NOSA背后的核心機制

要理解NOSA技術的工作原理，可以把它比作一個高效的圖書館管理系統。傳統的AI注意力機制就像一個圖書館，每當有讀者查詢時，管理員都需要檢查所有書籍來找出相關內容。而稀疏注意力技術則像給管理員配備了一個智能篩選系統，能夠快速識別出最相關的書籍，大大提高了查詢效率。

NOSA在此基礎上的創新在于引入了一種預測性的管理策略。系統會觀察讀者的閱讀模式，發現他們在連續的查詢中往往會關注相似的主題?；谶@個觀察，NOSA開發了一種智能預測機制，能夠提前判斷下一次查詢可能需要哪些信息。

在具體的技術實現上，NOSA將注意力選擇過程分解為兩個并行的組件。第一個組件專門處理與當前查詢直接相關的信息選擇，它會計算每個信息片段與當前查詢的相關性得分，然后選擇得分最高的部分。這個過程就像一個專業的參考咨詢員，能夠根據讀者的具體問題快速找到最相關的資料。

第二個組件則負責維護一個相對穩定的重要信息集合。它不依賴于具體的查詢內容，而是根據信息本身的重要性來做出判斷。這就像圖書館中總有一些經典書籍會被頻繁查閱，所以應該始終放在容易取到的位置。這個組件使用一個專門的重要性評分網絡來計算每個信息片段的固有價值。

兩個組件的結合工作方式很巧妙。系統首先根據當前查詢選擇一部分信息，然后將這些位置標記為"已占用"，接著在剩余位置中根據重要性得分選擇額外的信息。這種設計確保了系統既能靈活適應不同的查詢需求，又能維持一定程度的穩定性。

為了訓練這個雙組件系統，研究團隊開發了一種特殊的學習策略。他們沒有簡單地將兩個組件獨立訓練，而是讓它們在統一的框架下協同學習。這就像培養一對搭檔，不僅要各自掌握專業技能，還要學會默契配合。

在數學層面，NOSA引入了一個重要的約束條件：相鄰處理步驟之間的信息重疊率必須達到一個預設的最小值。這個約束條件確保了系統的局部性特性，為后續的高效數據傳輸奠定了基礎。研究團隊通過理論分析證明，只要查詢無關組件選擇的信息比例達到一定水平，這個約束條件就能夠自動滿足。

在實際的計算過程中，NOSA使用了一種叫做"注意力偏置"的技術來實現可微分的選擇過程。這種技術允許系統在訓練過程中通過梯度下降來優化選擇策略，同時在推理過程中進行離散的硬選擇。這就像訓練一個射箭運動員，在練習時可以進行細微的調整，但在正式比賽時必須做出明確的選擇。

系統的另一個重要創新是在計算重要性得分時采用了延遲指數運算的策略。傳統方法會在計算得分時立即應用指數函數，但NOSA將這個運算延遲到最終的注意力計算階段。這種看似微小的改變實際上顯著提高了數值計算的穩定性，就像在烹飪時調整調料添加的時機可能會影響最終的味道一樣。

五、系統實現：從理論到實際應用的工程挑戰

將NOSA的理論設計轉化為實際可用的系統是一個充滿挑戰的工程過程，就像將建筑師的圖紙變成真正的建筑需要解決無數個實際問題。研究團隊在這個過程中遇到了許多預料之外的技術難題，但也正是這些挑戰的解決，讓NOSA成為了一個真正實用的技術。

首先遇到的問題是內存管理的復雜性。由于NOSA需要在GPU的高速內存和CPU的普通內存之間頻繁移動數據，如何高效地管理這些數據的位置信息就成了關鍵問題。傳統的方法就像用紙質賬本來記錄一個大型倉庫中每件物品的位置，不僅查找緩慢，還容易出錯。

研究團隊開發了一個專門的內存管理器來解決這個問題。這個管理器就像一個現代化的倉庫管理系統，使用電子化的方式精確記錄每個數據塊的位置信息。更重要的是，它能夠預測數據的使用模式，提前做好數據搬移的準備工作。這種預測能力就像一個有經驗的倉庫管理員，能夠根據歷史經驗預判哪些商品即將被需要，提前將它們移到便于取用的位置。

另一個重大挑戰是數據傳輸效率的優化。雖然理論上PCIe總線能夠提供每秒31.5GB的傳輸帶寬，但在實際應用中，由于數據的分散分布和傳輸協議的開銷，很難達到這個理論速度。這就像一條高速公路雖然設計時速很高，但如果車輛需要頻繁進出匝道，實際通行速度就會大大降低。

為了解決這個問題，研究團隊重新設計了數據的存儲布局。他們將原本分散的小數據塊重新組織，使得相關的數據能夠連續存儲。同時，他們還開發了專門的并行傳輸算法，能夠同時處理多個數據塊的傳輸請求。這種優化就像將原本需要多次往返的小貨車運輸改為一次性的大卡車運輸，大大提高了整體效率。

實測結果顯示，經過這些優化，系統在傳輸128個以上數據塊時能夠達到每秒20GB以上的實際傳輸速度，這已經達到了理論帶寬的63%以上?？紤]到各種協議開銷和系統延遲，這個性能表現已經相當優秀。

在軟件架構方面，研究團隊還面臨著如何將NOSA集成到現有AI框架中的挑戰。現有的深度學習框架大多是為傳統的密集計算而設計的，對于NOSA這種需要動態數據管理的稀疏計算模式支持有限。研究團隊不得不開發了一套專門的軟件接口和底層算子來實現NOSA的功能。

這個過程就像為一輛傳統汽車安裝混合動力系統，不僅要確保新系統能夠正常工作，還要保證與原有系統的完美兼容。研究團隊使用了約100行的Triton代碼實現了核心的數據傳輸算子，這些代碼雖然不多，但經過了精心的優化，確保了最高的執行效率。

為了驗證系統實現的正確性和穩定性，研究團隊進行了大量的壓力測試。他們在不同的硬件配置、不同的負載情況下反復測試系統的表現，確保在各種極端情況下系統都能穩定運行。這種測試過程就像對新飛機進行各種極限條件下的試飛，只有經過了這些嚴格的驗證，技術才能投入實際使用。

六、性能對比：NOSA與傳統方法的全面比較

為了客觀評估NOSA技術的實際效果，研究團隊設計了一系列全面的對比實驗。這些實驗就像汽車的綜合路試，不僅要在理想條件下測試性能，還要在各種復雜環境中驗證技術的實用性和可靠性。

在處理速度方面，NOSA展現出了顯著的優勢。當處理8000字長度的文本時，在內存受限的情況下，NOSA的處理速度比傳統的InfLLM-V2方法提高了32%到108%。隨著文本長度增加到16000字時，這種優勢變得更加明顯，最高可達到130%的性能提升。這種改進就像將一輛原本最高時速100公里的汽車提升到了230公里，效果相當顯著。

更令人印象深刻的是，NOSA的優勢隨著批處理規模的增大而變得更加突出。在大規模并發處理場景下，傳統方法往往因為內存限制而無法充分利用硬件資源，就像一個停車場雖然有足夠的空間，但因為入口設計不合理而造成擁堵。而NOSA通過智能的內存管理，能夠讓系統在相同硬件條件下處理更多的并發任務。

在內存使用效率方面，NOSA同樣表現出色。傳統方法需要將所有相關數據都保存在昂貴的GPU內存中，這就像必須將所有文件都放在辦公桌上一樣，不僅占用大量空間，還限制了能夠同時處理的工作量。NOSA通過智能的數據搬移策略，能夠將大部分數據放在相對便宜的CPU內存中，只將當前需要的數據保留在GPU內存中。

實驗結果顯示，在相同的內存限制下，NOSA能夠支持更大的批處理規模。比如在17.5GB內存限制下，傳統方法只能支持13個并發任務，而NOSA可以支持40個并發任務，這相當于將系統的吞吐能力提高了三倍以上。這種改進對于需要大規模部署AI服務的應用場景具有重要意義。

在準確性保持方面，NOSA也通過了嚴格的測試。研究團隊在多個標準測試集上比較了NOSA模型和原始模型的表現。在短文本任務上，包括數學推理、常識問答、代碼生成等各個方面，NOSA模型的性能幾乎與原始模型完全相同，平均差異不到0.5%。在長文本任務上，包括長文檔理解、文本摘要、信息檢索等任務，NOSA模型同樣保持了優秀的表現，平均性能損失不到1%。

這種近乎無損的性能保持是NOSA技術的一個重要優勢。許多其他的優化技術雖然能夠提高處理速度，但往往以犧牲準確性為代價。NOSA通過巧妙的設計實現了速度和準確性的雙贏，這就像找到了一種既能提高汽車速度又不增加油耗的技術一樣珍貴。

在實際部署的穩定性測試中，NOSA也表現得非?？煽俊Ｑ芯繄F隊在連續數小時的高負載測試中，系統始終保持穩定運行，沒有出現內存泄漏或性能下降的問題。這種穩定性對于實際應用來說至關重要，因為AI服務通常需要7×24小時不間斷運行。

當前這項研究雖然在1B參數規模的模型上取得了優秀的結果，但研究團隊也坦誠地指出了一些局限性。首先是規模擴展性的問題，雖然理論上NOSA可以應用到更大規模的模型上，但在實際應用中可能需要針對不同規模的模型進行專門的優化。其次是硬件兼容性的考慮，當前的實現主要針對NVIDIA GPU進行優化，在其他硬件平臺上的表現還需要進一步驗證。

盡管存在這些待完善的地方，NOSA技術已經展現出了巨大的應用潛力。特別是在云服務、邊緣計算、移動設備等資源受限的場景下，這種技術能夠顯著提高AI系統的實用性和經濟性。研究團隊表示，他們正在繼續完善這項技術，預計在不久的將來會有更多的改進和應用出現。

說到底，NOSA技術代表了AI系統優化的一個重要方向。它不是簡單地追求更快的計算速度或更大的模型規模，而是通過智能的資源管理來實現更高的整體效率。這種思路就像城市交通規劃一樣，不是單純地修建更多道路或提高車速限制，而是通過智能的交通管理來提高整個系統的通行效率。

這項研究的意義不僅在于提供了一種新的技術方案，更在于為AI系統的優化指出了一個新的思考方向。隨著AI應用的不斷普及，如何讓這些強大的技術在普通設備上也能高效運行，將成為決定AI技術能否真正惠及每個人的關鍵因素。NOSA技術在這方面邁出了重要的一步，為我們展示了通過智能優化實現更高效AI系統的可能性。

歸根結底，技術的價值在于能夠解決實際問題。NOSA技術雖然涉及復雜的算法和系統設計，但它的核心目標很簡單：讓AI變得更加實用和高效。這種樸素而重要的目標，正是推動技術進步的根本動力。隨著這項技術的不斷完善和推廣，我們有理由相信，更智能、更高效的AI系統將會來到我們身邊，為我們的工作和生活帶來更多便利。

Q&A

Q1：NOSA技術是什么？它解決了什么問題？

A：NOSA是清華大學開發的一種新型AI注意力機制技術，專門解決大語言模型在處理長文本時速度慢、內存占用大的問題。它就像為AI大腦配備了智能的存儲管理系統，能夠預測哪些信息重要并進行高效的數據搬移，從而在保持準確性的同時大幅提升處理速度。

Q2：NOSA技術相比傳統方法有多大的性能提升？

A：根據實驗結果，NOSA技術在處理長文本時能夠實現高達2.3倍的速度提升。在內存使用方面，它能夠在相同硬件條件下支持更大規模的并發處理，同時保持近乎無損的準確性表現，在各種任務上的性能損失都在1%以內。

Q3：普通用戶什么時候能用上NOSA技術？

A：目前NOSA還是一項研究階段的技術，研究團隊正在進行更大規模模型的測試和不同硬件平臺的適配工作。預計隨著技術的不斷完善，未來它可能會被集成到各種AI應用和服務中，讓普通用戶在使用AI助手、文檔處理、智能搜索等服務時享受到更快的響應速度。