這項由螞蟻集團聯(lián)合浙江大學、西湖大學、中國人民大學、中科院大學、上海交通大學等多家頂尖學術(shù)機構(gòu)共同完成的研究，于2025年10月發(fā)表在計算機科學領(lǐng)域的重要學術(shù)期刊上。有興趣深入了解的讀者可以通過arXiv編號2510.08666v2查詢完整論文。

過去幾年，我們見證了人工智能在寫作方面的驚人進步。從最初的簡單句子生成，到現(xiàn)在能夠?qū)懗隽鲿澄恼碌拇笳Z言模型，AI的文字創(chuàng)作能力讓人嘆為觀止。然而，這些AI系統(tǒng)有一個共同的"慢性子"特點——它們只能一個字一個字地往外蹦，就像用一根手指在鍵盤上戳字一樣緩慢。

但螞蟻集團的研究團隊卻想出了一個完全不同的思路。他們開發(fā)的新系統(tǒng)叫做dInfer，能夠讓AI像十指飛舞的打字高手一樣，同時處理多個位置的文字生成，速度比傳統(tǒng)方法快了好幾倍。這就像是給原本只能用一根手指打字的AI裝上了十根手指，甚至是多雙手同時工作。

要理解這個突破的意義，我們需要先了解傳統(tǒng)AI寫作的工作方式。就好比你在寫一封信，傳統(tǒng)的AI系統(tǒng)必須嚴格按照從左到右的順序，寫完第一個字才能寫第二個字，寫完第二個字才能寫第三個字，絕不能跳躍或并行處理。這種方式雖然能保證邏輯連貫，但速度確實受到了很大限制。

擴散語言模型的出現(xiàn)改變了這種局面。它們采用了一種全新的生成策略，不再按部就班地從左到右寫字，而是像拼圖一樣，可以同時在多個位置放置合適的文字塊。這種方法的核心思想是先生成一個模糊的草稿，然后通過多次修改和完善，最終得到清晰完整的文章。這就像藝術(shù)家畫畫時，先畫出整體輪廓，再逐步添加細節(jié)，最后完成精美作品的過程。

然而，這種并行生成方式雖然理論上很有前景，但在實際應用中卻面臨著三個主要挑戰(zhàn)。首先是計算成本問題，因為需要進行多輪迭代修改，所以比傳統(tǒng)方法需要更多的計算資源。其次是質(zhì)量控制問題，當AI試圖同時生成多個位置的文字時，往往容易出現(xiàn)邏輯不一致或語義沖突的情況。最后是缺乏統(tǒng)一的推理框架，導致不同研究團隊的成果難以比較，就像各自為政的小作坊，無法形成統(tǒng)一的行業(yè)標準。

正是為了解決這些問題，螞蟻集團的研究團隊開發(fā)了dInfer這套完整的推理框架。他們將整個系統(tǒng)設計成了四個核心組件，就像一個高效的文字工廠中的四個專門車間。

第一個車間是模型組件，負責提供不同類型的AI寫作引擎，包括LLaDA、LLaDA-MoE等多種變體。這就像是工廠的動力源，為整個生產(chǎn)線提供基礎能力。

第二個車間是擴散迭代管理器，它的作用是控制整個寫作過程的節(jié)奏和順序。傳統(tǒng)的方法是簡單地將文章分成固定大小的塊來處理，但研究團隊開發(fā)了一種叫做"迭代平滑"的新技術(shù)。這種技術(shù)的巧妙之處在于，它不會簡單地丟棄上一輪處理中那些沒有被最終采用的文字信息，而是將這些"備選方案"以某種方式保留下來，為下一輪的處理提供更豐富的背景信息。這就像廚師在做菜時，不僅要關(guān)注當前這一步的操作，還要記住之前調(diào)味的經(jīng)驗，這樣做出來的菜才會更有層次感。

第三個車間是解碼策略組件，這是整個系統(tǒng)最有創(chuàng)意的部分。研究團隊開發(fā)了三種不同的并行解碼方法。第一種叫做閾值解碼，它會根據(jù)AI對每個位置文字的確信程度來決定是否立即確定該位置的文字。就像學生做選擇題時，如果對某個答案非常確定，就會立即填寫，而對不確定的題目則繼續(xù)思考。

第二種方法叫做分層解碼，這是研究團隊的原創(chuàng)發(fā)明。它采用了分而治之的策略，將待填寫的文字區(qū)域遞歸地分成更小的子區(qū)域，然后優(yōu)先在每個區(qū)域的中心位置確定文字。這種方法的好處是能夠減少相鄰位置之間的相互干擾，提高生成質(zhì)量。這就像解決復雜問題時，我們常常采用的"化整為零"策略，將大問題分解成小問題逐個擊破。

第三種方法叫做信用解碼，這是另一個巧妙的創(chuàng)新。系統(tǒng)會為每個位置的每個候選文字維護一個"信用積分"，記錄該文字在歷次迭代中被選中的頻率和置信度。那些在多輪迭代中表現(xiàn)穩(wěn)定的文字會獲得更高的信用分，從而更容易被最終選中。這種機制類似于我們在做決策時往往會相信那些經(jīng)過時間考驗的選擇，而對朝三暮四的方案保持謹慎。

第四個車間是KV緩存管理器，這個組件解決了一個技術(shù)上的關(guān)鍵難題。在傳統(tǒng)的從左到右生成模式中，AI可以將之前計算的中間結(jié)果緩存起來重復使用，大大提高效率。但在并行生成模式中，由于文字內(nèi)容會在多輪迭代中不斷變化，簡單的緩存重用會導致錯誤。研究團隊開發(fā)了一種叫做"鄰域緩存刷新"的策略，它會智能地判斷哪些緩存內(nèi)容需要更新，哪些可以繼續(xù)使用。具體做法是，當某個區(qū)域的文字發(fā)生變化時，不僅更新該區(qū)域的緩存，還會更新其周邊鄰近區(qū)域的緩存，確保整個系統(tǒng)的一致性。這就像家里重新裝修某個房間時，不僅要考慮這個房間本身，還要考慮對相鄰房間的影響，確保整體風格的協(xié)調(diào)。

除了這四個核心組件，研究團隊還在系統(tǒng)層面進行了多項優(yōu)化。他們采用了張量并行和專家并行兩種技術(shù)來最大化GPU的利用率。張量并行就像是將一個大任務分配給多個工人同時完成，而專家并行則是讓不同的專家負責不同類型的子任務。這兩種并行方式的結(jié)合，讓系統(tǒng)即使在只處理一個文檔的情況下也能充分利用多個GPU的計算能力。

他們還使用了PyTorch編譯和NVIDIA CUDA圖等先進技術(shù)來優(yōu)化底層的計算執(zhí)行。這就像給汽車引擎進行精密調(diào)校，雖然從外觀上看不出什么變化，但實際性能會有顯著提升。

特別值得一提的是，研究團隊還引入了一種叫做"循環(huán)展開"的技術(shù)來消除擴散迭代之間的等待時間。在傳統(tǒng)實現(xiàn)中，系統(tǒng)必須等待一輪迭代完全結(jié)束后才能開始下一輪，這就像工廠的流水線上，每個工位都要等前一個工位完全完成才能開始工作。循環(huán)展開技術(shù)打破了這種嚴格的同步限制，讓GPU能夠連續(xù)不斷地工作，就像讓流水線保持滿負荷運轉(zhuǎn)狀態(tài)。

為了驗證這套系統(tǒng)的效果，研究團隊進行了全面的測試。他們選擇了六個不同領(lǐng)域的數(shù)據(jù)集進行評估，包括代碼生成任務如CRUX-O、LiveCodeBench、MBPP和Humaneval，數(shù)學推理任務如GSM8K，以及指令跟隨任務如IFeval。這些測試就像是全方位的體檢，確保新系統(tǒng)在各種場景下都能正常工作。

測試結(jié)果讓人眼前一亮。在Humaneval代碼生成任務中，dInfer系統(tǒng)在批量大小為1的情況下達到了超過1100個令牌每秒的處理速度，而在六個基準測試的平均表現(xiàn)中也達到了800多個令牌每秒。這個速度比之前的Fast-dLLM系統(tǒng)快了10倍以上，同時保持了相同的生成質(zhì)量。更令人驚喜的是，即使與高度優(yōu)化的傳統(tǒng)自回歸模型QWen2.5-3B相比，dInfer仍然能夠提供2到3倍的速度提升。

這些數(shù)字背后的意義非常重大。要知道，在AI應用中，推理速度往往是決定用戶體驗和商業(yè)可行性的關(guān)鍵因素。一個能夠?qū)㈨憫獣r間從幾秒鐘縮短到不到一秒的系統(tǒng)，將為實時對話、在線編程輔助、智能寫作等應用帶來質(zhì)的飛躍。

研究團隊還專門訓練了一個叫做LLaDA-MoE-TD的增強版本模型。他們采用了"軌跡壓縮"的訓練方法，讓模型學習如何在更少的迭代步驟中完成高質(zhì)量的文本生成。這種方法的核心思想是從模型自己的生成過程中挖掘出最有效的路徑，然后專門訓練模型走這些"捷徑"。這就像是讓一個新手司機學習資深司機的最優(yōu)行駛路線，避免不必要的繞路和停頓。

具體的訓練過程分為兩個階段。第一階段是收集高質(zhì)量的生成軌跡，研究團隊讓預訓練的擴散語言模型在大量任務上進行生成，然后用外部驗證器篩選出那些最終結(jié)果正確的生成過程。對于數(shù)學問題，他們會檢查答案是否正確；對于代碼生成，他們會驗證代碼是否能正常運行。這樣就得到了一個由優(yōu)質(zhì)生成路徑組成的數(shù)據(jù)集。

第二階段是壓縮過渡學習，模型不再學習傳統(tǒng)的單步過渡，而是學習如何從生成過程的早期狀態(tài)直接跳躍到后期狀態(tài)。這就像訓練跳遠運動員時，不僅要練習每一步的跑步動作，更要練習如何在助跑后實現(xiàn)最遠距離的跳躍。通過這種訓練，LLaDA-MoE-TD版本在數(shù)學推理任務上的并行解碼效率提高了99.8%，在其他領(lǐng)域也平均提高了45.3%。

從技術(shù)架構(gòu)的角度來看，dInfer的模塊化設計具有重要意義。不同的組件可以像樂高積木一樣自由組合，研究人員可以根據(jù)具體應用場景選擇最合適的算法組合。例如，對于注重速度的應用，可以選擇更激進的并行解碼策略；對于注重質(zhì)量的應用，可以選擇更保守的迭代平滑方法。

這種模塊化設計還為未來的擴展留下了空間。隨著新的算法和技術(shù)的出現(xiàn)，可以很容易地集成到現(xiàn)有框架中，而不需要重新設計整個系統(tǒng)。這就像是搭建了一個標準化的平臺，未來的創(chuàng)新可以在這個平臺上快速實現(xiàn)和部署。

從實用性角度來看，dInfer系統(tǒng)的開源發(fā)布具有重要價值。它不僅提供了完整的代碼實現(xiàn)，還建立了標準化的評估協(xié)議。在此之前，不同研究團隊往往使用不同的測試條件和指標，導致結(jié)果難以比較。dInfer的標準化框架為整個領(lǐng)域提供了統(tǒng)一的評估基準，這將加速相關(guān)技術(shù)的發(fā)展和應用。

當然，這項技術(shù)也面臨一些挑戰(zhàn)和限制。首先是計算資源的需求。雖然dInfer在速度上有顯著提升，但多輪迭代和并行處理仍然需要相當?shù)挠嬎隳芰?。對于資源有限的應用場景，需要在速度和成本之間找到合適的平衡點。

其次是質(zhì)量控制的復雜性。并行生成雖然提高了效率，但也增加了出錯的可能性。如何在保持高速度的同時確保生成質(zhì)量，仍然需要進一步的研究和優(yōu)化。

此外，不同類型的任務對并行生成的友好程度也不同。有些任務天然適合并行處理，比如填空或改寫；而有些任務則需要嚴格的邏輯順序，比如推理證明。如何針對不同任務特點調(diào)整系統(tǒng)參數(shù)，也是一個需要深入研究的問題。

盡管存在這些挑戰(zhàn)，dInfer的成功為AI文本生成領(lǐng)域開辟了新的方向。它證明了并行生成不僅在理論上可行，而且在實踐中能夠帶來顯著的性能提升。這將鼓勵更多研究人員探索類似的技術(shù)路徑，推動整個領(lǐng)域的快速發(fā)展。

從商業(yè)應用的角度來看，dInfer技術(shù)的影響將是深遠的。在客服機器人領(lǐng)域，更快的響應速度意味著更好的用戶體驗和更高的問題解決效率。在內(nèi)容創(chuàng)作領(lǐng)域，AI助手可以更快地生成文章草稿、代碼片段或創(chuàng)意方案，大大提高創(chuàng)作者的工作效率。在教育領(lǐng)域，AI導師可以實時回答學生問題，提供個性化的學習輔導。

特別是在代碼生成方面，dInfer的優(yōu)勢更加明顯。編程往往需要在多個位置同時進行修改和補充，傳統(tǒng)的從左到右生成方式很難滿足這種需求。而dInfer的并行生成能力恰好契合了編程的這種特點，能夠同時在函數(shù)定義、變量聲明、邏輯實現(xiàn)等多個部分進行工作，這將大大提升AI編程助手的實用性。

研究團隊在論文中還詳細分析了各種算法組合的效果。他們發(fā)現(xiàn)，不同的解碼策略在不同場景下有著不同的優(yōu)勢。閾值解碼在處理相對簡單、確定性較高的任務時表現(xiàn)最好；分層解碼在處理復雜、需要全局規(guī)劃的任務時更有優(yōu)勢；而信用解碼則在處理需要穩(wěn)定性和一致性的任務時表現(xiàn)出色。

這種細致的分析為實際應用提供了重要指導。用戶可以根據(jù)自己的具體需求選擇最合適的配置，而不是使用一刀切的方案。這就像是為不同的駕駛場景提供了不同的駕駛模式，城市駕駛、高速駕駛、越野駕駛各有最優(yōu)設置。

從技術(shù)發(fā)展趨勢來看，dInfer代表了AI推理技術(shù)從串行向并行轉(zhuǎn)變的重要里程碑。這種轉(zhuǎn)變不僅提高了效率，更重要的是改變了我們對AI文本生成過程的理解。傳統(tǒng)的觀點認為，文本生成必須嚴格按照時間順序進行，但dInfer證明了通過合適的技術(shù)手段，我們可以實現(xiàn)更加靈活和高效的生成模式。

這種思路的轉(zhuǎn)變可能會啟發(fā)更多創(chuàng)新。例如，我們可以想象未來的AI系統(tǒng)能夠像人類作家一樣，先構(gòu)思整體框架，然后同時在多個章節(jié)進行寫作，最后統(tǒng)一修改和完善?；蛘呦駡F隊協(xié)作一樣，不同的AI模塊負責不同的內(nèi)容部分，最后整合成完整的作品。

研究團隊在系統(tǒng)設計中還體現(xiàn)了工程實踐的最佳理念。他們不僅關(guān)注算法的理論性能，更重視實際部署中的各種細節(jié)問題。比如，他們專門設計了早停機制，當生成的文本中出現(xiàn)結(jié)束標記時，系統(tǒng)會立即停止后續(xù)的無意義計算，避免資源浪費。他們還考慮了內(nèi)存管理、緩存策略、并發(fā)控制等各種工程問題，確保系統(tǒng)在實際應用中的穩(wěn)定性和可靠性。

這種注重工程實踐的態(tài)度使得dInfer不僅僅是一個研究原型，而是一個真正可以投入生產(chǎn)使用的系統(tǒng)。這對于推動學術(shù)研究向產(chǎn)業(yè)應用的轉(zhuǎn)化具有重要意義。

值得特別提及的是，研究團隊對評估方法的創(chuàng)新。他們提出了"每序列令牌數(shù)/秒（TPS）"這樣更加公平和準確的性能指標，避免了之前研究中因為批量大小不同而導致的結(jié)果不可比較的問題。這就像是為不同的汽車制定了統(tǒng)一的油耗測試標準，讓消費者能夠公平比較不同產(chǎn)品的性能。

從學術(shù)貢獻的角度來看，這項工作的價值不僅在于具體的技術(shù)創(chuàng)新，更在于為整個領(lǐng)域建立了新的研究范式。它展示了如何將理論創(chuàng)新、工程實踐和標準化評估有機結(jié)合，形成完整的研究體系。這種范式將為后續(xù)的研究工作提供重要參考。

說到底，dInfer的成功反映了AI技術(shù)發(fā)展的一個重要趨勢：從追求單一指標的提升轉(zhuǎn)向追求系統(tǒng)性的突破。它不是簡單地讓某個算法跑得更快一點，而是重新思考了整個問題的解決方式，從根本上改變了游戲規(guī)則。這種系統(tǒng)性創(chuàng)新往往比局部優(yōu)化更具影響力，也更難被復制和超越。

對于普通用戶來說，dInfer技術(shù)的最直觀影響將是AI應用的響應速度大幅提升。無論是使用AI寫作助手、代碼生成工具，還是智能對話系統(tǒng)，用戶都將享受到更加流暢和高效的交互體驗。這種提升不僅僅是數(shù)字上的改進，更是使用體驗的質(zhì)的飛躍。

對于開發(fā)者和研究人員來說，dInfer的開源發(fā)布提供了一個強大的工具箱和學習資源。他們可以在這個基礎上開發(fā)自己的應用，或者進行進一步的研究改進。這種開放合作的模式將加速整個領(lǐng)域的發(fā)展進程。

展望未來，隨著硬件性能的繼續(xù)提升和算法的進一步優(yōu)化，我們有理由相信并行生成技術(shù)將變得更加成熟和普及。也許不久的將來，串行生成模式會變成歷史，就像我們現(xiàn)在很少使用撥號上網(wǎng)一樣。而dInfer作為這個技術(shù)轉(zhuǎn)變過程中的重要里程碑，必將在AI發(fā)展史上占據(jù)重要地位。

總的來說，螞蟻集團這項研究的意義遠超技術(shù)本身。它不僅為我們提供了一個實用的工具，更重要的是展示了一種全新的思考方式和解決問題的路徑。在AI技術(shù)日新月異的今天，這種創(chuàng)新思維和系統(tǒng)性方法論的價值可能比具體的技術(shù)成果更加持久和深遠。對于任何關(guān)注AI技術(shù)發(fā)展的人來說，這都是一項值得深入了解和學習的重要工作。

Q&A

Q1：dInfer是什么技術(shù)？

A：dInfer是螞蟻集團開發(fā)的AI文本生成推理框架，它能讓AI像多手并用的打字高手一樣同時在多個位置生成文字，而不是傳統(tǒng)的一個字一個字依次生成，速度比之前的系統(tǒng)快10倍以上。

Q2：dInfer比傳統(tǒng)AI寫作快在哪里？

A：傳統(tǒng)AI必須嚴格從左到右一個字一個字生成，而dInfer采用并行生成方式，可以同時處理多個文字位置，就像從單手打字升級為十指齊飛，還結(jié)合了多種優(yōu)化技術(shù)來提高GPU利用率。

Q3：普通人能用上dInfer技術(shù)嗎？

A：目前dInfer已經(jīng)開源發(fā)布，開發(fā)者可以直接使用。對普通用戶來說，這項技術(shù)將讓AI寫作助手、代碼生成工具、智能對話系統(tǒng)的響應速度大幅提升，帶來更流暢的使用體驗。