這項(xiàng)由英國國王學(xué)院朱青林、姚奕真等研究者領(lǐng)導(dǎo)的研究團(tuán)隊(duì)完成的突破性工作，發(fā)表于2025年10月的arXiv預(yù)印本平臺（論文編號：arXiv:2510.11052v2），同時得到了阿斯利康制藥公司人工智能中心、香港中文大學(xué)以及著名的阿蘭·圖靈研究院的共同支持。這項(xiàng)研究解決了當(dāng)前AI文本生成領(lǐng)域的一個核心難題：如何讓機(jī)器在保持準(zhǔn)確性的同時，大幅提升生成速度。

當(dāng)我們使用ChatGPT或其他AI工具時，可能很少會思考一個問題：為什么AI需要一個字一個字地"憋"出答案？就像一個人在思考復(fù)雜問題時，總是要停頓、組織語言，然后緩慢地說出每個詞。這種傳統(tǒng)的"自回歸"生成方式雖然效果不錯，但速度實(shí)在讓人著急，特別是當(dāng)我們需要AI處理長文本或復(fù)雜任務(wù)時。

近年來，科學(xué)家們嘗試了一種新的解決方案，叫做"擴(kuò)散語言模型"。可以把它想象成這樣一個過程：AI不再像傳統(tǒng)方式那樣從左到右逐字生成，而是先在紙上寫滿了占位符（就像填空題的空格），然后同時思考所有空格應(yīng)該填什么，反復(fù)修改和完善，直到得出最終答案。這種方法的好處是可以并行處理，理論上速度會快很多。

然而，現(xiàn)有的擴(kuò)散語言模型存在兩個嚴(yán)重問題。第一個問題是"健忘癥"：每當(dāng)AI決定某個位置應(yīng)該填入特定詞匯后，它就會完全忘記之前對這個位置的其他想法，就像一個人做選擇題時，一旦選定答案A，就完全忘記了曾經(jīng)考慮過答案B和C的理由。第二個問題是"急躁癥"：AI往往在還沒有充分考慮整個句子的邏輯和連貫性時，就匆忙做出局部決定，導(dǎo)致前后矛盾或邏輯不通。

針對這些問題，英國國王學(xué)院的研究團(tuán)隊(duì)開發(fā)了一種名為"潛在精煉解碼"（Latent Refinement Decoding，簡稱LRD）的全新方法。這個方法的巧妙之處在于模仿了人類思考的兩個階段：深思熟慮和果斷行動。

在第一階段，研究團(tuán)隊(duì)讓AI進(jìn)入"深思熟慮"模式。不同于傳統(tǒng)方法那樣非黑即白的選擇（要么選這個詞，要么完全放棄），LRD允許AI對每個位置保持"模糊"的想法。打個比方，就像一個人在寫作時，腦海中對某個位置可能同時浮現(xiàn)幾個候選詞匯，比如"美麗的"、"漂亮的"、"動人的"，而不是立即確定用哪一個。在這個階段，AI會將這些可能的選擇按照置信度進(jìn)行"混合"，形成一種介于確定和不確定之間的中間狀態(tài)。

這種混合的方式非常巧妙。研究團(tuán)隊(duì)設(shè)計(jì)了一個基于"熵"（可以理解為不確定性程度）的權(quán)重系統(tǒng)。當(dāng)AI對某個位置非常確定時，這個位置就更傾向于具體的詞匯；當(dāng)AI還很猶豫時，這個位置就更多地保持"待定"狀態(tài)。這就像一個人在思考時，對于確定的地方會更加明確，對于不確定的地方會保持開放性。

在這個深思熟慮的階段，AI會反復(fù)調(diào)整自己的想法，直到達(dá)到一個相對穩(wěn)定的狀態(tài)。研究團(tuán)隊(duì)通過監(jiān)測AI思考過程中的"變化程度"來判斷是否已經(jīng)想清楚了。一旦AI的想法不再大幅波動，就意味著它已經(jīng)對整個問題有了比較完整的理解。

接下來進(jìn)入第二階段："果斷行動"模式。在這個階段，AI開始逐步將那些已經(jīng)比較確定的位置"釘死"，確定具體的詞匯，但對于那些仍然不太確定的位置，繼續(xù)保持之前第一階段形成的"混合"狀態(tài)。這樣做的好處是，已經(jīng)確定的部分可以為剩余部分提供更好的上下文信息，幫助AI做出更準(zhǔn)確的后續(xù)判斷。

更重要的是，研究團(tuán)隊(duì)還設(shè)計(jì)了一個"適應(yīng)性停止"機(jī)制。傳統(tǒng)方法通常需要固定數(shù)量的迭代步驟，不管問題簡單還是復(fù)雜都要走完全程，就像不管路程遠(yuǎn)近都要開車一小時才停下。而LRD可以自動判斷什么時候已經(jīng)達(dá)到了足夠好的結(jié)果，可以提前"收工"。對于簡單問題，可能幾步就搞定；對于復(fù)雜問題，會自動延長思考時間。

為了驗(yàn)證這種方法的效果，研究團(tuán)隊(duì)在四個不同類型的任務(wù)上進(jìn)行了全面測試。這些任務(wù)包括編程問題求解（Humaneval和MBPP）和數(shù)學(xué)推理問題（GSM8K和MATH500）。測試中使用了兩個主要的AI模型家族：LLaDA（8億參數(shù)）和Dream（7億參數(shù)），每個家族都包括基礎(chǔ)版本和經(jīng)過指令調(diào)優(yōu)的版本。

實(shí)驗(yàn)結(jié)果相當(dāng)令人鼓舞。在準(zhǔn)確性方面，LRD在幾乎所有測試場景中都顯著超越了傳統(tǒng)方法。以最難的編程任務(wù)Humaneval為例，改進(jìn)幅度達(dá)到了6.3個百分點(diǎn)，這在AI領(lǐng)域是一個相當(dāng)可觀的提升。在數(shù)學(xué)推理任務(wù)中，提升幅度從1.0到3.8個百分點(diǎn)不等，證明了方法的普適性。

在速度方面，LRD的表現(xiàn)更是驚艷。在處理較短文本（256個字符）時，速度提升達(dá)到1.2到2.4倍；在處理中等長度文本（512個字符）時，速度提升達(dá)到1.2到4.6倍；最令人印象深刻的是在處理長文本（1024個字符）時，速度提升可以達(dá)到1.7到10.6倍。這意味著原本需要10分鐘才能完成的任務(wù)，現(xiàn)在可能只需要1分鐘就能搞定。

研究團(tuán)隊(duì)還深入分析了為什么LRD能夠取得這樣的效果。通過監(jiān)測AI在處理過程中"想法變化"的程度，他們發(fā)現(xiàn)LRD的兩階段設(shè)計(jì)確實(shí)符合預(yù)期：在第一階段，AI的想法會快速收斂到一個穩(wěn)定狀態(tài)；在第二階段，隨著確定詞匯的逐步增加，AI對剩余位置的判斷變得越來越有信心。

特別有趣的是，研究團(tuán)隊(duì)發(fā)現(xiàn)大多數(shù)問題其實(shí)在前幾個思考步驟中就能得到很好的解決。以Dream模型在編程任務(wù)上的表現(xiàn)為例，68.9%的問題在第2步就達(dá)到了收斂狀態(tài)，超過85%的問題在第3步內(nèi)就搞定了。這說明大多數(shù)時候，AI并不需要進(jìn)行過于復(fù)雜的"思考"，關(guān)鍵是要讓它在關(guān)鍵時刻能夠充分利用全局信息。

為了確保結(jié)論的可靠性，研究團(tuán)隊(duì)還進(jìn)行了詳細(xì)的消融實(shí)驗(yàn)，就是逐個移除LRD的各個組件，看看每個部分到底貢獻(xiàn)了多少。結(jié)果顯示，"混合嵌入"機(jī)制是整個方法最核心的部分，移除它會導(dǎo)致最大的性能下降。第一階段的"深思熟慮"過程雖然會稍微增加計(jì)算時間，但對最終結(jié)果的準(zhǔn)確性有重要貢獻(xiàn)。而"適應(yīng)性停止"機(jī)制則是速度提升的最主要來源，移除它會讓速度優(yōu)勢基本消失。

研究團(tuán)隊(duì)還測試了一些關(guān)鍵參數(shù)的影響。他們發(fā)現(xiàn)，"混合強(qiáng)度"需要恰到好處：太低了就退化成傳統(tǒng)方法，太高了又會導(dǎo)致AI過于"猶豫不決"，無法做出有效決策。通過大量實(shí)驗(yàn)，他們確定了最優(yōu)的參數(shù)范圍。

另一個有趣的發(fā)現(xiàn)是，在"混合"過程中，并不需要考慮太多的候選詞匯。即使只考慮概率最高的少數(shù)幾個選擇，效果也已經(jīng)非常好了。這說明關(guān)鍵不在于選擇的多樣性，而在于能夠保持一定的靈活性，避免過早的"一刀切"決策。

從技術(shù)角度來看，LRD的成功在于它找到了一個巧妙的平衡點(diǎn)。傳統(tǒng)的自回歸方法過于保守，每次只敢邁出一小步；早期的擴(kuò)散方法又過于激進(jìn)，容易出現(xiàn)前后不一致的問題。LRD通過兩階段設(shè)計(jì)，既保留了并行處理的速度優(yōu)勢，又避免了過早決策的陷阱。

這項(xiàng)研究的意義不僅僅局限于技術(shù)層面的改進(jìn)。在實(shí)際應(yīng)用中，生成速度的大幅提升意味著AI可以更好地支持實(shí)時交互場景，比如智能客服、實(shí)時翻譯、代碼自動完成等。對于需要處理大量文本的應(yīng)用，比如文檔摘要、內(nèi)容創(chuàng)作、學(xué)術(shù)論文寫作等，這種速度提升更是具有重要的實(shí)用價(jià)值。

值得注意的是，LRD并不是一個封閉的系統(tǒng)，而是一個可以與現(xiàn)有技術(shù)相結(jié)合的框架。研究團(tuán)隊(duì)指出，LRD可以作為一個"插件式"的解碼模塊，與未來的擴(kuò)散語言模型相結(jié)合。同時，它還可以與系統(tǒng)級優(yōu)化技術(shù)（如KV緩存、推測性解碼等）進(jìn)一步結(jié)合，實(shí)現(xiàn)更大的性能提升。

當(dāng)然，這項(xiàng)研究也存在一些局限性。目前的實(shí)驗(yàn)主要集中在編程和數(shù)學(xué)推理這兩個相對結(jié)構(gòu)化的任務(wù)上，對于更加開放性的創(chuàng)作任務(wù)（如小說寫作、詩歌創(chuàng)作）的效果還需要進(jìn)一步驗(yàn)證。此外，雖然速度有了顯著提升，但相比傳統(tǒng)自回歸模型，擴(kuò)散模型在部署復(fù)雜度和硬件要求方面仍然存在一定挑戰(zhàn)。

展望未來，這項(xiàng)研究為AI文本生成領(lǐng)域開辟了一個新的方向。隨著硬件性能的不斷提升和算法的進(jìn)一步優(yōu)化，基于擴(kuò)散機(jī)制的并行生成方法有望成為下一代AI系統(tǒng)的標(biāo)準(zhǔn)配置。特別是在需要高實(shí)時性和高質(zhì)量并存的應(yīng)用場景中，LRD這樣的方法可能會發(fā)揮越來越重要的作用。

更深層次地看，這項(xiàng)研究體現(xiàn)了AI發(fā)展的一個重要趨勢：從簡單的模仿人類輸出，轉(zhuǎn)向模仿人類思考過程。LRD的兩階段設(shè)計(jì)實(shí)際上反映了人類在處理復(fù)雜問題時的認(rèn)知模式：先進(jìn)行發(fā)散性思考，考慮各種可能性，然后逐步收斂到具體的解決方案。這種"從模糊到清晰"的過程可能是實(shí)現(xiàn)更強(qiáng)人工智能的一個重要路徑。

此外，研究中提到的"適應(yīng)性"概念也值得關(guān)注。傳統(tǒng)的AI系統(tǒng)往往采用"一刀切"的處理方式，對所有問題都使用相同的計(jì)算資源和處理步驟。而LRD能夠根據(jù)問題的復(fù)雜程度自動調(diào)整處理深度，這種"因題而異"的智能化資源分配方式，可能是未來AI系統(tǒng)的一個重要特征。

說到底，這項(xiàng)來自英國國王學(xué)院的研究為我們展示了AI文本生成的一種全新可能性。通過讓AI學(xué)會"深思熟慮"和"適時決斷"，不僅大幅提升了生成速度，還改善了生成質(zhì)量。這種突破不僅具有重要的技術(shù)價(jià)值，更為我們理解和改進(jìn)AI系統(tǒng)的思考方式提供了寶貴的啟示。對于普通用戶而言，這意味著未來的AI助手可能會變得更加快速和可靠，能夠更好地滿足我們對實(shí)時、高質(zhì)量文本生成的需求。有興趣深入了解技術(shù)細(xì)節(jié)的讀者，可以通過arXiv:2510.11052v2查閱這項(xiàng)研究的完整論文。

Q&A

Q1：潛在精煉解碼（LRD）相比傳統(tǒng)AI文本生成有什么優(yōu)勢？

A：LRD的最大優(yōu)勢是同時提升了速度和準(zhǔn)確性。傳統(tǒng)AI需要一個字一個字地生成文本，而LRD讓AI可以同時思考所有位置該填什么，就像同時做多道填空題。在保持甚至提高準(zhǔn)確性的前提下，生成速度可以提升1.2到10.6倍。

Q2：LRD的兩階段設(shè)計(jì)是如何工作的？

A：第一階段是"深思熟慮"模式，AI對每個位置保持多種可能性的混合狀態(tài)，不急于做決定；第二階段是"果斷行動"模式，AI逐步確定有把握的位置，同時為不確定的位置提供更好的上下文信息。這種設(shè)計(jì)模仿了人類思考的自然過程。

Q3：這項(xiàng)技術(shù)什么時候能夠應(yīng)用到日常的AI產(chǎn)品中？

A：LRD作為一個通用的解碼框架，可以作為"插件"集成到現(xiàn)有的AI系統(tǒng)中。雖然目前還在研究階段，但由于其顯著的性能優(yōu)勢，預(yù)計(jì)會逐步應(yīng)用到需要實(shí)時文本生成的場景中，如智能客服、代碼自動補(bǔ)全和實(shí)時翻譯等應(yīng)用。