這項由ETH蘇黎世的Georgios Vlassis和Saleh Ashkboos領導的研究團隊發表于2025年10月的arXiv論文庫（論文編號：arXiv:2509.23500v2），首次系統性地揭示了一個令人意外的現象：在AI模型的"減肥"過程中，不同的"教練"竟然會產生截然不同的效果。這里所說的"減肥"指的是模型量化技術，而"教練"則是指各種優化器算法。

要理解這項研究的重要性，我們先來聊聊當今AI模型面臨的一個關鍵挑戰。現在的大型語言模型就像是超級豪華的跑車，功能強大但"油耗"驚人。一個包含數十億參數的模型在運行時需要消耗大量的計算資源和內存，這就像開著法拉利去買菜一樣不現實。為了讓這些模型能夠在普通設備上運行，研究人員開發了"量化"技術，這就像是把豪華跑車改裝成經濟實用車，在保持核心功能的同時大幅降低資源消耗。

然而，這個"改裝"過程并不簡單。在量化過程中，模型的性能往往會出現不同程度的下降，就像改裝后的車可能會失去一些原有的性能。而這項研究發現，選擇不同的優化器來訓練模型，就像選擇不同的"改裝師傅"，最終的改裝效果會有天壤之別。

研究團隊的成員來自ETH蘇黎世的Georgios Vlassis、Saleh Ashkboos和Torsten Hoefler，以及奧地利科學技術研究所的Alexandra Volkova和Dan Alistarh。這個跨國合作團隊花費了大量時間和計算資源，訓練了從5000萬到15億參數不等的多個模型，使用了六種不同的優化器進行對比實驗。他們的研究不僅在理論上具有突破性，更在實踐中為AI模型的部署提供了重要指導。

一、傳統智慧的顛覆：為什么"異常值"理論失效了

長期以來，AI研究界有一個普遍的認知，就像醫生通過檢查血液中的某些指標來判斷身體健康狀況一樣，研究人員習慣于通過觀察模型中的"異常值"來預測模型在量化后的表現。這些異常值就像是模型數據中的"超級巨星"，它們的數值遠遠超過其他普通數據點。

傳統理論認為，如果一個模型中存在大量這樣的"超級巨星"數據，那么在量化過程中這些數據會變得"水土不服"，導致整個模型性能大幅下降。研究人員甚至開發了專門的指標來衡量這些異常值，比如"最大值與中位數比值"（MMR）和"峰度"等指標，就像是給模型做"體檢"的各種檢測項目。

但是這項研究卻發現了一個令人震驚的現象：這些傳統的"體檢指標"竟然完全失效了！當研究團隊對比使用不同優化器訓練的模型時，他們發現那些按照傳統理論應該表現最好的模型，在實際量化后的性能卻可能是最差的。這就像是一個看起來身體指標完美的運動員，在實際比賽中卻發揮失常一樣令人困惑。

更有趣的是，研究團隊發現，使用Shampoo優化器訓練的模型雖然在傳統的異常值指標上表現最差，但在量化后卻展現出了最強的"抗壓能力"。這完全顛覆了人們的常識認知，就像發現那個平時體檢指標不太好的選手，在關鍵時刻卻表現得最為穩定一樣。

這個發現迫使研究團隊重新思考量化過程中真正影響模型性能的因素。他們意識到，傳統的異常值理論就像是只看樹木不看森林，忽略了量化錯誤在整個神經網絡中傳播和累積的復雜過程。

二、革命性的新理論：ABC分解框架揭秘量化誤差傳播

面對傳統理論的失效，研究團隊并沒有就此止步，而是深入挖掘量化過程的本質機制。他們開發了一個全新的理論框架，稱為"ABC分解"，這個框架就像是給量化過程裝上了一個精密的"顯微鏡"，能夠清晰地觀察錯誤是如何在神經網絡的各個層次之間傳播的。

這個ABC分解框架的巧妙之處在于，它將每一層的量化誤差分解成三個獨立的組成部分，就像把一個復雜的化學反應分解成三個基本步驟一樣。A項代表"累積誤差"，就像是上游工廠排放的污染物流到下游時造成的影響；B項代表"新增誤差"，類似于當前工廠自己產生的污染；C項則代表這兩種誤差之間的"相互作用"，就像不同污染物混合后可能產生的化學反應。

通過這種分解方式，研究團隊發現了一個驚人的規律：在大多數情況下，模型性能的下降主要是由A項，也就是累積誤差造成的。這意味著，即使某一層本身的量化質量很好（B項很小），但如果前面各層累積的誤差很大，整個模型的性能仍然會受到嚴重影響。這就像是一條河流，即使某一段的水質很清澈，但如果上游污染嚴重，整條河流仍然是渾濁的。

更重要的是，研究團隊還推導出了誤差在不同層之間的"放大系數"，他們稱之為"增益"。這個增益就像是音響系統中的放大器，決定了前一層的誤差會被放大多少倍傳遞到下一層。通過分析這些增益的模式，研究人員終于理解了為什么不同優化器會導致如此不同的量化表現。

例如，使用Muon優化器訓練的模型雖然在傳統異常值指標上表現很好，但其內部的增益模式卻會導致誤差在傳播過程中被大幅放大，最終導致量化后性能的顯著下降。相反，Shampoo優化器雖然產生了更多的異常值，但其增益模式卻能有效控制誤差的傳播，從而保持了較好的量化后性能。

三、實驗驗證：六大優化器的"量化大考"

為了驗證他們的理論發現，研究團隊設計了一場前所未有的大規模實驗。他們選擇了六種目前最主流的優化器：AdamW（目前的行業標準）、Muon（新興的高性能優化器）、PSGD、Scion、Shampoo和SOAP，就像是邀請六位不同風格的"教練"來訓練同一批"運動員"。

這場實驗的規模之大令人震撼。研究團隊訓練了從5000萬參數到15億參數的多個模型，每個模型都使用六種不同的優化器進行訓練，然后在相同的條件下進行量化測試。整個實驗就像是一場馬拉松比賽，需要數周的連續計算，消耗了大量的GPU計算資源。

在全精度訓練階段，實驗結果符合人們的預期：Muon優化器表現最為出色，在幾乎所有模型尺寸上都取得了最高的準確率。這就像是一位經驗豐富的教練，能夠在常規訓練中讓運動員發揮出最好的水平。

然而，當這些模型經過量化處理后，排名發生了戲劇性的變化。那個在全精度階段表現最好的Muon優化器，在量化后卻出現了最嚴重的性能下降。而Shampoo優化器，雖然在全精度階段的表現并不是最優的，但在量化后卻展現出了最強的穩定性。

這種現象在研究團隊設計的"共同損失"實驗中表現得尤為明顯。在這個實驗中，所有模型都被訓練到相同的損失水平，確保它們在量化前具有相似的性能。然后，當這些"起跑線相同"的模型經過量化后，使用不同優化器訓練的模型就像是換了不同的"賽道"，表現出了截然不同的性能水平。

特別值得注意的是，研究團隊還進行了量化感知訓練（QAT）的實驗。在這種訓練方式中，模型從一開始就知道自己將來要被量化，就像是運動員從訓練階段就開始適應比賽環境。令人驚訝的是，即使在這種情況下，不同優化器之間的性能差異依然顯著，而Shampoo優化器再次證明了其在量化場景下的優越性。

四、深度解析：為什么Shampoo在量化中表現出色

Shampoo優化器之所以在量化中表現出色，其原因深藏在神經網絡訓練的數學本質中。要理解這一點，我們需要深入探討優化器的工作機制以及它們如何影響模型的內部結構。

Shampoo屬于"二階優化器"家族，這類優化器就像是配備了精密導航系統的汽車，不僅知道要往哪個方向走，還能感知路面的起伏變化并相應調整行進策略。與之相對的一階優化器（如AdamW）更像是只有基礎指南針的徒步者，雖然知道大致方向，但對路徑的細節信息掌握有限。

這種差異在量化場景下變得尤為重要。當神經網絡的權重被量化時，就像是把原本精確的GPS坐標四舍五入到最近的整數位置。這種"四舍五入"的過程會引入噪聲，而不同的優化器會讓模型對這種噪聲的敏感程度大不相同。

Shampoo優化器通過維護每個參數維度的獨立縮放信息，能夠讓模型在訓練過程中自然地形成更加"抗噪聲"的參數分布。這就像是在建房子時，有些建筑師會特別關注結構的穩定性，確保即使在地基略有沉降的情況下，整座建筑仍然能保持穩固。

研究團隊通過他們的ABC分解框架進一步發現，Shampoo訓練的模型具有獨特的誤差傳播模式。雖然這些模型在某些層可能會產生較大的量化誤差，但這些誤差在傳播到后續層時會被有效地"吸收"或"中和"，而不是像其他優化器那樣被不斷放大。

更有趣的是，Shampoo優化器還展現出了一種"自我修復"的能力。在量化過程中，即使某些參數被錯誤地舍入，整個網絡仍然能夠通過其他參數的調整來補償這些錯誤，從而保持整體性能的穩定。這種現象類似于生物體的免疫系統，能夠在受到外部干擾時自動調節以維持內部平衡。

五、量化感知訓練的新發現：優化器選擇重新洗牌

量化感知訓練代表了模型量化技術的另一個重要分支。如果說傳統的訓練后量化像是給已經成型的陶器上釉，那么量化感知訓練就像是在制陶過程中就考慮到最終的上釉效果，從一開始就為量化做好準備。

在這種訓練方式下，研究團隊發現了一個令人意外的現象：全精度訓練中的優化器排名幾乎被完全打亂了。這就像是換了一個完全不同的比賽項目，原本的"短跑冠軍"可能在"馬拉松"中表現平平，而原本默默無聞的選手卻可能脫穎而出。

AdamW優化器在量化感知訓練中的表現就是一個很好的例子。雖然它在全精度訓練中表現中等，但在量化感知訓練中卻展現出了出人意料的穩定性。這可能是因為AdamW的設計理念本身就傾向于產生更加"保守"的參數更新，這種保守性在面對量化帶來的約束時反而成為了優勢。

Shampoo優化器在量化感知訓練中繼續保持了其優越性，但其優勢的來源卻發生了微妙的變化。在全精度訓練后量化的場景中，Shampoo的優勢主要來自其對量化噪聲的抗性；而在量化感知訓練中，它的優勢更多地體現在能夠更好地利用量化約束來指導參數學習的過程。

研究團隊還觀察到，不同優化器在量化感知訓練中的收斂行為存在顯著差異。有些優化器能夠快速適應量化約束并找到最優解，而另一些則可能在量化約束下陷入局部最優解。這種差異不僅影響最終的模型性能，還影響訓練的效率和穩定性。

六、突破性的縮放定律：預測大模型的量化表現

為了驗證他們發現的普適性，研究團隊進一步開發了量化場景下的縮放定律。這些定律就像是物理學中的基本公式，能夠幫助我們預測不同規模模型在量化后的表現，而無需實際進行昂貴的大規模實驗。

傳統的縮放定律主要關注模型規模、數據量和計算資源之間的關系，就像是研究汽車的馬力、油箱容量和行駛距離之間的關系。而這項研究的創新之處在于，它在傳統縮放定律的基礎上增加了"參數效率"這一新維度，專門用來描述量化對模型性能的影響。

通過大量實驗數據的擬合，研究團隊為每個優化器都建立了獨特的縮放定律。這些定律揭示了一個重要的規律：不同優化器的參數效率存在顯著差異，而且這種差異會隨著模型規模的增大而放大。

Shampoo優化器在這方面再次證明了其優越性，獲得了所有測試優化器中最高的參數效率評分0.879。這意味著一個使用Shampoo訓練并量化到4位的模型，其性能相當于一個規模為原模型87.9%的全精度模型。相比之下，表現最差的PSGD優化器的參數效率只有0.739，意味著量化后的性能損失更為嚴重。

這些縮放定律的實用價值不容小覷。在實際應用中，訓練和測試超大規模模型需要消耗巨大的計算資源和時間成本。有了這些縮放定律，研究人員和工程師就能夠在較小規模的實驗基礎上，相對準確地預測大規模模型的量化表現，從而做出更明智的技術選擇。

七、實踐指導：如何在實際項目中應用這些發現

這項研究的價值不僅在于理論突破，更在于為實際的AI模型部署提供了具體的指導建議。對于AI從業者而言，這些發現就像是一份詳細的"使用手冊"，能夠幫助他們在不同場景下做出最優的技術選擇。

在選擇優化器時，研究結果提供了明確的指導原則。如果項目的主要目標是獲得最高的全精度性能，那么Muon優化器仍然是最佳選擇。但如果項目最終需要部署量化模型，特別是在資源受限的環境中，那么Shampoo優化器顯然是更明智的選擇，盡管它可能需要稍多的計算資源和內存。

對于那些既關心全精度性能又需要考慮量化部署的項目，研究團隊的發現提示了一種新的思路：可以考慮采用混合策略，先用Muon優化器訓練出高性能的基線模型，然后再用Shampoo優化器進行fine-tuning，以提高模型的量化魯棒性。

在量化策略的選擇上，研究結果也提供了有價值的見解。對于計算資源充足的場景，量化感知訓練通常能夠獲得更好的性能，但需要注意優化器的選擇可能需要重新評估。對于資源受限或需要快速部署的場景，訓練后量化仍然是可行的選擇，但應該優先考慮使用Shampoo等量化友好的優化器訓練的模型。

研究團隊還強調了超參數調整的重要性。他們發現，不同優化器對學習率等超參數的敏感性存在顯著差異，特別是在量化場景下。因此，在實際應用中，不能簡單地將一個優化器的超參數設置直接應用到另一個優化器上，而需要針對具體的優化器和量化需求進行獨立的超參數搜索。

八、技術細節深度解析：ABC分解的數學原理

為了讓讀者更深入地理解這項研究的技術創新，我們需要進一步探討ABC分解框架的數學原理。雖然這部分內容相對復雜，但理解這些原理有助于我們更好地把握量化過程的本質。

ABC分解的核心思想可以用一個簡單的類比來解釋：假設我們要測量一個復雜系統的總誤差，這個誤差可能來自多個不同的源頭。傳統的方法就像是用一個總的溫度計來測量整個房間的溫度，雖然能得到一個總體的數值，但無法告訴我們熱量具體來自哪里。而ABC分解就像是在房間的不同位置放置多個溫度傳感器，不僅能測量總溫度，還能精確地分析每個熱源的貢獻。

在數學上，ABC分解將每一層的量化誤差Rl精確地分解為三個部分：Rl = Al + Bl + Cl。其中，Al項捕捉了來自前面所有層的累積誤差，Bl項表示當前層新引入的誤差，而Cl項則描述了這兩種誤差之間的相互作用。

這種分解的巧妙之處在于它的數學嚴格性和直觀性的完美結合。每一項都有明確的物理意義，同時又能夠通過實際的網絡激活值精確計算。這就像是給復雜的化學反應過程建立了一個精確的數學模型，既能預測最終結果，又能理解每個步驟的具體貢獻。

研究團隊進一步推導了線性層的增益分解公式，將增益Gl分解為"譜比值"G1,l和"對齊比值"G2,l的乘積。譜比值反映了量化前后權重矩陣譜范數的變化，而對齊比值則描述了輸入向量與權重矩陣之間的對齊程度變化。這種分解就像是把汽車的性能分解為發動機功率和傳動效率的乘積，每個因子都有明確的物理含義和優化方向。

九、實驗設計的精妙之處：確保結果的可靠性

這項研究的實驗設計體現了科學研究的嚴謹性和創新性。研究團隊不僅考慮了結果的準確性，還充分考慮了實驗的可重復性和結果的普適性。

在模型架構的選擇上，研究團隊采用了OLMo2架構，這是一個相對較新但已經被廣泛認可的架構。選擇這個架構的原因是它融合了當前最先進的多種技術組件，包括旋轉位置編碼、RMSNorm標準化、QKNorm等。這就像是選擇一輛配備了最新技術的汽車來進行性能測試，確保測試結果能夠反映當前的技術水平。

在訓練數據的選擇上，研究團隊使用了ClimbMix數據集，這是一個包含4000億高質量token的大規模數據集。更重要的是，他們嚴格遵循了Chinchilla最優訓練制度，確保每個模型都在最優的數據規模下進行訓練。這種設計就像是確保每個參賽選手都在相同的營養和訓練條件下進行比賽，排除了外部因素對結果的干擾。

特別值得注意的是研究團隊設計的"共同損失"實驗協議。在這個協議下，所有使用不同優化器訓練的模型都被要求達到相同的驗證損失水平，然后再進行量化測試。這種設計的巧妙之處在于，它排除了優化器本身性能差異對量化結果的影響，使得我們能夠純粹地評估不同優化器對量化魯棒性的影響。

在超參數調整方面，研究團隊采用了層次化的搜索策略。他們首先在最小的5000萬參數模型上進行各種優化器參數的調優，然后將這些參數應用到更大的模型上。這種策略既保證了超參數的充分優化，又控制了計算成本。對于學習率這個最關鍵的超參數，他們為每個模型-優化器組合都進行了獨立的搜索，確保了公平比較的基礎。

十、結果分析：數據背后的深層洞察

研究結果的豐富性遠超出了簡單的性能排名，它們揭示了優化器、量化和模型性能之間復雜而微妙的關系。通過仔細分析這些結果，我們可以獲得許多有價值的洞察。

在全精度訓練結果中，Muon優化器的優越性隨著模型規模的增大而更加明顯，從350M參數模型的微弱優勢發展到1.5B參數模型的顯著領先。這種趨勢表明，Muon優化器的優勢可能主要體現在大規模模型的訓練上，這對于當前追求更大模型的AI發展趨勢具有重要意義。

在量化結果的分析中，最令人印象深刻的發現是傳統異常值指標的完全失效。研究團隊計算了MMR、峰度等指標與量化后性能的相關性，發現相關系數分別只有0.62和0.70，遠低于統計學上認為有意義的閾值。相比之下，他們提出的新指標RL與量化性能的相關系數達到了-0.89，這種強負相關性清楚地表明了新理論框架的有效性。

量化感知訓練的結果揭示了另一個重要現象：優化器在不同訓練范式下的相對表現可能發生根本性變化。例如，PSGD優化器在訓練后量化中表現相對較好，但在量化感知訓練中卻出現了最大的性能下降。這種現象提醒我們，在評估優化器性能時不能局限于單一的訓練或部署場景。

縮放定律的擬合結果顯示，不同優化器的參數效率差異相當顯著。Shampoo的0.879與PSGD的0.739之間存在超過14%的差距，這種差距在大規模模型部署中可能意味著數TB的參數存儲空間和數千GPU小時的計算成本差異。

說到底，這項研究最重要的貢獻在于它徹底改變了我們對模型量化過程的理解。過去，我們就像是盲人摸象，只能通過一些粗糙的指標來猜測量化后的性能。現在，我們終于有了一套精確的理論工具和實驗方法，能夠科學地預測和優化模型的量化表現。

更重要的是，這項研究為AI模型的實際部署提供了切實可行的指導。在當前AI技術快速發展和廣泛應用的背景下，如何在保持模型性能的同時降低部署成本，是每個AI從業者都必須面對的挑戰。這項研究告訴我們，選擇合適的優化器不僅能提高模型的訓練效果，還能顯著改善模型在實際部署中的表現。

對于普通用戶而言，這項研究的意義在于它可能讓AI技術變得更加普及和實用。當AI模型能夠在保持高性能的同時顯著降低計算需求時，我們就能在手機、平板甚至智能手表上運行更強大的AI應用。這不僅會改變我們與技術的交互方式，還可能催生出許多我們現在還無法想象的新應用場景。

歸根結底，這項研究展示了基礎科學研究的重要價值。通過深入理解AI系統的工作機制，我們不僅能夠優化現有技術，還能為未來的技術發展奠定堅實的理論基礎。正如研究團隊在論文中所述，他們希望這項工作能夠啟發更多的研究者關注優化器與量化之間的相互作用，推動整個AI領域向更高效、更實用的方向發展。對于那些希望深入了解這項研究技術細節的讀者，可以通過論文編號arXiv:2509.23500v2在arXiv論文庫中查找完整的研究報告。

Q&A

Q1：ABC分解框架具體是什么？它如何幫助理解量化過程？

A：ABC分解框架是研究團隊開發的新理論工具，它將神經網絡每一層的量化誤差精確分解為三個部分：A項代表從前面層累積的誤差，B項代表當前層新產生的誤差，C項代表兩種誤差的相互作用。這個框架就像給量化過程裝上了精密顯微鏡，能清晰觀察錯誤如何在網絡各層傳播，從而準確預測模型量化后的性能表現。

Q2：為什么Shampoo優化器在量化后表現最好？它有什么特殊之處？

A：Shampoo屬于二階優化器，它就像配備精密導航系統的汽車，不僅知道前進方向還能感知路面變化。它通過維護每個參數維度的獨立縮放信息，讓模型形成更抗噪聲的參數分布。雖然它可能產生更多異常值，但其獨特的誤差傳播模式能有效控制量化誤差的累積和放大，展現出類似生物免疫系統的自我修復能力。

Q3：這項研究對普通AI應用開發者有什么實際指導意義？

A：研究提供了明確的優化器選擇指導：如果只需要全精度性能，選擇Muon；如果需要部署量化模型，選擇Shampoo更明智。對于資源受限的移動端部署，應優先考慮量化友好的優化器。研究還強調不同優化器需要獨立調整超參數，不能簡單復用設置，這能幫助開發者避免常見的性能陷阱。