這項由香港中文大學、Inclusion AI等多家機構聯合完成的研究發表于2025年8月，論文詳細介紹了一種名為Grove MoE的全新人工智能架構。這項研究的完整論文可以通過arXiv:2508.07785訪問，對人工智能架構設計感興趣的讀者可以深入了解其技術細節。

當我們的大腦處理不同任務時，會自動調動不同程度的注意力和資源。看一部輕松的喜劇片時，大腦處于相對放松的狀態；而解一道復雜的數學題時，大腦則會全力以赴，動員更多的神經元參與思考。有趣的是，現在的人工智能大語言模型卻做不到這一點——無論面對簡單的"你好"還是復雜的科學問題，它們都會動用同樣多的計算資源，就像一個人無論做什么事都要全力以赴一樣，既浪費精力又效率低下。

香港中文大學的研究團隊敏銳地發現了這個問題，并從計算機處理器的設計中獲得了靈感。現代智能手機的處理器采用了一種叫做"big.LITTLE"的架構設計，就像在一個團隊中既有能力強大但耗電多的"主力隊員"，也有能力適中但省電的"替補隊員"。當手機只是顯示文字時，"替補隊員"就能勝任；當需要運行大型游戲時，"主力隊員"才會上場。這種設計讓手機既能處理復雜任務，又能保持長久的電池續航。

受到這種設計理念的啟發，研究團隊創造了Grove MoE架構。Grove這個名字本身就很有意思——它意味著"小樹林"，就像樹林中的每棵樹都有自己的作用，有些負責主要的光合作用，有些則承擔輔助功能。更有意思的是，Grove這個名字還向半導體行業的傳奇人物安迪·格魯夫致敬，他在處理器發展史上做出了重要貢獻。

在傳統的人工智能架構中，專家系統就像一群能力相同的員工，每當有任務來臨時，總是固定地選擇其中幾個人來處理，無論任務簡單還是復雜。而Grove MoE就像組建了一個更加靈活的團隊，不僅有各種能力的"專家員工"，還為每個小組配備了"助理"。當處理簡單任務時，可能只需要一兩個專家和他們的助理；當面對復雜挑戰時，多個專家會協同工作，而他們共享的助理只需要工作一次，就能為整個小組提供支持。

這種設計的巧妙之處在于"共享助理"的概念。在傳統架構中，每個專家都需要獨立完成所有工作，就像每個廚師都要從頭到尾獨立完成一道菜。而在Grove MoE中，如果多個"廚師專家"同時制作類似的菜品，他們可以共享同一個"助理廚師"來處理基礎工作，比如清洗蔬菜、準備調料等。這樣既提高了效率，又節約了資源。

研究團隊基于已有的Qwen3-30B-A3B-base模型，通過這種創新架構開發出了兩個版本：GroveMoE-base（基礎版）和GroveMoE-Inst（指令優化版）。這兩個模型都擁有330億個參數，但在實際運行時只需要激活其中的31.4億到32.8億個參數，就像一個擁有巨大潛能的大腦在面對具體任務時只調用相關的神經網絡區域。

一、Grove MoE架構的核心創新

傳統的專家混合模型就像一個標準化工廠的生產線，每條生產線的能力完全相同，無論制造簡單產品還是復雜產品，都會占用相同的資源和時間。這種設計雖然管理簡單，但明顯缺乏靈活性。Grove MoE的創新就像重新設計了這個工廠，不僅讓不同的生產線具備了不同的專業能力，還為它們配備了可以共享的輔助設備。

具體來說，Grove MoE將所有的專家分成若干個小組，每個小組都有一個特殊的"輔助專家"。這個輔助專家的能力可以根據需要進行調整，可能比普通專家強一些，也可能弱一些，完全取決于具體任務的需求。當系統處理輸入信息時，如果選中了同一個小組內的多個專家，這些專家不需要各自獨立地調用輔助專家，而是共享同一個輔助專家的計算結果。

這種共享機制帶來了顯著的效率提升。以一個擁有128個專家、分為64個小組的模型為例，傳統架構中如果激活8個專家，就需要進行8次獨立的計算。而在Grove MoE中，如果這8個專家分布在不同的小組中，最多也只需要8次輔助計算；但如果有些專家來自同一個小組，實際的輔助計算次數會更少。研究數據顯示，這種設計可以將激活的輔助專家數量控制在2到8個之間，實現了真正的動態資源分配。

更令人驚嘆的是，Grove MoE還引入了一種"負載均衡"機制。傳統的專家系統經常會出現"偏科"現象，某些專家總是被選中，而另一些專家則很少被使用，就像班級里總有幾個學生承擔所有工作，而其他學生無所事事。Grove MoE通過一種巧妙的動態調整機制，確保各個專家都能得到合理的使用，避免了資源的浪費和過度集中。

這種負載均衡不是簡單的平均分配，而是基于任務需求的智能調度。系統會實時監測各個專家的使用情況，當發現某些專家過度忙碌時，會適當調整選擇偏好，讓相對空閑的專家也有機會參與工作。這種機制既保證了系統的高效運行，又避免了某些專家因過度使用而出現"疲勞"。

二、訓練數據和評估體系的精心設計

為了讓Grove MoE發揮出最佳性能，研究團隊在訓練數據的準備上下了巨大功夫。他們收集了大約4000億個詞匯單位的高質量訓練材料，這些材料涵蓋了網絡內容、學術論文、數學問題、編程代碼等各個領域。如果把這些文字打印成書，大概相當于400萬本中等厚度的小說，可見訓練數據規模的龐大。

訓練過程分為兩個主要階段。第一階段叫做"中期訓練"，就像讓一個已經掌握基礎知識的學生接受專業技能訓練。在這個階段，模型在保持原有知識的基礎上，重點學習推理、數學計算、代碼生成等高級技能。第二階段是"指令調優"，類似于讓學生學會如何與人交流，理解和回應各種問題和要求。

評估體系同樣非常全面，涵蓋了13個不同的測試基準。這些測試就像給學生安排的期末考試，包括了通用知識測試、數學和科學推理測試、編程能力測試等多個方面。比如MMLU測試檢驗模型的綜合知識水平，GSM8K測試評估數學計算能力，Humaneval+測試考查編程技能，每個測試都有其特定的評分標準和難度級別。

在架構參數的選擇上，研究團隊進行了大量的對比實驗。他們嘗試了不同的專家分組方式：64個小組每個包含128維的輔助專家、32個小組每個包含256維的輔助專家、以及16個小組每個包含512維的輔助專家。實驗結果顯示，64個小組的配置在綜合性能上表現最佳，特別是在一般知識理解和代碼生成任務上效果突出。

關于輔助專家的影響權重，研究團隊測試了0.05、0.10、0.20三個不同數值。較小的權重值（0.05）在大多數任務上表現更好，這表明輔助專家應該起到"潤物細無聲"的作用，而不是喧賓奪主。這種細致的參數調優確保了Grove MoE能夠在各種任務上都保持穩定的高性能。

三、性能表現令人印象深刻

在實際測試中，Grove MoE展現出了令人矚目的性能表現。以GroveMoE-Inst為例，在MMLU-Pro這個高難度綜合測試中獲得了72.8分，明顯超過了其他同規模模型的表現。更令人驚嘆的是，在一些數學和科學推理測試中，Grove MoE甚至超越了參數規模更大的競爭對手。

在數學能力測試方面，Grove MoE表現尤為突出。在Omni-MATH這個奧林匹克級別的數學測試中，GroveMoE-Inst達到了43.5分，而其他模型大多在30分左右徘徊。在AIME25這個美國數學競賽級別的測試中，Grove MoE獲得了44.4分，遠超其他模型的表現。這種差距不是小幅領先，而是壓倒性的優勢，說明Grove MoE在復雜推理任務上確實具備了更強的能力。

編程能力方面，Grove MoE同樣表現出色。在MultiPL-E多語言編程測試中獲得了74.5分，在Humaneval+編程挑戰中達到了90.24分。這些分數表明，Grove MoE不僅能夠理解編程概念，還能夠生成高質量的代碼，在實際的軟件開發場景中具有很強的應用潛力。

特別值得注意的是，Grove MoE在保持這些優異性能的同時，計算效率卻比傳統架構高出很多。在實際運行時，Grove MoE只需要激活總參數的9.5%到9.9%，相比之下，傳統的同規模模型通常需要激活10%或更多的參數。雖然這個差異看起來不大，但在大規模部署時，這種效率提升就會轉化為顯著的成本節約和能耗降低。

研究團隊還進行了一個有趣的對比實驗，他們使用完全相同的訓練策略分別訓練了基于Grove MoE架構的模型和基于傳統架構的模型。結果顯示，Grove MoE版本在幾乎所有測試項目上都表現更好，平均性能提升達到2.27分。這個對比實驗排除了其他變量的影響，證明了Grove MoE架構本身的優越性。

四、技術實現的巧妙設計

Grove MoE的技術實現過程體現了研究團隊的精巧設計思路。他們采用了一種叫做"上循環"的策略，就像在已有的房屋基礎上進行擴建，而不是推倒重建。這種方法的好處是能夠保留原有模型已經學會的知識和能力，同時添加新的功能模塊。

在初始化新增的輔助專家時，研究團隊采用了特殊的權重設置策略。新增模塊的輸出層被初始化為零，這意味著在訓練初期，這些輔助專家不會對模型的輸出產生影響，避免了突然的性能下降。隨著訓練的進行，這些輔助專家會逐漸學會如何為原有專家提供有價值的補充信息。

負載均衡機制的實現也頗為巧妙。系統會持續監控每個專家的使用頻率，當發現負載分布不均時，會通過調整路由偏差來重新平衡專家的選擇概率。這種調整是漸進式的，不會造成突然的性能波動，確保了系統的穩定性。

為了適應不同復雜度的任務，Grove MoE還實現了動態的專家激活機制。對于簡單任務，系統可能只激活少數幾個小組的專家；對于復雜任務，更多的專家和輔助專家會被調動起來。這種自適應的資源調配正是Grove MoE相比傳統架構的核心優勢所在。

研究團隊在論文中詳細描述了數學公式和算法細節，但其核心思想可以用一個簡單的比喻來理解：就像一個智能的項目管理系統，能夠根據任務的復雜程度自動調配合適的團隊規模和資源配置，確保既不浪費資源，也不影響工作質量。

五、現實應用的潛力與挑戰

Grove MoE的成功不僅僅是學術研究上的突破，更重要的是它為人工智能的實際應用指明了新的方向。在當前大語言模型快速發展的背景下，如何平衡性能和效率始終是業界關注的焦點。Grove MoE提供了一種優雅的解決方案，它證明了我們不必在性能和效率之間做出艱難選擇。

在實際部署方面，Grove MoE面臨的主要挑戰是實現的復雜性。目前的實現方案需要調用兩次計算核心，導致實際運行速度比理論預期慢了約30%。這就像一個設計精良的機器，但由于缺乏專門的工具而無法發揮出全部潛力。研究團隊認識到了這個問題，并將開發專門的計算核心作為未來工作的重點。

從商業應用的角度來看，Grove MoE的優勢在于它能夠在保持高性能的同時顯著降低運營成本。對于需要處理大量用戶請求的在線服務來說，即使是10%的效率提升也能帶來巨大的成本節約。隨著人工智能服務規模的不斷擴大，這種效率優勢會變得越來越重要。

教育和研究領域也將從Grove MoE中受益。這種架構為理解人工智能如何處理不同復雜度的任務提供了新的視角，有助于推動相關理論研究的發展。同時，Grove MoE的開源性質使得更多研究者能夠基于這一架構進行進一步的創新和改進。

當然，Grove MoE也有其局限性。研究團隊坦率地指出，模型的長篇推理能力仍有提升空間，這主要是由于訓練數據中缺乏足夠的長篇思維鏈示例。此外，他們目前只使用了拒絕采樣等相對簡單的優化方法，而沒有采用更先進的強化學習技術，這為未來的改進留下了空間。

六、對人工智能發展的深遠意義

Grove MoE的成功標志著人工智能架構設計進入了一個新的階段。過去，人們往往認為提高人工智能性能的唯一途徑就是增加更多的參數和計算資源，就像認為要跑得更快就必須有更強壯的肌肉。Grove MoE證明了智能的調度和優化同樣重要，有時甚至比蠻力更有效。

這種架構設計思路對整個人工智能行業都具有啟發意義。它告訴我們，創新不一定需要推倒重來，在現有基礎上的巧妙改進同樣能夠帶來突破性的進展。這為那些資源相對有限的研究機構和公司提供了新的發展路徑，不必盲目追求參數規模的擴大，而可以專注于架構的優化和效率的提升。

從更宏觀的角度來看，Grove MoE體現了一種可持續發展的人工智能理念。隨著人工智能應用的普及，能耗問題日益突出。Grove MoE通過提高計算效率，為解決這一問題提供了有價值的思路。如果這種高效架構能夠得到廣泛應用，將對減少人工智能的環境影響產生積極作用。

Grove MoE還為人工智能的民主化做出了貢獻。通過開源發布，研究團隊讓更多的開發者和研究者能夠接觸到這一先進技術。這種開放的態度有助于加速技術的傳播和改進，推動整個行業的共同進步。

說到底，Grove MoE的意義不僅在于它取得了優異的性能表現，更在于它為人工智能的發展提供了新的思維模式。它告訴我們，真正的智能不是簡單的資源堆砌，而是對資源的合理配置和動態調度。這種理念不僅適用于人工智能系統的設計，也為我們思考其他復雜系統的優化提供了啟發。

研究團隊通過Grove MoE證明了一個重要觀點：在追求人工智能性能突破的道路上，創新的架構設計和算法優化與計算資源的增加同樣重要。這為未來的人工智能研究指明了一個既經濟又環保的發展方向，相信會有更多研究者沿著這條道路繼續探索，為人工智能技術的進步做出新的貢獻。

Q&A

Q1：Grove MoE架構和傳統MoE架構有什么區別？

A：傳統MoE就像標準化工廠，所有專家能力相同，處理任何任務都用固定資源。Grove MoE像智能團隊，將專家分組并配備共享助理，能根據任務復雜度動態調配資源，既提高效率又節約計算成本。

Q2：Grove MoE模型在哪些方面表現最突出？

A：Grove MoE在數學推理和編程任務上表現最為出色。在奧林匹克級數學測試中得分43.5分，遠超其他模型的30分左右；在編程測試中達到90.24分，同時只需激活9.5%的參數就能達到這樣的性能。

Q3：普通開發者可以使用Grove MoE技術嗎？

A：可以的，研究團隊已經開源了Grove MoE的代碼和模型，開發者可以通過GitHub訪問完整資源。不過目前的實現還需要專門的計算核心優化，實際部署時會比理論性能慢約30%。