這項(xiàng)由騰訊混元團(tuán)隊(duì)聯(lián)合澳門大學(xué)、香港中文大學(xué)和東京科學(xué)技術(shù)研究所共同完成的研究發(fā)表于2025年6月的第42屆國(guó)際機(jī)器學(xué)習(xí)會(huì)議（ICML 2025）。研究團(tuán)隊(duì)包括孫星武、李帥鵬等多位專家，有興趣深入了解的讀者可以通過論文編號(hào)arXiv:2501.02423v3訪問完整論文。

當(dāng)你用手機(jī)拍照時(shí)，每張照片都需要大量的數(shù)字來記錄顏色和亮度信息。類似地，訓(xùn)練AI大模型也需要處理海量的數(shù)字運(yùn)算。但是這里有個(gè)問題：如果每個(gè)數(shù)字都用最高精度來處理，就像用最高清的模式拍攝每一張照片一樣，計(jì)算機(jī)的存儲(chǔ)空間和運(yùn)算速度都會(huì)受到嚴(yán)重拖累。

于是工程師們想到了一個(gè)聰明的辦法：使用"浮點(diǎn)數(shù)"來表示這些數(shù)字。可以把浮點(diǎn)數(shù)想象成科學(xué)記數(shù)法的數(shù)字表示方式，比如把123000寫成1.23×10^5。這種表示方法包含兩個(gè)關(guān)鍵部分：一個(gè)是"尾數(shù)"（比如1.23），表示數(shù)字的具體數(shù)值；另一個(gè)是"指數(shù)"（比如5），表示數(shù)字的大小范圍。在計(jì)算機(jī)里，這分別對(duì)應(yīng)著"尾數(shù)位"和"指數(shù)位"，它們共同決定了一個(gè)浮點(diǎn)數(shù)的精度和表示范圍。

然而，這就像烹飪時(shí)的調(diào)料配比一樣，指數(shù)位和尾數(shù)位的搭配比例會(huì)直接影響最終的"味道"——也就是AI模型的性能。過去的研究主要關(guān)注整數(shù)量化（相當(dāng)于用粗糙的調(diào)料），對(duì)于浮點(diǎn)數(shù)量化訓(xùn)練中這些精細(xì)配比的影響卻缺乏深入研究。騰訊混元團(tuán)隊(duì)發(fā)現(xiàn)，現(xiàn)有的預(yù)測(cè)模型在面對(duì)浮點(diǎn)數(shù)量化訓(xùn)練時(shí)，就像用錯(cuò)誤的食譜烹飪一樣，預(yù)測(cè)結(jié)果往往不盡如人意。

于是，研究團(tuán)隊(duì)決定從零開始，系統(tǒng)性地探索浮點(diǎn)數(shù)量化訓(xùn)練的奧秘。他們?cè)O(shè)計(jì)了366組不同的實(shí)驗(yàn)，就像一個(gè)超級(jí)廚師在廚房里嘗試各種調(diào)料配比一樣，測(cè)試了不同模型大小、不同數(shù)據(jù)量、不同指數(shù)位和尾數(shù)位配置對(duì)AI模型性能的影響。

一、發(fā)現(xiàn)浮點(diǎn)數(shù)的"黃金配比"

研究團(tuán)隊(duì)首先解決了一個(gè)基礎(chǔ)問題：在訓(xùn)練AI模型時(shí)，到底應(yīng)該對(duì)哪些計(jì)算環(huán)節(jié)進(jìn)行量化處理。這就像在做菜時(shí)決定哪些步驟可以用簡(jiǎn)化工具，哪些步驟必須精工細(xì)作。

在AI模型的神經(jīng)網(wǎng)絡(luò)中，每一層都涉及復(fù)雜的矩陣運(yùn)算。研究團(tuán)隊(duì)發(fā)現(xiàn)，這些運(yùn)算可以分為三個(gè)主要階段：前向計(jì)算（相當(dāng)于食材的初步處理）、輸入梯度計(jì)算（相當(dāng)于調(diào)整味道）、以及參數(shù)梯度計(jì)算（相當(dāng)于總結(jié)經(jīng)驗(yàn)）。每個(gè)階段都有兩個(gè)關(guān)鍵輸入需要處理。

通過大量實(shí)驗(yàn)，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：并不是所有的計(jì)算環(huán)節(jié)都需要高精度處理。具體來說，對(duì)權(quán)重、反向傳播中的權(quán)重以及激活值的梯度進(jìn)行量化，對(duì)模型性能的影響相對(duì)較小，就像烹飪時(shí)某些調(diào)料的精確度要求沒那么高一樣。但是，如果對(duì)輸入激活值進(jìn)行量化，特別是在計(jì)算輸入梯度時(shí)，模型性能會(huì)顯著下降，損失可能增加多達(dá)2%。

這個(gè)發(fā)現(xiàn)讓研究團(tuán)隊(duì)意識(shí)到，在AI模型訓(xùn)練中，不同計(jì)算環(huán)節(jié)的重要性是不同的。有些環(huán)節(jié)就像烹飪中的主要調(diào)料，必須精確控制；有些環(huán)節(jié)則像配菜，可以適當(dāng)簡(jiǎn)化處理。

二、指數(shù)位與尾數(shù)位的巧妙平衡

接下來，研究團(tuán)隊(duì)深入探究了指數(shù)位和尾數(shù)位配置的影響。這就像研究糖和鹽的配比對(duì)菜品味道的影響一樣，需要找到最佳的平衡點(diǎn)。

傳統(tǒng)觀點(diǎn)認(rèn)為，指數(shù)位和尾數(shù)位應(yīng)該同等重要，就像認(rèn)為糖和鹽在調(diào)味中的作用相當(dāng)。但研究團(tuán)隊(duì)的實(shí)驗(yàn)結(jié)果卻出人意料：指數(shù)位對(duì)模型性能的貢獻(xiàn)略微大于尾數(shù)位。這意味著，在有限的數(shù)字位數(shù)預(yù)算下，稍微多分配一些位數(shù)給指數(shù)位會(huì)得到更好的效果。

具體來說，當(dāng)總共有4個(gè)位數(shù)可用時(shí)，最佳配置是2個(gè)指數(shù)位和1個(gè)尾數(shù)位；8個(gè)位數(shù)時(shí)，最佳配置是4個(gè)指數(shù)位和3個(gè)尾數(shù)位；16個(gè)位數(shù)時(shí)，最佳配置是8個(gè)指數(shù)位和7個(gè)尾數(shù)位。這個(gè)發(fā)現(xiàn)為硬件制造商提供了寶貴的參考，就像為廚具設(shè)計(jì)師提供了最佳的工具規(guī)格建議。

研究團(tuán)隊(duì)還發(fā)現(xiàn)，這種配比規(guī)律背后有著深層的數(shù)學(xué)原理。他們通過大量的實(shí)驗(yàn)數(shù)據(jù)擬合，發(fā)現(xiàn)了一個(gè)精確的公式，可以預(yù)測(cè)在任何給定的位數(shù)預(yù)算下，應(yīng)該如何分配指數(shù)位和尾數(shù)位的數(shù)量。

三、數(shù)據(jù)規(guī)模的"臨界點(diǎn)"現(xiàn)象

在探索過程中，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)令人驚訝的現(xiàn)象：在低精度訓(xùn)練中，并不是訓(xùn)練數(shù)據(jù)越多越好。這就像發(fā)現(xiàn)了"營(yíng)養(yǎng)過剩"的問題——當(dāng)攝入的營(yíng)養(yǎng)超過身體能夠有效吸收的量時(shí)，反而可能對(duì)健康產(chǎn)生負(fù)面影響。

傳統(tǒng)的高精度訓(xùn)練中，增加訓(xùn)練數(shù)據(jù)通常會(huì)持續(xù)改善模型性能。但在低精度訓(xùn)練中，情況完全不同。當(dāng)訓(xùn)練數(shù)據(jù)量超過某個(gè)臨界值時(shí)，模型性能不但不會(huì)繼續(xù)提升，反而會(huì)開始下降。

這個(gè)臨界值被研究團(tuán)隊(duì)稱為"臨界數(shù)據(jù)大小"。它的存在可以用"知識(shí)密度"的概念來理解。在低精度訓(xùn)練中，模型就像一個(gè)容量有限的容器，當(dāng)試圖往里面裝入過多信息時(shí)，容器就會(huì)"溢出"，導(dǎo)致已有信息的質(zhì)量下降。

研究團(tuán)隊(duì)通過數(shù)學(xué)推導(dǎo)，得出了計(jì)算這個(gè)臨界數(shù)據(jù)大小的精確公式。他們發(fā)現(xiàn)，模型規(guī)模越大、訓(xùn)練精度越高、量化塊大小越小，這個(gè)臨界點(diǎn)就會(huì)相應(yīng)推遲出現(xiàn)。這就像更大的容器、更好的材質(zhì)、更精細(xì)的結(jié)構(gòu)都能提高容器的承載能力。

以一個(gè)10億參數(shù)的模型為例，在BF16精度下訓(xùn)練時(shí)，臨界數(shù)據(jù)大小高達(dá)1730T（萬億個(gè)字符），遠(yuǎn)超現(xiàn)有數(shù)據(jù)集規(guī)模，所以我們從未觀察到這種現(xiàn)象。但當(dāng)使用FP8-E4M3格式訓(xùn)練時(shí)，臨界數(shù)據(jù)大小降至27T；使用FP4-E2M1格式時(shí)，更是銳減到僅0.4T。這解釋了為什么在極低精度訓(xùn)練中，過多的數(shù)據(jù)反而會(huì)傷害模型性能。

四、計(jì)算預(yù)算的最優(yōu)分配策略

研究團(tuán)隊(duì)還探索了在固定計(jì)算預(yù)算下，如何最優(yōu)地分配計(jì)算資源。這就像在固定預(yù)算下安排一頓大餐，需要在食材質(zhì)量、菜品數(shù)量和烹飪精度之間找到最佳平衡。

當(dāng)數(shù)據(jù)量固定時(shí)，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)有趣的策略：在訓(xùn)練初期使用激進(jìn)的量化策略（如FP8甚至FP4），快速讓模型收斂到較好水平；隨著數(shù)據(jù)量增加和"知識(shí)密度"提高，逐步提升訓(xùn)練精度到BF16甚至FP32，以維持最佳的訓(xùn)練效果。這就像做菜時(shí)，先用大火快速加熱，然后轉(zhuǎn)小火慢燉的策略。

當(dāng)模型大小固定時(shí)，研究團(tuán)隊(duì)發(fā)現(xiàn)精度和計(jì)算預(yù)算之間存在一個(gè)冪律關(guān)系。通過這個(gè)關(guān)系，他們可以預(yù)測(cè)在任何給定的計(jì)算預(yù)算下，最優(yōu)的量化精度應(yīng)該是多少。

最重要的是，當(dāng)同時(shí)優(yōu)化模型大小、數(shù)據(jù)量和精度時(shí)，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)關(guān)鍵結(jié)論：在廣泛的計(jì)算預(yù)算范圍內(nèi)（從10^21到10^31次浮點(diǎn)運(yùn)算），最優(yōu)的成本性能精度始終保持在4-8位之間。這意味著，不管你的計(jì)算預(yù)算是多少，使用4-8位精度訓(xùn)練都能獲得最佳的性價(jià)比。

五、Capybara縮放定律的誕生

基于所有這些發(fā)現(xiàn)，研究團(tuán)隊(duì)提出了他們的核心貢獻(xiàn)：Capybara縮放定律。這個(gè)定律就像一個(gè)萬能公式，可以精確預(yù)測(cè)在任何給定的模型大小、數(shù)據(jù)量、指數(shù)位、尾數(shù)位和量化塊大小組合下，AI模型的最終性能。

Capybara這個(gè)名字很有寓意。在自然界中，水豚是一種群居動(dòng)物，但當(dāng)棲息地變得過于擁擠時(shí)，種群密度的增加反而會(huì)降低個(gè)體的生存質(zhì)量。這正好類比了研究團(tuán)隊(duì)發(fā)現(xiàn)的現(xiàn)象：在低精度訓(xùn)練中，過多的數(shù)據(jù)（相當(dāng)于過高的"知識(shí)密度"）反而會(huì)損害模型性能。

這個(gè)縮放定律的數(shù)學(xué)表達(dá)式看起來復(fù)雜，但其核心思想很簡(jiǎn)單。它由兩個(gè)主要部分組成：一個(gè)是傳統(tǒng)的Chinchilla縮放定律部分，描述數(shù)據(jù)量和模型大小對(duì)性能的基礎(chǔ)影響；另一個(gè)是新增的精度影響部分，描述低精度訓(xùn)練帶來的額外性能損失。

精度影響部分可以理解為"知識(shí)密度"與"低精度信息損失"的乘積。"知識(shí)密度"由數(shù)據(jù)量與模型大小的比值決定，表示單位模型容量需要處理的信息量；"低精度信息損失"則由指數(shù)位、尾數(shù)位和量化塊大小共同決定，表示量化過程造成的信息丟失程度。

六、實(shí)驗(yàn)驗(yàn)證與應(yīng)用價(jià)值

為了驗(yàn)證Capybara縮放定律的準(zhǔn)確性，研究團(tuán)隊(duì)進(jìn)行了大規(guī)模的實(shí)驗(yàn)驗(yàn)證。他們訓(xùn)練了從4100萬到6.79億參數(shù)不等的各種模型，使用了從100億到1000億個(gè)訓(xùn)練詞元的不同數(shù)據(jù)量，測(cè)試了36種不同的精度配置組合。

實(shí)驗(yàn)結(jié)果令人振奮：與之前的預(yù)測(cè)方法相比，Capybara縮放定律能夠更準(zhǔn)確地預(yù)測(cè)模型性能，特別是在低精度訓(xùn)練場(chǎng)景下。之前的方法在面對(duì)FP3這樣的極低精度配置時(shí)，預(yù)測(cè)偏差很大，就像用錯(cuò)誤的食譜做菜，結(jié)果往往差強(qiáng)人意。而Capybara縮放定律的預(yù)測(cè)結(jié)果與實(shí)際測(cè)試結(jié)果高度吻合。

更重要的是，研究團(tuán)隊(duì)還驗(yàn)證了這個(gè)定律在更大模型上的適用性。他們測(cè)試了12億、70億和700億參數(shù)的模型，發(fā)現(xiàn)Capybara縮放定律依然能夠準(zhǔn)確預(yù)測(cè)性能，證明了其在大規(guī)模應(yīng)用中的可靠性。

這項(xiàng)研究的實(shí)用價(jià)值巨大。對(duì)于AI模型開發(fā)者來說，他們現(xiàn)在可以在開始昂貴的訓(xùn)練過程之前，就準(zhǔn)確預(yù)測(cè)不同配置下的模型性能，從而選擇最優(yōu)的訓(xùn)練策略。對(duì)于硬件制造商來說，研究提供的最佳浮點(diǎn)格式配置指南可以幫助他們?cè)O(shè)計(jì)更高效的AI訓(xùn)練芯片。對(duì)于研究機(jī)構(gòu)和公司來說，4-8位精度的最優(yōu)成本性能建議可以幫助他們?cè)谟邢揞A(yù)算下獲得最佳效果。

七、對(duì)未來的深遠(yuǎn)影響

這項(xiàng)研究的影響遠(yuǎn)不止于技術(shù)層面。它揭示了AI訓(xùn)練中一個(gè)根本性的權(quán)衡：在追求效率的過程中，我們需要在精度、速度、成本和性能之間找到最佳平衡點(diǎn)。

從產(chǎn)業(yè)發(fā)展角度來看，這項(xiàng)研究為AI民主化提供了重要支撐。通過優(yōu)化量化策略，更多的研究機(jī)構(gòu)和小公司可以用較少的計(jì)算資源訓(xùn)練出高質(zhì)量的AI模型。這就像發(fā)明了更高效的烹飪方法，讓更多人能夠制作出美味的菜肴。

從科學(xué)研究角度來看，Capybara縮放定律為理解AI模型的學(xué)習(xí)機(jī)制提供了新的視角。"臨界數(shù)據(jù)大小"的發(fā)現(xiàn)揭示了模型容量與信息消化能力之間的內(nèi)在關(guān)系，為未來的模型架構(gòu)設(shè)計(jì)提供了理論指導(dǎo)。

從環(huán)境保護(hù)角度來看，更高效的訓(xùn)練策略意味著更少的能源消耗。當(dāng)全球都在關(guān)注AI訓(xùn)練的碳排放問題時(shí)，這項(xiàng)研究提供了一個(gè)實(shí)用的解決方案：通過智能的量化策略，在保持模型性能的同時(shí)顯著降低訓(xùn)練成本。

當(dāng)然，這項(xiàng)研究也有其局限性。目前的實(shí)驗(yàn)主要基于Transformer架構(gòu)，對(duì)于其他新興架構(gòu)（如Mamba系列）的適用性還需要進(jìn)一步驗(yàn)證。研究重點(diǎn)關(guān)注的是經(jīng)典浮點(diǎn)量化策略，對(duì)于其他新型低位量化方法的支持也有待擴(kuò)展。

說到底，這項(xiàng)研究最重要的價(jià)值在于它改變了我們對(duì)AI訓(xùn)練效率的認(rèn)知。過去我們可能認(rèn)為，要獲得更好的AI模型就必須使用更高的精度、更多的數(shù)據(jù)、更強(qiáng)的計(jì)算力。但騰訊混元團(tuán)隊(duì)的發(fā)現(xiàn)告訴我們，智慧的策略往往比蠻力更有效。就像優(yōu)秀的廚師不是因?yàn)閾碛凶钯F的食材，而是因?yàn)檎莆樟俗罴训呐腼兗记伞?/p>

這項(xiàng)研究為整個(gè)AI社區(qū)提供了一個(gè)寶貴的工具箱，讓每個(gè)開發(fā)者都能根據(jù)自己的具體需求和資源限制，找到最適合的訓(xùn)練策略。在AI技術(shù)快速發(fā)展的今天，這樣的研究成果尤其珍貴，因?yàn)樗粌H推動(dòng)了技術(shù)進(jìn)步，更讓技術(shù)變得更加普惠和可持續(xù)。

有興趣進(jìn)一步了解技術(shù)細(xì)節(jié)的讀者，可以通過論文編號(hào)arXiv:2501.02423v3查閱完整的研究報(bào)告，其中包含了詳細(xì)的數(shù)學(xué)推導(dǎo)、實(shí)驗(yàn)設(shè)計(jì)和結(jié)果分析。

Q&A

Q1：Capybara縮放定律是什么？它能幫助解決什么問題？

A： Capybara縮放定律是騰訊混元團(tuán)隊(duì)提出的一個(gè)數(shù)學(xué)公式，可以精確預(yù)測(cè)在不同模型大小、數(shù)據(jù)量和浮點(diǎn)精度配置下AI模型的性能表現(xiàn)。它主要解決了低精度訓(xùn)練中性能預(yù)測(cè)不準(zhǔn)確的問題，幫助開發(fā)者在開始昂貴的訓(xùn)練之前就能選擇最優(yōu)配置。

Q2：為什么訓(xùn)練數(shù)據(jù)不是越多越好？什么是臨界數(shù)據(jù)大小？

A：在低精度訓(xùn)練中存在"臨界數(shù)據(jù)大小"現(xiàn)象，當(dāng)訓(xùn)練數(shù)據(jù)超過這個(gè)臨界值時(shí)，模型性能反而會(huì)下降。這是因?yàn)榈途扔?xùn)練中模型的信息處理能力有限，就像容量有限的容器，裝入過多信息會(huì)導(dǎo)致"溢出"，影響已有信息質(zhì)量。

Q3：浮點(diǎn)數(shù)量化訓(xùn)練中指數(shù)位和尾數(shù)位應(yīng)該如何配置？

A：研究發(fā)現(xiàn)指數(shù)位比尾數(shù)位對(duì)模型性能的貢獻(xiàn)略大。最佳配置為：4位總精度時(shí)用2個(gè)指數(shù)位1個(gè)尾數(shù)位；8位時(shí)用4個(gè)指數(shù)位3個(gè)尾數(shù)位；16位時(shí)用8個(gè)指數(shù)位7個(gè)尾數(shù)位。在4-8位精度范圍內(nèi)能獲得最佳成本性能比。