這項(xiàng)由上海AI實(shí)驗(yàn)室、上海交通大學(xué)和香港中文大學(xué)聯(lián)合完成的研究發(fā)表于2025年2月17日的arXiv預(yù)印本服務(wù)器，論文題為"BoostStep: Boosting Mathematical Capability of Large Language Models via Improved Single-step Reasoning"。有興趣深入了解的讀者可以通過(guò)https://github.com/beichenzbc/BoostStep訪問(wèn)完整研究資料和代碼。

當(dāng)我們看到孩子做數(shù)學(xué)題時(shí)，往往會(huì)發(fā)現(xiàn)一個(gè)有趣現(xiàn)象：他們能夠正確地將一道復(fù)雜題目分解成幾個(gè)小步驟，但在具體執(zhí)行某個(gè)步驟時(shí)卻容易出錯(cuò)。比如明明知道要用勾股定理，卻在計(jì)算時(shí)搞錯(cuò)了公式，或者明明分析出需要列方程，但在求解過(guò)程中計(jì)算失誤。現(xiàn)在的大型語(yǔ)言模型在數(shù)學(xué)推理方面表現(xiàn)出了同樣的特點(diǎn)。

研究團(tuán)隊(duì)通過(guò)深入分析發(fā)現(xiàn)了一個(gè)令人驚訝的現(xiàn)象：即使是GPT-4o這樣的頂級(jí)模型，在數(shù)學(xué)問(wèn)題上犯的錯(cuò)誤中，高達(dá)99.2%都源于單個(gè)步驟的推理失誤，而不是整體思路錯(cuò)誤。這就像一個(gè)經(jīng)驗(yàn)豐富的廚師知道做一道菜需要哪些步驟，但在某個(gè)具體步驟上可能會(huì)搞錯(cuò)調(diào)料的用量。

傳統(tǒng)的解決方案是給AI模型提供幾個(gè)完整的例題作為參考，這種方法叫做"情境學(xué)習(xí)"。但研究人員發(fā)現(xiàn)這就像給學(xué)生看幾道完整的解題過(guò)程，學(xué)生可能會(huì)被無(wú)關(guān)的步驟分散注意力，或者根本找不到對(duì)當(dāng)前步驟有用的指導(dǎo)。更要命的是，如果例題與當(dāng)前題目差別較大，反而可能誤導(dǎo)模型的判斷。

基于這些發(fā)現(xiàn)，研究團(tuán)隊(duì)提出了一種全新的方法，稱為BoostStep。這個(gè)方法的核心思想非常巧妙：不再是一開(kāi)始就給出完整例題，而是在AI模型解每一個(gè)具體步驟時(shí)，實(shí)時(shí)提供最相關(guān)的指導(dǎo)。

BoostStep的工作方式可以用輔導(dǎo)老師的教學(xué)方法來(lái)類比。當(dāng)學(xué)生遇到難題時(shí)，好的輔導(dǎo)老師不會(huì)直接給出答案，而是先讓學(xué)生嘗試解題，觀察學(xué)生在哪一步卡住了，然后針對(duì)性地提供這一步的解題技巧和類似例子。BoostStep正是模擬了這種教學(xué)方式。

具體來(lái)說(shuō)，當(dāng)AI模型需要進(jìn)行下一步推理時(shí)，BoostStep會(huì)讓模型先進(jìn)行一次"試探性嘗試"。這個(gè)嘗試不需要完全正確，只需要讓系統(tǒng)了解模型當(dāng)前想要解決什么問(wèn)題。然后，系統(tǒng)會(huì)在預(yù)先建立的步驟級(jí)題庫(kù)中搜索最相似的解題步驟，將找到的相關(guān)例子提供給模型，幫助它完成當(dāng)前步驟的推理。

這種方法的優(yōu)勢(shì)非常明顯。首先，它提供的指導(dǎo)更加精準(zhǔn)。傳統(tǒng)方法就像給學(xué)生一本厚厚的參考書，學(xué)生需要自己找到有用的部分，而B(niǎo)oostStep則像一個(gè)智能助手，總是在恰當(dāng)?shù)臅r(shí)機(jī)提供恰當(dāng)?shù)膸椭Ｆ浯危@種方法大大降低了對(duì)例題相似度的要求。即使兩道題目看起來(lái)完全不同，只要其中某些解題步驟相似，就能提供有效的指導(dǎo)。

為了構(gòu)建高質(zhì)量的步驟級(jí)題庫(kù)，研究團(tuán)隊(duì)沒(méi)有簡(jiǎn)單地按照標(biāo)點(diǎn)符號(hào)來(lái)分割解題過(guò)程，而是讓GPT-4o根據(jù)推理內(nèi)容來(lái)自然分解每個(gè)步驟。這確保了題庫(kù)中的每個(gè)步驟都是一個(gè)完整的推理單元，就像確保每個(gè)"積木塊"都是完整的一樣，這樣在需要時(shí)才能提供真正有用的指導(dǎo)。

在實(shí)驗(yàn)驗(yàn)證階段，BoostStep展現(xiàn)出了令人印象深刻的效果。在GPT-4o上，這種方法在數(shù)學(xué)基準(zhǔn)測(cè)試中平均提升了4.6%的性能，而傳統(tǒng)的幾樣本學(xué)習(xí)方法只能提升1.2%。更令人驚訝的是，在一些與題庫(kù)相似度較低的多模態(tài)數(shù)學(xué)題目上，傳統(tǒng)方法甚至?xí)a(chǎn)生負(fù)面影響，降低0.9%的準(zhǔn)確率，但BoostStep仍然能夠提升2.8%。

研究團(tuán)隊(duì)還測(cè)試了BoostStep在"以簡(jiǎn)馭繁"方面的能力。他們用相對(duì)簡(jiǎn)單的MATH數(shù)據(jù)集中的例題來(lái)指導(dǎo)最先進(jìn)的模型解決更困難的AIME競(jìng)賽題目。結(jié)果顯示，即使是DeepSeek-R1這樣的頂級(jí)模型，在BoostStep的幫助下也能在AIME測(cè)試中提升2.2%的表現(xiàn)。這證明了該方法不僅能提升性能，還能讓AI模型從更簡(jiǎn)單的例子中學(xué)到解決復(fù)雜問(wèn)題的技巧。

BoostStep還展現(xiàn)出了與現(xiàn)有推理策略的良好兼容性。當(dāng)與樹(shù)搜索算法結(jié)合時(shí)，它能夠同時(shí)改進(jìn)候選步驟的生成質(zhì)量和評(píng)估準(zhǔn)確性，帶來(lái)額外7.5%的性能提升。這就像一個(gè)優(yōu)秀的工具能夠與其他工具完美配合，產(chǎn)生1+1>2的效果。

從技術(shù)角度來(lái)看，BoostStep的核心創(chuàng)新在于將傳統(tǒng)的問(wèn)題級(jí)情境學(xué)習(xí)細(xì)化到了步驟級(jí)。這種細(xì)粒度的方法不僅提供了更精準(zhǔn)的指導(dǎo)，還減少了無(wú)關(guān)信息的干擾。通過(guò)"先嘗試、再檢索、后推理"的策略，系統(tǒng)能夠準(zhǔn)確理解模型的當(dāng)前需求，并提供最相關(guān)的幫助。

值得注意的是，BoostStep在不同類型的數(shù)學(xué)問(wèn)題上都表現(xiàn)出了穩(wěn)定的改進(jìn)效果。無(wú)論是代數(shù)問(wèn)題、幾何問(wèn)題還是概率統(tǒng)計(jì)問(wèn)題，這種方法都能提供有效的指導(dǎo)。這說(shuō)明了該方法的通用性和魯棒性。

在多模態(tài)數(shù)學(xué)問(wèn)題上，BoostStep的優(yōu)勢(shì)更加明顯。傳統(tǒng)的情境學(xué)習(xí)方法在處理包含圖表、圖形的數(shù)學(xué)題時(shí)往往效果不佳，因?yàn)楹茈y找到在視覺(jué)內(nèi)容上完全匹配的例題。但BoostStep通過(guò)專注于推理步驟而非整體問(wèn)題，能夠跨越視覺(jué)表現(xiàn)的差異，提供有效的解題指導(dǎo)。

研究團(tuán)隊(duì)還進(jìn)行了詳細(xì)的消融實(shí)驗(yàn)來(lái)驗(yàn)證方法中各個(gè)組件的作用。他們發(fā)現(xiàn)，基于推理內(nèi)容而非語(yǔ)法結(jié)構(gòu)來(lái)分解步驟是至關(guān)重要的，這確保了每個(gè)步驟都是語(yǔ)義完整的推理單元。同時(shí)，"先嘗試"策略相比其他檢索方法也顯示出明顯優(yōu)勢(shì)，能夠更準(zhǔn)確地理解模型的當(dāng)前需求。

從實(shí)際應(yīng)用的角度來(lái)看，BoostStep為大語(yǔ)言模型在數(shù)學(xué)教育、科學(xué)計(jì)算、工程問(wèn)題求解等領(lǐng)域的應(yīng)用開(kāi)辟了新的可能性。通過(guò)提供更精準(zhǔn)的推理指導(dǎo)，這種方法能夠讓AI系統(tǒng)在復(fù)雜推理任務(wù)中表現(xiàn)得更加可靠和準(zhǔn)確。

研究團(tuán)隊(duì)也坦誠(chéng)地指出了當(dāng)前方法的局限性。他們使用的題庫(kù)主要來(lái)源于PRM800K數(shù)據(jù)集，在問(wèn)題類型和難度分布上還相對(duì)單一。使用更大規(guī)模、更多樣化的題庫(kù)可能會(huì)進(jìn)一步提升效果。此外，目前使用的TF-IDF檢索方法雖然簡(jiǎn)單有效，但專門為數(shù)學(xué)問(wèn)題設(shè)計(jì)的檢索器可能會(huì)帶來(lái)更好的效果。

說(shuō)到底，BoostStep代表了AI數(shù)學(xué)推理能力提升的一個(gè)重要方向。它不是通過(guò)讓模型記住更多解題模板來(lái)提升性能，而是通過(guò)在推理過(guò)程中提供更智能的指導(dǎo)來(lái)幫助模型做出更好的決策。這種思路不僅在數(shù)學(xué)推理領(lǐng)域有價(jià)值，在其他需要復(fù)雜推理的任務(wù)中也可能發(fā)揮重要作用。

歸根結(jié)底，這項(xiàng)研究告訴我們，有時(shí)候解決復(fù)雜問(wèn)題的關(guān)鍵不在于擁有更多信息，而在于在正確的時(shí)間獲得正確的指導(dǎo)。就像一個(gè)好的導(dǎo)師不會(huì)一次性灌輸所有知識(shí)，而是會(huì)在學(xué)生需要的時(shí)候提供恰當(dāng)?shù)膸椭oostStep正是將這種教學(xué)智慧融入了AI系統(tǒng)的設(shè)計(jì)中，讓機(jī)器也能夠像優(yōu)秀的導(dǎo)師一樣，在推理過(guò)程中獲得精準(zhǔn)的指導(dǎo)和支持。

Q&A

Q1：BoostStep方法和傳統(tǒng)的AI數(shù)學(xué)解題方法有什么不同？

A：傳統(tǒng)方法是在開(kāi)始解題前給AI幾道完整的例題參考，就像給學(xué)生一本參考書讓他自己找有用信息。而B(niǎo)oostStep是在AI解每個(gè)具體步驟時(shí)實(shí)時(shí)提供最相關(guān)的指導(dǎo)，就像有個(gè)老師在旁邊，看到學(xué)生在某一步卡住了就馬上給出針對(duì)性的提示。這樣避免了無(wú)關(guān)信息的干擾，指導(dǎo)更精準(zhǔn)。

Q2：為什么說(shuō)現(xiàn)在的AI模型在數(shù)學(xué)推理上99.2%的錯(cuò)誤都來(lái)自單步推理？

A：研究團(tuán)隊(duì)分析發(fā)現(xiàn)，像GPT-4o這樣的先進(jìn)模型其實(shí)很擅長(zhǎng)將復(fù)雜數(shù)學(xué)題分解成小步驟，知道整體該怎么解。但在執(zhí)行具體某個(gè)步驟時(shí)容易出錯(cuò)，比如用錯(cuò)公式、算錯(cuò)數(shù)字等。這就像一個(gè)廚師知道做菜的整個(gè)流程，但在某個(gè)具體步驟上可能會(huì)搞錯(cuò)調(diào)料用量。所以提升單步推理準(zhǔn)確性是關(guān)鍵。

Q3：BoostStep能讓簡(jiǎn)單例題幫助解決更難的數(shù)學(xué)問(wèn)題嗎？

A：是的，這是BoostStep的一個(gè)重要優(yōu)勢(shì)。研究顯示即使用MATH數(shù)據(jù)集中相對(duì)簡(jiǎn)單的例題，也能幫助最先進(jìn)的模型在更難的AIME競(jìng)賽題上提升2.2%的表現(xiàn)。因?yàn)锽oostStep專注于推理步驟而非整體問(wèn)題，即使題目難度差別很大，只要某些解題步驟相似，就能提供有效指導(dǎo)。