4月25日，Create2025百度AI開(kāi)發(fā)者大會(huì)在武漢舉辦。百度創(chuàng)始人李彥宏發(fā)布了文心大模型4.5 Turbo及深度思考模型X1 Turbo兩大模型，以及多款A(yù)I應(yīng)用。百度首席技術(shù)官王海峰現(xiàn)場(chǎng)詳細(xì)解讀了背后的技術(shù)。

兩大模型連發(fā)！核心技術(shù)詳解

王海峰介紹，文心大模型4.5是多模態(tài)基礎(chǔ)大模型，文心4.5 Turbo源自文心4.5，效果更好、成本更低；基于文心4.5 Turbo，文心X1升級(jí)到X1 Turbo，性能提升的同時(shí)，具備更先進(jìn)的思維鏈，問(wèn)答、創(chuàng)作、邏輯推理、工具調(diào)用和多模態(tài)能力進(jìn)一步增強(qiáng)。在C-eval、CMMLU、MathVista、Math500等多個(gè)基準(zhǔn)測(cè)試集中，文心4.5 Turbo和X1 Turbo跟DeepSeeK與GPT模型相比，效果在伯仲之間。

大會(huì)現(xiàn)場(chǎng)，王海峰從基礎(chǔ)模型、后訓(xùn)練、深度思考和數(shù)據(jù)等方面解讀了文心4.5 Turbo和X1 Turbo的關(guān)鍵技術(shù)。

文心4.5和4.5 Turbo都是多模態(tài)大模型，實(shí)現(xiàn)了文本、圖像和視頻的混合訓(xùn)練。針對(duì)不同模態(tài)數(shù)據(jù)在結(jié)構(gòu)、規(guī)模、知識(shí)密度上的差異，通過(guò)多模態(tài)異構(gòu)專家建模、自適應(yīng)分辨率視覺(jué)編碼、時(shí)空重排列的三維旋轉(zhuǎn)位置編碼、自適應(yīng)模態(tài)感知損失計(jì)算等技術(shù)，大幅提升跨模態(tài)學(xué)習(xí)效率和多模態(tài)融合效果，學(xué)習(xí)效率提高近2倍，多模態(tài)理解效果提升超過(guò)30%。

后訓(xùn)練方面，百度研制了自反饋增強(qiáng)的技術(shù)框架，基于大模型自身的生成和評(píng)估反饋能力，實(shí)現(xiàn)了“訓(xùn)練-生成-反饋-增強(qiáng)”的模型迭代閉環(huán)，不僅解決了大模型對(duì)齊過(guò)程中，數(shù)據(jù)生產(chǎn)難度大、成本高、速度慢等問(wèn)題，而且顯著降低了模型幻覺(jué)，模型理解和處理復(fù)雜任務(wù)的能力大幅提升。

在訓(xùn)練階段，研制了融合偏好學(xué)習(xí)的強(qiáng)化學(xué)習(xí)技術(shù)，通過(guò)多元統(tǒng)一獎(jiǎng)勵(lì)機(jī)制，提升了對(duì)結(jié)果質(zhì)量判別的準(zhǔn)確率，通過(guò)離線偏好學(xué)習(xí)和在線強(qiáng)化學(xué)習(xí)統(tǒng)一優(yōu)化，進(jìn)一步提升了數(shù)據(jù)利用效率和訓(xùn)練穩(wěn)定性，并增強(qiáng)了模型對(duì)高質(zhì)量結(jié)果的感知。得益于偏好信號(hào)與獎(jiǎng)勵(lì)信號(hào)的融合運(yùn)用，模型的理解、生成、邏輯和記憶等能力全面提升。

深度思考方面，突破了僅基于思維鏈優(yōu)化的范式，在思考路徑中結(jié)合工具調(diào)用，構(gòu)建了融合思考和行動(dòng)的復(fù)合思維鏈，模型解決問(wèn)題能力得到顯著提升。同時(shí)，結(jié)合多元統(tǒng)一的獎(jiǎng)勵(lì)機(jī)制，實(shí)現(xiàn)了思考和行動(dòng)鏈的端到端優(yōu)化，大幅提升了跨領(lǐng)域的問(wèn)題解決能力。

數(shù)據(jù)方面，打造了“數(shù)據(jù)挖掘與合成 - 數(shù)據(jù)分析與評(píng)估 - 模型能力反饋”的數(shù)據(jù)建設(shè)閉環(huán)，為模型訓(xùn)練源源不斷地生產(chǎn)知識(shí)密度高、類型多樣、領(lǐng)域覆蓋廣的大規(guī)模數(shù)據(jù)。同時(shí)，數(shù)據(jù)建設(shè)流程具備良好的可擴(kuò)展性，能夠輕松遷移到全新的數(shù)據(jù)類型，實(shí)現(xiàn)快速、高效的數(shù)據(jù)生產(chǎn)。

文心快碼發(fā)布3.5版本，累計(jì)服務(wù)760萬(wàn)開(kāi)發(fā)者

基于文心大模型的語(yǔ)言和代碼能力，百度研制了代碼智能體和智能代碼助手——文心快碼。代碼智能體，基于智能體的理解、規(guī)劃、反思，以及工具調(diào)用能力，用自然語(yǔ)言對(duì)話，即可實(shí)現(xiàn)應(yīng)用的自動(dòng)開(kāi)發(fā)，并支持多輪交互，迭代優(yōu)化代碼質(zhì)量，實(shí)現(xiàn)了無(wú)代碼編程，讓人人都可以成為程序員。

智能代碼助手，幫助專業(yè)的程序員更高效地寫出更好的代碼。據(jù)介紹，文心快碼3.5版主要突破了四大核心能力：一是代碼智能體引擎，支持多模態(tài)編程、開(kāi)發(fā)工具調(diào)用、應(yīng)用預(yù)覽，實(shí)現(xiàn)「需求-編碼-調(diào)試-驗(yàn)證」端到端生成；二是代碼預(yù)測(cè)改寫引擎，新增光標(biāo)預(yù)測(cè)與多行智能改寫，可精準(zhǔn)實(shí)現(xiàn)復(fù)雜的代碼的增加、刪除和修改；三是上下文引擎，結(jié)合文心4.5和X1的推理能力，更懂開(kāi)發(fā)者意圖，回答問(wèn)題更準(zhǔn)確；最后是更開(kāi)放的研發(fā)生態(tài)，通過(guò)MCP接入?yún)f(xié)議，全面兼容主流開(kāi)發(fā)工具鏈。目前百度每天新增的代碼中，文心快碼生成的代碼占比已超過(guò)40%。最新數(shù)據(jù)顯示，文心快碼向全社會(huì)開(kāi)放，累計(jì)服務(wù)760萬(wàn)開(kāi)發(fā)者。

飛槳文心聯(lián)合優(yōu)化，開(kāi)發(fā)者已達(dá)2185萬(wàn)

文心大模型的能力拓展和效率提升，得益于飛槳文心的聯(lián)合優(yōu)化。比如，訓(xùn)練方面，多模態(tài)統(tǒng)一的掩碼注意力加速，在不同模態(tài)混合計(jì)算注意力時(shí)，顯著降低掩碼構(gòu)建和計(jì)算開(kāi)銷，大幅提升訓(xùn)練性能；推理方面，多模態(tài)流式分塊預(yù)填充機(jī)制，減少首token耗時(shí)，同時(shí)減少推理計(jì)算的顯存峰值，提升推理批次大小，提升吞吐性能。通過(guò)這些聯(lián)合優(yōu)化技術(shù)，文心4.5 Turbo訓(xùn)練吞吐達(dá)到文心4.5的5.4倍，推理吞吐達(dá)到8倍。

從現(xiàn)場(chǎng)我們了解到，飛槳框架3.0既延續(xù)了動(dòng)靜統(tǒng)一、訓(xùn)推一體的技術(shù)特色，更在自動(dòng)并行、神經(jīng)網(wǎng)絡(luò)編譯器、高階自動(dòng)微分等方面創(chuàng)新突破。例如，動(dòng)靜統(tǒng)一自動(dòng)并行，使得大模型分布式訓(xùn)練代碼減少80%；大模型訓(xùn)推一體，幫助強(qiáng)化學(xué)習(xí)訓(xùn)練提速114%；科學(xué)計(jì)算高階微分，微分方程求解速度比 PyTorch 快115%；神經(jīng)網(wǎng)絡(luò)編譯器，提升框架通用性能，模型端到端訓(xùn)練速度提升27%；異構(gòu)多芯適配，飛槳已適配國(guó)內(nèi)外60多個(gè)系列芯片。

截至目前，飛槳文心開(kāi)發(fā)者數(shù)量已超過(guò)2185萬(wàn)，服務(wù)超過(guò)67萬(wàn)家企業(yè)，創(chuàng)建的模型達(dá)到110萬(wàn)。

大模型讓文博知識(shí)觸手可及，首個(gè)“非遺武術(shù)大模型”發(fā)布

隨著人工智能技術(shù)加速進(jìn)步，大模型在千行百業(yè)的應(yīng)用也越來(lái)越深入。例如，在文博領(lǐng)域，百度與中國(guó)文物交流中心達(dá)成深度合作，增強(qiáng)大模型在文博領(lǐng)域?qū)I(yè)知識(shí)，并發(fā)布首個(gè)文博智能體，用AI的力量讓文博知識(shí)觸手可及，讓每個(gè)人都成為文博傳承的參與者與受益者；在非遺武術(shù)傳承領(lǐng)域，百度與上海體育大學(xué)武術(shù)學(xué)院、中國(guó)武術(shù)博物館館聯(lián)合發(fā)布“非遺武術(shù)-百度文心大模型”，基于文心大模型，融合上海體育大學(xué)武術(shù)學(xué)院、中國(guó)武術(shù)博物館的專業(yè)積淀，將武術(shù)技法與算法結(jié)合，通過(guò)3D動(dòng)作建模、AI動(dòng)態(tài)糾錯(cuò)等技術(shù)，將非遺武術(shù)技術(shù)動(dòng)作以數(shù)字化的形式保存和記錄下來(lái)。

活動(dòng)最后，第十二屆百度獎(jiǎng)學(xué)金頒獎(jiǎng)典禮在現(xiàn)場(chǎng)舉辦。作為國(guó)內(nèi)外AI領(lǐng)域資助金額與含金量最高的學(xué)術(shù)獎(jiǎng)學(xué)金之一，百度獎(jiǎng)學(xué)金自2013年設(shè)立以來(lái)，已累計(jì)發(fā)放超千萬(wàn)元資金。王海峰為來(lái)自全球頂尖高校的10位獲獎(jiǎng)選手頒發(fā)獎(jiǎng)學(xué)金，每人20萬(wàn)元。這不僅是對(duì)獲獎(jiǎng)選手學(xué)術(shù)成果的認(rèn)可，也彰顯了百度對(duì)AI人才培養(yǎng)的長(zhǎng)期承諾。