7月1日消息，按照計(jì)劃，6月30日百度正式開源文心大模型4.5系列模型。早在今天2月14日，百度就對(duì)這一開源做了預(yù)告。

此次百度開源的文心大模型4.5（ERNIE 4.5）系列模型包括47B、3B激活參數(shù)的混合專家（MoE）模型，與0.3B參數(shù)的稠密型模型等10款模型，并實(shí)現(xiàn)預(yù)訓(xùn)練權(quán)重和推理代碼的完全開源。

ERNIE 4.5模型在Apache License 2.0許可下提供。該許可允許商業(yè)使用，但須遵守其條款和條件。

此外，百度還開源了文心大模型4.5的開發(fā)工具包ERNIEKit，它提供模型訓(xùn)練和壓縮能力，包括預(yù)訓(xùn)練、監(jiān)督精細(xì)調(diào)整（SFT）、低秩適應(yīng)（LoRA）、直接偏好優(yōu)化（DPO）、量化軟件訓(xùn)練（QAT）和訓(xùn)練后量化（PTQ）技術(shù)。

目前，文心大模型4.5開源系列已可在飛槳星河社區(qū)、HuggingFace等平臺(tái)下載部署使用，同時(shí)開源模型API（應(yīng)用程序編程接口）服務(wù)也可在百度智能云千帆大模型平臺(tái)使用。

英特爾已在第一時(shí)間實(shí)現(xiàn)對(duì)百度文心4.5系列端側(cè)模型的適配和在英特爾酷睿Ultra平臺(tái)上的端側(cè)部署。

同時(shí)，百度也放出了文心大模型4.5開源系列的技術(shù)文檔。一起看看。

文心大模型4.5的三個(gè)關(guān)鍵創(chuàng)新

1、多模態(tài)混合專家模型預(yù)訓(xùn)練： 文心4.5 通過在文本和視覺兩種模態(tài)上進(jìn)行聯(lián)合訓(xùn)練，更好地捕捉多模態(tài)信息中的細(xì)微差別，提升在文本生成、圖像理解以及多模態(tài)推理等任務(wù)中的表現(xiàn)。為了讓兩種模態(tài)學(xué)習(xí)時(shí)互相提升，我們提出了一種多模態(tài)異構(gòu)混合專家模型結(jié)構(gòu)，結(jié)合了多維旋轉(zhuǎn)位置編碼，并且在損失函數(shù)計(jì)算時(shí)，增強(qiáng)了不同專家間的正交性，同時(shí)對(duì)不同模態(tài)間的詞元進(jìn)行平衡優(yōu)化，達(dá)到多模態(tài)相互促進(jìn)提升的目的。

2、高效訓(xùn)練推理框架： 為了支持 文心4.5 模型的高效訓(xùn)練，我們提出了異構(gòu)混合并行和多層級(jí)負(fù)載均衡策略。通過節(jié)點(diǎn)內(nèi)專家并行、顯存友好的流水線調(diào)度、FP8混合精度訓(xùn)練和細(xì)粒度重計(jì)算等多項(xiàng)技術(shù)，顯著提升了預(yù)訓(xùn)練吞吐。推理方面，我們提出了多專家并行協(xié)同量化方法和卷積編碼量化算法 ，實(shí)現(xiàn)了效果接近無(wú)損的4-bit 量化和2-bit 量化。此外，我們還實(shí)現(xiàn)了動(dòng)態(tài)角色轉(zhuǎn)換的預(yù)填充、解碼分離部署技術(shù)，可以更充分地利用資源，提升文心4.5 MoE 模型的推理性能。基于飛槳框架，文心4.5 在多種硬件平臺(tái)均表現(xiàn)出優(yōu)異的推理性能。

3、針對(duì)模態(tài)的后訓(xùn)練： 為了滿足實(shí)際場(chǎng)景的不同要求，我們對(duì)預(yù)訓(xùn)練模型進(jìn)行了針對(duì)模態(tài)的精調(diào)。其中，大語(yǔ)言模型針對(duì)通用語(yǔ)言理解和生成進(jìn)行了優(yōu)化，多模態(tài)大模型側(cè)重于視覺語(yǔ)言理解，支持思考和非思考模式。每個(gè)模型采用了SFT、DPO或UPO（Unified Preference Optimization，統(tǒng)一偏好優(yōu)化技術(shù)）的多階段后訓(xùn)練。

多項(xiàng)評(píng)測(cè)超Qwen3、DeepSeek-V3

ERNIE-4.5-300B-A47B-base 在 28 個(gè)基準(zhǔn)測(cè)試中的 22 個(gè)超越了 DeepSeek-V3-671B-A37B-base，在所有主要能力類別中均有領(lǐng)先的表現(xiàn)。相對(duì)于其他SOTA模型，在泛化能力、推理和知識(shí)密集型任務(wù)方面的顯著提升。ERNIE-4.5-21B-A3B-base 總參數(shù)量為 210 億（約為 Qwen3-30B 的 70%），在包括 BBH 和 CMATH 在內(nèi)的多個(gè)數(shù)學(xué)和推理基準(zhǔn)上效果優(yōu)于 Qwen3-30B-A3B-base。盡管ERNIE-4.5-21B-A3B-base 更小，但模型效果突出，實(shí)現(xiàn)了效果和效率的平衡。

經(jīng)過后訓(xùn)練的 ERNIE-4.5-300B-A47B 模型，在指令遵循和知識(shí)類任務(wù)方面表現(xiàn)出顯著優(yōu)勢(shì)，其在 IFeval、Multi-IF、SimpleQA 和 ChineseSimpleQA 等基準(zhǔn)測(cè)試中取得了業(yè)界領(lǐng)先的效果。輕量級(jí)模型 ERNIE-4.5-21B-A3B 盡管總參數(shù)量減少了約 30%，但與 Qwen3-30B-A3B 相比，仍取得了具有競(jìng)爭(zhēng)力的性能。

在非思考模式下，ERNIE-4.5-VL 在視覺感知、文檔與圖表理解以及視覺知識(shí)方面效果突出，在一系列基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異。在思考模式下，ERNIE-4.5-VL 不僅展現(xiàn)出比非思考模式更強(qiáng)的推理能力，還保留了非思考模式的強(qiáng)大感知能力。ERNIE-4.5-VL-424B-A47B 在各種多模態(tài)評(píng)估基準(zhǔn)中均取得了突出效果。其思考模式在 MathVista、MMMU 和 VisualPuzzle 等高難度基準(zhǔn)上具有明顯優(yōu)勢(shì)，并在以感知為主的數(shù)據(jù)集（如 CV-Bench 和 RealWorldQA）上保持了不錯(cuò)的效果。盡管使用顯著少的激活參數(shù)，輕量級(jí)視覺語(yǔ)言模型 ERNIE-4.5-28B-A3B 在大多數(shù)基準(zhǔn)測(cè)試中，相較于 Qwen2.5-VL-7B 和 Qwen2.5-VL-32B，效果相當(dāng)甚至更優(yōu)。此外，文心4.5輕量級(jí)模型也同時(shí)支持思考和非思考兩種模式，提供了與 ERNIE-4.5-VL-424B-A47B 一致的功能。

圖注：ERNIE-4.5預(yù)訓(xùn)練模型的性能

圖注：ERNIE-4.5-300B-A47B后訓(xùn)練模型的性能

英特爾適配端側(cè)部署

此次文心系列模型的開源發(fā)布后，英特爾“第零日”即實(shí)現(xiàn)對(duì)文心端側(cè)模型的適配和在英特爾酷睿Ultra平臺(tái)上的端側(cè)部署。

英特爾宣布OpenVIN已經(jīng)對(duì)文心4.5的0.3B參數(shù)量的稠密模型成功適配，并在英特爾酷睿Ultra平臺(tái)上成功部署且獲得了優(yōu)異的推理性能。

OpenVINO工具套件是由英特爾開發(fā)的開源工具套件，旨在優(yōu)化和加速深度學(xué)習(xí)模型的推理性能，支持跨平臺(tái)部署并充分利用英特爾硬件資源。OpenVINO助力行業(yè)中廣泛的先進(jìn)模型在英特爾人工智能產(chǎn)品和解決方案中的性能，應(yīng)用在AI PC、邊緣AI和更多人工智能的使用場(chǎng)景當(dāng)中。

從2021年開始，百度飛槳和英特爾OpenVINO進(jìn)行深入合作，雙方進(jìn)行深度適配，為開發(fā)者提供了更有效更便捷的AI開發(fā)工具鏈。（宜月）