6月30日,百度正式開源文心大模型4.5系列模型,涵蓋47B、3B激活參數的混合專家(MoE)模型,與0.3B參數的稠密型模型等10款模型,并實現預訓練權重和推理代碼的完全開源。目前,文心大模型4.5開源系列已可在飛槳星河社區、HuggingFace等平臺下載部署使用,同時開源模型API服務也可在百度智能云千帆大模型平臺使用。

文心大模型4.5系列開源模型
此次百度一次性推出10款文心大模型4.5系列開源模型,在獨立自研模型數量占比、模型類型數量、參數豐富度、開源寬松度與可靠性等關鍵維度上,均處于行業領先位置。
據介紹,文心大模型4.5開源系列針對MoE架構提出了一種創新性的多模態異構模型結構,適用于從大語言模型向多模態模型的持續預訓練范式,在保持甚至提升文本任務性能的基礎上,顯著增強了多模態理解能力。文心大模型4.5開源系列權重按照Apache 2.0協議開源,支持開展學術研究和產業應用。此外,基于飛槳提供開源的產業級開發套件,廣泛兼容多種芯片,降低模型的后訓練和部署門檻。
據了解,飛槳是中國首個自主研發、功能豐富、開源開放的產業級深度平臺,基于多年飛槳開源技術與生態系統積累,此次文心大模型4.5開源系列同步升級發布文心大模型開發套件ERNIEKit和大模型高效部署套件FastDeploy,為文心大模型4.5系列及開發者提供開箱即用的工具和全流程支持。
值得關注的是,此次文心大模型4.5系列開源后,百度實現了框架層與模型層的“雙層開源”。





京公網安備 11011402013531號