11 月 5 日消息,摩爾線程官方今日發(fā)文,稱(chēng)已上線了大語(yǔ)言模型高速推理框架開(kāi)源項(xiàng)目 vLLM 的 MUSA 移植版本,為開(kāi)發(fā)者提供一個(gè)基于摩爾線程全功能 GPU 進(jìn)行開(kāi)源項(xiàng)目 MUSA 移植的范例。
vLLM 是一個(gè)高效且易用的大模型推理和服務(wù)框架,已在各種大語(yǔ)言模型中得到廣泛應(yīng)用,并成為業(yè)界常用的開(kāi)源大模型推理框架。
摩爾線程團(tuán)隊(duì)基于 vLLM v0.4.2 版本進(jìn)行了移植適配,為 vLLM 框架添加了摩爾線程 GPU 后端 Device 支持,并將移植適配后的 vLLM-MUSA 版本開(kāi)源。
開(kāi)發(fā)者可以基于摩爾線程 GPU 及 vLLM-MUSA,進(jìn)行二次開(kāi)發(fā)、升級(jí) vLLM 到社區(qū)更新版本等。
摩爾線程稱(chēng)通過(guò) MUSA 軟件棧對(duì) CUDA 軟件棧接口兼容,大幅提升了應(yīng)用移植的效率,縮短了開(kāi)發(fā)周期。并提供 MUSIFY 自動(dòng)代碼移植工具等一系列工具和腳本,降低開(kāi)發(fā)者在 MUSA 平臺(tái)進(jìn)行大語(yǔ)言模型訓(xùn)練和推理應(yīng)用適配的難度。
附 vLLM-MUSA 開(kāi)源地址:https://github.com/MooreThreads/vLLM_musa






京公網(wǎng)安備 11011402013531號(hào)