Y

近日，摩爾線程在推動國產GPU AI發展方面邁出了重要一步，正式上線了大語言模型高速推理框架開源項目vLLM的MUSA移植版本。這一舉措為開發者提供了基于摩爾線程全功能GPU進行MUSA移植的范例，有助于進一步完善和拓展MUSA應用生態。

vLLM作為一個高效且易用的大模型推理和服務框架，在業界已得到廣泛應用。摩爾線程基于vLLM的v0.4.2版本進行了移植適配，使其支持摩爾線程GPU后端Device，并實現了完全開源。這意味著開發者可以在此基礎上進行二次開發、升級vLLM到社區更新版本等操作，進一步推動AI技術的發展。

值得一提的是，摩爾線程的MUSA架構具有先進性，并且其軟件棧對CUDA具有優良的兼容性。通過MUSIFY代碼自動轉換工具，用戶可以輕松地將原有的CUDA代碼遷移到MUSA平臺，實現替代。同時，CUDA相關庫的調用也可以快速替換為相應的MUSA加速庫，如算子庫muDNN、集合通信庫MCCL、線性代數庫muBLAS等。

摩爾線程的這一舉措不僅大幅提升了應用移植的效率，縮短了開發周期，還為開發者提供了一系列實用工具和腳本。這有助于加速國產GPU AI的發展，推動AI技術在更多領域的應用和落地。更多關于摩爾線程vLLM-MUSA開源項目的信息，可訪問其GitHub頁面進行了解。