快科技11月5日消息，近日，摩爾線程上線了大語言模型高速推理框架開源項目vLLM的MUSA移植版本，爲開發者提供基於摩爾線程全功能GPU進行開源項目MUSA移植的範例。

摩爾線程表示，正努力圍繞自主研發的統一系統架構GPU、MUSA軟件平臺，構建完善好用的MUSA應用生態。

vLLM是一個高效且易用的大模型推理和服務框架，支持創新的PagedAttention內存管理、連續批處理請求、CUDA/HIP圖的快速模型執行、CUDA核心優化、分佈式推理支持等，可顯著提高大語言模型（LLM）的推理性能。

目前，vLLM已在各種大語言模型中得到廣泛應用，成爲業界常用的開源大模型推理框架。

摩爾線程基於vLLM v0.4.2版本，進行了移植適配，使之支持摩爾線程GPU後端Device，並完全開源，開發者可以二次開發、升級vLLM到社區更新版本等。

值得一提的是，得益於摩爾線程MUSA架構的先進性、軟件棧對CUDA的優良兼容性，通過MUSIFY代碼自動轉換工具，用戶可以快捷地將原有的CUDA代碼遷移到MUSA平臺，實現替代。

同時，CUDA相關庫的調用，也可以快速替換爲相應的MUSA加速庫，如算子庫muDNN、集合通信庫MCCL、線性代數庫muBLAS等。

摩爾線程通過MUSA軟件棧對CUDA軟件棧接口兼容，大幅提升了應用移植的效率，縮短了開發週期，還提供MUSIFY自動代碼移植工具等一系列實用工具和腳本。

摩爾線程vLLM-MUSA開源地址：

https://github.com/MooreThreads/vLLM_musa