基石智算CoresHub 全面升級了模型推理服務！用戶可在魔搭、huggingface 等下載模型到基石智算，通過模型推理服務進行一鍵部署推理服務，并對外提供 API 能力，也可經過基石智算的模型調優進行二次訓練后再部署。

推理過程中可以根據業務的并發量，進行推理服務的彈性擴縮容，提高業務運行效率的同時，節省算力成本。

以下是通過模型推理服務一鍵部署模型的詳細步驟，以魔搭下載的模型為例：

一、從魔搭下載模型到文件存儲

1.創建存儲目錄。

2.創建一個用于傳數據的無卡啟動實例，掛載文件存儲。

3.在 Web 連接窗口中輸入如下命令：

4.查看魔搭中的“模型文件—模型下載—下載”命令，使用 Git 下載

在 Web 連接中繼續執行以下步驟：

如果模型中有大文件，并且大文件下載失敗，可以執行以下代碼：

二、模型部署

1.到“模型管理”添加模型。

選擇已下載的模型。

輸入模型名稱等信息，選擇部署方式。

2.部署模型

選擇部署方式，支持單節點和多節點部署。

選擇資源類型。

部署成功后，點擊服務 ID 即可查看服務信息、服務監控、服務日志。

3.支持擴容

當推理服務需要滿足更高并發時，可以通過增加推理實例的數量，以滿足業務的高并發需求。

假設 1 張 4090 可以滿足 DeepSeek-R1-1.5B 最高 100 的并發數量，當業務并發超出 100，可以增加到 2 個 4090 的 1 卡實例進行模型部署。

三、模型調用

1.使用第三方客戶端 Cherry Studio 調用為例，開啟第三方工具，點擊界面左下角的設置圖標，選擇模型服務 > 添加。

2.在彈出添加提供商窗口中，配置各項參數，點擊確定。

3.新添加的提供商已顯示在列，配置相應的 API 密鑰和 API 路徑，并點擊管理，對應的密鑰和 API 地址在服務信息中。

4.配置模型名稱。

5.在 CherryStudio 平臺，點擊左側導航欄中的聊天助手，在對話框的頂部，切換已添加至平臺上的模型，即可對話。