在人工智能應用的實踐中,個人和企業常面臨技術門檻高、模型選擇受限、數據處理復雜、協作管理難、部署耗時長等難題。一站式獲得多模型兼容、多數據處理、多用戶協作等能力,將有效解決以上難題。基石智算CoresHub 憑借高度標準化的平臺與應用集成,讓用戶能夠構建便捷、靈活的開發環境,快速獲得所需的模型與 AI 應用。
本文將以青云科技旗下AI算力云——基石智算大模型服務中的 DeepSeek-V3 為例,向用戶介紹如何在 AnythingLLM 中調用相應模型,部署自己的 AI 應用。
步驟一:獲取 API 密鑰和域名
注冊并登錄基石智算。
在頂部導航欄,選擇產品與服務 > 大模型服務 > 大模型服務平臺。
進入大模型服務管理頁面,在左側導航欄中選擇 API 密鑰管理,創建并獲取 API 密鑰。
說明:
若平臺內無可用的 API 密鑰,用戶可參考創建和獲取新的 API 密鑰。
若平臺內已有可用的 API 密鑰,用戶可直接將鼠標懸停在指定密鑰上,點擊 API 密鑰右側的復制按鈕,即可獲取完整的 API 密鑰。
用戶可在左側導航欄選擇在線推理服務,點擊目標模型卡片頁中的 API 文檔,查看預置模型 API 服務接口路徑,即為模型的 API 域名。
說明:當前平臺上的預置模型的 API 域名為,用戶可直接使用無需修改。

步驟二:安裝和使用 AnythingLLM
訪問 AnythingLLM 官網,下載并安裝客戶端。
注意
用戶根據本地電腦自行選擇相應的安裝包下載即可。
本實踐中使用 MacOS 系統的 AnythingLLM 客戶端,其他系統的客戶端界面可能存在差異,以用戶下載的版本界面為準。
首次啟動 AnythingLLM 客戶端,直接點擊開始。
進入 LLM 偏好配置頁面,在大語言模型供應商(LLM Poviders)中選擇 Generic OpenAI,并配置各項參數。

base URL:智算平臺上的預置模型的 API 域名為,用戶可直接使用無需修改。
API Key:用戶在獲取 API 密鑰中復制得到的完整 API 密鑰,需根據實際情況進行修改。
Chat Model Name:本實踐中使用 DeepSeek-V3 模型。若需使用平臺內其他模型,用戶僅需在智算平臺的在線推理服務頁面,復制得到相應模型名稱即可。
其他參數,用戶可根據實際情況進行修改或保持默認。
依次點擊下一步,完成所有配置后,按照頁面提示輸入 Workspace 工作區名稱,進入主界面即可開始對話。

點擊工作區名稱右側的上傳按鈕。

在彈出的新窗口中,上傳相應文件,并將相應文件移動至工作區,從而加載到 AnythingLLM 的本地知識庫中后,點擊 Save and Embed 即可。
說明:出現 Workspace updated successfully 的提示就表示知識庫配置已經完成。

在 Workspace 工作區界面中,點擊 New Thread 開啟新的對話,在聊天區域中提問后,AI 大模型會根據知識庫中的內容進行回答。
其他操作
若用戶并非第一次使用 AnythingLLM 客戶端,需修改相應的大模型供應商和所使用的模型,可參考以下操作。
啟動 AnythingLLM 客戶端,在工作區的界面中,點擊設置按鈕。

在設置頁面,選擇人工智能提供商 > LLM 首選項,修改相應模型配置參數即可。






京公網安備 11011402013531號