在大語言模型的訓練過程中，提升推理能力一直是科研人員關注的重點。DeepSeek-R1模型通過創新性的強化學習（RL）方法，實現了無需依賴人工標注的自主推理能力提升。它通過自我反饋機制學習處理復雜推理任務，如數學問題和編程邏輯。

DeepSeek-R1的訓練分為兩個主要階段：在“冷啟動”階段，模型使用少量高質量樣本進行微調，以提高推理清晰度；接著在強化學習階段，通過拒絕低質量輸出進行優化，從而增強推理能力。此外，該模型采用精心設計的數據混合策略，以高效培養特定領域的表現，達到了在低人工干預下實現復雜問題解決的目標。

如何將DeepSeek-R1蒸餾模型實現本地部署？

第一步：選擇性價比合適的開發板

傳統的高性能主板如Jetson Orin和Nano雖然出色，但往往價格昂貴且尺寸較大，適用性有限。DFRobot LattePanda Mu（拿鐵熊貓開發板）是一款高性能微型x86計算模塊，搭載Intel N100四核處理器，配備8GB的LPDDR5內存和64GB存儲，能流暢運行復雜的深度學習任務。它擁有多種擴展接口包括3個HDMI/DisplayPort接口、8個USB 2.0接口、最多4個USB 3.2接口以及最多9個PCIe 3.0通道，還提供開源載板設計文件，支持根據項目需求進行靈活定制。

第二步：選擇合適的框架來高效加載和執行大語言模型

根據Deepseek官方說明，本地部署可以使用VLLM和SGLang的方式，但是通常情況下，這兩種調用方法不僅操作復雜還占用量大，小編推薦另一種高效快捷的方法——使用Ollama框架。

第三步：安裝Ollama

在Ollama官網下載安裝。如果你也使用Ubuntu系統，可以直接通過如下指令來安裝。

根據硬件的性能以及實際的需求來選擇不同參數大小的模型，沒有配備專業級顯卡的，推薦用14B以內的模型。（復制代碼如下）

1. ollama run deepseek-r1:1.5b

2. ollama run deepseek-r1:7b

3. ollama run deepseek-r1:8b

4. ollama run deepseek-r1:14b

5. ollama run deepseek-r1:32b

6. ollama run deepseek-r1:70b

7. ollama run deepseek-r1:671b

32b，70b，671b對機器的要求如下：

● DeepSeek-R1-Distill-Qwen-32B

VRAM需求：約14.9GB

推薦GPU配置：NVIDIA RTX 4090 24GB

RAM：建議至少32GB

● DeepSeek-R1-Distill-Llama-70B

VRAM需求：約32.7GB

推薦GPU配置：NVIDIA RTX 4090 24GB × 2

RAM：建議48GB以上

● DeepSeek-R1 671B（完整模型）

VRAM需求：約1,342GB（使用FP16精度）

推薦GPU配置：多GPU設置，例如NVIDIA A100 80GB × 16

RAM：512GB以上

存儲：500GB以上高速SSD

需要注意的是，對于671B模型：

1. 通常需要企業級或數據中心級硬件來管理其巨大的內存和計算負載。

2. 使用量化技術可以顯著降低VRAM需求。例如，使用4位量化后，模型大小可降至約404GB。

3. 使用動態量化技術，可以進一步降低硬件需求，將大部分參數量化到1.5-2.5位，使模型大小降至212GB-131GB之間。

4. 對于本地部署，可能需要考慮使用多臺高性能工作站或服務器，如使用多個Mac Studio（M2 Ultra，192GB RAM）來滿足內存需求。

5. 運行完整671B模型時，還需考慮功耗（可能高達10kW）和散熱等問題。

總的來說，32B和70B模型可以在高端消費級硬件上運行，而671B模型則需要企業級或數據中心級的硬件配置。選擇合適的硬件配置時，還需考慮具體的使用場景、性能需求和預算限制。

第四步：運行DeepSeek-R1蒸餾模型

LP Mu 運行速度參考

對于不同規格的Mu和R1模型，在Ollama的運行速度參考如下（tokens/s）：

注：8B模型基于Llama-3.1-8B蒸餾，7B模型基于Qwen2.5-Math-7B蒸餾，如果是老師在學校使用更推薦7B。

Ollama官方提供了計算推理速度的工具，只要在聊天窗口輸入/set verbose就能使其在每次回復后自動輸出運行速度，

輸出結果如下所示：

這樣，理論上我們已經可以正常使用啦！

隨著技術的發展，SBC（單板計算機）和類似 LattePanda Mu 的小型計算平臺在邊緣計算和定制化應用中展現了更多可能性。同時，DeepSeek 模型的強大推理能力為這些平臺帶來了新的潛力。DeepSeek 在數據庫查詢、文本理解等智能應用領域表現出色。未來，隨著 LattePanda Mu 和 DeepSeek 的進一步優化，開發者和研究者將在各種硬件環境中更好地利用深度學習和大語言模型，推動更智能、高效的應用實現。