重點摘要
強大且高效：以更少資源達到大型模型的性能。
基準測試領先：在 AIME 2024 與 SWE-bench Verified 中表現優異，超越 OpenAI-o1-mini。
多語言支援：支援超過 29 種語言，包含中文、英文、法文等。
進階功能：支援長文本（8K+ 符元）、結構化輸出與角色扮演情境。
**輕鬆存取 **：可透過 Ollama 本地部署，或使用 Novita AI API 整合。
推薦朋友使用 Novita AI，雙方皆可獲得 $10 的 LLM API 額度，最高總獎勵達 $500。
為支援開發者社群，Qwen2.5-7B、Qwen 3 0.6B、Qwen 3 1.7B、Qwen 3 4B 目前在 Novita AI 上均可免費使用。
DeepSeek R1 Distill Qwen 32B 是一款先進的蒸餾模型，提供大型模型的效能，同時大幅降低硬體需求。其微調架構帶來卓越表現，在多項基準測試中持續超越 OpenAI-o1-mini 等模型。為效率與便利性而設計，支援本地部署與無縫 API 整合，是開發者、研究人員與企業的理想選擇。
DeepSeek R1 Distill Qwen 32B 基本介紹
基本資訊
模型大小
32.8B
開放原始碼
是
架構
Transformer
語言支援
支援超過 29 種語言的多語言能力，包括：
中文、英文、法文、西班牙文、葡萄牙文、德文、義大利文、俄文、日文、韓文、越南文、泰文、阿拉伯文等。
重點特色
- 在指令遵循與長文本生成（超過 8K 符元）方面有顯著改善。
- 增強對結構化資料（如表格）的理解，並能產生結構化輸出，尤其是 JSON。
- 對多樣化的系統提示更具適應力，改善角色扮演的實現與聊天機器人的條件設定。
多模態能力
支援文字到文字的轉換。
訓練方式
以 DeepSeek R1 為教師模型，微調 Qwen 2.5 32B，達到與更大模型相近的效能。
DeepSeek 將大型 R1 模型蒸餾到其他開源模型上，確實做出了特別的成果。尤其是與 Qwen-32B 的融合，在基準測試中帶來了驚人的提升，使其成為 VRAM 較少使用者的首選模型，整體表現幾乎是 Llama-70B 蒸餾版本中最好的。目前無疑是本地 LLM 的 SOTA，即使在消費級硬體上也能有不錯的效能。
基準測試
| 基準測試 | DeepSeek-R1-32B | OpenAI-o1-mini | 其他模型 |
|---|---|---|---|
| AIME 2024 | 72.6% | 63.6% | Llama-70B: 70.0%, QwQ-32B: 50.0% |
| Codeforces | 71.5% | 60.0% | Llama-70B: 57.5%, QwQ-32B: 54.5% |
| GPQA Diamond | 62.1% | 60.0% | Llama-70B: 65.2%, QwQ-32B: 54.5% |
| MATH-500 | 75.7% | 90.0% | Llama-70B: 94.5%, QwQ-32B: 90.6% |
| MMLU | 90.8% | 88.5% | Llama-70B: 91.8%, QwQ-32B: 90.6% |
| SWE-bench Verified | 49.2% | 36.8% | Llama-70B: 57.5%, QwQ-32B: 41.6% |
DeepSeek R1 Distill Qwen 32B 在 AIME 2024 與 SWE-bench Verified 表現出色，部分任務略優於 OpenAI-o1-mini，但整體在需要進階推理或數學能力的基準測試中仍落後於 DeepSeek R1 Llama 70B 等更大模型。
如何在本機存取 DeepSeek R1 Distill Qwen 32B
硬體需求
模型大小： 73.21 GB
- 1 × H100 (80GB)： 高效能 GPU，用於訓練。
- 1 × A100 (80GB)： 高記憶體 GPU，適用於大型資料集。
- 2 × L40s (96GB)： 進階推論 GPU，記憶體更大。
- 4 × RTX 4090 (96GB)： 高效能 GPU，用於分散式任務。
逐步安裝指南
# 指南：使用 Ollama 安裝與使用 DeepSeek-R1
# 1. 安裝 Ollama
# 前往 Ollama 網站，下載並安裝適用於您作業系統的版本：
# https://ollama.ai/
# 2. 下載 DeepSeek-R1 模型
# 開啟終端機，執行以下命令下載模型
# （此處以 7B 參數版本為例）：
ollama run deepseek-r1:7b
# 等待下載完成，所需時間取決於您的網路速度。
# 3. 驗證安裝並啟動模型
# 確認模型已成功下載：
ollama list
# 確認 "deepseek-r1" 出現在清單中。
# 啟動 32B 版本的模型：
ollama run deepseek-r1:32b
# 4. 使用範例
# 提出問題：
>>> "以簡單的詞彙解釋量子運算。"
# 生成程式碼：
>>> "撰寫一個 Python 函式來計算費波那契數列。"
本地部署的挑戰
- 硬體限制：高資源需求，升級成本昂貴。
- 模型大小：儲存空間大（例如 70+ GB），下載速度慢。
- 軟體相容性：相依性與作業系統問題。
- 效能最佳化：延遲、批次處理與平行化挑戰。
- 記憶體管理：GPU 記憶體限制與離核執行取捨。
- 維護：頻繁更新與相容性問題。
- 安全性：確保本地環境中的資料隱私。
- 文件：有限的支援與除錯困難。
如何透過 Novita AI 存取 DeepSeek R1 Distill Qwen 32B
Novita AI 是一個 AI 雲端平台，讓開發者能透過簡單的 API 輕鬆部署 AI 模型，同時提供經濟實惠且可靠的 GPU 雲端服務，用於建置與擴展。
步驟 1：登入並進入模型庫
登入您的帳號，點選 模型庫 按鈕。
立即試用 DeepSeek R1 Distill Qwen 32B 示範！
步驟 2：選擇模型
瀏覽可用的選項，選擇符合您需求的模型。
步驟 3：開始免費試用
開始免費試用，探索所選模型的各項功能。
步驟 4：取得 API 金鑰
為了驗證 API，我們將提供您一組新的 API 金鑰。進入「設定」頁面，您可以如圖所示複製 API 金鑰。
步驟 5：安裝 API
使用您程式語言適用的套件管理器安裝 API。
安裝完成後，將必要的函式庫匯入您的開發環境。使用您的 API 金鑰初始化 API，開始與 Novita AI LLM 互動。以下是 Python 使用者使用聊天完成 API 的範例。
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "deepseek/deepseek-r1-distill-qwen-32b"
stream = True # 或 False
max_tokens = 2048
system_content = """充當一個有用的助手"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "你好！",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
哪種方法適合您？
DeepSeek R1 Distill Qwen 32B 模型是一款最先進的本地語言模型，在指令遵循、結構化資料處理與多語言支援方面表現出色。以 DeepSeek R1 為教師進行微調，確保了效率，使其適合研究人員、開發者和企業。儘管對硬體有一定要求，但它在效能與可及性之間取得了平衡，在 AIME 2024 與 SWE-bench Verified 等基準測試中表現優異。
常見問題
DeepSeek R1 Distill Qwen 32B 有哪些主要特色？
支援 29+ 種語言的多語言能力。
可處理長文本（8K+ 符元）與 JSON 等結構化資料。
支援文字到文字轉換與進階角色扮演情境。
哪些基準測試展現了它的效能？
AIME 2024：準確率 72.6%（優於 OpenAI-o1-mini）。
SWE-bench Verified：準確率 49.2%（領先 Llama-70B）。
在 MATH-500 與 MMLU 等其他基準測試中表現穩定。
硬體需求為何？
模型大小：73.21 GB。
建議 GPU：1 × H100 (80GB) 或 A100 (80GB)。
2 × L40s (96GB) 或 4 × RTX 4090 (96GB)。
Novita AI 是一個全能雲端平台，助力實現您的 AI 願景。整合 API、無伺服器、GPU 實例——您所需的經濟高效工具。無需基礎設施，免費開始，讓您的 AI 夢想成真。
