今天就推薦你的朋友，**你們兩人各可獲得 $10 LLM API 額度 ** — 也就是最多 $500 獎勵 等你來拿！
Llama 3.2 1B、Qwen2.5 7B、Qwen 3 (0.6B, 1.7B, 4B)、GLM 4 — 現在在 Novita AI 上全部免費使用，無需花費一分錢就能加速你的專案！
想在不花大錢購買硬體的情況下，運用先進 AI 的強大能力嗎？ DeepSeek R1 Distill Qwen 7B 能提供大型 DeepSeek R1 671B 模型 **90% 的效能 **，同時大幅降低硬體需求。透過 ** 量化版本 ，它可以在中階 GPU 上運行（最低僅需 4.5GB VRAM），讓開發者能夠高效且經濟地處理 ** 數學推理 、 多語言任務 等挑戰。
本文將為你展示 DeepSeek R1 Distill Qwen 7B 如何助你一臂之力！
什麼是 DeepSeek R1 Distill Qwen 7B？
DeepSeek R1 Distill Qwen 7B 基準測試
| 模型 | AIME 2024 pass@1 | AIME 2024 cons@64 | MATH-500 pass@1 | GPQA Diamond pass@1 | LiveCodeBench pass@1 | CodeForces 評分 |
| GPT 4o 0513 | 9.3 | 13.4 | 74.6 | 49.9 | 32.9 | 759 |
| Claude 3.5 Sonnet 1022 | 16.0 | 26.7 | 78.3 | 65.0 | 38.9 | 717 |
| o1 mini | 63.6 | 80.0 | 90.0 | 60.0 | 53.8 | 1820 |
| QwQ 32B Preview | 44.0 | 60.0 | 90.6 | 54.5 | 41.9 | 1316 |
| DeepSeek R1 Distill Qwen 7B | 55.5 | 83.3 | 92.8 | 49.1 | 37.6 | 1189 |
DeepSeek R1 Distill Qwen 7B 在 數學推理任務中表現強勁，在一般效能上展現出競爭力。
然而，與 o1 mini 和 QwQ 32B Preview 等頂尖模型相比，它在一般問答與程式設計基準測試中略遜一籌。
其卓越的數學效能很可能歸功於基礎模型為 Qwen 2.5 Math，該模型專為推理任務進行了高度最佳化。
DeepSeek R1 Distill Qwen 7B 硬體需求
| **模型類型 ** | ** 名稱 ** | ** 大小 ** | ** 硬體需求** |
|---|---|---|---|
| 完整模型 | DeepSeek-R1-Distill-Qwen-7B | 約 18 GB | NVIDIA RTX 4090 (24GB VRAM) 或更高 |
| 量化模型 | DeepSeek-R1-Distill-Qwen-7B | 約 4.5 GB | NVIDIA RTX 3060 (12GB VRAM) 或更高 |
透過蒸餾技術，DeepSeek R1 Distill Qwen 7B 大幅降低硬體需求，同時保留了原始 671B 模型超過 **90% 的效能 ，特別是在數學推理與問答任務上。其 ** 量化模型 ** 進一步提升了可及性，讓它能夠在 ** 中階 GPU 上部署。
DeepSeek R1 Distill Qwen 7B 與其他小型模型比較
DeepSeek R1 Distill Qwen 7B VS Qwen 2.5 7B
| **類別 ** | DeepSeek R1 Distill Qwen 7B | Qwen-2.5-7B |
|---|---|---|
| 模型大小 | 7.62B | 7.61B |
| 開源 | 是 | 是 |
| 架構 | Transformer | Transformer |
| 語言支援 | 29 種以上語言 | 29 種以上語言 |
| 多模態 | 僅文字到文字 | 僅文字到文字 |
| 訓練資料 | 基於推理資料微調 | 18 兆個 tokens |
| MATH (pass@1) | 92.8 | 49.8 |
| GPQA (pass@1) | 49.1 | 36.4 |
| VRAM (完整模型) | 18GB (RTX 4090 或更高) | 17.18GB (RTX 4090) |
DeepSeek-R1-Distill-Qwen-7B：擅長數學任務，硬體需求較低（提供量化模型）。
Qwen-2.5-7B：效能均衡，在程式碼與多語言任務上表現出色，訓練資料集更大。
DeepSeek R1 Distill Qwen 7B VS Qwen 3 8B
| **類別 ** | DeepSeek R1 Distill Qwen 7B | Qwen 3 8B |
|---|---|---|
| 模型大小 | 7.62B | 8.19B |
| 開源 | 是 | 是 |
| 架構 | Transformer | Dense |
| 語言支援 | 29 種以上語言 | 119 種語言 |
| 多模態 | 僅文字到文字 | 僅文字到文字 |
| MATH (pass@1) | 92.8 | 90.0 |
| GPQA (pass@1) | 49.1 | 59.0 |
| VRAM (完整模型) | 18 GB (RTX 4090) | 17.89 GB (RTX 4090) |
DeepSeek：最適合數學任務及較低 GPU 需求（量化模型）。
Qwen 3 8B：更適合多語言任務與長上下文應用。
DeepSeek R1 Distill Qwen 7B VS Llama 3.1 8B
| **類別 ** | DeepSeek R1 Distill Qwen 7B | Llama 3.1 8B |
|---|---|---|
| 模型大小 | 7.62B | 8B |
| 開源 | 是 | 是 |
| 架構 | Transformer | Dense Transformer |
| 語言支援 | 29 種以上語言 | 8 種語言 |
| 多模態 | 文字到文字 | 文字、程式碼（輸入/輸出） |
| 訓練資料 | 基於推理資料微調 | 在約 15T tokens 上預訓練，並以 2500 萬個合成樣本微調 |
| MATH (pass@1) | 92.8 | 51.9 (CoT) |
| GPQA (pass@1) | 49.1 | 30.4 |
| VRAM (完整模型) | 18 GB (RTX 4090, FP16) | 17.17 GB (RTX 3090, FP16) |
DeepSeek-R1-Distill-Qwen-7B：在 ** 數學與推理任務** 上更勝一籌。
Llama 3.1 8B：擅長 ** 程式碼生成**，並支援更長上下文（128,000 tokens），更適合複雜的長上下文任務。
如何存取 Deepseek R1 Distill 模型？
Novita AI 是一個 AI 雲端平台，為開發者提供透過簡單 API 部署 AI 模型的簡便方式，同時也提供經濟實惠且可靠的 GPU 雲端來建構與擴展。
除了 Deepseek R1 Distill 模型之外，Novita AI 也免費提供 Qwen2.5 7B、Qwen 3 (0.6B, 1.7B, 4B)、GLM 4 等模型，以支援開源社群的發展！
步驟 1：登入並進入模型庫
登入你的帳號，然後點擊 模型庫 按鈕。
步驟 2：選擇你的模型並開始免費試用
瀏覽可用的選項，並選擇適合你需求的模型。
步驟 3：取得你的 API 金鑰
為了向 API 進行身分驗證，我們會為你提供一個新的 API 金鑰。進入「設定」頁面，你可以依照圖片指示複製 API 金鑰。
步驟 4：安裝 API
使用你程式語言專屬的套件管理器安裝 API。
安裝完成後，將必要的函式庫匯入你的開發環境。使用你的 API 金鑰初始化 API，以便開始與 Novita AI LLM 互動。以下是 Python 使用者使用聊天補全 API 的範例。
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="session_nkvtuVXXxS-LlR7txjZ3Rox8GhLMuv1R8IrIySNwTPN7xHJ0SVErFx3kNwJgkUEpcSM4F8c6zmcvyfuc1h59gw==",
)
model = "deepseek/deepseek-r1-distill-llama-8b"
stream = True # or False
max_tokens = 2048
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
DeepSeek-R1-Distill-Qwen-7B 是一個專為數學推理任務高度最佳化的模型，在 MATH 等基準測試中取得了卓越的表現。雖然在一般問答與程式設計任務上略遜於其他頂尖模型，但其較低的硬體需求（提供量化模型選項）讓更廣泛的使用者能夠輕鬆使用。
常見問題
什麼是 DeepSeek R1 Distill Qwen 7B？
DeepSeek-R1-Distill-Qwen-7B 是 Qwen 2.5 Math 的微調蒸餾版本，專為數學推理與問答任務最佳化。它支援多語言文字處理，並提供量化模型以利在中階 GPU 上部署。
DeepSeek R1 Distill Qwen 7B 的硬體需求為何？
完整模型：約 18 GB VRAM（NVIDIA RTX 4090 或更高）。
量化模型：約 4.5 GB VRAM（NVIDIA RTX 3060 或更高）。
為什麼要使用 DeepSeek R1 Distill Qwen 7B？
Qwen3-Reranker-8B 獲得頂尖分數：
MTEB-R：69.02，
CMTEB-R：77.45，
MTEB-Code：81.22
在多個類別中表現優於 BGE 和 GTE 等主流模型。
Novita AI 是一個一站式雲端平台，助力你的 AI 願景。整合 API、無伺服器、GPU 實例 — 你所需的高成本效益工具。無需擔心基礎設施，從免費開始，讓你的 AI 夢想成真。
