现在推荐朋友，**双方都可获得 $10 的 LLM API 额度 **——最高 $500 的总奖励 等你来拿！
Llama 3.2 1B、Qwen2.5 7B、Qwen 3（0.6B、1.7B、4B）、GLM 4 —— 现在在 Novita AI 上均可免费使用，助力你的项目不花一分钱！
想要在不增加硬件成本的情况下利用先进 AI 的能力？DeepSeek R1 Distill Qwen 7B 可提供大规模 DeepSeek R1 671B 模型 **90% 的性能 **，同时大幅降低硬件要求。凭借可运行于中端 GPU（最低 4.5GB VRAM）的 ** 量化版本 ，该模型使开发者能够高效且经济地处理 ** 数学推理 、 多语言任务 等。
本文将向你展示 DeepSeek R1 Distill Qwen 7B 如何助你一臂之力！
什么是 DeepSeek R1 Distill Qwen 7B？
DeepSeek R1 Distill Qwen 7B 基准测试
| 模型 | AIME 2024 pass@1 | AIME 2024 cons@64 | MATH-500 pass@1 | GPQA Diamond pass@1 | LiveCodeBench pass@1 | CodeForces rating |
| GPT 4o 0513 | 9.3 | 13.4 | 74.6 | 49.9 | 32.9 | 759 |
| Claude 3.5 Sonnet 1022 | 16.0 | 26.7 | 78.3 | 65.0 | 38.9 | 717 |
| o1 mini | 63.6 | 80.0 | 90.0 | 60.0 | 53.8 | 1820 |
| QwQ 32B Preview | 44.0 | 60.0 | 90.6 | 54.5 | 41.9 | 1316 |
| DeepSeek R1 Distill Qwen 7B | 55.5 | 83.3 | 92.8 | 49.1 | 37.6 | 1189 |
DeepSeek R1 Distill Qwen 7B 在 数学推理任务 中表现出强劲竞争力，整体性能也不俗。
但在通用问答和编程基准测试中，它落后于 o1 mini 和 QwQ 32B Preview 等顶尖模型。
其卓越的数学性能很可能源于基础模型 Qwen 2.5 Math 本身对推理任务的高度优化。
DeepSeek R1 Distill Qwen 7B 硬件要求
| **模型类型 ** | ** 名称 ** | ** 大小 ** | ** 硬件要求** |
|---|---|---|---|
| 完整模型 | DeepSeek-R1-Distill-Qwen-7B | ~18 GB | NVIDIA RTX 4090（24GB VRAM）或更高 |
| 量化模型 | DeepSeek-R1-Distill-Qwen-7B | ~4.5 GB | NVIDIA RTX 3060（12GB VRAM）或更高 |
通过蒸馏技术，DeepSeek R1 Distill Qwen 7B 大幅降低了硬件要求，同时保留原始 671B 模型 90% 以上 ** 的性能，尤其是在数学推理和问答任务中。其 ** 量化模型 ** 进一步降低了使用门槛，可在 ** 中端 GPU 上部署。
DeepSeek R1 Distill Qwen 7B 与其他小模型对比
DeepSeek R1 Distill Qwen 7B vs Qwen 2.5 7B
| **类别 ** | DeepSeek R1 Distill Qwen 7B | Qwen-2.5-7B |
|---|---|---|
| 模型大小 | 7.62B | 7.61B |
| 开源 | 是 | 是 |
| 架构 | Transformer | Transformer |
| 语言支持 | 29+ 种语言 | 29+ 种语言 |
| 多模态 | 仅文本到文本 | 仅文本到文本 |
| 训练数据 | 基于推理数据微调 | 18 万亿 tokens |
| MATH（pass@1） | 92.8 | 49.8 |
| GPQA（pass@1） | 49.1 | 36.4 |
| VRAM（完整模型） | 18GB（RTX 4090 或更高） | 17.18GB（RTX 4090） |
DeepSeek-R1-Distill-Qwen-7B：数学任务表现强劲，硬件要求低（提供量化模型）。
Qwen-2.5-7B：性能均衡，在编码和多语言任务中表现出色，训练数据集更大。
DeepSeek R1 Distill Qwen 7B vs Qwen 3 8B
| **类别 ** | DeepSeek R1 Distill Qwen 7B | Qwen 3 8B |
|---|---|---|
| 模型大小 | 7.62B | 8.19B |
| 开源 | 是 | 是 |
| 架构 | Transformer | Dense |
| 语言支持 | 29+ 种语言 | 119 种语言 |
| 多模态 | 仅文本到文本 | 仅文本到文本 |
| MATH（pass@1） | 92.8 | 90.0 |
| GPQA（pass@1） | 49.1 | 59.0 |
| VRAM（完整模型） | 18 GB（RTX 4090） | 17.89 GB（RTX 4090） |
DeepSeek：最适合数学任务，GPU 要求更低（量化模型）。
Qwen 3 8B：更适合多语言任务和长上下文应用。
DeepSeek R1 Distill Qwen 7B vs Llama 3.1 8B
| **类别 ** | DeepSeek R1 Distill Qwen 7B | Llama 3.1 8B |
|---|---|---|
| 模型大小 | 7.62B | 8B |
| 开源 | 是 | 是 |
| 架构 | Transformer | Dense Transformer |
| 语言支持 | 29+ 种语言 | 8 种语言 |
| 多模态 | 文本到文本 | 文本、代码（输入/输出） |
| 训练数据 | 基于推理数据微调 | 预训练约 15T tokens，使用 2500 万合成样本微调 |
| MATH（pass@1） | 92.8 | 51.9（CoT） |
| GPQA（pass@1） | 49.1 | 30.4 |
| VRAM（完整模型） | 18 GB（RTX 4090，FP16） | 17.17 GB（RTX 3090，FP16） |
DeepSeek-R1-Distill-Qwen-7B：在 ** 数学和推理任务** 上更强。
Llama 3.1 8B：擅长 ** 代码生成**，支持更长上下文（128,000 tokens），更适合复杂的长上下文任务。
如何访问 DeepSeek R1 蒸馏模型？
Novita AI 是一个 AI 云平台，为开发者提供通过简单 API 部署 AI 模型的便捷方式，同时还提供经济可靠的 GPU 云，用于构建和扩展应用。
除了 DeepSeek R1 蒸馏模型，Novita AI 还免费提供 Qwen2.5 7B、Qwen 3（0.6B、1.7B、4B）、GLM 4，以支持开源社区的发展！
步骤 1：登录并访问模型库
登录你的账户，点击 模型库 按钮。
步骤 2：选择模型并开始免费试用
浏览可用选项，选择适合你需求的模型。
步骤 3：获取 API 密钥
为了通过 API 进行身份验证，我们将为你提供一个新的 API 密钥。进入“设置”页面，按图示复制 API 密钥。
步骤 4：安装 API
使用你编程语言对应的包管理器安装 API。
安装后，将必要的库导入到你的开发环境中。使用 API 密钥初始化 API，开始与 Novita AI LLM 交互。以下是 Python 用户使用聊天补全 API 的示例。
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="session_nkvtuVXXxS-LlR7txjZ3Rox8GhLMuv1R8IrIySNwTPN7xHJ0SVErFx3kNwJgkUEpcSM4F8c6zmcvyfuc1h59gw==",
)
model = "deepseek/deepseek-r1-distill-llama-8b"
stream = True # or False
max_tokens = 2048
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
DeepSeek-R1-Distill-Qwen-7B 是一个针对数学推理任务高度优化的模型，在 MATH 等基准测试中取得了卓越性能。虽然它在通用问答和编码任务上略逊于其他顶尖模型，但更低的硬件要求（提供量化模型选项）使其对更广泛的用户群体具有可及性。
常见问题解答
什么是 DeepSeek R1 Distill Qwen 7B？
DeepSeek-R1-Distill-Qwen-7B 是基于 Qwen 2.5 Math 微调并蒸馏的版本，针对数学推理和问答任务进行了优化。它支持多语言文本处理，并提供量化模型以便在中端 GPU 上部署。
DeepSeek R1 Distill Qwen 7B 的硬件要求是什么？
完整模型：约 18 GB VRAM（NVIDIA RTX 4090 或更高）。
量化模型：约 4.5 GB VRAM（NVIDIA RTX 3060 或更高）。
为什么使用 DeepSeek R1 Distill Qwen 7B？
Qwen3-Reranker-8B 达到顶级分数：
MTEB-R：69.02，
CMTEB-R：77.45，
MTEB-Code：81.22
它在多个类别中优于 BGE 和 GTE 等流行模型。
Novita AI 是一个一体化云平台，助力你的 AI 雄心。集成 API、无服务器、GPU 实例——你所需的经济高效工具。无需基础设施，免费开始，让您的 AI 愿景成为现实。
