Deepseek R1 Distill Qwen 32B 访问指南：本地还是 API？

推荐您的朋友 Novita AI 你们俩都会赚 10 美元 LLM API 积分——总奖励高达 500 美元。

为了支持开发者社区，Qwen2.5-7B、Qwen 3 0.6B、Qwen 3 1.7B、Qwen 3 4B 目前可在 Novita AI.

此 DeepSeek R1 Distill Qwen 32B 是一款尖端的精简模型，能够以显著降低的硬件要求提供更大规模模型的强大功能。其经过精细调优的架构带来了卓越的性能，在基准测试中始终超越 OpenAI-o1-mini 等模型。该模型专为高效和易用性而设计，支持本地部署和无缝 API 集成，是开发者、研究人员和企业的理想之选。

Deepseek R1 Distill Qwen 32B 基础介绍

DeepSeek 在将大型 R1 模型提炼到其他开源模型方面确实取得了非凡的成就。尤其是与 Qwen-32B 的融合，似乎在各个基准测试中都取得了惊人的提升，并使其成为 VRAM 较少用户的首选模型，与 LLama-70B 提炼相比，其整体效果几乎达到了最佳。轻松成为本地计算的当前 SOTA LLMs，即使在消费类硬件上也应该具有相当好的性能。

基准

基准	DeepSeek-R1-32B	OpenAI-o1-mini	其他型号
爱美2024	72.6%	63.6%	Llama-70B：70.0%，QwQ-32B：50.0%
代码部队	71.5%	60.0%	Llama-70B：57.5%，QwQ-32B：54.5%
GPQA 钻石	62.1%	60.0%	Llama-70B：65.2%，QwQ-32B：54.5%
数学-500	75.7%	90.0%	Llama-70B：94.5%，QwQ-32B：90.6%
百万美元	90.8%	88.5%	Llama-70B：91.8%，QwQ-32B：90.6%
SWE-bench 已验证	49.2%	36.8%	Llama-70B：57.5%，QwQ-32B：41.6%

Deepseek R1 Distill Qwen 32B 的优势在于 爱美2024 以及 SWE-bench 已验证，在某些任务上略胜于 OpenAI-o1-mini，但在需要高级推理或数学能力的基准测试中，总体上落后于 Deepseek R1 Lla​​ma 70B 等较大的模型。

如何在本地访问 Deepseek R1 Distill Qwen 32B

硬件要求

型号尺寸： 73.21 GB

• 1 × H100（80GB）： 高性能 GPU 为了训练。
• 1 × A100（80GB）： 高内存 GPU 对于大型数据集。
• 2×L40（96GB）： 高级推理 GPU具有增强记忆力。
• 4×RTX 4090（96GB）： 大功率 GPU用于分布式任务。

分步安装指南

# 指南：通过 Ollama 安装和使用 DeepSeek-R1 # 1. 安装 Ollama # 访问 Ollama 网站，下载并安装适合您操作系统的版本：# https://ollama.ai/ # 2. 下载 DeepSeek-R1 模型 # 打开终端并运行以下命令下载模型 # （以 7B 参数版本为例）：ollama run deepseek-r1:7b # 等待下载完成。所需时间取决于您的网络速度。# 3. 验证安装并启动模型 # 验证模型是否已成功下载：ollama list # 确保“deepseek-r1”出现在列表中。# 启动 32B 版本的模型：ollama run deepseek-r1:32b # 4. 使用示例 # 提出查询：>>>“用简单的术语解释量子计算。”# 生成代码：>>>“编写一个 Python 函数来计算斐波那契数列。”

本地部署的挑战

• 硬件限制：资源需求高，升级昂贵。
• 型号尺寸：存储空间大（例如 70+ GB），下载速度慢。
• 操作系统：依赖性和操作系统问题。
• 性能优化：延迟、批处理和并行性挑战。
• 内存管理: GPU 内存限制和核外执行权衡。
• 维护：频繁更新和兼容性问题。
• 安保防护：确保本地环境中的数据隐私。
• 文件记录：支持有限且故障排除困难。

如何通过以下方式访问 Deepseek R1 Distill Qwen 32B Novita AI

Novita AI 是一个 AI 云平台，它为开发人员提供了一种使用我们简单的 API 轻松部署 AI 模型的方法，同时还提供经济实惠且可靠的 GPU 用于构建和扩展的云。

步骤 1：登录并访问模型库

登录您的帐户并点击 模型库 按钮。

步骤 2：选择您的型号

浏览可用的选项并选择适合您需求的模型。

第 3 步：开始免费试用

开始免费试用，探索所选型号的功能。

步骤 4：获取您的 API 密钥

为了通过 API 进行身份验证，我们将为您提供一个新的 API 密钥。进入“设置”页面，您可以按照图中所示复制 API 密钥。

步骤 5：安装 API

使用特定于您的编程语言的包管理器安装 API。

安装完成后，将必要的库导入到你的开发环境中。使用你的 API 密钥初始化 API，即可开始与 Novita AI LLM。这是 Python 用户使用聊天完成 API 的示例。

从 openai 导入 OpenAI 客户端 = OpenAI(base_url="https://api.novita.ai/v3/openai", api_key="<你的 Novita AI API Key>", ) model = "deepseek/deepseek-r1-distill-qwen-32b" stream = True # 或 False max_tokens = 2048 system_content = """做一个有用的助手""" temperature = 1 top_p = 1 min_p = 0 top_k = 50 presence_penalty = 0 frequency_penalty = 0 repetition_penalty = 1 response_format = { "type": "text" } chat_completion_res = client.chat.completions.create( model=model, messages=[ { "role": "system", "content": system_content, }, { "role": "user", "content": "Hi there!", } ], stream=stream, max_tokens=max_tokens, temperature=temp, top_p=top_p, presence_penalty=presence_penalty, frequency_penalty=frequency_penalty, respond_format=response_format，extra_body={ “top_k”：top_k，“repetition_penalty”：repetition_penalty，“min_p”：min_p }）如果流：对于chat_completion_res中的块：打印（chunk.choices[0].delta.content或“”，end="”）否则：打印（chat_completion_res.choices[0].message.content）
  
  

哪些方法适合您？

此 DeepSeek R1 Distill Qwen 32B 该模型是一款先进的本地语言模型，在指令遵循、结构化数据处理和多语言支持方面表现出色。它使用 DeepSeek R1 作为教师模型进行微调，确保了其效率，非常适合研究人员、开发者和企业使用。尽管对硬件有一定要求，但它在性能和易用性之间取得了平衡，在以下基准测试中表现出色： 爱美2024 以及 SWE-bench 已验证.

常見問題解答

Novita AI 是助力您实现 AI 梦想的一体化云平台。集成 API、无服务器、 GPU 实例——您所需的经济高效的工具。无需任何基础设施，免费启动，即可将您的 AI 愿景变为现实。

推荐阅读

• DeepSeek V3：先进的开源代码模型，现已推出 Novita AI
• Deepseek v3 与 Llama 3.3 70b：语言任务 vs 代码和数学
• Llama 3.2 3B 与 DeepSeek V3：效率和性能比较.