QwQ 32B：与 DeepSeek R1 抗衡的紧凑型 AI 模型

什么是 QwQ-32B？
QWQ 32B vs Qwen 2.5 72B vs DeepSeek R1
如何访问 QWQ 32B？
结论

关键亮点

强化学习 (RL)： 采用两阶段强化学习流程，通过试错机制优化推理，并由代码解释器和求解器等工具验证结果，确保输出准确。

竞争性基准测试： 在推理和编程任务上取得出色成绩：
AIME24：79.5（接近 DeepSeek R1 的 79.8）。
IFEval：83.9（略高于 DeepSeek R1）。
BFCL：66.4（超越 DeepSeek R1 的 60.3）。

硬件效率： 所需显存远低于 DeepSeek R1；支持量化，可在更小的硬件配置上运行。

如果您想针对自己的使用场景评估 QWQ 32B —— 注册后，Novita AI 将为您提供 $0.5 免费额度，助您快速上手！

QwQ-32B 由阿里巴巴 Qwen 团队开发，是一款拥有 325 亿参数的推理模型，其性能可与参数规模更大的模型（如 DeepSeek-R1）相媲美，同时参数量显著减少。该模型的高效性和强大的推理能力，使其成为研究人员、开发者和组织的理想选择，能够在无需传统大型语言模型（LLM）高昂资源消耗的情况下获得卓越表现。

什么是 QwQ-32B？

基本介绍

qwen/qwq-32b
开源： 基于 Apache 2.0 许可证发布，支持社区贡献和改进。
Transformers： QwQ-32B 采用 Transformer 架构，包含 64 层、40 个查询注意力头和 8 个键值注意力头。基于带有 RoPE（旋转位置编码）的 Transformer，集成了 SwiGLU 激活函数，使用 RMSNorm 进行归一化，并在注意力层的 QKV 计算中包含偏置项。
参数： 总计 325 亿参数，其中 310 亿为非嵌入参数。
长上下文支持： 支持最多 32,768 个 token。
支持语言： 覆盖 29 种以上语言，便于全球使用。

训练方法

QwQ-32B 以 Qwen2.5 为基础，通过强化学习（RL）专门优化推理任务，展现了摆脱传统监督微调（SFT）方法依赖的创新潜力。

此外，QwQ-32B 利用强化学习（RL）来优化其推理能力，通过试错方式，借助工具和环境反馈调整策略。采用“基于结果奖励”的机制，模型独立生成结果，再由验证器确保准确性，从而在结构化任务中保持可靠表现。这种脱离 SFT 的方式凸显了其对效率和适应性的专注，标志着向更直接的 RL 驱动优化的转变。

基准测试

来自 Qwen

QwQ-32B 以少胜多： 尽管参数更少，但在多项基准测试中，其表现可媲美甚至超越更大规模的模型（如 DeepSeek-R1-671B）。** 该模型展现出强大的通用推理、编程和推理能力，但在创意内容生成方面稍弱，因此适用于多种结构化任务。**

硬件要求

为高效运行 QwQ-32B，建议满足以下硬件要求：

显存 (VRAM)：
- 需要较大显存。
- 16 位精度：需要 80GB 显存。
- 8 位精度：40GB 显存即可。
- 4 位精度：仅需 20GB 显存。
GPU：
- 与 RTX 3090/4090 GPU 兼容（尤其是使用量化时）。
- 也适用于 NVIDIA A100、H100 等高端 GPU。

与 DeepSeek R1 相比，QwQ-32B 大幅降低了硬件需求，使其能够适配更多不同的系统，同时保持强劲性能。

应用场景

教育：
- 在数学和编程领域提供个性化辅导，满足不同学习者的需求。
- 用通俗语言解释复杂概念，对学生和教育工作者都极具价值。
- 辅助解决作业问题并生成练习题，促进高效学习。
软件开发：
- 支持开发者生成高质量的代码片段，覆盖多种编程语言。
- 通过识别错误并建议修复方案，协助调试。
- 提供代码效率优化建议，并遵循最佳实践。
研究：
- 帮助研究人员进行 数据分析，包括统计计算和可视化。
- 辅助 文献综述，总结学术论文并提取关键见解。
- 生成研究文档初稿，为研究人员节省宝贵时间。
问题解决：
- 协助将 复杂问题 分解为更小、更易处理的部分。
- 提出解决方案，包括针对多层面挑战的分步指导。
- 提供逻辑推理和解释，支持决策过程。

QwQ-32B 在上述领域表现优异，是教育、专业和研究任务的得力助手。

QWQ 32B vs Qwen 2.5 72B vs DeepSeek R1

特性	QwQ-32B	Qwen 2.5 72B	DeepSeek-R1 671B
参数量	32.5B	72B	671B
架构基础	Qwen 2.5	原生架构	DeepSeek-R1-Zero
训练方法	强化学习（无 SFT）	未明确说明	RL + 监督微调
上下文窗口	32,768 tokens	8,000 tokens	32,768 tokens
语言支持	29+ 种语言	29+ 种语言	主要支持中文和英文
数学能力	79.5（AIME 2024）	83.1（MATH 基准）	97.3（MATH-500），79.8（AIME 2024）
编程能力	63.4（Live Code Bench）	59.1（HumanEval）	49.2（SWE-bench Verified），65.9（Live Code Bench）
硬件要求	4-bit：20GB VRAM；8-bit：40GB VRAM；16-bit：80GB VRAM；建议多卡 A100 或 H100	约 41.6 GB 至 77.1 GB 显存	8 张 H100 GPU
开源许可证	Apache 2.0	未明确说明	MIT 许可证
主要优势	硬件友好/推理强/媲美更大模型	响应迅速/性价比高/多语言支持好	数学推理卓越/自检输出/推理过程清晰
输出特点	逻辑推理强，创意内容较弱	综合能力	逻辑清晰，结构良好

如何访问 QWQ 32B？

1. 使用在线平台访问 QWQ 32B（例如 Novita AI）

您可以前往 Novita AI 的 LLM Playground 页面免费试用！这是我们专门为开发者提供的测试页面！从列表中选择您需要的模型。此处您可以选择 QWQ 32B 模型。

立即试用 QWQ 32B！

2. 通过 API 免费访问 QWQ 32B（例如 Novita AI）

Novita AI 是一个 AI 云平台，为开发者提供简单易用的 API 来部署 AI 模型，同时提供经济实惠且可靠的 GPU 云，用于构建和扩展应用。

步骤 1：登录并访问模型库

登录您的账户，点击 模型库 按钮。

步骤 2：选择模型

浏览可用选项，选择适合您需求的模型。

步骤 3：开始免费试用

开始免费试用，探索所选模型的功能。

步骤 4：获取 API 密钥

为了进行 API 身份验证，我们将为您提供一个新 API 密钥。进入“设置”页面，您可以根据图片指示复制 API 密钥。

步骤 5：安装 API

使用您的编程语言对应的包管理器安装 API。

安装完成后，将必要的库导入到您的开发环境中。使用您的 API 密钥初始化 API，开始与 Novita AI LLM 交互。以下是针对 Python 用户的聊天补全 API 示例。

 from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    # 获取 Novita AI API 密钥，请参考：https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key。
    api_key="<您的 Novita AI API 密钥>",
)

model = "qwen/qwq-32b"
stream = True  # 或 False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "请像一位有用的助手一样行动。",
        },
        {
            "role": "user",
            "content": "你好！",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "")
else:
    print(chat_completion_res.choices[0].message.content)

注册后，Novita AI 将为您提供 $0.5 免费额度，助您快速开始！

如果免费额度用尽，您可以付费继续使用。

结论

QwQ-32B 代表着 AI 推理模型领域的一次重大进步，它在数学、编程和多步骤问题解决方面表现出色，同时保持了相对紧凑的规模。其开源特性和高效设计，使其成为研究人员、开发者和工程师在复杂结构化任务中利用 AI 的强大工具。

QwQ-32B 的独特之处是什么？

QwQ-32B 的独特之处在于它仅使用强化学习而无需监督微调，在推理任务（尤其是数学和编程）中取得了卓越表现。

硬件要求如何？

为获得最佳性能，QwQ-32B 需要一定的计算资源。4 位量化版本大约需要 20GB 显存。

QwQ-32B 和 Qwen2.5 有什么区别？

QwQ-32B 基于 Qwen2.5，额外增加了专门针对推理任务的强化学习优化，而不使用传统的监督微调方法。

Novita AI 是一个一体化云平台，助力您的 AI 梦想。集成的 API、无服务器计算、GPU 实例——为您提供高性价比的工具。无需管理基础设施，免费开始，让您的 AI 愿景成为现实。