QwQ 32B：一個精簡的 AI 競爭者，媲美 DeepSeek R1

何謂 QwQ-32B？
QWQ 32B vs Qwen 2.5 72B vs DeepSeek R1
如何存取 QWQ 32B？
結論

重點摘要

強化學習（RL）： 採用兩階段強化學習流程，透過試錯方式優化推理，並藉由程式直譯器、解題器等工具驗證結果，確保準確產出。

具有競爭力的基準測試： 在推理與程式碼任務上取得優異成績：
AIME24：79.5（接近 DeepSeek R1 的 79.8）
IFEval：83.9（略高於 DeepSeek R1）
BFCL：66.4（超越 DeepSeek R1 的 60.3）

硬體效率： 所需 VRAM 遠低於 DeepSeek R1；支援量化以在較小硬體配置上運作。

如果您想在自己的使用案例中評估 QWQ 32B — 註冊後，Novita A I 會提供 $0.5 的額度讓您立即開始！

QwQ-32B 由阿里巴巴 Qwen 團隊開發，是一款 325 億參數的推理模型，能以更少的參數提供與 DeepSeek-R1 等更大模型相當的效能。其高效率與強大的推理能力，使其成為研究人員、開發者及組織的理想選擇，無需承擔傳統大型語言模型（LLM）沉重的資源需求。

何謂 QwQ-32B？

基本介紹

qwen/qwq-32b
開源： 採用 Apache 2.0 授權，便於社群貢獻與改進。
Transformer 架構： QwQ-32B 採用 transformer 架構，包含 64 層、40 個查詢注意力頭與 8 個鍵值注意力頭。基於內含 RoPE（旋轉位置編碼）的 transformer 建構，整合 SwiGLU 激活函數，使用 RMSNorm 進行正規化，並在注意力 QKV 計算中包含偏置。
參數： 總參數 325 億，非嵌入參數 310 億。
長上下文支援： 支援最多 32,768 個 token。
支援語言： 涵蓋超過 29 種語言，便於全球使用與應用。

訓練方法

QwQ-32B 基於 Qwen2.5，特別透過強化學習（RL）優化推理任務，展現了無需依賴傳統監督微調（SFT）方法的潛在創新。

此外，QwQ-32B 利用強化學習來精煉推理能力，依靠試錯來調整方法並使用工具與環境反饋。透過「結果導向獎勵」機制，模型獨立產生結果，再經由驗證確保準確性，從而在結構化任務中維持可靠表現。這種脫離 SFT 的做法凸顯了其對效率與適應性的重視，標誌著朝向更直接 RL 驅動優化的轉變。

基準測試

來自 Qwen

QwQ-32B 的實力超越其規模 ：雖然參數較少，但在多項基準測試中，其表現足以與更大的模型（如 DeepSeek-R1-671B）匹敵甚至超越。 該模型展現出強大的通用推理、程式碼撰寫與推論能力，但在創意內容方面較弱，因此在多樣任務中具有高度通用性。

硬體需求

若要有效率地執行 QwQ-32B，請考慮以下硬體需求：

VRAM：
- 需要大量 VRAM。
- 若使用 16-bit 精度，需要 80GB VRAM。
- 若使用 8-bit 精度，40GB VRAM 足夠。
- 若使用 4-bit 精度，僅需 20GB VRAM。
GPU：
- 與 RTX 3090/4090 GPU 相容，特別是在使用量化時。
- 高階 GPU 如 NVIDIA A100 與 H100 亦適用。

相較於 DeepSeek R1，QwQ-32B 大幅降低了硬體需求，使其更易於在各種系統中部署，同時保持強大效能。

應用場景

教育：
- 在數學與 程式設計 領域提供個人化輔導，滿足不同學習程度的需求。
- 以淺顯易懂的方式解釋複雜概念，成為學生與教育者的實用工具。
- 協助解決作業問題，並產生練習題以促進有效學習。
軟體開發：
- 支援開發者產生多種程式語言的高品質程式碼片段。
- 透過識別錯誤並建議適當修正，協助除錯。
- 提供程式碼效率最佳化與遵循最佳實務的建議。
研究：
- 協助研究人員進行 資料分析，包括統計計算與視覺化。
- 幫助進行 文獻回顧，總結學術論文並擷取關鍵見解。
- 為研究文件產出初稿，節省研究人員的寶貴時間。
問題解決：
- 協助將 複雜問題 拆解為更小、更易於管理的部分。
- 建議可能的解決方案，包括針對多面向挑戰的逐步指引。
- 提供邏輯推理與解釋，支援決策過程。

QwQ-32B 在這些領域的優異表現，使其成為教育、專業與研究任務的多功能助手。

QWQ 32B vs Qwen 2.5 72B vs DeepSeek R1

功能	QwQ-32B	Qwen 2.5 72B	DeepSeek-R1 671B
參數	32.5B	72B	671B
架構基礎	Qwen 2.5	原生架構	DeepSeek-R1-Zero
訓練方法	強化學習（無 SFT）	未明確說明	RL + 監督微調
上下文視窗	32,768 tokens	8,000 tokens	32,768 tokens
語言支援	29+ 種語言	29+ 種語言	主要為中文與英文
數學能力	79.5（AIME 2024）	83.1（MATH 基準）	97.3（MATH-500）、79.8（AIME 2024）
程式碼能力	63.4（Live Code Bench）	59.1（HumanEval）	49.2（SWE-bench Verified）、65.9（Live Code Bench）
硬體需求	4-bit：20GB VRAM / 8-bit：40GB VRAM / 16-bit：80GB VRAM，建議使用多張 A100 或 H100	約 41.6 GB 至 77.1 GB VRAM	8xH100 GPU
開源授權	Apache 2.0	未明確說明	MIT 授權
主要優勢	硬體友善 / 推理能力強 / 與更大模型效能相當	回應速度快 / 成本效益高 / 多語言支援佳	優異的數學推理 / 自我檢驗輸出 / 清晰的推理過程
輸出特性	強大的邏輯推理，創意內容較弱	通用能力	邏輯清晰、結構完善

如何存取 QWQ 32B？

1. 使用線上平台存取 QWQ 32B（例如 Novita AI）

您可以在 Novita AI 的 LLM Playground 頁面免費試用！這是我們專為開發者提供的測試頁面。從清單中選擇您想要的模型，這裡您可以選擇 QWQ 32B 模型。

立即試用 QWQ 32B 演示

2.存取免費的 QWQ 32B API（例如 Novita AI）

Novita AI 是一個 AI 雲端平台，讓開發者能透過簡單的 API 輕鬆部署 AI 模型，同時提供經濟實惠且可靠的 GPU 雲端服務，用於建構與擴展。

步驟 1：登入並存取模型庫

登入您的帳戶，點選 Model Library 按鈕。

步驟 2：選擇您的模型

瀏覽可用選項，選擇符合您需求的模型。

步驟 3：開始免費試用

開始免費試用，探索所選模型的功能。

步驟 4：取得 API 金鑰

為了驗證 API 請求，我們會提供您一組新的 API 金鑰。進入「Settings」頁面，您可以依照圖片指示複製 API 金鑰。

步驟 5：安裝 API

使用您程式語言專屬的套件管理器安裝 API。

安裝完成後，將所需的函式庫匯入您的開發環境。使用您的 API 金鑰初始化 API，開始與 Novita AI LLM 互動。以下是給 Python 使用者使用聊天補全 API 的範例。

 from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    # 請參考以下網址取得 Novita AI API 金鑰：https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key。
    api_key="<您的 Novita AI API 金鑰>",
)

model = "qwen/qwq-32b"
stream = True  # 或 False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=&#91;
        {
            "role": "system",
            "content": "請扮演一位有用的助手。",
        },
        {
            "role": "user",
            "content": "哈囉！",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices&#91;0].delta.content or "")
else:
    print(chat_completion_res.choices&#91;0].message.content)

註冊後，Novita AI 會提供 $0.5 的額度讓您立即開始！

如果免費額度用完，您可以付費繼續使用。

結論

QwQ-32B 代表了 AI 推理模型的重大進展，在數學、程式碼與多步驟問題解決方面提供卓越效能，同時維持相對緊湊的規模。憑藉其開源可用性與高效率設計，它成為研究人員、開發者與工程師運用 AI 處理複雜結構化任務的強大工具。

QwQ-32B 有何獨特之處？

QwQ-32B 的獨特之處在於其使用強化學習而無需監督微調，在推理任務（特別是數學與程式碼）中達成卓越效能。

硬體需求為何？

為獲得最佳效能，QwQ-32B 需要大量運算資源。量化的 4-bit 版本大約需要 20GB VRAM。

QwQ-32B 與 Qwen2.5 有何不同？

QwQ-32B 基於 Qwen2.5 建構，針對推理任務增加了強化學習優化，不使用傳統的監督微調方法。

Novita AI 是一個全能的雲端平台，助您實現 AI 抱負。整合 API、無伺服器、GPU 雲端實例——您所需的高成本效益工具。無需基礎設施，免費開始，讓您的 AI 願景成真。