Qwen 3 235B A22B 不燒壞你的 GPU：3 種簡單的 API 方式

領取 $10 LLM API

重點摘要

Qwen 3 235B A22B 是一款強大的專家混合（MoE）模型，專為進階推理、編碼及多語言任務設計。

若要在地端執行，需要 約 1128GB 的 VRAM——相當於 16 張 A100 或 16 張 H100 GPU——對大多數個人開發者而言難以負擔。

如何透過 API 存取 Qwen 3 235B A22B：3 種簡單方法：
1.直接 API 整合，使用 OpenAI 相容端點
2.多重代理工作流程，搭配 OpenAI Agents SDK
3.第三方整合，透過 Hugging Face、LangChain、Dify 等

Qwen 3 235B A22B 是當今最強的大型語言模型之一，在推理、數學與多語言任務中表現頂尖。然而，由於 VRAM 需求超過 1TB，大多數開發者幾乎不可能在地端執行。幸運的是，基於 API 的存取讓你無需龐大基礎設施就能發揮其威力。

什麼是 Qwen 3 235B A22B？

Qwen 3 235B A22B 評測數據

資料來源：Qwen

Qwen 3 235B A22B 硬體需求

在地端執行 Qwen 3 235B A22B 需要 約 1128GB 的 VRAM，相當於：

• 16 張 A100 (80GB) GPU
• 或 16 張 H100 (80GB) GPU

這樣的配置遠超出大多數個人開發者或小型團隊的能力範圍。

對多數開發者來說，API 是更明智的選擇

• 無需設定或硬體成本
• 立即存取最新模型
• 根據需求彈性擴展用量
• 持續的模型更新與維護

選項一：直接 API 整合

步驟 1：登入並存取模型庫

登入你的帳戶，然後點擊 模型庫 按鈕。

步驟 2：選擇你的模型

瀏覽可用選項，選擇符合需求的模型。

步驟 3：開始免費試用

開始免費試用，探索所選模型的能力。

立即試用 Qwen 3 235B A22B！

步驟 4：取得 API 金鑰

為了驗證 API 呼叫，我們會提供一組新的 API 金鑰。進入「設定」頁面，即可依圖示複製 API 金鑰。

步驟 5：安裝 API

使用你程式語言專屬的套件管理工具安裝 API。

安裝完成後，在開發環境中引入必要的函式庫。用你的 API 金鑰初始化，開始與 Novita AI LLM 互動。以下是 Python 使用者使用聊天補全 API 的範例。

from openai import OpenAI
  
from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="<YOUR Novita AI API Key>",
)

model = "qwen/qwen3-235b-a22b-fp8"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  
  

選項二：使用 OpenAI Agents SDK 的多重代理工作流程

OpenAI Agents SDK 是 OpenAI SWARM 專案的生產級演進，旨在簡化智慧型、協作式且安全的 AI 代理開發。其核心是基於 LLM 的代理，可自訂指令、角色與外部工具。SDK 提供強大功能，例如透過 Pydantic 驗證自動轉換函式工具、內建代理循環以實現無縫工具回饋、多代理任務委派，以及穩健的安全護欄。開發者可以享受 Python 原生的編排、內建除錯追蹤工具與高度自訂性——所有這些都封裝在一個輕量級框架中，學習成本極低。

1. 設定 Python 環境並安裝 Agents SDK

python -m venv env
source env/bin/activate
pip install openai-agents

2. 設定你的 Novita API 金鑰

前往控制台領取 10 點 Credits

3. 任務移交範例

import os
from openai import AsyncOpenAI
from agents import (
    Agent,
    Runner,
    set_default_openai_api,
    set_default_openai_client,
    set_tracing_disabled,
)

BASE_URL = "https://api.novita.ai/v3/openai"
API_KEY = os.getenv("NOVITA_API_KEY")
MODEL_NAME = os.getenv("MODEL_NAME")

# Because Novita not support the responses API so we use the chat completions API instead.
set_default_openai_api("chat_completions")
set_default_openai_client(AsyncOpenAI(base_url=BASE_URL, api_key=API_KEY))
# Disable tracing for this example
# Refer to https://openai.github.io/openai-agents-python/tracing/#external-tracing-processors-list to use the custom spans.
set_tracing_disabled(disabled=True)

agent = Agent(name="Assistant",
              instructions="You are a helpful assistant", model=MODEL_NAME)

result = Runner.run_sync(
    agent, "Write a haiku about recursion in programming.")
print(result.final_output)

# Code within the code,
# Functions calling themselves,
# Infinite loop's dance.

選項三：第三方 Qwen 3 API 整合

1.HuggingFace 整合

步驟 1：在 Hugging Face 上設定 API 金鑰

• 進入你的帳戶設定儀表板，設定 API 金鑰。
• 將 Novita AI 驗證憑證輸入 Hugging Face 平台。

步驟 2：選擇 Inference API 模式

• 自訂金鑰模式：呼叫直接發送至推論提供者，使用你自有的 API 金鑰。
• HF 路由模式：此模式無需提供者 Token，費用會計入你的 Hugging Face 帳戶而非提供者帳戶。

步驟 3：點擊設定按鈕，選擇 Novita AI 作為 API 提供者

2.代理/框架與 Novita AI 整合

Novita AI 是許多熱門代理框架的 一級合作夥伴。
你可以直接在這些平台中 **選擇 Novita 作為提供者 。每個框架都提供 ** 官方連接器 ** 與 ** 逐步指南，讓多重代理工作流程、工具呼叫代理與複雜編排任務的整合更加順暢。

• Continue
• AnythingLLM
• LangChain
• Dify
• Langflow

3. OpenAI 相容 API 整合

對於基於 **OpenAI API 標準 ** 建構的工具，Novita AI 提供 ** 無痛替代方案 **——你只需要 base URL 與 **API 金鑰 。此方法 ** 無需重構，且支援已使用 OpenAI 相容呼叫的應用程式立即遷移。

常見問題

Qwen 3 235B A22B 是什麼？

阿里巴巴開發的最新 MoE 語言模型，擁有 235B 參數（每次前向傳播活躍參數 22B），在邏輯、數學與多語言任務上表現卓越。

為什麼我不能在地端執行 Qwen 3 235B A22B？

因為它需要約 1128GB 的 VRAM，遠超消費級硬體範疇，你需要 16 張 A100 或 H100 GPU。

有沒有免費試用可以體驗 Qwen 3 235B A22B？

有的。Novita AI 提供免費點數，讓你在決定方案前先行探索。

Novita AI 是一個 AI 雲端平台，為開發者提供透過簡單 API 部署 AI 模型的便捷途徑，同時也提供價格實惠、穩定可靠的 GPU 雲端服務來建構與擴展應用。

推薦閱讀

• 使用 Smolagents 與 Novita AI 建構自主代理
• Novita AI 現已支援 OpenAI Agents SDK
• 更智慧地編碼：用 DeepSeek V3 0324 進行 Vibe Code