Ключевые моменты
Qwen 3 235B A22B — мощная модель Mixture-of-Experts (MoE), предназначенная для сложных рассуждений, программирования и многоязычных задач.
Локальный запуск требует ~1128 ГБ видеопамяти — это эквивалент 16× A100 или 16× H100, что недоступно большинству разработчиков.
Как получить доступ к Qwen 3 235B A22B через API: 3 простых способа:
- Прямая интеграция с API с использованием совместимых с OpenAI конечных точек
- Многоагентные рабочие процессы с Agents SDK от OpenAI
- Интеграция через сторонние сервисы — Hugging Face, LangChain, Dify и другие
Qwen 3 235B A22B — одна из самых мощных больших языковых моделей на сегодняшний день, демонстрирующая превосходную производительность в задачах рассуждения, математики и многоязычия. Однако из-за требований к видеопамяти более 1 ТБ локальный запуск практически невозможен для большинства разработчиков. К счастью, доступ через API позволяет использовать эту мощь без тяжёлой инфраструктуры.
Что такое Qwen 3 235B A22B?
Бенчмарки Qwen 3 235B A22B
Источник: Qwen
Аппаратные требования Qwen 3 235B A22B
Локальный запуск Qwen 3 235B A22B требует ~1128 ГБ видеопамяти, что эквивалентно:
- 16× A100 (80 ГБ) GPU
- или 16× H100 (80 ГБ) GPU
Такая конфигурация выходит далеко за пределы возможностей большинства разработчиков или небольших команд.
API — разумный выбор для большинства разработчиков
- Нулевые затраты на настройку и оборудование
- Мгновенный доступ к передовым моделям
- Масштабируемое использование по мере необходимости
- Постоянные обновления и обслуживание моделей
Вариант 1: Прямая интеграция через API
Шаг 1: Войдите в систему и откройте библиотеку моделей
Войдите в свою учётную запись и нажмите кнопку Model Library.
Шаг 2: Выберите модель
Просмотрите доступные варианты и выберите подходящую модель.
Шаг 3: Начните бесплатный пробный период
Начните бесплатное тестирование, чтобы изучить возможности выбранной модели.
Попробовать Qwen 3 235B A22B сейчас!
Шаг 4: Получите ваш API-ключ
Для аутентификации в API мы предоставим вам новый API-ключ. Перейдите на страницу «Settings» и скопируйте API-ключ, как показано на изображении.
Шаг 5: Установите API
Установите API с помощью менеджера пакетов, специфичного для вашего языка программирования.
После установки импортируйте необходимые библиотеки в вашу среду разработки. Инициализируйте API с вашим ключом для начала взаимодействия с Novita AI LLM. Ниже приведён пример использования chat completions API для Python.
from openai import OpenAI
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "qwen/qwen3-235b-a22b-fp8"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Вариант 2: Многоагентные рабочие процессы с Agents SDK от OpenAI
OpenAI Agents SDK — это эволюция проекта SWARM от OpenAI, предназначенная для промышленного использования и упрощающая разработку интеллектуальных, совместных и безопасных AI-агентов. В основе лежат агенты на основе LLM, которые можно настроить с помощью пользовательских инструкций, ролей и внешних инструментов. SDK предлагает мощные возможности: автоматическое преобразование функций в инструменты с валидацией Pydantic, встроенные циклы агентов для бесшовной обратной связи с инструментами, делегирование задач между агентами и надёжные защитные ограждения. Разработчики получают нативную оркестрацию на Python, встроенные инструменты трассировки для отладки и высокую настраиваемость — всё в лёгком фреймворке, требующем минимального обучения.
1. Настройте Python-окружение и установите Agents SDK.
python -m venv env
source env/bin/activate
pip install openai-agents
2. Настройте ваш Novita API-ключ.
Перейти в консоль и получить 10 кредитов
3. Пример передачи задач (Handoffs)
import os
from openai import AsyncOpenAI
from agents import (
Agent,
Runner,
set_default_openai_api,
set_default_openai_client,
set_tracing_disabled,
)
BASE_URL = "https://api.novita.ai/v3/openai"
API_KEY = os.getenv("NOVITA_API_KEY")
MODEL_NAME = os.getenv("MODEL_NAME")
# Because Novita not support the responses API so we use the chat completions API instead.
set_default_openai_api("chat_completions")
set_default_openai_client(AsyncOpenAI(base_url=BASE_URL, api_key=API_KEY))
# Disable tracing for this example
# Refer to https://openai.github.io/openai-agents-python/tracing/#external-tracing-processors-list to use the custom spans.
set_tracing_disabled(disabled=True)
agent = Agent(name="Assistant",
instructions="You are a helpful assistant", model=MODEL_NAME)
result = Runner.run_sync(
agent, "Write a haiku about recursion in programming.")
print(result.final_output)
# Code within the code,
# Functions calling themselves,
# Infinite loop's dance.
Вариант 3: Интеграция Qwen 3 API через сторонние сервисы
1.Интеграция с HuggingFace
Шаг 1: Настройте API-ключи на Hugging Face
- Зайдите в панель настроек вашей учётной записи, чтобы настроить API-ключи.
- Введите учётные данные Novita AI на платформе Hugging Face.
Шаг 2: Выберите режим Inference API
- Custom Key Mode: вызовы отправляются напрямую провайдеру инференса с использованием вашего API-ключа.
- HF-Routed Mode: токен провайдера не требуется. Платежи списываются с вашего аккаунта Hugging Face, а не с аккаунта провайдера.
Шаг 3: Нажмите кнопку настроек, выберите Novita AI в качестве провайдера API
2.Интеграция с агентами/фреймворками через Novita AI
Novita AI является партнёром первого уровня многих популярных агентных фреймворков.
Вы можете напрямую выбрать Novita в качестве провайдера внутри этих платформ. Каждый из них имеет официальные коннекторы и пошаговые руководства, что делает интеграцию гладкой для многоагентных рабочих процессов, агентов с вызовом инструментов и сложных задач оркестрации.
3. Интеграция через API, совместимый с OpenAI
Для инструментов, построенных на стандарте OpenAI API, Novita AI предоставляет прямую замену — всё, что вам нужно, это base URL и API-ключ. Этот метод не требует рефакторинга и поддерживает мгновенный перенос приложений, уже использующих вызовы, совместимые с OpenAI.
Часто задаваемые вопросы
Что такое Qwen 3 235B A22B?
Это современная MoE-модель от Alibaba с 235 миллиардами параметров (22 миллиарда активных на один прямой проход), отлично справляющаяся с логикой, математикой и многоязычными задачами.
Почему я не могу запустить Qwen 3 235B A22B локально?
Для этого требуется ~1128 ГБ видеопамяти — намного больше, чем доступно на потребительском оборудовании. Вам понадобилось бы 16 GPU A100 или H100.
Есть ли бесплатная пробная версия для использования Qwen 3 235B A22B?
Да. Novita AI предлагает бесплатные кредиты для изучения модели перед покупкой.
Novita AI — это облачная AI-платформа, предоставляющая разработчикам простой способ развёртывания AI-моделей через наш простой API, а также доступное и надёжное GPU-облако для создания и масштабирования.
