GPT OSS на Novita AI: Доступ к открытым моделям OpenAI через API

GPT OSS на Novita AI: Доступ к открытым моделям OpenAI через API

Novita AI с радостью объявляет, что GPT OSS — новаторские языковые модели OpenAI с открытым весом — теперь доступны через наш API инференса. Семейство GPT OSS включает две современные модели рассуждений: gpt-oss-120b и gpt-oss-20b. Обе выпущены под лицензией Apache 2.0.

По словам OpenAI, этот выпуск — значимый шаг в их приверженности экосистеме open source, соответствующий заявленной миссии сделать преимущества ИИ широко доступными. Модели разработаны для агентных рабочих процессов, использования инструментов и сложных задач рассуждений, что делает их идеальными для создания сложных AI-приложений без ограничений проприетарных систем.

Novita AI предлагает GPT OSS по следующим ценам:

gpt-oss-120b: $0.10 за входные / $0.50 за выходные токены (за миллион)

gpt-oss-20b: $0.05 за входные / $0.20 за выходные токены (за миллион)

Обзор модели и возможности

Модели GPT OSS представляют собой смесь экспертов (MoE), использующую 4-битную схему квантования (MXFP4). Это обеспечивает быстрый инференс при низком потреблении ресурсов. Обе модели поддерживают цепочку рассуждений с регулируемым уровнем усилий, следование инструкциям и возможности использования инструментов.

Модель Слои Всего параметров Активных параметров на токен Всего экспертов Активных экспертов на токен Длина контекста
gpt-oss-120b 36 117B 5.1B 128 4 128k
gpt-oss-20b 24 21B 3.6B 32 4 128k

gpt-oss-120b: Высокопроизводительные рассуждения

Модель gpt-oss-120b имеет 117B общих параметров с 5.1B активными. Она достигает почти паритета с OpenAI o4-mini по основным бенчмаркам рассуждений, работая эффективно на оптимизированной инфраструктуре.

Модель превосходит OpenAI o3‑mini и соответствует или превосходит OpenAI o4-mini в соревновательном программировании (Codeforces), общем решении задач (MMLU и HLE) и вызове инструментов (TauBench).

Протестировать gpt-oss-120b в песочнице

gpt-oss-20b: Эффективные рассуждения на границе

Модель gpt-oss-20b содержит 21B общих параметров с 3.6B активными. Она предназначена для сценариев эффективного развертывания. Модель 120B помещается на один GPU H100, а модель 20B работает в пределах 16 ГБ памяти и идеально подходит для потребительского оборудования и устройств.

Несмотря на меньший размер, она соответствует или превосходит OpenAI o3‑mini по стандартным бенчмаркам, даже превосходя его в соревновательной математике (AIME 2024 и 2025) и медицинских запросах (HealthBench).

Протестировать gpt-oss-20b в песочнице

Основные характеристики и технические спецификации

Детали архитектуры

  • 21B и 117B общих параметров с 3.6B и 5.1B активными параметрами соответственно
  • 4-битная схема квантования в формате mxfp4, применяемая только к весам MoE
  • Token-choice MoE с активациями SwiGLU и softmax-after-topk для выбора экспертов
  • Внимание RoPE с длиной контекста 128K во всех слоях внимания
  • Чередующиеся слои внимания: полный контекст и скользящее окно из 128 токенов
  • Изучаемый attention sink на голову для улучшения производительности на длинных контекстах

Ключевые возможности

Модели рассуждений: Текстовые модели с цепочкой рассуждений и регулируемым уровнем усилий («низкий», «средний», «высокий»)

Поддержка инструментов: Встроенная поддержка веб-поиска, выполнения кода Python и интеграции пользовательских инструментов

Структурированные выходные данные: Нативная поддержка JSON, XML и других структурированных форматов с проверкой схемы

Совместимость с Responses API: Полная совместимость с OpenAI Responses API — самым современным интерфейсом OpenAI для чат-моделей, предназначенным для более гибких и интуитивных взаимодействий

Лицензия Apache 2.0: Максимальная гибкость для коммерческого и исследовательского использования. По словам OpenAI, они стремятся к тому, чтобы их инструменты использовались безопасно, ответственно и демократично, максимизируя контроль пользователей над тем, как они их используют. Используя gpt-oss, пользователи соглашаются соблюдать все применимые законы.

Производительность на бенчмарках

Результаты оценки безопасности

OpenAI провела всестороннее тестирование безопасности в рамках своей Структуры готовности, включая тестирование состязательно доработанной версии gpt-oss-120b. Их методология была рассмотрена внешними экспертами и представляет собой шаг вперед в установлении новых стандартов безопасности для моделей с открытым весом:

  • Оценка масштабируемых возможностей: OpenAI подтвердила, что модель по умолчанию не достигает их пороговых значений для Высокой способности ни в одной из трёх отслеживаемых категорий (Биологическая и химическая способность, Киберспособность и Самоулучшение ИИ)
  • Тестирование состязательной доработки: Даже при агрессивной доработке с использованием передового стека обучения OpenAI, gpt-oss-120b не достигла Высокой способности в биологическом и химическом риске или киберриске
  • Оценка передовых рисков: Для большинства оценок производительность существующих открытых моделей по умолчанию близка к состязательно доработанной производительности gpt-oss-120b
  • Внешняя экспертиза: Консультативная группа по безопасности (SAG) OpenAI рассмотрела это тестирование и пришла к выводу, что модели соответствуют стандартам безопасности

Доступ через API Novita AI

Novita AI предоставляет полный доступ к моделям GPT OSS как через serverless, так и через выделенные конечные точки, с полной совместимостью с API OpenAI.

Цены и детали моделей

Имя модели: openai/gpt-oss-120b

Имя модели: openai/gpt-oss-20b

  • Цена ввода/вывода (Novita AI):
    • Ввод: $0.05 за миллион токенов
    • Вывод: $0.20 за миллион токенов
  • Размер контекста: 131,072
  • Максимальный вывод: 32,768
  • Попробовать сейчас: Протестировать gpt-oss-20b в песочнице

Начало работы с Novita AI

Используйте песочницу (без программирования)

  • Мгновенный доступ: Зарегистрируйтесь и начинайте экспериментировать с моделями GPT OSS за секунды
  • Интерактивный интерфейс: Тестируйте сложные промпты для рассуждений и визуализируйте цепочки рассуждений в реальном времени
  • Сравнение моделей: Сравнивайте GPT OSS с другими ведущими моделями для вашего конкретного случая использования

Интеграция через API (для разработчиков) Подключите GPT OSS к вашим приложениям с помощью единого REST API Novita AI.

Вариант 1: Прямая интеграция API (пример на Python)

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="",
)

model = "openai/gpt-oss-120b"
stream = True # или False
max_tokens = 65536
system_content = "Будьте полезным ассистентом"
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Привет!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

Ключевые возможности:

  • Совместимый с OpenAI API для бесшовной интеграции
  • Гибкое управление параметрами для точной настройки ответов
  • Поддержка стриминга для ответов в реальном времени

Вариант 2: Многоагентные рабочие процессы с OpenAI Agents SDK Создавайте сложные мультиагентные системы с использованием GPT OSS:

  • Интеграция “включи и работай”: Используйте GPT OSS в любом рабочем процессе OpenAI Agents
  • Продвинутые возможности агентов: Поддержка передачи задач, маршрутизации и интеграции инструментов с превосходной производительностью рассуждений
  • Масштабируемая архитектура: Проектируйте агентов, которые используют единые возможности GPT OSS для рассуждений, кодирования и агентных действий

Подключение к сторонним платформам

  • Инструменты разработки: Бесшовная интеграция с популярными IDE и средами разработки, такими как Cursor, Trae и Cline, через совместимые с OpenAI API
  • Фреймворки оркестрации: Подключайтесь к LangChain, Dify, CrewAI, Langflow и другим платформам AI-оркестрации с помощью официальных коннекторов
  • Интеграция с Hugging Face: Novita AI выступает в качестве официального провайдера инференса Hugging Face

Архитектура модели и обучение

Предобучение и разработка модели

Модели обучались с использованием комбинации обучения с подкреплением и методов, основанных на наиболее продвинутых внутренних моделях OpenAI, включая o3 и другие передовые системы. Они были интенсивно обучены использованию инструментов как части своих усилий по рассуждению.

Постобучение и оптимизация

Обучение с подкреплением на основе обратной связи от человека (RLHF): Комплексное обучение согласованию для полезных, безвредных и честных ответов

Обучение безопасности: Обширные оценки безопасности и состязательное тестирование для обеспечения ответственного развертывания

Калибровка рассуждений: Точная настройка контроля усилий рассуждений, позволяющая оптимизировать задачи разной сложности

Технические инновации

Историческое возвращение к open source: Это первая языковая модель OpenAI с открытым весом после GPT-2, выпущенной более пяти лет назад, что представляет собой значимый шаг в приверженности экосистеме open source

Продвинутая архитектура MoE: Сложная реализация смеси экспертов с маршрутизацией на основе выбора токенов и оптимизированными паттернами выбора экспертов

Эффективное квантование: Нативное 4-битное квантование в формате mxfp4 обеспечивает быстрый инференс при низком потреблении ресурсов: модель 120B помещается на один GPU 80 ГБ, а модель 20B — в 16 ГБ памяти

Заключение

Модели GPT OSS от OpenAI представляют собой прорыв в области открытого ИИ, предоставляя передовые возможности рассуждений под лицензией Apache 2.0. Через инфраструктуру API Novita AI разработчики могут получить доступ к этим мощным моделям через serverless и выделенные конечные точки с полной совместимостью с OpenAI.

Будь то создание агентных рабочих процессов, проведение исследований или разработка production-приложений, GPT OSS обеспечивает основу для AI-решений следующего поколения. Благодаря продвинутым рассуждениям, поддержке инструментов и гибкому лицензированию эти модели открывают беспрецедентные возможности для AI-инноваций в различных отраслях.

Готовы начать? Попробуйте модели GPT OSS мгновенно в песочнице моделей Novita AI — без программирования. Зарегистрируйтесь сегодня и начинайте создавать приложения с наиболее продвинутыми открытыми моделями OpenAI.

Novita AI — это облачная AI-платформа, которая предлагает разработчикам простой способ развертывания AI-моделей через простой API, а также предоставляет доступный и надежный GPU-облако для создания и масштабирования.