Step 3.7 Flash API на Novita AI: руководство по мультимодальному рассуждению

Step 3.7 Flash API на Novita AI: руководство по мультимодальному рассуждению

API Step 3.7 Flash доступен на Novita AI для разработчиков, которым нужна мультимодальная модель рассуждения через совместимый с OpenAI Serverless LLM API: используйте stepfun/step-3.7-flash с endpoint-ом чат-завершений Novita AI, когда вашему рабочему процессу требуется ввод текста, изображения или видео, вызовы инструментов, структурированные выходные данные и окно контекста в 256K. Если вы уже готовы отправлять запросы, переходите к быстрому старту Step 3.7 Flash API; если вы решаете, подходит ли модель для вашего продукта, начните с характеристик, цен и рекомендаций по оценке ниже.

Что такое Step 3.7 Flash на Novita AI?

Step 3.7 Flash — это высокоэффективная мультимодальная модель рассуждения от StepFun, размещенная на Novita AI для доступа через Serverless LLM. Идентификатор модели в API — stepfun/step-3.7-flash, модель доступна через endpoint чат-завершений.

Для разработчиков практический ответ очевиден: используйте Step 3.7 Flash API, когда вашему рабочему процессу требуется нечто большее, чем просто текстовый чат. Он подходит для агентных задач, которые сочетают длинные инструкции, визуальный или видео контекст, структурированный вывод и маршрутизацию инструментов. Примеры: анализ видеодемонстрации продукта, преобразование скриншотов в задачи по реализации, планирование многошаговых операций на основе разнородных медиа-входных данных или использование модели для принятия решения о том, когда должна запускаться функция приложения.

Он не предназначен для замены каждой маленькой текстовой модели в вашем стеке. Если вашему приложению нужны только короткие ответы на часто задаваемые вопросы, простая извлечение или классификация с большим объемом, начните с сравнения текущих моделей в библиотеке моделей Novita AI и ценах Novita AI. Step 3.7 Flash становится более привлекательным, когда мультимодальный ввод, длинный контекст или планирование с учетом инструментов являются частью реальных требований продукта.

Характеристики, доступность и цены Step 3.7 Flash API

Novita AI в настоящее время указывает Step 3.7 Flash как модель Serverless LLM со следующими деталями реализации. Доступность модели и цены могут меняться, поэтому перед маршрутизацией в production и закупками проверяйте актуальную страницу модели.

Поле Текущее значение Novita AI
Отображаемое имя Step 3.7 Flash
ID модели в API stepfun/step-3.7-flash
Путь доступа Serverless LLM
Endpoint chat/completions
Модальности ввода Текст, изображение, видео
Модальность вывода Текст
Окно контекста 262 144 токена
Максимум токенов вывода 256 000 токенов
Вызов функций Поддерживается
Структурированный вывод Поддерживается
Рассуждение Поддерживается
Семейство моделей StepFun
Метка архитектуры MoE

Текущие цены за токены для stepfun/step-3.7-flash:

Тип токена Текущая цена
Входные токены $0,20 за миллион токенов
Кэшированные входные токены $0,04 за миллион токенов
Выходные токены $1,15 за миллион токенов

В том же списке моделей указаны уровни скорости запросов от T1 до T5. Видимая квота T1 составляет 30 RPM и 50 000 000 TPM, с более высокими значениями RPM на более высоких уровнях. Относитесь к ним как к платформенным ограничениям, которые нужно проверить при настройке аккаунта, а не как к замене собственному нагрузочному тестированию.

Ценообразование важно, поскольку мультимодальные запросы и запросы с длинным контекстом могут быстро расти. Команда разработки продукта должна измерять размер промпта, контекст, полученный из медиа, повторное использование кэшированных данных (cached-read) и длину вывода отдельно. Если рабочий процесс многократно отправляет один и тот же системный промпт, схему инструмента или большой блок инструкций, кэширование чтения может стать частью проектирования затрат. Если ответы регулярно приближаются к большим размерам вывода, выходные токены будут доминировать в счете быстрее, чем входные.

Один полезный шаблон бюджетирования — разделить трафик оценки на три корзины. Сначала измерьте базовый уровень для той же задачи в виде обычного текста. Затем добавьте ввод изображения или видео и запишите, как часто дополнительный контекст меняет ответ. В-третьих, протестируйте версию с длинным контекстом, прикрепив полную политику, схему или документацию по продукту. Если третья корзина повышает точность маршрутизации или сокращает ручную проверку, больший запрос может быть оправдан. Если нет, оставьте производственный путь более узким.

Каким задачам мультимодального рассуждения она соответствует?

Step 3.7 Flash наиболее интересна, когда модель должна рассуждать на основе различных типов входных данных, а затем выдавать план, решение или структурированный ответ.

Для команд продуктов и поддержки это может означать, что модель должна проверить скриншот интерфейса или короткий видеоклип, определить вероятную проблему пользователя и вернуть объект JSON, который направляет тикет в нужную очередь. Для инструментов разработчика это может означать чтение screen recording ошибки, связанного текста ошибки и фрагмента исходного кода, а затем создание контрольного списка для воспроизведения. Для операционных рабочих процессов это может означать объединение длинного текста политики с визуальными доказательствами и запрос модели на создание пошагового плана обработки.

Важное различие: Step 3.7 Flash должна получать доказательства, необходимые для задачи. Не просите её додумывать детали, которые никогда не предоставлялись. Если рабочий процесс зависит от поиска в базе данных, состояния биллинга, статуса заказа или записи развертывания, предоставляйте эти данные через уровень приложения или вызов инструмента, а не полагайтесь на общие знания модели.

Хорошие оценочные промпты включают:

  • Промпт триажа поддержки с одним скриншотом, описанием пользователя и требуемой схемой JSON.
  • Промпт QA продукта с коротким видео и шаблоном отчета об ошибке.
  • Промпт маршрутизации инструментов, где модель должна выбрать между create_ticket, search_docs и escalate_to_human.
  • Промпт анализа длинного контекста, где одна и та же схема инструмента и текст политики могут выиграть от кэширования чтения.

Избегайте расплывчатых промптов вроде “проанализируй это видео” или “сделай вывод об этом изображении”. Дайте модели задачу, границы принятия решений и формат вывода. Это упрощает сравнение результатов между моделями и позволяет измерить, окупают ли себя дополнительный контекст и мультимодальный ввод.

Для агентных рабочих процессов поддержка инструментов — это часть, которую нужно тестировать наиболее тщательно. Хорошая оценка вызова инструментов должна включать случаи, где правильный ответ — вызвать инструмент, случаи, где правильный ответ — запросить дополнительную информацию, и случаи, где ни один инструмент не должен запускаться. Это предотвращает поощрение чрезмерно активных действий только потому, что модель может выдать вызов функции.

Как командам следует оценивать модель перед production?

Начните с небольшого тестового набора, похожего на ваш продукт, а не с общих бенчмарков. Включите успешные случаи, граничные случаи и промпты, которые не должны вызывать инструмент. Если вашему приложению нужен структурированный вывод, проверяйте вывод на соответствие схеме автоматически, а не вручную.

Минимальный текстовый запрос, совместимый с OpenAI, использует базовый URL Novita AI LLM API и проверенный ID модели:

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["NOVITA_API_KEY"],
    base_url="https://api.novita.ai/openai",
)

response = client.chat.completions.create(
    model="stepfun/step-3.7-flash",
    messages=[
        {
            "role": "system",
            "content": "Вы — практичный ассистент по триажу инцидентов. Возвращайте краткие структурированные рекомендации.",
        },
        {
            "role": "user",
            "content": "Просмотрите эту сводку инцидента и определите следующие три проверки: задержка API удвоилась после развертывания, загрузка ЦП базы данных в норме, уровень ошибок плоский.",
        },
    ],
    max_tokens=700,
    temperature=0.2,
)

print(response.choices[0].message.content)

Для production-оценки добавьте четыре проверки перед маршрутизацией реального пользовательского трафика:

  • Проверка стоимости: логируйте входные, кэшированные и выходные токены для репрезентативных запросов.
  • Проверка схемы: автоматически проверяйте структурированный вывод и повторяйте попытку или используйте запасной вариант, если ответы не соответствуют схеме.
  • Проверка инструментов: тестируйте случаи как с вызовом инструмента, так и без него, включая неоднозначные промпты.
  • Проверка медиа: оценивайте фактические форматы изображений или видео, которые отправляет ваше приложение, а не только текстовые описания медиа.

Вызов функций и структурированный вывод полезны, но они не снимают ответственность с приложения. Ваш сервис по-прежнему требует проверки авторизации, валидации входных данных, идемпотентного выполнения инструментов и журналов аудита для действий, изменяющих пользовательские данные.

Для мультимодальных запросов делайте путь обработки медиа явным. Храните или ссылайтесь на ресурс в соответствии с правилами конфиденциальности вашего приложения, сохраняйте достаточно метаданных для отладки сбоев и записывайте, какой формат запроса использовался. Если позже возникнет проблема в production, вы захотите знать, видела ли модель исходное изображение или видео, сжатую версию, образец кадра или текстовое резюме, сгенерированное другим сервисом.

Чем этот обзор отличается от быстрого старта?

Эта статья — обзор и источник истины: доступность, ID модели, цены, мультимодальная область применения и соответствие разработчикам. Отдельный быстрый старт Step 3.7 Flash API углубляется в структуру запросов, ввод изображений и видео, примеры вызова функций и шаблоны структурированного вывода.

Такое разделение полезно, поскольку читатели обзора обычно хотят ответить на вопрос: “Стоит ли нам оценивать эту модель?” Читатели быстрого старта хотят ответить на вопрос: “Какой именно запрос мне отправить?” Разделение этих задач предотвращает смешение информации о ценах и возможностях внутри длинного руководства, при этом оставляя место для деталей реализации там, где это необходимо.

На данный момент лучший следующий шаг — открыть страницу модели Step 3.7 Flash, подтвердить текущий прайс-лист и лимиты для вашего аккаунта, а затем выполнить узкий оценочный промпт, использующий те же медиа, схему инструмента или структурированный вывод, которые понадобятся вашему приложению.

Часто задаваемые вопросы

Доступен ли Step 3.7 Flash на Novita AI?

Да. Novita AI в настоящее время предлагает Step 3.7 Flash как модель Serverless LLM с ID модели в API stepfun/step-3.7-flash.

Какие входные данные поддерживает Step 3.7 Flash?

Страница модели Novita AI в настоящее время указывает текст, изображение и видео как поддерживаемые модальности ввода. Модальность вывода — текст.

Сколько стоит Step 3.7 Flash на Novita AI?

Текущие цены Novita AI для stepfun/step-3.7-flash: $0,20 за миллион входных токенов, $0,04 за миллион кэшированных входных токенов и $1,15 за миллион выходных токенов.

Поддерживает ли Step 3.7 Flash вызов функций?

Да. Страница модели Novita AI в настоящее время указывает поддержку вызова функций, структурированного вывода и рассуждения для Step 3.7 Flash.

Какой endpoint должны использовать разработчики?

Используйте совместимый с OpenAI endpoint чат-завершений Novita AI с ID модели stepfun/step-3.7-flash. Базовый URL для использования SDK, совместимого с OpenAI: https://api.novita.ai/openai.

Рекомендуемые статьи