English Arabic 简体中文 繁體中文 Français Deutsch 日本語 한국어 Português Русский Español

Использование Portkey с Novita AI: Полное руководство

Автор / / Партнерства / 4 минут чтения
Использование Portkey с Novita AI: Полное руководство
Содержание
  1. 1. Что такое Portkey AI Gateway
  2. 2. Ключевые функции и преимущества
  3. 3. Настройка Portkey AI Gateway
  4. 4. Интеграция API Novita AI с Portkey
  5. 5. Полезные ресурсы
  6. 6. Заключение

Portkey AI Gateway произвел революцию в способах взаимодействия разработчиков с различными AI-моделями, включая Novita AI. Этот мощный инструмент предоставляет унифицированный интерфейс для доступа к множеству языковых моделей, обеспечивая быструю, надежную и безопасную маршрутизацию. В этом подробном руководстве мы рассмотрим, как использовать Portkey AI Gateway для доступа к API Novita AI, оптимизируя процесс разработки AI и повышая производительность вашего приложения.

1. Что такое Portkey AI Gateway

Portkey AI Gateway выступает в роли надежного посредника между вашим приложением и различными AI-моделями, включая Novita AI. Он создан для упрощения процесса интеграции, предлагая единый API, который поддерживает более 1600 моделей языка, зрения, аудио и изображений. Благодаря своей легковесной природе с открытым исходным кодом, Portkey позволяет разработчикам интегрировать любую языковую модель менее чем за две минуты.

Ключевые характеристики Portkey AI Gateway:

  • Молниеносная производительность с задержкой менее 1 мс
  • Минимальный размер — всего 122 кб
  • Проверенная инфраструктура, обрабатывающая более 10 миллиардов токенов ежедневно
  • Готовые к использованию корпоративные функции, включая повышенную безопасность и пользовательские развертывания

2. Ключевые функции и преимущества

Portkey AI Gateway предлагает множество функций, которые значительно улучшают разработку и развертывание AI-приложений:

  1. Единый API: Интегрируйте несколько AI-провайдеров, включая Novita AI, через единый согласованный интерфейс.
  2. Автоматические повторные попытки и запасные варианты: Предотвращайте простои и обеспечивайте высокую доступность ваших AI-сервисов.
  3. Балансировка нагрузки и условная маршрутизация: Эффективно масштабируйте AI-приложения, распределяя запросы между несколькими провайдерами или моделями.
  4. Защитные ограждения: Внедряйте фильтры контента и проверку выходных данных для поддержания стандартов качества и безопасности.
  5. Мультимодальные возможности: Выходите за рамки текстовых моделей, включая обработку изображений, аудио и видео.
  6. Интеграции с агентскими рабочими процессами: Изучайте продвинутые фреймворки AI-агентов для сложных приложений.

Все эти функции в совокупности способствуют ускорению циклов разработки, повышению надежности и улучшению производительности приложений на базе AI.

3. Настройка Portkey AI Gateway

Настройка Portkey AI Gateway — это простой процесс, состоящий из трех основных шагов: установка шлюза, выполнение первого запроса и настройка маршрутизации и защитных ограждений.

Установите ваш AI-шлюз

Для локального запуска шлюза вам понадобятся Node.js и npm. Затем выполните следующую команду:

npx @portkey-ai/gateway

После запуска вы увидите два важных URL:

  • Шлюз: http://localhost:8787/v1
  • Консоль шлюза: http://localhost:8787/public/

Выполните первый запрос

Сначала установите библиотеку Portkey AI для Python:

pip install -qU portkey-ai

Затем используйте следующий код Python для выполнения первого запроса:

from portkey_ai import Portkey

# Клиент, совместимый с OpenAI
client = Portkey(
    provider="openai", # или 'anthropic', 'bedrock', 'groq' и т.д.
    Authorization="sk-***" # API-ключ провайдера
)

# Выполните запрос через ваш AI-шлюз
client.chat.completions.create(
    messages=[{"role": "user", "content": "Какая сегодня погода?"}],
    model="gpt-4o-mini"
)

Вы можете отслеживать все локальные журналы в одном месте с помощью консоли шлюза по адресу http://localhost:8787/public/.

Маршрутизация и защитные ограждения

Portkey AI Gateway позволяет настраивать правила маршрутизации, добавлять функции надежности и реализовывать защитные ограждения. Пример конфигурации:

config = {
  "retry": {"attempts": 5},

  "output_guardrails": [{
    "default.contains": {"operator": "none", "words": ["Apple"]},
    "deny": True
  }]
}

# Прикрепите конфигурацию к клиенту
client = client.with_options(config=config)

client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "Ответь случайным образом: Apple или Bat"}]
)

# В этом примере защитное ограждение запрещает все ответы, содержащие "Apple", поэтому ответ всегда будет "Bat". Настройка повторных попыток будет пытаться выполнить запрос до 5 раз, прежде чем отказаться.

AI Gateway

4. Интеграция API Novita AI с Portkey

Чтобы получить доступ к API Novita AI через Portkey AI Gateway, выполните следующие шаги:

Установите SDK Portkey

Добавьте SDK Portkey в ваше приложение для взаимодействия с API Novita AI через шлюз Portkey.

Node.JS

npm install --save portkey-ai

Python

pip install portkey-ai

Инициализируйте Portkey с виртуальным ключом

Чтобы использовать Novita AI с Portkey, получите свой LLM API-ключ от Novita AI, затем добавьте его в Portkey для создания виртуального ключа.

Node.JS SDK

import Portkey from 'portkey-ai'

const portkey = new Portkey({
  apiKey: "PORTKEY_API_KEY",  // Замените на ваш API-ключ Portkey
  virtualKey: "VIRTUAL_KEY"   // Замените на ваш виртуальный ключ для Novita AI
})

Python SDK

from portkey_ai import Portkey

portkey = Portkey(
    api_key="PORTKEY_API_KEY",  // Замените на ваш API-ключ Portkey
    virtual_key="VIRTUAL_KEY"   // Замените на ваш виртуальный ключ для Novita AI
)

Вызовите Chat Completions с Novita AI

Используйте экземпляр Portkey для отправки запросов к Novita AI. При необходимости вы также можете переопределить виртуальный ключ непосредственно в вызове API.

Node.JS SDK

const chatCompletion = await portkey.chat.completions.create({
  messages: [{ role: 'user', content: 'Скажите, это тест' }],
  model: 'Nous-Hermes-2-Mixtral-8x7B-DPO'
});

console.log(chatCompletion.choices);

Python SDK

completion = portkey.chat.completions.create(
    messages= [{ "role": 'user', "content": 'Скажите, это тест' }],
    model= 'reka-core'
)

print(completion)

5. Полезные ресурсы

Чтобы углубить свои знания и использование Portkey AI Gateway с Novita AI, изучите следующие ценные ресурсы:

  1. Репозиторий Portkey AI Gateway на GitHub: Будьте в курсе последних пулл-реквестов, функций и улучшений.
  2. Документация Portkey AI по интеграции с Novita AI: Подробное руководство по интеграции Novita AI с Portkey, включая использование SDK и поддерживаемые модели.
  3. Блог Portkey AI: Доступ к познавательным статьям, учебным пособиям и обновлениям, связанным с интеграцией AI и лучшими практиками.
  4. Документация API Novita AI: Ознакомьтесь с официальной документацией Novita AI для получения подробной информации об их LLM API и спецификациях моделей.

Эти ресурсы предоставляют массу информации, которая поможет вам максимально раскрыть потенциал Novita AI через Portkey AI Gateway, гарантируя, что вы останетесь на передовой интеграции и разработки AI.

6. Заключение

Интеграция API Novita AI с Portkey AI Gateway предлагает простой и эффективный способ улучшить ваши AI-приложения. Следуя шагам, описанным в этом руководстве, вы сможете использовать мощные функции Portkey AI Gateway для оптимизации процесса разработки, повышения производительности и обеспечения надежности. Независимо от того, работаете ли вы с текстовыми, визуальными, аудио- или графическими моделями, Portkey AI Gateway предоставляет унифицированный интерфейс, упрощающий интеграцию нескольких AI-провайдеров.

Оставаясь в курсе последних ресурсов и лучших практик, вы сможете продолжать оптимизировать свои AI-приложения и оставаться впереди в быстро развивающейся области интеграции и разработки AI. Используйте возможности Portkey AI Gateway и Novita AI для создания инновационных и надежных AI-решений.

Novita AI — это облачная AI-платформа, которая предоставляет разработчикам простой способ развертывания AI-моделей с помощью нашего простого API, а также предлагает доступное и надежное GPU-облако для построения и масштабирования.

Похожие статьи