Novita AI произвела революцию в том, как разработчики взаимодействуют с различными AI-инструментами, включая Helicone. Helicone известен своей передовой платформой наблюдаемости, созданной специально для разработчиков, работающих с большими языковыми моделями (LLM). Таким образом, эта мощная интеграция предлагает разработчикам преобразующие возможности для поиска простой платформы вывода, надежной наблюдаемости LLM и решений для мониторинга. В этой статье рассматриваются возможности Helicone, его интеграция с Novita AI и то, как разработчики могут извлечь выгоду из этого мощного сочетания.
Что такое Helicone?
Helicone — это универсальная платформа наблюдаемости LLM для разработчиков, позволяющая отслеживать, отлаживать и улучшать готовые к производству AI-приложения. Платформа специализируется на предоставлении комплексных решений для мониторинга с возможностями ведения журналов в реальном времени, что позволяет разработчикам анализировать и оптимизировать свои LLM-приложения в масштабе. Особую ценность Helicone представляет его способность интегрироваться за секунды с несколькими провайдерами и поддержка тестирования вариаций промптов на производственном трафике без изменения кода.
Ключевые возможности и функции
Helicone предлагает ключевые функции для улучшения готовых к производству LLM-приложений:
- Централизованная наблюдаемость: Helicone предоставляет надежную платформу, которая собирает и визуализирует всесторонние журналы и метрики по всем развертываниям больших языковых моделей (LLM).
- Оптимизация производительности LLM: Helicone повышает производительность LLM с помощью функций, поддерживающих эксперименты с промптами, отслеживание успешности и тонкую настройку.
- Гибкое управление данными: Уделяя приоритет конфиденциальности данных, Helicone предлагает различные варианты развертывания, включая выделенные экземпляры, гибридные облачные интеграции и локальные среды.
- Гибкость развертывания: Helicone поддерживает как облачные, так и локальные варианты развертывания, используя готовые к производству HELM-чарты для обеспечения максимальной безопасности.
- Безопасность корпоративного уровня: включает сертификацию SOC2 и соответствие HIPAA, обеспечивая безопасную обработку конфиденциальных данных и удовлетворение требований корпоративной безопасности.
Настройка AI-шлюза Helicone
Настройка AI-шлюза Helicone требует всего четыре шага: создание учетной записи, генерация API-ключа, выбор предпочтительного метода интеграции и отправка первого запроса.
Шаг 1: Создайте учетную запись
- После создания учетной записи переходите к следующему шагу.
Шаг 2: Сгенерируйте API-ключ
- Перейдите в настройки: нажмите на свою организацию в верхнем левом углу, затем выберите
<mark>Settings</mark>(Настройки) из выпадающего меню.
- Выберите вкладку API Keys
- Сгенерировать новый ключ: нажмите
<mark>Generate new key</mark>(Сгенерировать новый ключ). При создании нового API-ключа Helicone вы можете включить права<mark>read</mark>(чтение) и<mark>write</mark>(запись). Ключи на запись могут использоваться через Helicone с помощью нашего прокси, обратной связи или любого другого сервиса Helicone при вызове<mark>POST</mark>или использовании нашего шлюза.
Шаг 3: Выберите предпочтительный метод интеграции
- Выберите используемого провайдера ниже, так как следующая инструкция различается.
Шаг 4: Отправьте свой первый запрос
-
Как только мы получим ваши запросы, вы увидите их на вкладке
<mark>Requests</mark>(Запросы). -
Вы также увидите, что ваша
<mark>Dashboard</mark>(Панель управления) обновилась с новым запросом.
Получение API-ключа Novita AI
Генерация API-ключа Novita AI выполняется в три шага: переход на Novita AI и вход, управление API-ключом LLM Novita AI и пополнение кредита.
Шаг 1: Перейдите на Novita AI и войдите
- Вы можете войти на Novita AI через Google или GitHub, что создаст новую учетную запись при первом входе. Альтернативно, вы можете зарегистрироваться, используя адрес электронной почты.
Шаг 2: Управление API-ключом LLM Novita AI
Novita AI обеспечивает безопасный доступ к API через аутентификацию Bearer, включая API-ключ в заголовок запроса, например: “Authorization: Bearer {API Key}”.
- Чтобы управлять своими ключами, перейдите в “Key Management” (Управление ключами) в настройках. При первом входе в систему автоматически генерируется ключ по умолчанию.
- Вы можете создать дополнительные ключи, нажав “+ Add New Key” (+ Добавить новый ключ).
Шаг 3: Пополните кредит
- Novita AI предлагает новым пользователям ваучер с некоторым кредитом для тестирования наших продуктов. Чтобы добавить больше кредита, посетите раздел Billing and Payments (Биллинг и платежи) и следуйте инструкциям по способам оплаты.
Как интегрировать API Novita AI с Helicone
Интеграция Novita AI с Helicone с помощью API-ключа — это простой процесс, который состоит из трех шагов: вход в учетные записи Novita AI и Helicone, установка переменных окружения HELICONE_API_KEY и NOVITA_API_KEY, изменение базового URL и добавление заголовков аутентификации.
Шаг 1: Войдите в свою учетную запись Novita AI и Helicone
- Войдите в Novita AI или создайте учетную запись. После создания учетной записи вы можете сгенерировать API-ключ из панели управления.
- Войдите в Helicone или создайте учетную запись. После создания учетной записи вы можете сгенерировать API-ключ.
Шаг 2: Установите переменные окружения HELICONE_API_KEY и NOVITA_API_KEY
HELICONE_API_KEY=<ваш API-ключ>
NOVITA_API_KEY=<ваш API-ключ>
Шаг 3: Измените базовый URL и добавьте заголовки аутентификации
-
Замените следующий URL Novita AI на URL шлюза Helicone:
<mark>https://api.novita.ai</mark>-><mark>https://novita.helicone.ai</mark> -
Затем добавьте следующие заголовки аутентификации:
Authorization: Bearer <ваш API-ключ>
Пример
- Теперь вы можете получить доступ ко всем моделям на Novita AI с помощью простого вызова fetch:
curl \
--header 'Authorization: Bearer <NOVITA_API_KEY>' \
--header 'Content-Type: application/json' \
--data '{
"model": "deepseek/deepseek-r1",
"messages": [
{
"role": "user",
"content": "На каком языке в основном говорят в Сингапуре?"
}
]
}' \
--url https://novita.helicone.ai/v3/chat/completions
Полезные ссылки и ресурсы
Чтобы углубить понимание и использование AI-шлюза Helicone с Novita AI, рассмотрите следующие ценные ресурсы:
Заключение
Интеграция API Novita AI с AI-шлюзом Helicone обеспечивает надежную основу для развертывания, мониторинга и оптимизации LLM-приложений, сохраняя при этом безопасность и экономическую эффективность. Объединяя платформу наблюдаемости Helicone с инфраструктурой Novita AI, разработчики получают доступ к всесторонним инструментам для управления своими AI-приложениями на протяжении всего жизненного цикла разработки.
Часто задаваемые вопросы
Повлияет ли мониторинг Helicone на производительность моих приложений на vLLM?
Нет, интеграция оптимизирована для бесшовной работы с алгоритмом PagedAttention от vLLM.
Совместима ли интеграция с открытыми LLM?
Да, интеграция полностью поддерживает открытые LLM.
Могу ли я отслеживать затраты и использование ресурсов в своей GPU-инфраструктуре?
Да, вы можете отслеживать использование ресурсов и затраты через Helicone, используя при этом доступную и надежную облачную GPU-инфраструктуру Novita AI.
Ограниченное по времени предложение
Novita AI теперь предлагает Реферальную программу, которая может быть выгодна пользователям Helicone: если кто-то заинтересован, пользователи могут поделиться своей пригласительной ссылкой/кодом, и как они, так и их рефералы получат кредит в размере $20 для использования с API DeepSeek R1 & V3.
О компании Novita AI
Novita AI — это облачная AI-платформа, которая предлагает разработчикам простой способ развертывания AI-моделей с помощью нашего простого API, а также предоставляет доступный и надежный GPU-клауд для создания и масштабирования.
