English Arabic 简体中文 繁體中文 Français Deutsch 日本語 한국어 Português Русский Español

Использование Langfuse с Novita AI: Полное руководство

Автор / / Партнерства / 4 минут чтения
Использование Langfuse с Novita AI: Полное руководство
Содержание
  1. Что такое Langfuse?
  2. Ключевые возможности
  3. Предварительные требования
  4. Шаги по интеграции
  5. Полезные ссылки и ресурсы
  6. Заключение
  7. Часто задаваемые вопросы

Novita AI произвела революцию в разработке LLM-приложений благодаря стратегической интеграции с Langfuse. Объединив Novita AI с возможностями мониторинга Langfuse, разработчики получили доступ к комплексному решению для развертывания и анализа AI-приложений. Эта статья демонстрирует, как организации могут использовать OpenAI-совместимые конечные точки API Novita AI, одновременно применяя мощные аналитические инструменты Langfuse для оптимизации рабочего процесса разработки и ускорения инноваций в различных отраслях.

Что такое Langfuse?

Langfuse — это открытая платформа для инженерии LLM. Она помогает командам совместно разрабатывать, отслеживать, оценивать и отлаживать AI-приложения. Langfuse можно развернуть самостоятельно за считанные минуты, и она проверена в боевых условиях.

Ключевые возможности

  1. Высокопроизводительный инференс: Novita AI использует инновационный алгоритм PagedAttention от vLLM для оптимизации инференса больших языковых моделей.
  2. Облачная инфраструктура: Платформа предоставляет разработчикам доступ к высокопроизводительным вычислительным ресурсам через масштабируемую облачную инфраструктуру GPU.
  3. Поддержка открытого исходного кода: Novita AI активно поддерживает экосистему открытого кода, упрощая развертывание таких моделей, как LLaMA 3.1, и способствуя технологическим инновациям.
  4. Инструменты для разработчиков: Разработчики получают выгоду от оптимизированного рабочего процесса благодаря простой структуре API Novita AI и всесторонним инструментам бенчмаркинга.
  5. Экономическая эффективность: Платформа предлагает доступное и надежное облачное решение GPU для эффективного создания и масштабирования AI-приложений.
  6. Корпоративная интеграция: Организации могут использовать инфраструктуру Novita AI для создания и масштабирования революционных AI-приложений в различных отраслях.

Предварительные требования

Перед началом убедитесь, что у вас есть следующее:

  1. API-ключ Novita AI LLM:

    • Посетите веб-сайт Novita AI и создайте аккаунт.
    • После входа в систему перейдите на страницу управления ключами, чтобы сгенерировать API-ключ. Этот ключ необходим для подключения моделей Novita AI к Langfuse.

  2. Учетная запись Langfuse:

    • Зарегистрируйте учетную запись Langfuse на Langfuse, чтобы начать создавать AI-приложения.

Шаги по интеграции

Шаг 1: Установка зависимостей

  • Убедитесь, что установлены необходимые пакеты Python.
pip install openai langfuse

Шаг 2: Настройка переменных окружения

import os

# Получите ключи для вашего проекта на странице настроек проекта
# https://cloud.langfuse.com

os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-..." # DOCS EXAMPLE KEYS
os.environ["LANGFUSE_SECRET_KEY"] = "sk-..." # DOCS EXAMPLE KEYS
os.environ["LANGFUSE_HOST"] = "https://cloud.langfuse.com" # 🇪🇺 регион EU
# os.environ["LANGFUSE_HOST"] = "https://us.cloud.langfuse.com" # 🇺🇸 регион US

# Получите API-ключ Novita AI на странице настроек проекта
os.environ["NOVITA_API_KEY"] = "..."

Шаг 3: Замена OpenAI на Langfuse OpenAI

  • На этом шаге мы используем нативную замену OpenAI от Langfuse, импортируя from langfuse.openai import openai.
  • Чтобы начать использовать Novita AI с клиентскими библиотеками OpenAI, передайте API-ключ Novita AI в параметр api_key и измените base_url на https://api.novita.ai/v3/openai:
# вместо import openai:
from langfuse.openai import openai

client = openai.OpenAI(
  api_key=os.environ.get("NOVITA_API_KEY"),
  base_url="https://api.novita.ai/v3/openai",
)

Примечание: Полная замена OpenAI совместима с низкоуровневым Python SDK Langfuse и декоратором @observe() для трассировки всех частей вашего приложения.

Шаг 4: Запуск примера

  • Следующая ячейка демонстрирует, как вызвать чат-модель Novita AI с помощью клиента OpenAI с трассировкой. Все вызовы API будут автоматически трассироваться Langfuse.
client = openai.OpenAI(
  api_key=os.environ.get("NOVITA_API_KEY"),
  base_url="https://api.novita.ai/v3/openai",
)

response = client.chat.completions.create(
  model="meta-llama/llama-3.1-70b-instruct",
  messages=[
    {"role": "system", "content": "Act like you are a helpful assistant."},
    {"role": "user", "content": "What are the famous attractions in San Francisco?"},
  ]
)

print(response.choices[0].message.content)
San Francisco, one of the most iconic cities in the world, is home to a plethora of famous attractions that cater to all interests and ages. Here are some of the most popular attractions in San Francisco:

1. **Golden Gate Bridge**: An engineering marvel and a symbol of San Francisco, the Golden Gate Bridge is a must-visit attraction. Take a walk or bike ride across the bridge for spectacular views of the city and the Bay.
2. **Alcatraz Island**: Explore the infamous former prison turned national park, which once housed notorious inmates like Al Capone. Take a ferry to the island and enjoy a guided tour of the prison and its surroundings.
3. **Fisherman's Wharf**: A bustling waterfront district, Fisherman's Wharf is famous for its seafood restaurants, street performers, and stunning views of the Bay Bridge and Alcatraz Island. Don't miss the sea lions at Pier 39!
4. **Chinatown**: San Francisco's Chinatown is one of the largest and oldest in the United States. Explore the colorful streets, try some authentic Chinese cuisine, and shop for unique souvenirs.
5. **Golden Gate Park**: A sprawling urban park that's home to several attractions, including the de Young Museum, the California Academy of Sciences, and the Japanese Tea Garden.
6. **Cable Cars**: A classic San Francisco experience, the cable cars offer a fun and historic way to explore the city. Take a ride on the Powell-Mason line to Fisherman's Wharf, or the Powell-Hyde line to Lombard Street.
7. **Lombard Street**: Known as the "crookedest street in the world," Lombard Street is a scenic and winding road that offers stunning views of the city.
8. **Union Square**: A vibrant public square in the heart of the city, Union Square is surrounded by shopping, dining, and entertainment options. Catch a show at the historic Curran Theatre or take a stroll through the square.
9. **The Painted Ladies**: A row of colorful Victorian houses on Alamo Square, the Painted Ladies are a iconic symbol of San Francisco's architecture. Take a photo in front of these stunning homes.
10. **The Exploratorium**: A museum of science, art, and human perception, the Exploratorium is a great place to learn and have fun. With interactive exhibits and stunning views of the Bay, it's a must-visit for families and science enthusiasts.
11. **Pier 39**: A popular shopping and dining destination, Pier 39 offers stunning views of the Bay Bridge, Alcatraz Island, and the sea lions that call the pier home.
12. **The de Young Museum**: A fine arts museum located in Golden Gate Park, the de Young Museum features a diverse collection of art and cultural exhibitions from around the world.

These are just a few of the many famous attractions in San Francisco. Whether you're interested in history, culture, science, or entertainment, San Francisco has something for everyone.

Шаг 5: Просмотр трассировок в Langfuse

  • После запуска примера вызова модели вы сможете увидеть трассировки в Langfuse. Вы увидите подробную информацию о ваших вызовах API Novita AI, включая:
    • Параметры запроса (модель, сообщения, температура и т.д.)
    • Содержимое ответа
    • Статистику использования токенов
    • Показатели задержки

Ссылка на публичный пример трассировки в Langfuse

Полезные ссылки и ресурсы

Чтобы углубить понимание и использование Langfuse с Novita AI, обратите внимание на следующие ценные ресурсы:

Заключение

Novita AI и vLLM сформировали стратегическое партнерство, которое совершает революцию в развертывании AI благодаря передовым технологиям. Это партнерство демонстрирует приверженность обеих компаний развитию технологий открытого исходного кода и стимулированию инноваций на протяжении всего жизненного цикла разработки.

Часто задаваемые вопросы

Совместима ли структура API Novita AI с возможностями мониторинга Langfuse?

Да, Novita AI предоставляет простую структуру API, что делает её идеальной для реализации функций наблюдаемости Langfuse.

Подходит ли интеграция для корпоративных AI-приложений масштаба предприятия?

Да, сочетание инфраструктуры Novita AI и возможностей мониторинга Langfuse специально разработано для помощи организациям в эффективном масштабировании AI-решений в различных отраслях.

Требует ли интеграция Novita AI с Langfuse сложных изменений API?

Нет, платформа Novita AI спроектирована с простой структурой API.

Ограниченное по времени предложение

Novita AI теперь предлагает Реферальную программу, которая может быть полезна для пользователей Helicone: если кто-то заинтересован, пользователи могут поделиться своей пригласительной ссылкой/кодом, и как они, так и их рефералы получат $20 в виде кредитов для использования с API DeepSeek R1 и V3.

О Novita AI

Novita AI — это облачная AI-платформа, которая предоставляет разработчикам простой способ развертывания AI-моделей с помощью простого API, а также предлагает доступное и надежное облако GPU для создания и масштабирования.

Похожие статьи