Использование Langfuse с Novita AI: Полное руководство

Novita AI произвел революцию LLM Разработка приложений через стратегическую интеграцию с Langfuse. Объединяя Novita AI Благодаря возможностям мониторинга Langfuse разработчики теперь имеют доступ к комплексному решению для развертывания и анализа приложений ИИ. В этой статье показано, как организации могут использовать эти возможности. Novita AIКонечные точки API, совместимые с OpenAI, а также использование мощных аналитических инструментов Langfuse для оптимизации рабочего процесса разработки и ускорения инноваций в различных отраслях.

Что такое Лангфуз?

Langfuse — это проект с открытым исходным кодом LLM Инженерная платформа. Она помогает командам совместно разрабатывать, отслеживать, оценивать и отлаживать приложения ИИ. Langfuse можно развернуть самостоятельно за считанные минуты, и она проверена в реальных условиях.

Главные преимущества

1. Высокопроизводительный вывод: Novita AI рычаги vLLMИнновационный алгоритм PagedAttention от компании .com обеспечивает оптимизированные возможности вывода для больших языковых моделей.
2. Облачная инфраструктура: Платформа предоставляет разработчикам доступ к высокопроизводительным вычислительным ресурсам благодаря масштабируемости. GPU облачная инфраструктура.
3. Поддержка открытого исходного кода: Novita AI активно поддерживает экосистему с открытым исходным кодом, обеспечивая простое развертывание таких моделей, как LLaMA 3.1, и способствуя технологическим инновациям.
4. Инструменты разработчика: Разработчики получают выгоду от оптимизированного рабочего процесса благодаря Novita AIПростая структура API и комплексные инструменты сравнительного анализа.
5. Эффективность затрат: Платформа предлагает доступный и надежный GPU облачное решение для эффективного создания и масштабирования приложений ИИ.
6. Корпоративная интеграция: Организации могут использовать Novita AIИнфраструктура для создания и масштабирования революционных приложений ИИ в различных отраслях.

Предпосылки

Прежде чем начать, убедитесь, что у вас есть следующее:

1. Novita AI LLM Ключ API:

• Войти Novita AIи создайте учетную запись.
• После входа в систему перейдите на страницу управления ключами, чтобы сгенерировать ключ API. Этот ключ необходим для подключения. Novita AIмодели в Лангфузе.

2. Счет Langfuse:

• Зарегистрируйте учетную запись Langfuse на Лангфузе чтобы начать создавать приложения ИИ.

Шаги интеграции

Шаг 1: установка зависимостей

• Убедитесь, что у вас установлены необходимые пакеты Python.

pip install openai langfuse

Шаг 2: Настройка переменных среды

import os # Получите ключи для вашего проекта со страницы настроек проекта # https://cloud.langfuse.com os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-..." # ПРИМЕРЫ КЛЮЧЕЙ ДОКУМЕНТАЦИИ os.environ["LANGFUSE_SECRET_KEY"] = "sk-..." # ПРИМЕРЫ КЛЮЧЕЙ ДОКУМЕНТАЦИИ os.environ["LANGFUSE_HOST"] = "https://cloud.langfuse.com" # 🇪🇺 Регион ЕС # os.environ["LANGFUSE_HOST"] = "https://us.cloud.langfuse.com" # 🇺🇸 Регион США # Получите свой Novita AI API-ключ со страницы настроек проекта os.environ["NOVITA_API_KEY"] = "..."

Шаг 3: Замена Langfuse OpenAI

• На этом этапе мы используем родной Замена OpenAI путем импорта из langfuse.openai import openai.
• Чтобы начать использовать Novita AI с клиентскими библиотеками OpenAI, передайте свои Novita AI API-ключ к опции api_key и измените base_url на https://api.novita.ai/v3/openai:

# вместо import openai: from langfuse.openai import openai client = openai.OpenAI( api_key=os.environ.get("NOVITA_API_KEY"), base_url="https://api.novita.ai/v3/openai", )

Примечание: Замена OpenAI полностью совместима с Низкоуровневые пакеты SDK Langfuse Python и @observe() декоратор для отслеживания всех частей вашего заявления.

Шаг 4: Запуск примера

• Следующая ячейка демонстрирует, как вызвать Novita AIМодель чата использует отслеживаемый клиент OpenAI. Все вызовы API будут автоматически отслеживаться Langfuse.

novita.ai/v3/openai", ) response = client.chat.completions.create( model="meta-llama/llama-3.1-70b-instruct", messages=[ {"role": "system", "content": "Ведите себя как полезный помощник."}, {"role": "user", "content": "Какие известные достопримечательности есть в Сан-Франциско?"}, ] ) print(response.choices[0].message.content) Сан-Франциско, один из самых знаковых городов мира, может похвастаться множеством известных достопримечательностей на любой вкус и возраст. Вот некоторые из самых популярных достопримечательностей Сан-Франциско: 1. **Мост Золотые Ворота**: Чудо инженерной мысли и символ Сан-Франциско, мост Золотые Ворота — достопримечательность, которую обязательно нужно посетить. Прогуляйтесь или прокатитесь на велосипеде по мосту, чтобы полюбоваться потрясающим видом на город и залив.
2. **Остров Алькатрас**: Исследуйте печально известную бывшую тюрьму, превращенную в национальный парк, где когда-то содержались такие известные заключенные, как Аль Капоне. Доберитесь на пароме до острова и насладитесь экскурсией по тюрьме и ее окрестностям.
3. **Рыбацкая пристань**: оживленный прибрежный район, Рыбацкая пристань славится своими ресторанами морепродуктов, уличными артистами и потрясающими видами на мост Бэй-Бридж и остров Алькатрас. Не пропустите морских львов на пирсе 39!
4. **Чайна-таун**: Чайнатаун в Сан-Франциско — один из крупнейших и старейших в Соединенных Штатах. Исследуйте красочные улицы, попробуйте настоящую китайскую кухню и купите уникальные сувениры.
5. **Парк Золотые Ворота**: просторный городской парк, в котором находится несколько достопримечательностей, включая музей де Янга, Калифорнийскую академию наук и японский чайный сад.
6. **Канатные трамваи**: классика Сан-Франциско: канатные трамваи предлагают увлекательный и исторический способ исследовать город. Прокатитесь по линии Powell-Mason до станции Fisherman's Wharf или по линии Powell-Hyde до станции Lombard Street.
7. **Ломбард-стрит**: Известная как «самая извилистая улица в мире», Ломбард-стрит — это живописная и извилистая дорога, с которой открываются потрясающие виды на город.
8. **Юнион-сквер**: оживленная общественная площадь в самом центре города, окруженная магазинами, ресторанами и развлекательными заведениями. Посетите представление в историческом театре Керрана или прогуляйтесь по площади.
9. **Расписные леди**: Ряд красочных викторианских домов на площади Аламо. Расписные леди являются знаковым символом архитектуры Сан-Франциско. Сфотографируйтесь на фоне этих потрясающих домов.
10.  **Эксплораториум**: Музей науки, искусства и человеческого восприятия, Эксплораториум — прекрасное место для обучения и развлечений. Благодаря интерактивным экспонатам и потрясающим видам на залив это место обязательно к посещению семьями и любителями науки.
11.  **Пирс 39**: Популярное место для шопинга и питания, Пирс 39 предлагает потрясающий вид на мост Бэй-Бридж, остров Алькатрас и морских львов, которые считают пирс своим домом.
12.  **Музей де Янга**: Музей изящных искусств, расположенный в парке Золотые Ворота, представляет разнообразную коллекцию произведений искусства и культурных выставок со всего мира.

Это лишь некоторые из множества известных достопримечательностей Сан-Франциско. Если вас интересуют история, культура, наука или развлечения, в Сан-Франциско найдется занятие по душе каждому.

Шаг 5: Просмотр следов в Langfuse

• После запуска вызова примера модели вы увидите трассировки в Langfuse. Вы увидите подробную информацию о вашем Novita AI Вызовы API, включая:
  • Параметры запроса (модель, сообщения, температура и т. д.)
  • Содержание ответа
  • Статистика использования токенов
  • Показатели задержки

Публичный пример трассировочной ссылки в Langfuse

Полезные ссылки и ресурсы

Для дальнейшего улучшения вашего понимания и использования Langfuse с Novita AI, рассмотрите возможность изучения следующих ценных ресурсов:

• Langfuse Github
• Документы Langfuse
• Дискорд Лангфьюза

Заключение

Novita AI и vLLM сформировали стратегическое партнерство, которое кардинально меняет подход к внедрению ИИ благодаря передовым технологиям. Это партнерство демонстрирует приверженность обеих компаний развитию технологий ИИ с открытым исходным кодом и стимулированию инноваций на протяжении всего цикла разработки.

Часто задаваемые вопросы (FAQ)

Ограниченное по времени предложение

Novita AI теперь предлагает Реферальная программа что может быть преимуществом для пользователей Helicone: если кто-то заинтересован, пользователи могут поделиться своей ссылкой/кодом приглашения, и они, и их рефералы получат 20 долларов в виде кредитов для использования с API DeepSeek R1 и V3.

О нас Novita AI

Новита AI — это облачная платформа ИИ, которая предлагает разработчикам простой способ развертывания моделей ИИ с помощью нашего простого API, а также предоставляет доступное и надежное решение GPU облако для строительства и масштабирования.