English Arabic 简体中文 繁體中文 Français Deutsch 日本語 한국어 Português Русский Español

Utiliser Langfuse avec Novita AI : Un guide complet

Par / / Partenariats / 4 minutes de lecture
Utiliser Langfuse avec Novita AI : Un guide complet
Table des matières
  1. Qu'est-ce que Langfuse ?
  2. Fonctionnalités clés
  3. Prérequis
  4. Étapes d'intégration
  5. Liens et ressources utiles
  6. Conclusion
  7. Questions fréquentes

Novita AI a révolutionné le développement d’applications LLM grâce à son intégration stratégique avec Langfuse. En combinant Novita AI avec les capacités de surveillance de Langfuse, les développeurs disposent désormais d’une solution complète pour déployer et analyser des applications d’IA. Cet article montre comment les organisations peuvent exploiter les points de terminaison d’API compatibles OpenAI de Novita AI tout en utilisant les puissants outils d’analyse de Langfuse pour rationaliser leur flux de développement et accélérer l’innovation dans tous les secteurs.

Qu’est-ce que Langfuse ?

Langfuse est une plateforme open-source d’ingénierie LLM. Elle aide les équipes à développer, surveiller, évaluer et déboguer des applications d’IA de manière collaborative. Langfuse peut être auto-hébergé en quelques minutes et est éprouvé en conditions réelles.

Fonctionnalités clés

  1. Inférence haute performance : Novita AI utilise l’algorithme innovant PagedAttention de vLLM pour offrir des capacités d’inférence optimisées pour les grands modèles de langage.
  2. Infrastructure cloud : La plateforme fournit aux développeurs un accès à des ressources de calcul haute performance via son infrastructure cloud GPU scalable.
  3. Support open-source : Novita AI soutient activement l’écosystème open-source en permettant un déploiement facile de modèles comme LLaMA 3.1 et en favorisant l’innovation technologique.
  4. Outils pour développeurs : Les développeurs bénéficient d’un flux de travail simplifié grâce à la structure d’API simple de Novita AI et à ses outils d’analyse comparative complets.
  5. Efficacité des coûts : La plateforme propose une solution cloud GPU abordable et fiable pour créer et faire évoluer efficacement des applications d’IA.
  6. Intégration en entreprise : Les organisations peuvent tirer parti de l’infrastructure de Novita AI pour créer et déployer des applications d’IA révolutionnaires dans divers secteurs.

Prérequis

Avant de commencer, assurez-vous de disposer des éléments suivants :

  1. Clé API LLM Novita AI :

    • Rendez-vous sur le site de Novita AI et créez un compte.
    • Après vous être connecté, allez dans la page de gestion des clés pour générer votre clé API. Cette clé est nécessaire pour connecter les modèles de Novita AI à Langfuse.

  2. Compte Langfuse :

    • Inscrivez-vous pour un compte Langfuse sur Langfuse pour commencer à développer des applications d’IA.

Étapes d’intégration

Étape 1 : Installer les dépendances

  • Assurez-vous d’avoir installé les paquets Python nécessaires.
pip install openai langfuse

Étape 2 : Configurer les variables d’environnement

import os

# Récupérez les clés de votre projet depuis la page des paramètres du projet
# https://cloud.langfuse.com

os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-..." # EXEMPLES DE CLÉS DOCS
os.environ["LANGFUSE_SECRET_KEY"] = "sk-..." # EXEMPLES DE CLÉS DOCS
os.environ["LANGFUSE_HOST"] = "https://cloud.langfuse.com" # 🇪🇺 Région UE
# os.environ["LANGFUSE_HOST"] = "https://us.cloud.langfuse.com" # 🇺🇸 Région US

# Récupérez votre clé API Novita AI depuis la page des paramètres du projet
os.environ["NOVITA_API_KEY"] = "..."

Étape 3 : Remplacement direct de Langfuse OpenAI

  • Dans cette étape, nous utilisons le remplacement direct natif d’OpenAI en important depuis langfuse.openai import openai.
  • Pour commencer à utiliser Novita AI avec les bibliothèques clientes d’OpenAI, transmettez votre clé API Novita AI à l’option api_key, et changez base_url en https://api.novita.ai/v3/openai :
# au lieu de import openai:
from langfuse.openai import openai

client = openai.OpenAI(
  api_key=os.environ.get("NOVITA_API_KEY"),
  base_url="https://api.novita.ai/v3/openai",
)

Remarque : Le remplacement direct d’OpenAI est entièrement compatible avec les SDK Python bas niveau de Langfuse et le décorateur @observe() pour tracer toutes les parties de votre application.

Étape 4 : Exécuter un exemple

  • La cellule suivante montre comment appeler le modèle de chat de Novita AI en utilisant le client OpenAI tracé. Tous les appels API seront automatiquement tracés par Langfuse.
client = openai.OpenAI(
  api_key=os.environ.get("NOVITA_API_KEY"),
  base_url="https://api.novita.ai/v3/openai",
)

response = client.chat.completions.create(
  model="meta-llama/llama-3.1-70b-instruct",
  messages=[
    {"role": "system", "content": "Agissez comme si vous étiez un assistant utile."},
    {"role": "user", "content": "Quelles sont les attractions célèbres de San Francisco ?"},
  ]
)

print(response.choices[0].message.content)
San Francisco, l'une des villes les plus emblématiques du monde, regorge d'attractions célèbres qui répondent à tous les intérêts et à tous les âges. Voici quelques-unes des attractions les plus populaires de San Francisco :

1. **Golden Gate Bridge** : Une merveille d'ingénierie et un symbole de San Francisco, le Golden Gate Bridge est une attraction incontournable. Promenez-vous ou faites du vélo à travers le pont pour des vues spectaculaires sur la ville et la baie.
2. **Île d'Alcatraz** : Explorez l'ancienne prison infâme devenue parc national, qui a autrefois hébergé des détenus notoires comme Al Capone. Prenez un ferry pour l'île et profitez d'une visite guidée de la prison et de ses environs.
3. **Fisherman's Wharf** : Un quartier animé du front de mer, Fisherman's Wharf est célèbre pour ses restaurants de fruits de mer, ses artistes de rue et ses vues imprenables sur le Bay Bridge et l'île d'Alcatraz. Ne manquez pas les lions de mer à Pier 39 !
4. **Chinatown** : Le Chinatown de San Francisco est l'un des plus grands et des plus anciens des États-Unis. Explorez les rues colorées, goûtez à la cuisine chinoise authentique et achetez des souvenirs uniques.
5. **Golden Gate Park** : Un vaste parc urbain qui abrite plusieurs attractions, dont le de Young Museum, la California Academy of Sciences et le Japanese Tea Garden.
6. **Cable Cars** : Une expérience classique de San Francisco, les cable cars offrent une façon amusante et historique d'explorer la ville. Prenez la ligne Powell-Mason jusqu'à Fisherman's Wharf, ou la ligne Powell-Hyde jusqu'à Lombard Street.
7. **Lombard Street** : Connue comme la « rue la plus sinueuse du monde », Lombard Street est une route pittoresque et sinueuse qui offre des vues imprenables sur la ville.
8. **Union Square** : Une place publique dynamique au cœur de la ville, Union Square est entourée d'options de shopping, de restauration et de divertissement. Assistez à un spectacle au théâtre historique Curran ou promenez-vous sur la place.
9. **Les Painted Ladies** : Une rangée de maisons victoriennes colorées sur Alamo Square, les Painted Ladies sont un symbole emblématique de l'architecture de San Francisco. Prenez une photo devant ces magnifiques maisons.
10. **The Exploratorium** : Un musée de science, d'art et de perception humaine, l'Exploratorium est un excellent endroit pour apprendre et s'amuser. Avec des expositions interactives et des vues imprenables sur la baie, c'est un incontournable pour les familles et les passionnés de science.
11. **Pier 39** : Une destination populaire pour le shopping et la restauration, Pier 39 offre des vues imprenables sur le Bay Bridge, l'île d'Alcatraz et les lions de mer qui appellent le quai leur maison.
12. **Le de Young Museum** : Un musée des beaux-arts situé dans le Golden Gate Park, le de Young Museum présente une collection diversifiée d'expositions d'art et culturelles du monde entier.

Ce ne sont là que quelques-unes des nombreuses attractions célèbres de San Francisco. Que vous soyez intéressé par l'histoire, la culture, la science ou le divertissement, San Francisco a quelque chose pour tout le monde.

Étape 5 : Visualiser les traces dans Langfuse

  • Après avoir exécuté l’appel de modèle d’exemple, vous pouvez voir les traces dans Langfuse. Vous verrez des informations détaillées sur vos appels API Novita AI, notamment :
    • Paramètres de la requête (modèle, messages, température, etc.)
    • Contenu de la réponse
    • Statistiques d’utilisation des jetons
    • Métriques de latence

Lien de trace d’exemple public dans Langfuse

Liens et ressources utiles

Pour approfondir votre compréhension et votre utilisation de Langfuse avec Novita AI, explorez ces ressources précieuses :

Conclusion

Novita AI et vLLM ont formé un partenariat stratégique qui révolutionne le déploiement de l’IA grâce à une technologie de pointe. Ce partenariat démontre l’engagement des deux entreprises à faire progresser la technologie open-source de l’IA et à favoriser l’innovation tout au long du cycle de vie du développement.

Questions fréquentes

La structure d’API de Novita AI est-elle compatible avec les capacités de surveillance de Langfuse ?

Oui, Novita AI fournit une structure d’API simple, ce qui la rend idéale pour implémenter les fonctionnalités d’observabilité de Langfuse.

L’intégration est-elle adaptée aux applications d’IA à l’échelle de l’entreprise ?

Oui, la combinaison de l’infrastructure de Novita AI et des capacités de surveillance de Langfuse est spécialement conçue pour aider les organisations à faire évoluer efficacement leurs solutions d’IA dans tous les secteurs.

L’intégration de Novita AI avec Langfuse nécessite-t-elle des modifications complexes de l’API ?

Non, la plateforme Novita AI est conçue avec une structure d’API simple.

Offre à durée limitée

Novita AI propose désormais un Programme de parrainage qui peut bénéficier aux utilisateurs de Helicone : si quelqu’un est intéressé, les utilisateurs peuvent partager leur lien/code d’invitation, et eux-mêmes ainsi que leurs filleuls recevront 20 $ de crédits à utiliser avec les API DeepSeek R1 & V3.

À propos de Novita AI

Novita AI est une plateforme cloud d’IA qui offre aux développeurs un moyen simple de déployer des modèles d’IA via notre API simple, tout en fournissant un cloud GPU abordable et fiable pour la construction et la mise à l’échelle.

Articles associés