Portkey AI Gateway a révolutionné la façon dont les développeurs interagissent avec divers modèles d’IA, y compris Novita AI. Cet outil puissant offre une interface unifiée pour accéder à plusieurs modèles de langage, garantissant un routage rapide, fiable et sécurisé. Dans ce guide complet, nous allons explorer comment tirer parti de Portkey AI Gateway pour accéder à l’API Novita AI, rationaliser votre processus de développement d’IA et améliorer les performances de votre application.
1. Comprendre Portkey AI Gateway
Portkey AI Gateway sert d’intermédiaire robuste entre votre application et divers modèles d’IA, y compris Novita AI. Conçu pour simplifier le processus d’intégration, il offre une API unifiée prenant en charge plus de 1600 modèles de langage, vision, audio et image. Grâce à sa nature légère et open-source, Portkey permet aux développeurs d’intégrer n’importe quel modèle de langage en moins de deux minutes.
Les caractéristiques clés de Portkey AI Gateway incluent :
- Des performances fulgurantes avec une latence inférieure à 1 ms
- Une empreinte réduite de seulement 122 Ko
- Une infrastructure éprouvée traitant plus de 10 milliards de tokens par jour
- Des fonctionnalités prêtes pour l’entreprise, notamment une sécurité renforcée et des déploiements personnalisés
2. Fonctionnalités et avantages clés
Portkey AI Gateway offre une multitude de fonctionnalités qui améliorent considérablement le développement et le déploiement d’applications d’IA :
- API unifiée : Intégrez plusieurs fournisseurs d’IA, y compris Novita AI, via une interface unique et cohérente.
- Nouvelles tentatives automatiques et basculement : Évitez les temps d’arrêt et garantissez une haute disponibilité de vos services d’IA.
- Équilibrage de charge et routage conditionnel : Faites évoluer vos applications d’IA efficacement en répartissant les requêtes entre plusieurs fournisseurs ou modèles.
- Gardefous : Implémentez des filtres de contenu et une validation des sorties pour maintenir les normes de qualité et de sécurité.
- Capacités multimodales : Étendez au-delà des modèles textuels pour inclure le traitement de la vision, de l’audio et de l’image.
- Intégrations de flux de travail agentiques : Explorez des frameworks d’IA agentique avancés pour des applications complexes.
Ces fonctionnalités contribuent collectivement à des cycles de développement plus rapides, une fiabilité améliorée et des performances accrues des applications propulsées par l’IA.
3. Configuration de Portkey AI Gateway
La configuration de Portkey AI Gateway est un processus simple qui comprend trois étapes principales : configurer la passerelle, effectuer votre première requête, et configurer le routage et les gardefous.
Configurez votre passerelle IA
Pour exécuter la passerelle localement, vous aurez besoin de Node.js et npm installés. Ensuite, exécutez la commande suivante :
npx @portkey-ai/gateway
Une fois en cours d’exécution, vous verrez deux URL importantes :
- La passerelle :
http://localhost:8787/v1 - La console de la passerelle :
http://localhost:8787/public/
Effectuez votre première requête
Tout d’abord, installez la bibliothèque Python Portkey AI :
pip install -qU portkey-ai
Ensuite, utilisez le code Python suivant pour effectuer votre première requête :
from portkey_ai import Portkey
# Client compatible OpenAI
client = Portkey(
provider="openai", # ou 'anthropic', 'bedrock', 'groq', etc.
Authorization="sk-***" # la clé API du fournisseur
)
# Effectuez une requête via votre passerelle IA
client.chat.completions.create(
messages=[{"role": "user", "content": "Quel temps fait-il ?"}],
model="gpt-4o-mini"
)
Vous pouvez surveiller tous vos logs locaux en un seul endroit en utilisant la console de la passerelle à l’adresse http://localhost:8787/public/.
Routage et gardefous
Portkey AI Gateway vous permet de définir des règles de routage, d’ajouter des fonctionnalités de fiabilité et de mettre en œuvre des gardefous. Voici un exemple de configuration :
config = {
"retry": {"attempts": 5},
"output_guardrails": [{
"default.contains": {"operator": "none", "words": ["Apple"]},
"deny": True
}]
}
# Attachez la configuration au client
client = client.with_options(config=config)
client.chat.completions.create(
model="gpt-4o-mini",
messages=[{"role": "user", "content": "Répondez aléatoirement par Apple ou Bat"}]
)
# Dans cet exemple, le gardefou refuse toutes les réponses contenant "Apple", donc la réponse sera toujours "Bat". La configuration de nouvelle tentative essaiera la requête jusqu'à 5 fois avant d'abandonner.
4.Intégration de l’API Novita AI avec Portkey
Pour accéder à l’API Novita AI via Portkey AI Gateway, suivez ces étapes :
Installez le SDK Portkey
Ajoutez le SDK Portkey à votre application pour interagir avec l’API de Novita AI via la passerelle de Portkey.
Node.JS
npm install --save portkey-ai
Python
pip install portkey-ai
Initialisez Portkey avec la clé virtuelle
Pour utiliser Novita AI avec Portkey, obtenez votre clé API LLM depuis Novita AI, puis ajoutez-la à Portkey pour créer la clé virtuelle.
SDK Node.JS
import Portkey from 'portkey-ai'
const portkey = new Portkey({
apiKey: "PORTKEY_API_KEY", // Remplacez par votre clé API Portkey
virtualKey: "VIRTUAL_KEY" // Remplacez par votre clé virtuelle pour Novita AI
})
SDK Python
from portkey_ai import Portkey
portkey = Portkey(
api_key="PORTKEY_API_KEY", // Remplacez par votre clé API Portkey
virtual_key="VIRTUAL_KEY" // Remplacez par votre clé virtuelle pour Novita AI
)
Invoquez des complétions de chat avec Novita AI
Utilisez l’instance Portkey pour envoyer des requêtes à Novita AI. Vous pouvez également remplacer la clé virtuelle directement dans l’appel API si nécessaire.
SDK Node.JS
const chatCompletion = await portkey.chat.completions.create({
messages: [{ role: 'user', content: 'Dites que ceci est un test' }],
model: 'Nous-Hermes-2-Mixtral-8x7B-DPO'
});
console.log(chatCompletion.choices);
SDK Python
completion = portkey.chat.completions.create(
messages= [{ "role": 'user', "content": 'Dites que ceci est un test' }],
model= 'reka-core'
)
print(completion)
5. Ressources utiles
Pour approfondir votre compréhension et votre utilisation de Portkey AI Gateway avec Novita AI, explorez ces ressources précieuses :
- Dépôt GitHub de Portkey AI Gateway : Restez informé des dernières pull requests, fonctionnalités et améliorations.
- Documentation Portkey AI pour l’intégration Novita AI : Guide complet sur l’intégration de Novita AI avec Portkey, y compris l’utilisation du SDK et les modèles pris en charge.
- Blog de Portkey AI : Accédez à des articles instructifs, des tutoriels et des mises à jour sur l’intégration de l’IA et les meilleures pratiques.
- Documentation de l’API Novita AI : Consultez la documentation officielle de Novita AI pour des informations détaillées sur leur API LLM et les spécifications des modèles.
Ces ressources offrent une mine d’informations pour vous aider à maximiser le potentiel de Novita AI via Portkey AI Gateway, vous assurant de rester à la pointe de l’intégration et du développement de l’IA.
6.Conclusion
L’intégration de l’API Novita AI avec Portkey AI Gateway offre un moyen fluide et efficace d’améliorer vos applications d’IA. En suivant les étapes décrites dans ce guide, vous pouvez tirer parti des fonctionnalités puissantes de Portkey AI Gateway pour rationaliser votre processus de développement, améliorer les performances et garantir la fiabilité. Que vous travailliez avec des modèles de texte, de vision, audio ou image, Portkey AI Gateway fournit une interface unifiée qui simplifie l’intégration de plusieurs fournisseurs d’IA.
En restant à jour avec les dernières ressources et meilleures pratiques, vous pouvez continuer à optimiser vos applications d’IA et garder une longueur d’avance dans le domaine en constante évolution de l’intégration et du développement de l’IA. Adoptez les capacités de Portkey AI Gateway et de Novita AI pour construire des solutions d’IA innovantes et robustes.
Novita AI est une plateforme cloud IA qui offre aux développeurs un moyen simple de déployer des modèles d’IA via notre API simple, tout en fournissant un cloud GPU abordable et fiable pour construire et faire évoluer.
