Das Portkey AI Gateway hat die Art und Weise revolutioniert, wie Entwickler mit verschiedenen KI-Modellen, einschließlich Novita AI, interagieren. Dieses leistungsstarke Tool bietet eine einheitliche Schnittstelle für den Zugriff auf mehrere Sprachmodelle und gewährleistet schnelles, zuverlässiges und sicheres Routing. In diesem umfassenden Leitfaden erfahren Sie, wie Sie das Portkey AI Gateway nutzen können, um auf die Novita AI API zuzugreifen, Ihren KI-Entwicklungsprozess zu optimieren und die Leistung Ihrer Anwendung zu verbessern.
1. Das Portkey AI Gateway verstehen
Das Portkey AI Gateway dient als robustes Bindeglied zwischen Ihrer Anwendung und verschiedenen KI-Modellen, einschließlich Novita AI. Es ist darauf ausgelegt, den Integrationsprozess zu vereinfachen und bietet eine einheitliche API, die über 1600 Sprach-, Bild-, Audio- und Bildmodelle unterstützt. Dank seines leichten Open-Source-Charakters können Entwickler jedes Sprachmodell in weniger als zwei Minuten integrieren.
Hauptmerkmale des Portkey AI Gateways:
- Blitzschnelle Leistung mit weniger als 1 ms Latenz
- Winziger Fußabdruck von nur 122 KB
- Erprobte Infrastruktur, die täglich über 10 Milliarden Tokens verarbeitet
- Unternehmensreife Funktionen, einschließlich erweiterter Sicherheit und benutzerdefinierter Bereitstellungen
2. Hauptfunktionen und Vorteile
Das Portkey AI Gateway bietet eine Vielzahl von Funktionen, die die Entwicklung und Bereitstellung von KI-Anwendungen erheblich verbessern:
- Einheitliche API: Integration mehrerer KI-Anbieter, einschließlich Novita AI, über eine einzige, konsistente Schnittstelle.
- Automatische Wiederholungen und Fallbacks: Verhindern Sie Ausfallzeiten und gewährleisten Sie eine hohe Verfügbarkeit Ihrer KI-Dienste.
- Lastausgleich und bedingtes Routing: Skalieren Sie Ihre KI-Anwendungen effizient, indem Sie Anfragen auf mehrere Anbieter oder Modelle verteilen.
- Schutzmechanismen: Implementieren Sie Inhaltsfilter und Ausgabeprüfungen, um Qualitäts- und Sicherheitsstandards einzuhalten.
- Multimodale Fähigkeiten: Erweitern Sie Ihre Anwendungen über textbasierte Modelle hinaus um Bild-, Audio- und Bildverarbeitung.
- Agentische Workflow-Integrationen: Erkunden Sie fortschrittliche KI-Agenten-Frameworks für komplexe Anwendungen.
Diese Funktionen tragen gemeinsam zu schnelleren Entwicklungszyklen, verbesserter Zuverlässigkeit und erhöhter Leistung von KI-gestützten Anwendungen bei.
3. Einrichtung des Portkey AI Gateways
Die Einrichtung des Portkey AI Gateways ist ein unkomplizierter Prozess, der aus drei Hauptschritten besteht: Einrichten des Gateways, Durchführen Ihrer ersten Anfrage und Konfigurieren von Routing und Schutzmechanismen.
Einrichten Ihres KI-Gateways
Um das Gateway lokal auszuführen, benötigen Sie Node.js und npm. Führen Sie dann den folgenden Befehl aus:
npx @portkey-ai/gateway
Nach dem Start sehen Sie zwei wichtige URLs:
- Das Gateway:
http://localhost:8787/v1 - Die Gateway-Konsole:
http://localhost:8787/public/
Ihre erste Anfrage stellen
Installieren Sie zunächst die Portkey AI Python-Bibliothek:
pip install -qU portkey-ai
Verwenden Sie dann den folgenden Python-Code, um Ihre erste Anfrage zu stellen:
from portkey_ai import Portkey
# OpenAI-kompatibler Client
client = Portkey(
provider="openai", # oder 'anthropic', 'bedrock', 'groq', usw.
Authorization="sk-***" # der API-Schlüssel des Anbieters
)
# Eine Anfrage über Ihr KI-Gateway stellen
client.chat.completions.create(
messages=[{"role": "user", "content": "Wie ist das Wetter?"}],
model="gpt-4o-mini"
)
Sie können alle Ihre lokalen Protokolle an einem Ort in der Gateway-Konsole unter http://localhost:8787/public/ überwachen.
Routing und Schutzmechanismen
Das Portkey AI Gateway ermöglicht es Ihnen, Routing-Regeln festzulegen, Zuverlässigkeitsfunktionen hinzuzufügen und Schutzmechanismen zu implementieren. Hier ist eine Beispielkonfiguration:
config = {
"retry": {"attempts": 5},
"output_guardrails": [{
"default.contains": {"operator": "none", "words": ["Apple"]},
"deny": True
}]
}
# Die Konfiguration an den Client anhängen
client = client.with_options(config=config)
client.chat.completions.create(
model="gpt-4o-mini",
messages=[{"role": "user", "content": "Antworte zufällig mit Apple oder Bat"}]
)
# In diesem Beispiel verweigert der Schutzmechanismus alle Antworten, die "Apple" enthalten, sodass die Antwort immer "Bat" wäre. Die Wiederholungskonfiguration würde die Anfrage bis zu 5 Mal versuchen, bevor sie aufgegeben wird.
4. Integration der Novita AI API mit Portkey
Um über das Portkey AI Gateway auf die Novita AI API zuzugreifen, gehen Sie wie folgt vor:
Installieren des Portkey SDK
Fügen Sie das Portkey SDK zu Ihrer Anwendung hinzu, um über das Gateway von Portkey mit der API von Novita AI zu interagieren.
Node.JS
npm install --save portkey-ai
Python
pip install portkey-ai
Portkey mit dem virtuellen Schlüssel initialisieren
Um Novita AI mit Portkey zu verwenden, holen Sie sich Ihren LLM-API-Schlüssel von Novita AI und fügen Sie ihn Portkey hinzu, um den virtuellen Schlüssel zu erstellen.
Node.JS SDK
import Portkey from 'portkey-ai'
const portkey = new Portkey({
apiKey: "PORTKEY_API_KEY", // Ersetzen Sie durch Ihren Portkey-API-Schlüssel
virtualKey: "VIRTUAL_KEY" // Ersetzen Sie durch Ihren virtuellen Schlüssel für Novita AI
})
Python SDK
from portkey_ai import Portkey
portkey = Portkey(
api_key="PORTKEY_API_KEY", // Ersetzen Sie durch Ihren Portkey-API-Schlüssel
virtual_key="VIRTUAL_KEY" // Ersetzen Sie durch Ihren virtuellen Schlüssel für Novita AI
)
Chat-Completions mit Novita AI aufrufen
Verwenden Sie die Portkey-Instanz, um Anfragen an Novita AI zu senden. Bei Bedarf können Sie den virtuellen Schlüssel auch direkt im API-Aufruf überschreiben.
Node.JS SDK
const chatCompletion = await portkey.chat.completions.create({
messages: [{ role: 'user', content: 'Sage, das ist ein Test' }],
model: 'Nous-Hermes-2-Mixtral-8x7B-DPO'
});
console.log(chatCompletion.choices);
Python SDK
completion = portkey.chat.completions.create(
messages= [{ "role": 'user', "content": 'Sage, das ist ein Test' }],
model= 'reka-core'
)
print(completion)
5. Nützliche Ressourcen
Um Ihr Verständnis und die Nutzung des Portkey AI Gateways mit Novita AI weiter zu vertiefen, sollten Sie sich diese wertvollen Ressourcen ansehen:
- Portkey AI Gateway GitHub-Repository: Bleiben Sie über die neuesten Pull-Requests, Funktionen und Verbesserungen auf dem Laufenden.
- Portkey AI Dokumentation für Novita AI Integration: Umfassender Leitfaden zur Integration von Novita AI mit Portkey, einschließlich SDK-Nutzung und unterstützter Modelle.
- Portkey AI Blog: Greifen Sie auf aufschlussreiche Artikel, Tutorials und Updates zu KI-Integration und Best Practices zu.
- Novita AI API-Dokumentation: Lesen Sie die offizielle Novita AI Dokumentation für detaillierte Informationen zu ihrer LLM-API und Modellspezifikationen.
Diese Ressourcen bieten eine Fülle von Informationen, die Ihnen helfen, das volle Potenzial von Novita AI über das Portkey AI Gateway auszuschöpfen und sicherzustellen, dass Sie an der Spitze der KI-Integration und -Entwicklung bleiben.
6. Fazit
Die Integration der Novita AI API mit dem Portkey AI Gateway bietet eine nahtlose und effiziente Möglichkeit, Ihre KI-Anwendungen zu verbessern. Indem Sie die in diesem Leitfaden beschriebenen Schritte befolgen, können Sie die leistungsstarken Funktionen des Portkey AI Gateways nutzen, um Ihren Entwicklungsprozess zu optimieren, die Leistung zu verbessern und die Zuverlässigkeit zu gewährleisten. Egal, ob Sie mit Text-, Bild-, Audio- oder Bildmodellen arbeiten – das Portkey AI Gateway bietet eine einheitliche Schnittstelle, die die Integration mehrerer KI-Anbieter vereinfacht.
Indem Sie mit den neuesten Ressourcen und Best Practices auf dem Laufenden bleiben, können Sie Ihre KI-Anwendungen weiter optimieren und im sich schnell entwickelnden Bereich der KI-Integration und -Entwicklung die Nase vorn behalten. Nutzen Sie die Fähigkeiten des Portkey AI Gateways und von Novita AI, um innovative und robuste KI-Lösungen zu entwickeln.
Novita AI ist eine KI-Cloud-Plattform, die Entwicklern eine einfache Möglichkeit bietet, KI-Modelle über unsere einfache API bereitzustellen, und gleichzeitig eine erschwingliche und zuverlässige GPU-Cloud für den Aufbau und die Skalierung bereitstellt.
