Helicone mit Novita AI nutzen: Ein umfassender Leitfaden

Novita AI hat revolutioniert, wie Entwickler mit verschiedenen KI-Tools interagieren, einschließlich Helicone. Helicone ist bekannt für seine fortschrittliche Observability-Plattform, die speziell für Entwickler entwickelt wurde, die mit Large Language Models (LLMs) arbeiten. Diese leistungsstarke Integration bietet Entwicklern eine transformative Möglichkeit, eine einfache Inferenzplattform, robuste LLM-Beobachtbarkeit und Überwachungslösungen zu suchen. Dieser Artikel befasst sich mit den Funktionen von Helicone, seiner Integration mit Novita AI und wie Entwickler von dieser leistungsstarken Kombination profitieren können.

Was ist Helicone?

Helicone ist eine All-in-One-LLM-Observability-Plattform für Entwickler, um KI-Anwendungen in der Produktion zu überwachen, zu debuggen und zu verbessern. Die Plattform spezialisiert sich auf umfassende Überwachungslösungen mit Echtzeit-Protokollierungsfunktionen, die es Entwicklern ermöglichen, ihre LLM-Anwendungen im Maßstab zu analysieren und zu optimieren. Was Helicone besonders wertvoll macht, ist seine Fähigkeit, sich innerhalb von Sekunden in mehrere Anbieter zu integrieren und die Unterstützung für das Testen von Prompt-Variationen auf Produktionsverkehr ohne Code-Änderungen zu bieten.

Hauptfunktionen und -merkmale

Helicone bietet Schlüsselfunktionen zur Verbesserung von produktionsreifen LLM-Anwendungen:

1. Zentrale Beobachtbarkeit: Helicone bietet eine robuste Plattform, die umfassende Protokolle und Metriken über alle Bereitstellungen von Large Language Models (LLMs) hinweg erfasst und visualisiert.
2. LLM-Leistungsoptimierung: Helicone verbessert die LLM-Leistung durch Funktionen, die Prompt-Experimente unterstützen, Erfolgsquoten verfolgen und Fine-Tuning erleichtern.
3. Flexibles Datenmanagement: Mit Fokus auf Datenschutz bietet Helicone verschiedene Bereitstellungsoptionen, darunter dedizierte Instanzen, Hybrid-Cloud-Integrationen und selbst gehostete Umgebungen.
4. Bereitstellungsflexibilität: Helicone unterstützt sowohl Cloud-gehostete als auch On-Premises-Bereitstellungsoptionen und verwendet produktionsreife HELM-Charts, um maximale Sicherheit zu gewährleisten.
5. Sicherheit auf Unternehmensebene: Diese Funktionen umfassen SOC2-Zertifizierung und HIPAA-Konformität, die eine sichere Handhabung sensibler Daten und die Erfüllung von Unternehmenssicherheitsanforderungen gewährleisten.

Einrichten des Helicone AI Gateway

Das Einrichten des Helicone AI Gateway erfordert nur vier Schritte: Konto erstellen, API-Schlüssel generieren, bevorzugte Integrationsmethode auswählen und die erste Anfrage senden.

Schritt 1: Konto erstellen

• Sobald Sie ein Konto haben, fahren Sie mit dem nächsten Schritt fort.

Schritt 2: API-Schlüssel generieren

• Gehen Sie zu Einstellungen: Klicken Sie oben links auf Ihre Organisation und wählen Sie dann <mark>Einstellungen</mark> aus dem Dropdown-Menü.

• Wählen Sie den Tab API-Schlüssel

• Neuen Schlüssel generieren: Klicken Sie auf <mark>Neuen Schlüssel generieren</mark>. Beim Erstellen eines neuen Helicone-API-Schlüssels können Sie die Berechtigungen <mark>lesen</mark> und <mark>schreiben</mark> aktivieren. Schreibschlüssel können über Helicone per Proxy, Feedback oder einen anderen Helicone-Dienst verwendet werden, wenn Sie <mark>POST</mark> aufrufen oder unser Gateway verwenden.

Schritt 3: Bevorzugte Integrationsmethode auswählen

• Wählen Sie unten den von Ihnen verwendeten Anbieter aus, da die nächste Anweisung variiert.

Schritt 4: Erste Anfrage senden

• Sobald wir Ihre Anfragen erhalten, werden Sie diese im Tab <mark>Anfragen</mark> sehen.

• Sie werden auch sehen, dass Ihr <mark>Dashboard</mark> mit Ihrer neuen Anfrage aktualisiert wurde.

Erhalten des Novita AI API-Schlüssels

Das Generieren des Novita AI API-Schlüssels kann in drei Schritten durchgeführt werden: Gehen Sie zu Novita AI und melden Sie sich an, verwalten Sie den Novita AI LLM API-Schlüssel und laden Sie Guthaben auf.

Schritt 1: Gehen Sie zu Novita AI und melden Sie sich an

• Sie können sich bei Novita AI mit Google oder GitHub anmelden, wodurch bei Ihrer ersten Anmeldung ein neues Konto erstellt wird. Alternativ können Sie sich mit Ihrer E-Mail-Adresse registrieren.

Schritt 2: Novita AI LLM API-Schlüssel verwalten

Novita AI sichert den API-Zugriff durch Bearer-Authentifizierung, indem ein API-Schlüssel in den Anfrageheader aufgenommen wird, z. B. „Authorization: Bearer {API-Schlüssel}“.

• Um Ihre Schlüssel zu verwalten, navigieren Sie zu „Schlüsselverwaltung“ in den Einstellungen. Bei Ihrer ersten Anmeldung wird automatisch ein Standardschlüssel generiert.
• Sie können zusätzliche Schlüssel erstellen, indem Sie auf „+ Neuen Schlüssel hinzufügen“ klicken.

Schritt 3: Guthaben aufladen

• Novita AI bietet neuen Benutzern einen Gutschein mit einem Guthaben, um unsere Produkte zu testen. Um mehr Guthaben hinzuzufügen, besuchen Sie bitte Abrechnung und Zahlungen und folgen Sie der Anleitung zu Zahlungsmethoden.

So integrieren Sie die Novita AI API mit Helicone

Die Integration von Novita AI mit Helicone mithilfe eines API-Schlüssels ist ein unkomplizierter Prozess, der drei Schritte umfasst: Melden Sie sich bei Ihrem Novita AI- und Helicone-Konto an, setzen Sie HELICONE_API_KEY und NOVITA_API_KEY als Umgebungsvariablen, ändern Sie die Basis-URL und fügen Sie Auth-Header hinzu.

Schritt 1: Melden Sie sich bei Ihrem Novita AI-Konto und Helicone-Konto an

• Melden Sie sich bei Novita AI an oder erstellen Sie ein Konto. Sobald Sie ein Konto haben, können Sie über Ihr Dashboard einen API-Schlüssel generieren.
• Melden Sie sich bei Helicone an oder erstellen Sie ein Konto. Sobald Sie ein Konto haben, können Sie einen API-Schlüssel generieren.

Schritt 2: HELICONE_API_KEY und NOVITA_API_KEY als Umgebungsvariablen setzen

HELICONE_API_KEY=<Ihr API-Schlüssel>
NOVITA_API_KEY=<Ihr API-Schlüssel>

Schritt 3: Basis-URL ändern und Auth-Header hinzufügen

• Ersetzen Sie die folgende Novita AI URL durch die Helicone Gateway URL: <mark>https://api.novita.ai</mark> -> <mark>https://novita.helicone.ai</mark>

• Fügen Sie dann die folgenden Authentifizierungsheader hinzu:

Authorization: Bearer <Ihr API-Schlüssel>

Beispiel

• Jetzt können Sie mit einem einfachen fetch-Aufruf auf alle Modelle in Novita AI zugreifen:

curl \
  --header 'Authorization: Bearer <NOVITA_API_KEY>' \
  --header 'Content-Type: application/json' \
  --data '{
    "model": "deepseek/deepseek-r1",
    "messages": &#91;
      {
        "role": "user",
        "content": "What language is mostly spoken in Singapore?"
      }
    ]
}' \
  --url https://novita.helicone.ai/v3/chat/completions

Nützliche Links und Ressourcen

Um Ihr Verständnis und die Nutzung des Helicone AI Gateway mit Novita AI weiter zu vertiefen, sollten Sie diese wertvollen Ressourcen erkunden:

• Helicone Github

• Helicone Website und Docs

• Helicone Discord

Fazit

Die Integration der Novita AI API mit dem Helicone AI Gateway bietet eine solide Grundlage für die Bereitstellung, Überwachung und Optimierung von LLM-Anwendungen bei gleichzeitiger Wahrung von Sicherheit und Kosteneffizienz. Durch die Kombination der Observability-Plattform von Helicone mit der Infrastruktur von Novita AI erhalten Entwickler umfassende Werkzeuge zur Verwaltung ihrer KI-Anwendungen während des gesamten Entwicklungslebenszyklus.

Häufig gestellte Fragen

Beeinträchtigt die Überwachung durch Helicone die Leistung meiner vLLM-betriebenen Anwendungen?

Nein, die Integration ist optimiert, um nahtlos mit dem PagedAttention-Algorithmus von vLLM zusammenzuarbeiten.

Ist die Integration mit Open-Source-LLMs kompatibel?

Ja, die Integration unterstützt Open-Source-LLMs vollständig.

Kann ich Kosten und Ressourcennutzung in meiner GPU-Infrastruktur überwachen?

Ja, Sie können die Ressourcennutzung und Kosten über Helicone verfolgen und dabei die erschwingliche und zuverlässige GPU-Cloud-Infrastruktur von Novita AI nutzen.

Zeitlich begrenztes Angebot

Novita AI bietet jetzt ein Empfehlungsprogramm an, das für Helicone-Benutzer von Vorteil sein kann: Wenn jemand interessiert ist, können Benutzer ihren Einladungslink/-code teilen, und sowohl sie als auch ihre Empfehlungen erhalten 20 $ Guthaben für die Nutzung der DeepSeek R1- und V3-APIs.

Über Novita AI

Novita AI ist eine KI-Cloud-Plattform, die Entwicklern eine einfache Möglichkeit bietet, KI-Modelle über unsere einfache API bereitzustellen, und gleichzeitig eine erschwingliche und zuverlässige GPU-Cloud für den Aufbau und die Skalierung bereitstellt.