English Arabic 简体中文 繁體中文 Français Deutsch 日本語 한국어 Português Русский Español

Langfuse mit Novita AI nutzen: Eine umfassende Anleitung

Von / / Partnerschaften / 4 Minuten Lesezeit
Langfuse mit Novita AI nutzen: Eine umfassende Anleitung
Inhaltsverzeichnis
  1. Was ist Langfuse?
  2. Hauptfunktionen
  3. Voraussetzungen
  4. Integrationsschritte
  5. Nützliche Links und Ressourcen
  6. Fazit
  7. Häufig gestellte Fragen

Novita AI hat die Entwicklung von LLM-Anwendungen durch die strategische Integration mit Langfuse revolutioniert. Durch die Kombination von Novita AI mit den Überwachungsfunktionen von Langfuse haben Entwickler jetzt Zugriff auf eine umfassende Lösung zur Bereitstellung und Analyse von KI-Anwendungen. In diesem Artikel zeigen wir, wie Unternehmen die mit OpenAI kompatiblen API-Endpunkte von Novita AI nutzen können, während sie gleichzeitig die leistungsstarken Analysetools von Langfuse einsetzen, um ihren Entwicklungsablauf zu optimieren und branchenübergreifend Innovationen zu beschleunigen.

Was ist Langfuse?

Langfuse ist eine Open-Source-Plattform für LLM-Engineering. Sie hilft Teams dabei, KI-Anwendungen kollaborativ zu entwickeln, zu überwachen, zu bewerten und zu debuggen. Langfuse kann in wenigen Minuten selbst gehostet werden und ist praxiserprobt.

Hauptfunktionen

  1. Hochleistungs-Inferenz: Novita AI nutzt den innovativen PagedAttention-Algorithmus von vLLM, um optimierte Inferenzfähigkeiten für große Sprachmodelle bereitzustellen.
  2. Cloud-Infrastruktur: Die Plattform bietet Entwicklern Zugang zu leistungsstarken Rechenressourcen über ihre skalierbare GPU-Cloud-Infrastruktur.
  3. Open-Source-Unterstützung: Novita AI unterstützt aktiv das Open-Source-Ökosystem, indem es die einfache Bereitstellung von Modellen wie LLaMA 3.1 ermöglicht und technologische Innovationen fördert.
  4. Entwicklertools: Entwickler profitieren von einem optimierten Workflow durch die einfache API-Struktur von Novita AI und umfassende Benchmarking-Tools.
  5. Kosteneffizienz: Die Plattform bietet eine erschwingliche und zuverlässige GPU-Cloud-Lösung für die effiziente Entwicklung und Skalierung von KI-Anwendungen.
  6. Unternehmensintegration: Organisationen können die Infrastruktur von Novita AI nutzen, um bahnbrechende KI-Anwendungen in verschiedenen Branchen zu erstellen und zu skalieren.

Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher, dass Sie Folgendes haben:

  1. Novita AI LLM-API-Schlüssel:
  • Besuchen Sie die Website von Novita AI und erstellen Sie ein Konto.
  • Gehen Sie nach dem Einloggen zur Seite „Schlüsselverwaltung“ (Key Management), um Ihren API-Schlüssel zu generieren. Dieser Schlüssel wird benötigt, um die Modelle von Novita AI mit Langfuse zu verbinden.

2. Langfuse-Konto:

  • Melden Sie sich unter Langfuse für ein Langfuse-Konto an, um mit der Entwicklung von KI-Anwendungen zu beginnen.

Integrationsschritte

Schritt 1: Abhängigkeiten installieren

  • Stellen Sie sicher, dass Sie die erforderlichen Python-Pakete installiert haben.
pip install openai langfuse

Schritt 2: Umgebungsvariablen einrichten

import os

# Holen Sie sich die Schlüssel für Ihr Projekt von der Projekteinstellungsseite
# https://cloud.langfuse.com

os.environ["LANGFUSE_PUBLIC_KEY"] = "pk-..." # DOKUMENTATIONSBEISPIEL-SCHLÜSSEL
os.environ["LANGFUSE_SECRET_KEY"] = "sk-..." # DOKUMENTATIONSBEISPIEL-SCHLÜSSEL
os.environ["LANGFUSE_HOST"] = "https://cloud.langfuse.com" # 🇪🇺 EU-Region
# os.environ["LANGFUSE_HOST"] = "https://us.cloud.langfuse.com" # 🇺🇸 US-Region

# Holen Sie sich Ihren Novita AI API-Schlüssel von der Projekteinstellungsseite
os.environ["NOVITA_API_KEY"] = "..."

Schritt 3: Langfuse OpenAI-Drop-in-Ersatz

  • In diesem Schritt verwenden wir den nativen OpenAI-Drop-in-Ersatz, indem wir from langfuse.openai import openai importieren.
  • Um Novita AI mit den OpenAI-Clientbibliotheken zu verwenden, übergeben Sie Ihren Novita AI API-Schlüssel an die Option api_key und ändern Sie die base_url auf https://api.novita.ai/v3/openai:
# statt import openai:
from langfuse.openai import openai

client = openai.OpenAI(
  api_key=os.environ.get("NOVITA_API_KEY"),
  base_url="https://api.novita.ai/v3/openai",
)

Hinweis: Der OpenAI-Drop-in-Ersatz ist vollständig kompatibel mit den Low-Level-Langfuse-Python-SDKs und dem @observe()-Dekorator, um alle Teile Ihrer Anwendung zu verfolgen.

Schritt 4: Ein Beispiel ausführen

  • Die folgende Zelle zeigt, wie Sie das Chat-Modell von Novita AI mit dem getrackten OpenAI-Client aufrufen. Alle API-Aufrufe werden automatisch von Langfuse verfolgt.
client = openai.OpenAI(
  api_key=os.environ.get("NOVITA_API_KEY"),
  base_url="https://api.novita.ai/v3/openai",
)

response = client.chat.completions.create(
  model="meta-llama/llama-3.1-70b-instruct",
  messages=[
    {"role": "system", "content": "Verhalten Sie sich wie ein hilfreicher Assistent."},
    {"role": "user", "content": "Was sind die berühmten Sehenswürdigkeiten in San Francisco?"},
  ]
)

print(response.choices[0].message.content)
San Francisco, eine der berühmtesten Städte der Welt, beheimatet eine Vielzahl berühmter Sehenswürdigkeiten, die für alle Interessen und Altersgruppen geeignet sind. Hier sind einige der beliebtesten Attraktionen in San Francisco:

1. **Golden Gate Bridge**: Ein technisches Meisterwerk und ein Symbol von San Francisco, die Golden Gate Bridge ist ein Muss. Machen Sie einen Spaziergang oder eine Fahrradtour über die Brücke für spektakuläre Aussichten auf die Stadt und die Bucht.
2. **Alcatraz Island**: Erkunden Sie das berüchtigte ehemalige Gefängnis, das heute ein Nationalpark ist und einst berüchtigte Insassen wie Al Capone beherbergte. Nehmen Sie die Fähre zur Insel und genießen Sie eine Führung durch das Gefängnis und seine Umgebung.
3. **Fisherman's Wharf**: Ein geschäftiges Hafenviertel, Fisherman's Wharf ist berühmt für seine Fischrestaurants, Straßenkünstler und atemberaubende Ausblicke auf die Bay Bridge und Alcatraz Island. Verpassen Sie nicht die Seelöwen am Pier 39!
4. **Chinatown**: Das Chinatown von San Francisco ist eines der größten und ältesten in den USA. Erkunden Sie die farbenfrohen Straßen, probieren Sie authentische chinesische Küche und kaufen Sie einzigartige Souvenirs.
5. **Golden Gate Park**: Ein riesiger Stadtpark, der mehrere Attraktionen beherbergt, darunter das de Young Museum, die California Academy of Sciences und den japanischen Teegarten.
6. **Cable Cars**: Ein klassisches San-Francisco-Erlebnis, die Cable Cars bieten eine unterhaltsame und historische Möglichkeit, die Stadt zu erkunden. Nehmen Sie die Powell-Mason-Linie zum Fisherman's Wharf oder die Powell-Hyde-Linie zur Lombard Street.
7. **Lombard Street**: Bekannt als die „krummste Straße der Welt", ist die Lombard Street eine malerische und kurvenreiche Straße mit atemberaubenden Ausblicken auf die Stadt.
8. **Union Square**: Ein lebhafter öffentlicher Platz im Herzen der Stadt, Union Square ist von Einkaufs-, Gastronomie- und Unterhaltungsmöglichkeiten umgeben. Besuchen Sie eine Show im historischen Curran Theatre oder machen Sie einen Spaziergang über den Platz.
9. **The Painted Ladies**: Eine Reihe farbenfroher viktorianischer Häuser am Alamo Square, die Painted Ladies sind ein ikonisches Symbol der Architektur von San Francisco. Machen Sie ein Foto vor diesen atemberaubenden Häusern.
10. **The Exploratorium**: Ein Museum für Wissenschaft, Kunst und menschliche Wahrnehmung, das Exploratorium ist ein großartiger Ort zum Lernen und Spaß haben. Mit interaktiven Exponaten und atemberaubenden Ausblicken auf die Bucht ist es ein Muss für Familien und Wissenschaftsbegeisterte.
11. **Pier 39**: Ein beliebtes Einkaufs- und Gastronomieziel, Pier 39 bietet atemberaubende Ausblicke auf die Bay Bridge, Alcatraz Island und die Seelöwen, die den Pier ihr Zuhause nennen.
12. **The de Young Museum**: Ein Museum der schönen Künste im Golden Gate Park, das de Young Museum zeigt eine vielfältige Sammlung von Kunst- und Kultur Ausstellungen aus der ganzen Welt.

Dies sind nur einige der vielen berühmten Sehenswürdigkeiten in San Francisco. Ganz gleich, ob Sie sich für Geschichte, Kultur, Wissenschaft oder Unterhaltung interessieren, San Francisco hat für jeden etwas zu bieten.

Schritt 5: Traces in Langfuse ansehen

  • Nachdem Sie den Beispielmodellaufruf ausgeführt haben, können Sie die Traces in Langfuse sehen. Sie sehen detaillierte Informationen zu Ihren Novita-AI-API-Aufrufen, einschließlich:
    • Anforderungsparameter (Modell, Nachrichten, Temperatur usw.)
    • Antwortinhalt
    • Token-Nutzungsstatistiken
    • Latenzmetriken

Um Ihr Verständnis und die Nutzung von Langfuse mit Novita AI weiter zu vertiefen, sollten Sie diese wertvollen Ressourcen erkunden:

Fazit

Novita AI und vLLM haben eine strategische Partnerschaft geschlossen, die die KI-Bereitstellung durch hochmoderne Technologie revolutioniert. Die Partnerschaft zeigt das Engagement beider Unternehmen, Open-Source-KI-Technologie voranzutreiben und Innovationen während des gesamten Entwicklungslebenszyklus zu fördern.

Häufig gestellte Fragen

Ist die API-Struktur von Novita AI mit den Überwachungsfunktionen von Langfuse kompatibel?

Ja, Novita AI bietet eine einfache API-Struktur, die sich ideal für die Implementierung der Observability-Funktionen von Langfuse eignet.

Ist die Integration für KI-Anwendungen auf Unternehmensebene geeignet?

Ja, die Kombination der Infrastruktur von Novita AI und der Überwachungsfunktionen von Langfuse ist speziell darauf ausgelegt, Organisationen dabei zu helfen, ihre KI-Lösungen effizient über Branchen hinweg zu skalieren.

Erfordert die Integration von Novita AI mit Langfuse komplexe API-Änderungen?

Nein, die Plattform von Novita AI ist mit einer einfachen API-Struktur konzipiert.

Zeitlich begrenztes Angebot

Novita AI bietet jetzt ein Empfehlungsprogramm an, das für Helicone-Benutzer von Vorteil sein kann: Wenn jemand interessiert ist, können Benutzer ihren Einladungslink/-code teilen, und sowohl sie als auch ihre Empfehlungen erhalten 20 $ Guthaben für die Nutzung der DeepSeek R1- und V3-APIs.

Über Novita AI

Novita AI ist eine KI-Cloud-Plattform, die Entwicklern eine einfache Möglichkeit bietet, KI-Modelle mithilfe unserer einfachen API bereitzustellen und gleichzeitig eine erschwingliche und zuverlässige GPU-Cloud für den Aufbau und die Skalierung bereitzustellen.

Ähnliche Beiträge