Wie man eine Chatbot-API mit Novita AI erstellt

Eine Chatbot-API auf Novita AI ist normalerweise ein standardmäßiger OpenAI-kompatibler Chat-Completions-Workflow: Wählen Sie eine Modell-ID, senden Sie Nachrichten an die API und geben Sie die Assistentenantwort von Ihrer App zurück. Wenn der Bot auch Tools aufrufen, Dateien schreiben oder Code ausführen muss, verlagern Sie diese Arbeit in die Agent Sandbox, anstatt dass die Chat-API direkt Ihr Host-System berührt.

Wichtige Erkenntnisse

• Verwenden Sie die OpenAI-kompatible Chat-API für den normalen Chatbot-Verkehr.
• Ziehen Sie Modell-IDs aus der Live-Modellliste von Novita, nicht aus fest codierten Blog-Beispielen.
• Fügen Sie Funktionsaufrufe nur hinzu, wenn der Chatbot echte Aktionen benötigt.
• Verwenden Sie die Agent Sandbox für Tool-Ausführung, Code-Ausführungen und isolierte Seiteneffekte.

Was ist ein Chatbot-API-Workflow?

Ein Chatbot-API-Workflow nimmt Benutzernachrichten entgegen, sendet sie an einen Modellendpunkt und gibt die Assistentenantwort an Ihre App zurück. Auf Novita AI bedeutet das normalerweise, den OpenAI-kompatiblen Chat-Completions-Endpunkt mit einer anbieter-spezifischen Modell-ID zu verwenden. Der Ablauf ist einfach: Authentifizieren, ein Modell auswählen, Nachrichten senden und die Antwort rendern.

Wann sollten Sie Novita AI für einen Chatbot verwenden?

Verwenden Sie Novita AI, wenn Sie einen Chatbot wünschen, der schnell startet, aber später noch zu Tool-Nutzung, Batch-Jobs oder isolierter Ausführung wachsen kann. Es ist eine gute Wahl, wenn Ihr Team bereits OpenAI-ähnliche Anfrageformate kennt, Modelle wechseln möchte, ohne die App neu zu schreiben, oder einen sauberen Weg von reinem Text-Chat zu Agenten-Workflows benötigt.

Wählen Sie den richtigen Novita-Pfad

Option	Am besten geeignet für	Warum wählen	Warum vermeiden	Quelle/Datum
OpenAI-kompatible Chat-Completions	Standard-Chatbots und Assistenten	Schnellster Weg zu einer funktionierenden API mit vertrauten SDKs	Allein nicht ausreichend, wenn der Bot Code ausführen oder Dateien berühren muss	Novita LLM API-Dokumentation, geprüft am 2026-07-29
Live-Modelllisten-Endpunkt	Modellauswahl und Modell-ID-Suche	Ermöglicht das Abrufen der genauen Modell-ID vor dem Ausliefern	Kein Laufzeit-Chat-Endpunkt	Novita-Dokumentationsindex und API-Referenzen, geprüft am 2026-07-29
Agent Sandbox	Tool-verwendende Bots und Code-Ausführung	Hält Seiteneffekte von der Host-App isoliert	Überdimensioniert für reinen Text-Chat	Novita Agent Sandbox-Dokumentation, geprüft am 2026-07-29

Schritt 1: Eingaben und Ausgabeformat definieren

Beginnen Sie mit dem Chatbot-Vertrag. Legen Sie fest, was die App sendet, was das Modell zurückgibt und ob Sie Klartext, JSON oder Tool-Aufrufe benötigen. Für die meisten Produkte ist die Benutzereingabe eine kurze Nachrichtenliste und die Ausgabe eine normale Assistentenantwort.

Schritt 2: Die Novita AI API-Anfrage konfigurieren

Verwenden Sie das OpenAI SDK mit der Basis-URL von Novita. Ersetzen Sie die Modell-ID durch eine aus der Live-Modellliste von Novita.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/openai",
    api_key=os.environ["NOVITA_API_KEY"],
)

response = client.chat.completions.create(
    model="<MODEL_ID_FROM_NOVITA>",
    messages=[
        {"role": "system", "content": "You are a concise support chatbot."},
        {"role": "user", "content": "How do I reset my account password?"},
    ],
)

print(response.choices[0].message.content)

Schritt 3: Die erste API-Anfrage ausführen

Testen Sie einen kurzen Prompt, bevor Sie Speicher, Abruf oder Tool-Aufrufe hinzufügen. Wenn die Antwortqualität falsch ist, korrigieren Sie den System-Prompt oder die Modellauswahl, bevor Sie die Integration skalieren.

Schritt 4: Ergebnis validieren und verbessern

Überprüfen Sie drei Dinge: Antwortqualität, Latenz und Fehlerverhalten. Wenn der Bot aus Produktdaten antworten soll, fügen Sie Abruf hinzu. Wenn er Aktionen ausführen soll, fügen Sie Funktionsaufrufe hinzu. Wenn er Code ausführen soll, verlagern Sie diese Ausführung in die Agent Sandbox.

Schritt 5: Für die Produktion vorbereiten

Produktions-Chatbots benötigen mehr als eine funktionierende Antwort:

• Ratenbegrenzungen und Wiederholungen
• Protokollierung und Anfrageverfolgung
• Prompt-Versionierung
• Fallback-Verhalten, wenn das Modell langsam oder nicht verfügbar ist
• Eine klare Regel, wann der Bot Tools aufrufen darf

Wann sollte der Bot die Agent Sandbox verwenden?

Verwenden Sie die Agent Sandbox, wenn der Chatbot mehr tun muss als nur zu sprechen. Dazu gehören Code ausführen, Dateien bearbeiten, Änderungen testen, einen Workflow durchsuchen oder andere Seiteneffekte, die von Ihrer Hauptanwendung isoliert bleiben sollten.

Die Dokumentation der Agent Sandbox von Novita beschreibt die Sandbox als einen zustandsbehafteten Ausführungsumgebung, was sie für agentische Schritte besser geeignet macht als einen einfachen Chat-Endpunkt.

Fehlerbehebung

Wenn der Bot generisch wirkt, verschärfen Sie den System-Prompt und verwenden Sie eine spezifischere Modell-ID. Wenn das Modell das falsche Format zurückgibt, erzwingen Sie ein strengeres Ausgabeschema. Wenn Tool-Aufrufe unsicher sind, verlagern Sie die Aktion in die Agent Sandbox und halten Sie die Chat-API auf die Planung fokussiert.

FAQ

Welche Modell-ID sollte ich verwenden?

Verwenden Sie die Modell-ID, die vom Live-Modelllisten-Endpunkt von Novita für Ihre Zielaufgabe und Ihr Konto zurückgegeben wird.

Kann ich das OpenAI SDK verwenden?

Ja. Die Chat-API von Novita ist OpenAI-kompatibel, daher besteht die SDK-Migration hauptsächlich aus einer Änderung der Basis-URL und der Modell-ID.

Wann benötige ich die Agent Sandbox?

Verwenden Sie sie, wenn der Chatbot eine isolierte Ausführung benötigt, nicht nur Textgenerierung.

Empfohlene Artikel

• How Function Calling Works in DeepSeek V3
• What Are Coding Agents? How They Work and How to Build One
• Open Source AI Agent Sandbox Options: What to Check Before Self-Hosting