Wichtige Highlights
Novita AI hat Llama 4 Scout vorgestellt! Diese Version unterstützt zudem vollständig Function Calling.
Wenn Sie die Leistung testen möchten, starten Sie direkt eine kostenlose Testversion auf Novita AI Playground!
Function Calling ermöglicht es LLMs wie Llama 4 Scout, reale Aufgaben auszuführen, indem es mit APIs und externen Tools integriert wird und natürliche Sprachbefehle in umsetzbare Ergebnisse verwandelt.
Was ist Function Calling?
Function Calling stellt einen entscheidenden Fortschritt in den Fähigkeiten großer Sprachmodelle (LLMs) dar. Es ermöglicht ihnen, mit externen Tools, APIs und Datenquellen zu interagieren. Durch die Umwandlung natürlicher Sprachaufforderungen in strukturierte Funktionsaufrufe können LLMs reale Aktionen ausführen, dynamische Informationen abrufen und komplexe Berechnungen durchführen, die über ihre inhärenten Textgenerierungsfähigkeiten hinausgehen.
Definition von Function Calling
Function Calling ist eine strukturierte Methode, die es LLMs erlaubt, mit externen Systemen zu kommunizieren, indem sie basierend auf Benutzeranfragen ausführbare Befehle generieren. Im Gegensatz zu herkömmlichen LLM-Outputs, die auf Textgenerierung beschränkt sind, ermöglicht Function Calling den Modellen, vordefinierte Funktionen mit spezifischen Parametern auszulösen, diese Funktionen durch externen Code auszuführen und die Ergebnisse in kohärente Antworten zu integrieren.
https://www.youtube.com/watch?v=i-oHvHejdsc&t=429s
Wie funktioniert Function Calling?
Function Calling umfasst einen strukturierten Prozess, bei dem ein großes Sprachmodell (LLM) Benutzereingaben interpretiert, um zu bestimmen, welche vordefinierte Funktion mit welchen Parametern ausgeführt werden soll. Hier ein vereinfachter Überblick:
- Benutzeraufforderung: Der Benutzer sendet eine Anfrage an das System.
- LLM-Interpretation: Das LLM analysiert die Aufforderung, um die passende Funktion und Parameter zu identifizieren.
- Funktionsausführung: Das System führt die Funktion mit den angegebenen Parametern aus.
- Antwortgenerierung: Das Ergebnis wird an das LLM zurückgegeben, das eine endgültige Antwort mit dem Output erstellt.
Function Calling vs. RAG
| Aspekt | Function Calling | Retrieval-Augmented Generation |
|---|---|---|
| Definition | Ruft externe Funktionen (APIs, Datenbanken) für Echtzeitaufgaben auf. | Ruft Informationen aus externen Quellen ab und synthetisiert sie für Antworten. |
| Anwendungsfall | Datenbankabfragen, API-Anfragen, externe Tools (z. B. Zahlungen). | Frage-Antwort-Systeme, die Daten abrufen, um Antworten zu generieren. |
| Vorteile | - Echtzeitaufgaben - Interaktion mit externen Systemen - Modulare Systeme |
- Zugriff auf großes Wissen - Effizient für komplexe Abfragen - Ideal für aktuelle Daten |
| Zweck | Ruft externe Systeme oder Dienste auf. | Verbessert die Generierung durch abgerufenes Wissen. |
| Implementierung | Vordefinierte externe Aufrufe (z. B. APIs). | Ruft Informationen während des Generierungsprozesses ab. |
| Flexibilität | Flexibler für Echtzeitinteraktionen. | Nutzt externes/internes Wissen zur Generierung. |
So verwenden Sie Llama 4 Scout Function Calling über Novita AI
Novita AI hat für jedes LLM eine Beschreibung der unterstützten Fähigkeiten veröffentlicht, die Sie direkt in der Konsole und in den Dokumentationen einsehen können.
1. Client initialisieren
Zuerst müssen Sie den Client mit Ihrem Novita-API-Key initialisieren.
from openai import OpenAI
import json
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
# Holen Sie sich den Novita AI API-Key von: https://novita.ai/settings/key-management.
api_key="<YOUR Novita AI API Key>",
)
model = "meta-llama/llama-4-scout-17b-16e-instruct"
- Definieren Sie die aufzurufende Funktion
Als Nächstes definieren Sie die Python-Funktion, die das Modell aufrufen kann. In diesem Beispiel handelt es sich um eine Funktion zum Abrufen von Wetterinformationen.
# Beispiel-Funktion zum Simulieren des Abrufens von Wetterdaten.
def get_weather(location):
"""Ruft das aktuelle Wetter für einen bestimmten Ort ab."""
print("Rufe get_weather-Funktion auf mit Ort: ", location)
# In einer echten Anwendung würden Sie hier eine externe Wetter-API aufrufen.
# Dies ist ein vereinfachtes Beispiel, das fest codierte Daten zurückgibt.
return json.dumps({"location": location, "temperature": "60 Grad Fahrenheit"})
2. API-Anfrage mit Tools und Benutzernachricht erstellen
Erstellen Sie nun die API-Anfrage an den Novita-Endpunkt. Diese Anfrage enthält den Parameter tools, der die vom Modell nutzbaren Funktionen definiert, sowie die Nachricht des Benutzers.
tools = [
{
"type": "function",
"function": {
"name": "get_weather",
"description": "Ruft das Wetter eines Ortes ab. Der Benutzer sollte zuerst einen Ort angeben.",
"parameters": {
"type": "object",
"properties": {
"location": {
"type": "string",
"description": "Die Stadt und der Bundesstaat, z. B. San Francisco, CA",
}
},
"required": ["location"]
},
}
},
]
messages = [
{
"role": "user",
"content": "Wie ist das Wetter in San Francisco?"
}
]
# Lassen Sie uns die Anfrage senden und die Antwort ausgeben.
response = client.chat.completions.create(
model=model,
messages=messages,
tools=tools,
)
# Bitte überprüfen Sie, ob die Antwort tool_calls enthält, wenn Sie in Produktion gehen.
tool_call = response.choices[0].message.tool_calls[0]
print(tool_call.model_dump())
3. Ausgabe
{'id': '0', 'function': {'arguments': '{"location": "San Francisco, CA"}', 'name': 'get_weather'}, 'type': 'function'}
4. Mit dem Ergebnis des Funktionsaufrufs antworten und die endgültige Antwort erhalten
Der nächste Schritt besteht darin, den Funktionsaufruf zu verarbeiten, die get_weather-Funktion auszuführen und das Ergebnis zurück an das Modell zu senden, um die endgültige Antwort für den Benutzer zu generieren.
# Stellen Sie sicher, dass tool_call aus dem vorherigen Schritt definiert ist
if tool_call:
# Erweitern Sie den Gesprächsverlauf um die tool_call-Nachricht des Assistenten
messages.append(response.choices[0].message)
function_name = tool_call.function.name
if function_name == "get_weather":
function_args = json.loads(tool_call.function.arguments)
# Führen Sie die Funktion aus und erhalten Sie die Antwort
function_response = get_weather(
location=function_args.get("location"))
# Hängen Sie die Funktionsantwort an die Nachrichten an
messages.append(
{
"tool_call_id": tool_call.id,
"role": "tool",
"content": function_response,
}
)
# Holen Sie sich die endgültige Antwort vom Modell, jetzt mit dem Funktionsergebnis
answer_response = client.chat.completions.create(
model=model,
messages=messages,
# Hinweis: Fügen Sie hier keinen tools-Parameter hinzu.
)
print(answer_response.choices[0].message)
5. Ausgabe
{'id': '0', 'function': {'arguments': '{"location": "San Francisco, CA"}', 'name': 'get_weather'}, 'type': 'function'}
Mit Llama 4 Scout und Novita AI definiert Function Calling die LLM-Anwendungen neu und bietet Echtzeit- sowie dynamische Lösungen für moderne Anforderungen.
Häufig gestellte Fragen
Was ist Function Calling?
Es ermöglicht LLMs, externe Tools oder APIs auszulösen, um Aufgaben auszuführen und Daten abzurufen.
Wie funktioniert Llama 4 Scout mit Function Calling?
Llama 4 Scout vereinfacht die Echtzeitsystemintegration über Novita AI.
Ist Function Calling für Echtzeitanforderungen geeignet?
Ja, es ist perfekt für Aufgaben wie API-Aufrufe oder dynamische Datenabfragen geeignet.
Novita AI ist die All-in-One-Cloud-Plattform, die Ihre KI-Ambitionen unterstützt. Integrierte APIs, serverlos, GPU-Instanz – die kosteneffizienten Tools, die Sie benötigen. Verzichten Sie auf Infrastruktur, starten Sie kostenlos und machen Sie Ihre KI-Vision zur Realität.
