Wichtige Highlights
Gemma 3 27B ist ein hochmodernes multimodales KI-Modell, veröffentlicht von Google, mit 27 Milliarden Parametern und Unterstützung für über 140 Sprachen.
Funktionsaufruf über Tools wie LangChain ermöglicht eine nahtlose Integration mit externen Systemen und erweitert seine Fähigkeiten zur Ausführung spezialisierter Aufgaben wie Berechnungen, Datenanalyse und Workflow-Automatisierung.
In Kombination mit den multimodalen Fähigkeiten von Gemma 3 27B verbessert der Funktionsaufruf die Aufgabenautomatisierung erheblich und ermöglicht eine erweiterte Zusammenarbeit zwischen Text, Bildverarbeitung und externen Tools. Die Open-Source-Verfügbarkeit fördert eine breite Akzeptanz und Innovation in verschiedenen Branchen.
Gemma 3 27B stellt einen Durchbruch in der multimodalen KI dar und bietet beispiellose Fähigkeiten beim Verstehen und Generieren von Text und Bildern. Mit massiven 27 Milliarden Parametern und Unterstützung für über 140 Sprachen bewältigt es mühelos komplexe Aufgaben in verschiedenen Branchen.
Was ist Gemma 3 27B?
Veröffentlichungsdatum
- März 2025
Modellgröße
27 Milliarden Parameter
Open Source
Ja (veröffentlicht von Google)
Sprachunterstützung
Über 140 Sprachen
Trainingsdaten
14 Billionen Token
Stärken
Mathematik, Programmierung, Befolgung von Anweisungen
Multimodale Fähigkeit
Ja (verarbeitet Bilder und Text, gibt Text aus)
Kontextfenster
128K Token
Gemma 3 27B Multimodaler Fähigkeitstest
Prompt: Sag mir, wie oft sich der Elo-Punktestand von Gemma 2 27B auf Gemma 3 27B erhöht hat?
Von Google
Ausgabe: Hat die Zahlen korrekt identifiziert, aber die vom Prompt geforderten Vielfachen nicht berechnet; stattdessen nur die Differenz berechnet.
Basierend auf dem Bild hier die Berechnung:
- Gemma 2 27B Elo-Punktestand: 1220
- Gemma 3 27B Elo-Punktestand: 1338
Erhöhung: 1338 - 1220 = 118
Der Elo-Punktestand stieg um 118 Punkte von Gemma 2 27B auf Gemma 3 27B.
Gemma 3 27B Benchmark
| Benchmark | Gemma 3 27B | DeepSeek R1 | LLaMA 3.3 70B |
|---|---|---|---|
| LMSys Elo Score | 1339 | ~1360 | ~1260 |
| MMLU-Pro | 67.5 | 84.0 | 66.4 |
| LiveCodeBench | 29.7 | 65.9 | ~29 |
| GPQA Diamond | 42.4 | 71.5 | 50.5 |
| MATH | 69.0 | 97.3 | 77.0 |
Von Hugging Face
Welche Probleme können durch die Kombination multimodaler Modelle mit Funktionsaufruf gelöst werden?
Problem 1
Umgang mit großen Dateien bei begrenzten Ressourcen
Obwohl LLMs Bilder oder Videos direkt verarbeiten können, kann die Verarbeitung großer Dateien (z. B. langer Videos oder hochauflösender Bilder) erhebliche Ressourcen verbrauchen und möglicherweise das Kontextfenster des Modells überschreiten.
Rolle des Funktionsaufrufs: Verteilen Sie komplexe oder ressourcenintensive Aufgaben an externe Systeme, sodass sich das LLM auf die Koordination und Integration der Ergebnisse konzentrieren kann.
Problem 2
Erweiterung der Fähigkeiten für bestimmte Funktionen
LLMs konzentrieren sich hauptsächlich auf das Verstehen und Generieren von Inhalten, aber in bestimmten Szenarien benötigen Benutzer möglicherweise spezifischere Funktionen (z. B. Diagrammerstellung, Bildbearbeitung, Videotrimmung), die über die integrierten Fähigkeiten des LLMs hinausgehen.
Rolle des Funktionsaufrufs: Erweitern Sie die Fähigkeiten des LLMs, indem Sie es in die Lage versetzen, spezialisierte Ausgaben über externe Tools zu generieren oder auszuführen.
Problem 3
Erzielung tiefergehender Analysen mit professionellen Werkzeugen
Während LLMs multimodale Eingaben wie Text, Bilder und Videos analysieren können, fehlt ihnen möglicherweise die Tiefe für professionelle Aufgaben wie medizinische Bildanalyse oder hochpräzise Videobearbeitung.
Rolle des Funktionsaufrufs: Delegieren Sie Aufgaben an professionelle Tools oder APIs und gewährleisten Sie so eine höhere Genauigkeit und tiefere Analyse, als das LLM allein bieten kann.
Wie man Llama 3.3 70B Function Calling via Novita AI verwendet
Schritt 1: API-Schlüssel holen und installieren!
Rufen Sie die Seite „Key Management“ auf und kopieren Sie den API-Schlüssel wie im Bild gezeigt.
Jetzt Gemma 3 27B Demo ausprobieren!
Schritt 2: Verwenden Sie Langchain, um den Funktionsaufruf zu implementieren
Wir erstellen eine einfache Mathe-Anwendung, die Additions- und Multiplikationsoperationen durchführen kann.
💡 Obwohl dieser Leitfaden LangChain der Einfachheit halber verwendet, erfordert die Implementierung von Funktionsaufrufen kein spezifisches Framework. Der Schlüssel liegt in der Gestaltung der richtigen Prompts, damit das Modell Funktionen versteht und korrekt aufruft. LangChain wird hier lediglich verwendet, um die Implementierung zu vereinfachen.
Voraussetzungen
Installieren Sie zunächst die erforderlichen Pakete:
pip install langchain-openai python-dotenv
Einrichten der Umgebung
Erstellen Sie eine .env-Datei im Stammverzeichnis Ihres Projekts und fügen Sie Ihren Novita AI API-Schlüssel hinzu:
NOVITA_API_KEY=your_api_key_here
Schritt 3: Implementierungsschritte
1. Definieren der Tools
Erstellen wir zunächst zwei einfache mathematische Tools mit dem @tool-Dekorator von LangChain:
from langchain_core.tools import tool
@tool
def multiply(x: float, y: float) -> float:
"""Multiply two numbers together."""
return x * y
@tool
def add(x: int, y: int) -> int:
"""Add two numbers."""
return x + y
tools = [multiply, add]
2. Erstellen der Tool-Ausführungsfunktion
Implementieren Sie als Nächstes eine Funktion zum Ausführen der Tools:
from typing import Any, Dict, Optional, TypedDict
from langchain_core.runnables import RunnableConfig
class ToolCallRequest(TypedDict):
name: str
arguments: Dict[str, Any]
def invoke_tool(
tool_call_request: ToolCallRequest,
config: Optional[RunnableConfig] = None
):
"""Execute the specified tool with given arguments."""
tool_name_to_tool = {tool.name: tool for tool in tools}
name = tool_call_request["name"]
requested_tool = tool_name_to_tool[name]
return requested_tool.invoke(tool_call_request["arguments"], config=config)
3. Einrichten der LangChain-Pipeline
Erstellen Sie eine Chain, die das LLM von Novita AI verwendet, um Tool-Aufrufe auszuwählen und vorzubereiten:
from langchain_openai import ChatOpenAI
from langchain_core.output_parsers import JsonOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.tools import render_text_description
def create_chain():
"""Create a chain that uses the specified LLM model to select and prepare tool calls."""
model = ChatOpenAI(
model="google/gemma-3-27b-it",
api_key=os.getenv("NOVITA_API_KEY"),
base_url="https://api.novita.ai/v3/openai",
)
rendered_tools = render_text_description(tools)
system_prompt = f"""\
You are an assistant that has access to the following set of tools.
Here are the names and descriptions for each tool:
{rendered_tools}
Given the user input, return the name and input of the tool to use.
Return your response as a JSON blob with 'name' and 'arguments' keys.
The `arguments` should be a dictionary, with keys corresponding
to the argument names and the values corresponding to the requested values.
"""
prompt = ChatPromptTemplate.from_messages(
[("system", system_prompt), ("user", "{input}")]
)
return prompt | model | JsonOutputParser()
4. Erstellen der Hauptverarbeitungsfunktion
Implementieren Sie die Hauptfunktion, die mathematische Abfragen verarbeitet:
def process_math_query(query: str):
"""Process a mathematical query by using an LLM to select the appropriate tool and execute it."""
chain = create_chain()
message = chain.invoke({"input": query})
result = invoke_tool(message, config=None)
return message, result
5. Anwendungsbeispiel
So verwenden Sie die Implementierung:
if __name__ == "__main__":
message, result = process_math_query(
"meta-llama/llama-3.3-70b-instruct",
"what's 3 plus 1132"
)
print(result) # Output: 1135
Gemma 3 27B definiert multimodale KI mit branchenführender Leistung in Mathematik, Programmierung und aufgabenbasierten Anweisungen neu. Seine multimodale Integration und umfangreiche Trainingsdaten machen es zu einem vielseitigen Werkzeug für Entwickler und Forscher.
Häufig gestellte Fragen
Was ist Gemma 3 27B?
Gemma 3 27B ist ein multimodales KI-Modell mit 27 Milliarden Parametern, das Text und Bilder verarbeiten kann und über 140 Sprachen unterstützt.
Wie schneidet Gemma 3 27B im Vergleich zu seinem Vorgänger ab?
Gemma 3 27B zeigt signifikante Verbesserungen, darunter eine Erhöhung des Elo-Punktestands um 118 Punkte und verbesserte Leistung beim Programmieren, in Mathematik und bei multimodalen Aufgaben.
Ist Gemma 3 27B Open Source?
Ja, Gemma 3 27B ist Open Source und fördert communitygetriebene Innovation.
Novita AI ist eine KI-Cloud-Plattform, die Entwicklern eine einfache Möglichkeit bietet, KI-Modelle über unsere einfache API bereitzustellen, und gleichzeitig eine erschwingliche und zuverlässige GPU-Cloud zum Bauen und Skalieren bereitstellt.
