GLM-4.5V ist das neueste quelloffene multimodale Large Language Model (LLM) von Zhipu AI, das entwickelt wurde, um Sprach- und Vision-Aufgaben in einem einheitlichen System zu verarbeiten. Es stellt ein bedeutendes Upgrade gegenüber dem früheren GLM-4.1V-Modell dar und verfügt über eine Mixture-of-Experts (MoE)-Architektur mit 106 Milliarden Parametern (ca. 12B aktiv pro Eingabe).
Dieses Design ermöglicht es GLM-4.5V, bei niedrigeren Inferenzkosten überlegene Leistung zu erzielen, da spezialisierte „Experten“-Teilnetzwerke nur bei Bedarf aktiviert werden. Das Modell führt die 3D Rotatory Positional Encoding (3D-RoPE) für einen erweiterten 64k-Token-Kontext ein, sodass es lange Dokumente und mehrdimensionale Eingaben mühelos verarbeiten kann.
Einfach ausgedrückt kann GLM-4.5V Bilder und Videos „sehen“ und darüber schlussfolgern und gleichzeitig natürliche Sprachdialoge führen, was es zu einem leistungsstarken Vision-Language-Modell (VLM) für Entwickler macht.
Was ist GLM 4.5V?
1. Erweiterte visuelle Schlussfolgerung
- Geht über einfache Bildbeschreibungen hinaus – versteht komplexe Bilder, wissenschaftliche Diagramme und Vergleiche
- Unterstützt räumliche Schlussfolgerung: identifiziert Objekte und Begrenzungsrahmen
- Erzielte Spitzenwerte bei visuellen QA-Benchmarks wie MMBench & MMBench+
Von Hugging Face
2. Multimodale Eingabe + Denkmodus
- Akzeptiert Text, Bilder und Videos in Gesprächen
- Bietet einen „Denkmodus“-Schalter: ermöglicht schrittweise Schlussfolgerung vor der endgültigen Antwort
- Ideal für komplexe Aufgaben, die logische Erklärungen erfordern
Von Hugging Face
3. Einheitliche Tool-Nutzung
- Entwickelt für KI-Agenten-Anwendungsfälle – kann autonom externe Tools oder APIs aufrufen
- Integrierte Unterstützung für Funktionsaufrufe, kompatibel mit der OpenAI-Schnittstelle
- Verwendet demonstrationsbasiertes Training für die Tool-Nutzung
GLM-4.5V ist ein leistungsstarkes, entwicklerfreundliches multimodales KI-Modell, das Bildverständnis, visuelle QA, Dokumenten-OCR, Codegenerierung und GUI-Automatisierung über eine einheitliche Schnittstelle beherrscht. Es ist ideal für KI-Agenten, Produktivitätstools, Forschung und mehr.
Systemanforderungen für GLM 4.5V
| Aspekt | Details |
|---|---|
| Modellgröße | 106B Parameter (MoE); 12B aktiv pro Token |
| VRAM | 640 GB |
| Grundlegender GPU-Bedarf | 8× NVIDIA H100 (je 80 GB) |
| Präzisionsoptionen | Unterstützt FP16, FP8, INT8, INT4 Quantisierungsformate |
| Low-VRAM-Setup (optimiert) | Möglich mit 2×80-GB-GPUs unter Verwendung von FP8 und sorgfältiger Partitionierung |
| Parallelisierungsunterstützung | Tensor- und Modellparallelität unterstützt (z. B. 4×40-GB-GPUs) |
| Wichtige Bibliotheken | vLLM, SGLang |
So greifen Sie auf die GLM 4.5V API zu
Der Zugriff auf GLM-4.5V über Novita AI bietet mehrere Wege, die auf unterschiedliche technische Kenntnisstände und Anwendungsfälle zugeschnitten sind. Egal, ob Sie ein Geschäftsanwender sind, der KI-Funktionen erkundet, oder ein Entwickler, der Produktionsanwendungen erstellt – Novita AI bietet Ihnen die benötigten Tools.
1. Nutzen Sie den Playground (Jetzt verfügbar – Keine Programmierung erforderlich)
- Sofortiger Zugriff: Registrieren Sie sich und beginnen Sie innerhalb von Sekunden mit dem Experimentieren mit GLM-4.5V-Modellen
- Interaktive Oberfläche: Testen Sie komplexe visuelle Schlussfolgerungs-Prompts und visualisieren Sie Chain-of-Thought-Ausgaben in Echtzeit
- Modellvergleich: Vergleichen Sie GLM-4.5V mit anderen führenden Modellen für Ihren spezifischen Anwendungsfall
Der Playground ermöglicht es Ihnen, Bilder direkt hochzuladen, verschiedene Prompts zu testen und sofortige Ergebnisse ohne technische Einrichtung zu sehen. Perfekt für Prototyping, das Testen von Ideen und das Verständnis der Modellfunktionen vor der vollständigen Implementierung.
2. Integration über API (Live und einsatzbereit – Für Entwickler)
Verbinden Sie GLM-4.5V mit Ihren Anwendungen über die einheitliche REST-API von Novita AI.
Option 1: Direkte API-Integration (Python-Beispiel)
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="",
)
model = "zai-org/glm-4.5v"
stream = True # or False
max_tokens = 65536
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Hauptfunktionen:
- OpenAI-kompatible API für nahtlose Integration
- Flexible Parametersteuerung zur Feinabstimmung von Antworten
- Streaming-Unterstützung für Echtzeitantworten
Option 2: Multi-Agent-Workflows mit dem OpenAI Agents SDK
Erstellen Sie anspruchsvolle Multi-Agenten-Systeme mit GLM-4.5V:
- Plug-and-Play-Integration: Nutzen Sie GLM-4.5V in jedem OpenAI Agents-Workflow
- Erweiterte Agentenfunktionen: Unterstützung für Übergaben, Routing und Tool-Integration mit überlegener visueller Schlussfolgerungsleistung
- Skalierbare Architektur: Entwerfen Sie Agenten, die die einheitlichen Schlussfolgerungs-, Codierungs- und visuellen Analysefunktionen von GLM-4.5V nutzen
3. Verbindung mit Drittanbieterplattformen
Entwicklungstools: Integrieren Sie nahtlos beliebte IDEs und Entwicklungsumgebungen wie Cursor, Trae, Qwen Code und Cline über OpenAI-kompatible APIs.
Orchestrierungsframeworks: Verbinden Sie sich mit LangChain, Dify, CrewAI, Langflow und anderen KI-Orchestrierungsplattformen über offizielle Konnektoren.
Hugging Face-Integration: Novita AI ist offizieller Inferenzanbieter von Hugging Face und gewährleistet eine breite Ökosystemkompatibilität.
Nutzung der GLM 4.5V Befehlszeilenschnittstelle (CLI)
Für Entwickler, die Modelle lieber lokal ausführen oder mehr Kontrolle über die Umgebung haben möchten, kann GLM-4.5V auch über eine Befehlszeilenschnittstelle verwendet werden. Zhipu AI hat die Modellgewichte quelloffen veröffentlicht und Tools bereitgestellt, um das Modell auf Ihrer eigenen Hardware auszuführen.
Das Modell ist auf dem Hugging Face Hub unter zai-org/GLM-4.5V verfügbar. Sie können das Modell herunterladen und dann die Transformers-Bibliothek zur Generierung von Ausgaben verwenden. Beispielsweise in einem Python-Skript oder Jupyter-Notebook:
python3 inference/trans_infer_cli.py --model-path zai-org/GLM-4.5V --image test.jpg --question "这张图里有什么？"
| Funktion | CLI | API |
|---|---|---|
| Nutzung | Eingabe von Befehlen + Parametern im Terminal | Aufruf von Bibliotheken/HTTP-Anfragen im Code |
| Ausgabe | Wird direkt im Terminal ausgegeben | Gibt Objekte/JSON zurück, einfach für weitere Verarbeitung |
| Ideal für | Testen von Modellen, schnelle Inferenz, kleine Skripte | Anwendungsentwicklung, Dienstintegration, groß angelegte Aufrufe |
| Flexibilität | Feste Parameter, begrenzte Kombinationen | Voll programmierbar, unterstützt komplexe Logik |
| Abhängigkeiten | Nur ein Skript/CLI-Tool erforderlich | Erfordert das Schreiben von Code und die Verwaltung von Abhängigkeiten |
Erstellen Sie ein einfaches Bilderkennungstool mit MCP und GLM4.5V
Wenn Sie die Fähigkeiten von GLM nutzen möchten – beispielsweise um ein einfaches Bilderkennungstool zu erstellen, das die Integration von visueller Erkennung und Schlussfolgerung demonstriert – können Sie die von Novita AI unterstützte MCP-Funktionalität verwenden. Unten finden Sie den Beispielcode:
import os
import sys
from mcp.server.fastmcp import FastMCP
import requests
import uvicorn
from starlette.applications import Starlette
from starlette.routing import Mount
base_url = "https://api.novita.ai/v3"
headers = {
"Content-Type": "application/json",
"Authorization": f"Bearer {os.environ['NOVITA_API_KEY']}"
}
mcp = FastMCP("Novita_API")
@mcp.tool()
def list_models() -> str:
"""
List all available models from the Novita API.
"""
url = base_url + "/openai/models"
response = requests.request("GET", url, headers=headers)
data = response.json()["data"]
text = ""
for i, model in enumerate(data, start=1):
text += f"Model id: {model['id']}\
"
text += f"Model description: {model['description']}\
"
text += f"Model type: {model['model_type']}\
\
"
return text
@mcp.tool()
def get_model(model_id: str, message) -> str:
"""
Provide a model ID and a message to get a response from the Novita API.
"""
url = base_url + "/openai/chat/completions"
payload = {
"model": model_id,
"messages": [
{
"content": message,
"role": "user",
}
],
"max_tokens": 200,
"response_format": {
"type": "text",
},
}
response = requests.request("POST", url, json=payload, headers=headers)
content = response.json()["choices"][0]["message"]["content"]
return content
@mcp.tool()
def vision_chat(model_id: str, image_url: str, question: str) -> str:
"""
Use GLM-4.1V-9B-Thinking to answer a question about an image.
"""
url = base_url + "/openai/chat/completions"
payload = {
"model": model_id,
"messages": [
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {
"url": image_url,
}
},
{
"type": "text",
"text": question,
}
]
}
],
"max_tokens": 500
}
response = requests.post(url, json=payload, headers=headers)
return response.json()["choices"][0]["message"]["content"]
if __name__ == "__main__":
# Run using stdio transport
mcp.run(transport="stdio")
Fehlerbehebung für häufige Probleme mit GLM 4.5V
1. Speicher- und Ladefehler (CUDA OOM) Ursache: Das Modell ist zu groß, um in den verfügbaren GPU-Speicher zu passen. Lösungen:
- Nutzen Sie das empfohlene Inferenz-Backend
- Beispiel: Aktivieren Sie
--attention-backend fa3in SGLang, um den Speicherverbrauch zu reduzieren.
- Beispiel: Aktivieren Sie
- Nutzen Sie mehr GPUs mit kleinerer Tensor-Parallelitätsgröße
- Beispiel: Setzen Sie TP=8 (8 GPUs) statt TP=4, um kleinere Modellblöcke pro GPU zuzuweisen.
- Laden Sie ein quantisiertes Modell (8-Bit oder 4-Bit)
- Beispiel: Verwenden Sie
load_in_8bit=Truebei der Nutzung von HuggingFace Transformers.
- Beispiel: Verwenden Sie
- Wählen Sie Cloud-Instanzen mit höherem VRAM
- Beispiel: A100 (80 GB) oder H200 (141 GB); H200 kann das Modell auf einer einzelnen GPU ausführen.
- Verarbeiten Sie lange Eingaben in kleineren Blöcken
- Teilen Sie lange Videos in kürzere Segmente oder deaktivieren Sie den Denkmodus, um die Ausgabegröße zu reduzieren.
2. Bildeingabe nicht erkannt Ursache: Das Bild ist nicht korrekt formatiert oder an das Modell übergeben. Lösungen:
- Für OpenAI-ähnliche APIs strukturieren Sie die Eingabe als spezielle Nachricht
- Beispiel:
[{"type": "image_url", "image_url": {"url": "<URL>"}}, {"type": "text", "text": "your question"}]
- Beispiel:
- Bei der Nutzung von HuggingFace Transformers verwenden Sie
AutoProcessor- Beispiel: Rufen Sie
processor(images=[...], text=[...])vor der Inferenz auf.
- Beispiel: Rufen Sie
- Stellen Sie sicher, dass die Bild-URL öffentlich ist, oder verwenden Sie Base64-Codierung, falls unterstützt
- Wenn das Modell das Bild ignoriert oder angibt, keines erhalten zu haben, ist die Eingabe möglicherweise ungültig.
4. Seltsame Ausgabeformatierung Probleme:
- Ausgaben enthalten rohes HTML (z. B.
<div>...</div>) - Unerwartete Escape-Zeichen (z. B.
<) - Wiederholte oder angehängte Antworten Lösungen:
- Weisen Sie das Modell an, Code in Markdown zu formatieren (z. B. verwenden Sie dreifache Backticks)
- Wenden Sie Patches zur Behebung von HTML-Escaping an (in offiziellen Repos verfügbar)
- Deaktivieren Sie den Denkmodus, falls nicht benötigt
- Nachbearbeiten Sie die Ausgabe, um doppelte Inhalte zu entfernen
5. Tool-Nutzungs-Artefakte
Problem: Das Modell gibt toolbezogene Befehle aus (z. B. <|search|>).
Lösung:
Verwenden Sie die Standard-Chat-Completion-API statt Agenten-Endpunkte und vermeiden Sie Prompts, die Tool-Nutzungsszenarien nachahmen.
6. Genauigkeitsgrenzen Bekannte Einschränkungen:
- Kann bei feingranularen visuellen Aufgaben wie Zählen oder Gesichtserkennung Schwierigkeiten haben
- Text-only-Fragen werden möglicherweise besser von spezialisierten Textmodellen beantwortet
- Langsam bei sehr langen Dokumenten oder Videos; kann Timeouts erreichen Empfehlungen:
- Nutzen Sie den Streaming-Modus für lange Eingaben, um Teilausgaben zu erhalten
- Teilen Sie große Eingaben in kleinere Segmente
- Überprüfen Sie die tatsächlichen Kontextlängengrenzen Ihres API-Anbieters
GLM-4.5V ist ein Game-Changer für Vision-Language-KI, da es Funktionen, die bisher nur proprietären Modellen vorbehalten waren, in die quelloffene und selbst gehostete Welt bringt. Wir haben behandelt, was GLM-4.5V ist und was es besonders macht, welche Einrichtung Sie für den Betrieb benötigen, wie Sie häufige Probleme beheben und mehrere Zugriffsmöglichkeiten (Cloud-API oder lokale CLI). Mit diesem Wissen können Entwickler GLM-4.5V selbstbewusst in ihre Projekte integrieren
Sollte ich von Gemma 3 27B auf GLM 4.5V upgraden?
GLM-4.5V ist das neueste quelloffene multimodale Large Language Model von Zhipu AI. Es kann sowohl Sprach- als auch Vision-Aufgaben, einschließlich Text, Bilder und Videos, mit erweiterten Schlussfolgerungsfähigkeiten verarbeiten.
Was kann GLM-4.5V?
Es unterstützt erweiterte visuelle Schlussfolgerung (z. B. wissenschaftliche Diagramme, räumliche Schlussfolgerung, visuelle QA), Langdokumentenverständnis, Codegenerierung, OCR, GUI-Automatisierung und multimodale Dialoge.
Wie unterscheidet sich GLM-4.5V von früheren Modellen?
Es verbessert GLM-4.1V durch die Verwendung einer Mixture-of-Experts (MoE)-Architektur mit 106B Parametern (12B aktiv pro Eingabe) sowie 3D-RoPE für eine 64k-Kontextlänge, was niedrigere Kosten und stärkere Leistung ermöglicht.
Novita AI ist die All-in-One-Cloud-Plattform, die Ihre KI-Ambitionen verwirklicht. Integrierte APIs, Serverless, GPU-Instanzen – die kostengünstigen Tools, die Sie benötigen. Eliminieren Sie Infrastruktur, starten Sie kostenlos und machen Sie Ihre KI-Vision zur Realität.
