GLM-4.6V est désormais disponible sur la plateforme Novita AI, apportant le modèle vision-langage avancé de Zhipu AI avec des capacités multimodales révolutionnaires. Doté de 106 milliards de paramètres dans sa version de base et d’une fenêtre de contexte de 128K tokens, GLM-4.6V atteint des performances de pointe en compréhension visuelle parmi les modèles d’échelle de paramètres similaire.
Cette dernière version intègre pour la première fois des capacités d’appel de fonctions natif, comblant efficacement le fossé entre la perception visuelle et l’action exécutable. Que vous construisiez des agents multimodaux, traitiez des documents complexes ou développiez des applications d’édition visuelle, GLM-4.6V vous apporte les capacités dont vous avez besoin via l’infrastructure conviviale pour les développeurs de Novita AI.
Qu’est-ce que le GLM-4.6V ?
GLM-4.6V est le modèle vision-langage avancé de Zhipu AI qui offre des capacités complètes de compréhension et de génération multimodale. Faisant partie de la famille de modèles GLM-V, il représente une avancée significative dans le rapprochement de la perception visuelle et de l’intelligence actionnable grâce à l’intégration d’appel de fonctions natif.
Architecture à deux modèles : GLM-4.6V est disponible en deux versions : le modèle de base de 106 milliards de paramètres conçu pour les scénarios cloud et les clusters haute performance, et le GLM-4.6V-Flash de 9 milliards de paramètres optimisé pour le déploiement local et les applications à faible latence. Les deux modèles offrent des capacités multimodales puissantes adaptées à des besoins de déploiement différents.
Fenêtre de contexte étendue : GLM-4.6V dispose d’une fenêtre de contexte de 128K tokens, lui permettant de traiter des entrées de documents multiples ou longs tout en interprétant directement des pages richement formatées sous forme d’images. Ce contexte étendu permet de gérer des documents complexes contenant beaucoup d’images sans avoir besoin de conversion préalable en texte brut.
Appel de fonctions natif : Pour la première fois dans la série GLM-V, GLM-4.6V intègre des capacités d’appel de fonctions natif. Cette avancée comble efficacement le fossé entre la perception visuelle et l’action exécutable, offrant une base technique unifiée pour les agents multimodaux dans des scénarios métier réels.
Performances de pointe : GLM-4.6V atteint des performances de pointe (SoTA) en compréhension visuelle parmi les modèles d’échelle de paramètres similaire sur les principaux benchmarks multimodaux, démontrant des capacités exceptionnelles dans le traitement et la compréhension des informations visuelles.
Fonctionnalités et capacités clés
GLM-4.6V introduit plusieurs capacités spécialisées qui le rendent particulièrement efficace pour les applications multimodales.
Compréhension de documents multimodale
GLM-4.6V traite jusqu’à 128K tokens d’entrées de documents multiples ou longs, interprétant directement des pages richement formatées sous forme d’images. Le modèle comprend conjointement le texte, la mise en page, les graphiques, les tableaux et les figures, permettant une compréhension précise de documents complexes contenant beaucoup d’images. Cette capacité élimine le besoin de prétraitement ou d’extraction de texte, permettant une analyse directe de PDF, de rapports, de présentations et d’autres documents visuels.
Réplication de front-end et édition visuelle
Le modèle reconstitue du code HTML/CSS pixel-parfait à partir de captures d’écran d’interface et prend en charge des modifications en langage naturel. GLM-4.6V détecte visuellement la mise en page, les composants et les styles, génère du code propre et applique des modifications visuelles itératives via des instructions utilisateur simples. Cela le rend précieux pour le prototypage rapide, les workflows de conception vers code et la génération automatisée d’interfaces utilisateur.
Génération de contenu image-texte entrelacé
GLM-4.6V prend en charge la création de médias mixtes de haute qualité à partir d’entrées multimodales complexes. Le modèle utilise un contexte multimodal couvrant des documents, des entrées utilisateur et des images récupérées par des outils, puis synthétise un contenu image-texte cohérent et entrelacé adapté à la tâche. Pendant la génération, il peut appeler activement des outils de recherche et de récupération pour collecter et organiser du texte et des visuels supplémentaires, produisant un contenu riche et ancré visuellement.
Intégration d’outils native
Les capacités d’appel de fonctions intégrées permettent à GLM-4.6V d’invoquer de manière autonome des outils externes pendant le traitement. Cela permet au modèle de récupérer des informations en temps réel, d’accéder à des bases de données, de récupérer des images ou de déclencher des actions basées sur une analyse visuelle. L’intégration native le rend particulièrement efficace pour la construction de systèmes d’agents multimodaux sophistiqués.
Performances et architecture
GLM-4.6V démontre de solides performances lors d’évaluations multimodales complètes.
Architecture du modèle
GLM-4.6V utilise une architecture sophistiquée optimisée pour la compréhension multimodale, s’appuyant sur les fondations techniques de la série GLM-V :
- Modèle de base (GLM-4.6V) : 106 milliards de paramètres au total, conçu pour le déploiement cloud et des capacités maximales
- Modèle léger (GLM-4.6V-Flash) : 9 milliards de paramètres, optimisé pour le déploiement en périphérie et une latence réduite
- Longueur de contexte : 128K tokens pour traiter des entrées multimodales étendues
- Encodeur visuel : Taille de patch spatiale de 14 et taille de patch temporelle de 2 pour un traitement visuel efficace
Premiers pas avec GLM-4.6V sur Novita AI
Novita AI propose plusieurs moyens d’accéder à GLM-4.6V, adaptés à différents niveaux de compétence et cas d’usage.
Utiliser le playground (aucun code requis)
Inscrivez-vous et commencez à expérimenter avec GLM-4.6V en quelques secondes via une interface interactive. Téléchargez des images ou des documents, testez des prompts multimodaux et consultez les résultats en temps réel avec la fenêtre de contexte complète de 128K. Parfait pour le prototypage et la compréhension des capacités du modèle avant de construire des implémentations complètes.
Intégration via API (pour les développeurs)
Connectez GLM-4.6V à vos applications en utilisant l’API REST unifiée de Novita AI.
Intégration API directe (exemple Python)
from openai import OpenAI
client = OpenAI(
api_key="<Your API Key>",
base_url="https://api.novita.ai/openai"
)
response = client.chat.completions.create(
model="zai-org/glm-4.6v",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Hello, how are you?"}
],
max_tokens=32768,
temperature=0.7
)
print(response.choices[0].message.content)
Workflows multi-agents avec le SDK OpenAI Agents
Construisez des systèmes d’agents multimodaux sophistiqués avec une intégration prête à l’emploi, une prise en charge des transferts, du routage et de l’intégration d’outils avec l’appel de fonctions natif et la fenêtre de contexte complète de 128K.
Se connecter à des plateformes tierces
Frameworks d’agents : Connectez facilement Novita AI à des plateformes partenaires comme Continue, AnythingLLM, LangChain, Dify et Langflow via des connecteurs officiels et des guides d’intégration étape par étape.
Hugging Face : Novita AI est un fournisseur d’inférence officiel pour Hugging Face, garantissant une compatibilité large avec l’écosystème.
API compatible OpenAI : Profitez d’une migration et d’une intégration sans problème avec des outils tels que Cline, Cursor, Trae et Qwen Code, conçus pour le standard d’API OpenAI.
API compatible Anthropic : Intégrez-vous de manière transparente avec Claude Code pour les workflows de codage agentiques et d’autres outils compatibles avec l’API Anthropic.
Conclusion
GLM-4.6V sur Novita AI apporte le modèle vision-langage avancé de Zhipu AI avec 106 milliards de paramètres et une fenêtre de contexte de 128K, atteignant des performances de pointe en compréhension multimodale. Avec l’intégration d’appel de fonctions natif et des capacités spécialisées pour l’analyse de documents, la réplication d’interfaces et la génération de médias mixtes, GLM-4.6V offre une base unifiée pour la construction d’applications IA multimodales sophistiquées.
Commencez à explorer GLM-4.6V dès aujourd’hui via le playground et l’API de Novita AI, ou des intégrations tierces pour améliorer vos applications avec des capacités avancées de compréhension visuelle, de traitement de documents et de raisonnement multimodal. Construisez la prochaine génération de solutions alimentées par l’IA avec l’intelligence vision-langage révolutionnaire de GLM-4.6V.
Novita AI est une plateforme cloud IA leader qui fournit aux développeurs des API faciles à utiliser et une infrastructure GPU abordable et fiable pour construire et mettre à l’échelle des applications IA.
