GLM-4.1V-9B-Thinking est un modèle vision-langage révolutionnaire de 9 milliards de paramètres qui introduit la première approche de raisonnement dédiée à l’IA multimodale. Développé par THUDM, ce modèle atteint des performances de pointe en implémentant un « paradigme de réflexion » unique qui permet des processus de raisonnement transparents et étape par étape.
Malgré sa taille compacte, GLM-4.1V-9B-Thinking égalise ou dépasse des modèles beaucoup plus grands de 72 milliards de paramètres dans 18 tâches de référence, démontrant une efficacité et une capacité exceptionnelles en raisonnement multimodal.
Pour une durée limitée, les nouveaux utilisateurs peuvent réclamer 10 $ de crédits gratuits pour explorer et construire avec GLM-4.1V-9B-Thinking.
Voici la tarification actuelle de l’API GLM-4.1V-9B-Thinking sur Novita AI : 0,035 $ / M tokens d’entrée, 0,138 $ / M tokens de sortie.
Qu’est-ce que GLM-4.1V-9B-Thinking ?
Les modèles vision-langage (VLM) sont devenus des composants fondamentaux des systèmes intelligents. Alors que les tâches d’IA du monde réel deviennent de plus en plus complexes, les VLM doivent évoluer au-delà de la perception multimodale de base pour démontrer des capacités de raisonnement avancées. Cette évolution se concentre sur l’amélioration de la précision, de l’exhaustivité et de l’intelligence globale – ouvrant la voie à des applications telles que la résolution de problèmes complexes, la compréhension de longs contextes et les agents multimodaux.
GLM-4.1V-9B-Thinking est un modèle vision-langage de nouvelle génération conçu pour répondre à ces exigences en faisant progresser la compréhension et le raisonnement multimodaux polyvalents. Construit sur le modèle de base GLM-4-9B-0414, il introduit un « paradigme de réflexion » révolutionnaire qui le distingue.
Ce nouveau paradigme permet au modèle de s’engager dans un raisonnement explicite, étape par étape, avant de fournir des résultats finaux. Contrairement aux modèles traditionnels qui produisent des réponses directes, GLM-4.1V-9B-Thinking externalise son processus de raisonnement, le rendant transparent, interprétable et vérifiable – ouvrant la voie à des systèmes d’IA plus fiables et plus performants.
Caractéristiques et innovations clés
Gestion flexible des entrées : Le modèle prend en charge des résolutions d’image et des rapports d’aspect arbitraires. Il intègre le 2D-RoPE, permettant un traitement efficace des images avec des rapports d’aspect extrêmes (plus de 200:1) ou des hautes résolutions (au-delà de 4K).
Adaptation du positionnement des embeddings : Pour préserver les capacités fondamentales du ViT pré-entraîné, le modèle conserve les embeddings de position absolue apprenables d’origine. Durant l’entraînement, ces embeddings sont dynamiquement adaptés aux entrées de résolution variable via une interpolation bicubique.
Compréhension temporelle : Pour le contenu vidéo, le modèle insère des jetons d’index temporel après chaque jeton d’image, où l’index temporel est implémenté en encodant le timestamp de chaque image sous forme de chaîne. Cette conception informe explicitement le modèle des timestamps réels et des distances temporelles entre les images.
Support de contexte étendu : Le modèle prend en charge une longueur de contexte de 64K et offre des capacités bilingues en chinois et en anglais, ce qui le rend puissant pour la compréhension de longs documents et les applications interculturelles.
Améliorations clés par rapport aux modèles précédents
- Premier modèle axé sur le raisonnement dans la série, atteignant des performances de premier plan mondial dans divers sous-domaines
- Support de la longueur de contexte 64K
- Gestion de rapports d’aspect arbitraires et de résolutions d’image jusqu’à 4K
- Version open source prenant en charge l’utilisation bilingue chinois et anglais
Cadre d’entraînement révolutionnaire
GLM-4.1V-9B-Thinking utilise une approche d’entraînement innovante avec l’apprentissage par renforcement avec échantillonnage curriculaire (RLCS), qui améliore systématiquement les capacités de raisonnement dans plusieurs domaines.
Étape 1 : Fondation du pré-entraînement
Le modèle subit un pré-entraînement à grande échelle pour lui conférer de solides capacités fondamentales, incluant des paires image-texte massives avec des connaissances factuelles précises, un corpus académique auto-curaté avec image et texte entrelacés, ainsi que des documents et diagrammes annotés.
Étape 2 : Ajustement supervisé
Cette étape sert de pont vers l’apprentissage par renforcement, transformant le VLM de base en un modèle capable d’inférence par chaîne de pensée longue. Chaque réponse suit une structure standardisée avec des sections thinking et <answer>.
Étape 3 : Innovation par l’apprentissage par renforcement
L’équipe introduit l’apprentissage par renforcement avec échantillonnage curriculaire (RLCS) pour piloter des capacités de raisonnement à grande échelle et inter-domaines. Le RLCS combine l’apprentissage curriculaire avec un échantillonnage tenant compte de la difficulté pour améliorer l’efficacité de l’entraînement.
Source : THUDM
Comparaison avec d’autres VLM avancés
Source : THUDM
Efficacité exceptionnelle : Malgré sa taille relativement compacte, GLM-4.1V-9B-Thinking surpasse le modèle beaucoup plus grand Qwen2.5-VL-72B dans 18 des 28 benchmarks. Cela inclut des tâches particulièrement difficiles comme MMStar (72,9 contre 70,8), MUIRBENCH (74,7 contre 62,9), MMMU-Pro (57,1 contre 51,1) et ChartMuseum (48,8 contre 39,6), illustrant la supériorité et l’efficacité du modèle.
Compétitif face aux modèles propriétaires : Comparé au GPT-4o propriétaire, GLM-4.1V-9B-Thinking obtient des résultats supérieurs dans la plupart des tâches, notamment MMStar (72,9 contre 66,2), MUIRBENCH (74,7 contre 69,7), AI2D (87,9 contre 84,8), MMMU-Pro (57,1 contre 54,6), MathVista (80,7 contre 64,0) et MotionBench (59,0 contre 58,0). Ces performances sont atteintes malgré l’échelle significativement plus grande de GPT-4o et son avantage en code source fermé.
Domination dans les tâches spécialisées : Le modèle montre des performances exceptionnelles dans les tâches d’agent GUI, atteignant 72,1 sur WebQuest-SingleQA (contre 60,5 pour Qwen2.5-VL-72B et 57,0 pour GPT-4o), et 69,0 sur WebVoyageSom (contre 40,4 pour Qwen2.5-VL-72B et 59,4 pour GPT-4o). Dans les tâches de codage, il atteint 72,5 sur Flame-VLM-Code, surpassant significativement le modèle 72B (46,3) tout en restant compétitif avec GPT-4o (75,0).
Efficacité optimale des ressources : Ces résultats soulignent que GLM-4.1V-9B-Thinking offre un excellent compromis entre performance et efficacité. Cela en fait un choix attrayant pour un déploiement réel où les ressources de calcul sont limitées, offrant une solution pratique et puissante sous contrainte de ressources tout en maintenant des performances compétitives par rapport à des systèmes beaucoup plus grands.
Explorez la démo de GLM-4.1V-9B-Thinking dès maintenant
Exigences d’exécution
L’architecture efficace du modèle permet des options de déploiement flexibles sur diverses configurations matérielles selon les spécifications officielles.
Inférence
Appareil (GPU unique) |
Cadriciel | Mémoire minimale | Vitesse | Précision |
|---|---|---|---|---|
| NVIDIA A100 | transformers | 22 Go | 14 - 22 Tokens / s | BF16 |
| NVIDIA A100 | vLLM | 22 Go | 60 - 70 Tokens / s | BF16 |
Ajustement fin
Les résultats suivants sont basés sur l’ajustement fin d’images à l’aide de la boîte à outils LLaMA-Factory.
| Appareil (Cluster) | Stratégie | Mémoire minimale / nb de GPU | Taille de lot (par GPU) | Gel |
|---|---|---|---|---|
| NVIDIA A100 | LORA | 21 Go / 1 GPU | 1 | Geler VIT |
| NVIDIA A100 | FULL ZERO2 | 280 Go / 4 GPU | 1 | Geler VIT |
| NVIDIA A100 | FULL ZERO3 | 192 Go / 4 GPU | 1 | Geler VIT |
| NVIDIA A100 | FULL ZERO2 | 304 Go / 4 GPU | 1 | Sans gel |
| NVIDIA A100 | FULL ZERO3 | 210 Go / 4 GPU | 1 | Sans gel |
Remarque : L’ajustement fin avec Zero2 peut entraîner une perte nulle ; Zero3 est recommandé pour un entraînement stable.
Comment accéder à GLM-4.1V-9B-Thinking sur Novita AI
Commencer avec GLM-4.1V-9B-Thinking est rapide, simple et sans risque sur Novita AI. Grâce au programme de parrainage, vous recevrez 10 $ de crédits gratuits – suffisants pour explorer pleinement la puissance de raisonnement multimodal de GLM-4.1V-9B-Thinking, construire des prototypes et même lancer votre premier cas d’utilisation sans coût initial.
Utiliser le Playground (sans codage)
Accès instantané : Inscrivez-vous, réclamez vos crédits gratuits et commencez à expérimenter avec GLM-4.1V-9B-Thinking et d’autres modèles multimodaux de premier plan en quelques secondes.
Interface interactive : Testez la compréhension d’images, l’analyse de graphiques et les flux de raisonnement transparents en temps réel. Découvrez le paradigme de réflexion unique du modèle grâce à une interface intuitive.
Comparaison de modèles : Basculez facilement entre GLM-4.1V-9B-Thinking, d’autres modèles vision-langage et des modèles texte uniquement pour trouver la solution parfaite à vos besoins multimodaux.
Intégrer via l’API (pour les développeurs)
Connectez de manière transparente GLM-4.1V-9B-Thinking à vos applications, workflows ou chatbots avec l’API REST unifiée de Novita AI – sans avoir à gérer les poids du modèle ou l’infrastructure.
Option 1 : Intégration directe de l’API (exemple Python)
Pour commencer avec les entrées multimodales, utilisez simplement l’extrait de code ci-dessous :
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="",
)
model = "thudm/glm-4.1v-9b-thinking"
stream = True # or False
max_tokens = 4000
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Fonctionnalités clés :
- Point d’accès unifié :
/v3/openaiprend en charge le format de l’API Chat Completions d’OpenAI. - Contrôles flexibles : Ajustez la température, top-p, les pénalités, etc. pour des résultats personnalisés.
- Streaming et traitement par lots : Choisissez votre mode de réponse préféré.
Option 2 : Workflows multi-agents avec OpenAI Agents SDK
Construisez des systèmes d’agents multimodaux avancés en intégrant Novita AI avec le OpenAI Agents SDK :
Prêt à l’emploi : Utilisez GLM-4.1V-9B-Thinking dans tout workflow OpenAI Agents pour des tâches vision-langage.
Prend en charge les transferts, le routage et l’utilisation d’outils : Concevez des agents capables d’analyser du contenu visuel, de déléguer des tâches ou d’exécuter des fonctions, tous alimentés par les capacités de raisonnement de GLM-4.1V-9B-Thinking.
Intégration Python : Pointez simplement le SDK vers le point d’accès de Novita (https://api.novita.ai/v3/openai) et utilisez votre clé API pour des workflows d’agents multimodaux transparents.
Connecter l’API GLM-4.1V-9B-Thinking sur des plateformes tierces
Hugging Face : Utilisez GLM-4.1V-9B-Thinking dans Spaces, pipelines ou avec la bibliothèque Transformers via les points d’accès Novita AI pour des applications multimodales.
Cadriciels d’agents et d’orchestration : Connectez facilement Novita AI avec des plateformes partenaires comme Continue, AnythingLLM, LangChain, Dify et Langflow via des connecteurs officiels et des guides d’intégration étape par étape.
API compatible OpenAI : Profitez d’une migration et d’une intégration sans tracas avec des outils tels que Cline et Cursor, conçus pour la norme de l’API OpenAI.
Conclusion
GLM-4.1V-9B-Thinking représente une étape transformatrice dans l’IA multimodale, démontrant que des capacités de raisonnement avancées peuvent être atteintes efficacement dans un modèle de 9 milliards de paramètres. Grâce à son cadre d’entraînement RLCS innovant et à son paradigme de réflexion unique, il égalise ou dépasse des systèmes beaucoup plus grands de 72 milliards de paramètres dans divers benchmarks.
Essayez la démo de GLM-4.1V-9B-Thinking sur Novita AI dès maintenant et réclamez vos crédits gratuits !
Novita AI est une plateforme cloud IA qui offre aux développeurs un moyen simple de déployer des modèles d’IA via notre API simple, tout en fournissant un cloud GPU abordable et fiable pour construire et faire évoluer vos projets.
