GLM 4.5V VS GLM 4.1V : Un bond en avant dans les capacités multimodales et de raisonnement

GLM-4.5V représente un bond en avant significatif par rapport à GLM-4.1V, offrant une évolutivité améliorée, des capacités multimodales et une efficacité des coûts. En intégrant des experts spécialisés par domaine, des modules de vision avancés et une architecture de Mélange d’Experts (MoE), GLM-4.5V excelle dans des tâches telles que la compréhension de documents, l’OCR vidéo en temps réel et la génération de contenu multimodale, ce qui en fait une solution polyvalente et adaptée aux développeurs.

Fonctionnalités de GLM 4.5V absentes de GLM 4.1V

GLM-4.5V fait preuve d’une polyvalence et d’une intégration d’outils significativement supérieures par rapport à GLM-4.1V. Il simplifie des tâches qui nécessitaient auparavant plusieurs modèles spécialisés, gérant tout de la reconnaissance d’image de base à l’analyse vidéo complexe et au traitement de documents au sein d’un seul système. Par exemple, GLM-4.5V peut générer du code front-end à partir d’une capture d’écran de page web ou analyser une image de carte pour en extraire des indices de géolocalisation. Sa capacité à intégrer le raisonnement avec des outils externes et à produire des sorties structurées le distingue de GLM-4.1V, faisant de 4.5V une plateforme d’IA multimodale plus adaptée aux développeurs et plus évolutive.

GLM 4.5V vs GLM 4.1V : Comparaison des architectures

Aspect	GLM-4.1V	GLM-4.5V
Échelle	9 milliards de paramètres, transformateur dense.	106 milliards au total, 12 milliards actifs via Mélange d’Experts (MoE).
Spécialisation	Modèle généraliste.	Experts spécialisés par domaine via MoE pour de meilleures performances sur les tâches.
Modules de vision	Traitement d’images 2D uniquement.	Ajout de convolutions 3D pour la reconnaissance vidéo et d’interfaces graphiques.
Encodage du contexte	RoPE 2D pour ~64k tokens.	RoPE 3D pour 64k tokens + entrées multidimensionnelles
Modèle de base	Basé sur GLM-4 (9B).	Construit sur GLM-4.5-Air, avec des capacités linguistiques et multimodales améliorées.

GLM 4.5V vs GLM 4.1V : Comparaison des benchmarks

Source : Hugging Face

Réalisations de GLM-4.1V :

• A surpassé des modèles plus grands comme Qwen-2.5-VL (7B) et a rivalisé avec Qwen-72B malgré sa taille plus petite.
• A défini l’état de l’art pour les modèles à petite échelle avant 2025.

Progrès de GLM-4.5V :

• A surpassé les modèles ouverts de sa gamme de paramètres et a surpassé certains modèles plus grands.
• A battu Step-3 (321 milliards de paramètres) sur plusieurs benchmarks clés, démontrant son efficacité et sa précision.

Points forts clés de GLM-4.5V :

• Excelle dans les questions-réponses visuelles générales, le raisonnement STEM et l’OCR de documents longs.
• Tire parti de l’architecture MoE et d’optimisations d’entraînement avancées pour des performances supérieures.

GLM 4.5V vs GLM 4.1V : Comparaison des exigences matérielles

Aspect	GLM-4.1V	GLM-4.5V
Exigences en VRAM	24 Go (par exemple NVIDIA A100 40 Go, RTX 4090)	80 Go par GPU ; nécessite généralement 8 GPU de 80 Go pour un déploiement complet.
Configuration GPU	Un seul GPU haut de gamme suffit.	Configuration multi-GPU (par exemple 8 GPU) ou clusters de GPU cloud requis.
Compatibilité CPU	Peut fonctionner sur CPU (non temps réel) avec des optimisations.	Pas conçu pour fonctionner sur CPU ; nécessite du matériel avancé ou des solutions basées sur le cloud.
Options de quantification	Prend en charge la quantification 16 bits, 8 bits et même 4 bits pour réduire la mémoire.	Propose des versions optimisées en mémoire (par exemple quantification FP8) pour alléger les exigences matérielles.

En offrant un mode de raisonnement flexible et des ajustements efficaces vitesse/précision, GLM-4.5V minimise les exigences matérielles, ce qui le rend adapté à la fois aux cas d’usage haute performance et aux cas d’usage temps réel légers.

GLM 4.5V vs GLM 4.1V : Comparaison des applications

GLM 4.5V

1. Compréhension de documents

• Reconnaît et analyse le texte dans des documents complexes.
• Gère l’écriture manuscrite, les tampons, les filigranes et les distorsions.
• Extrait les informations clés et génère des résumés structurés. 2. Reconnaissance et reconstruction de tableaux
• Traite des tableaux complexes avec des cellules fusionnées et des structures imbriquées.
• Déduit les données manquantes et garantit la cohérence.
• Convertit les tableaux basés sur des images en Excel, CSV, etc. 3. Génération de contenu multimodale
• Génère des rapports et des résumés basés sur du texte reconnu, des graphiques ou des images.
• Fournit des analyses de tendances et des recommandations exploitables.
• Prend en charge la création à partir de notes manuscrites ou de formulaires. 4. OCR vidéo en temps réel
• Extrait les sous-titres et le texte à l’écran des flux vidéo.
• Suit le texte en mouvement dynamiquement et s’adapte aux changements de scène.
• Reconnaît plusieurs langues en temps réel.

GLM 4.1V

1. Outils éducatifs
   • Idéal pour enseigner le raisonnement IA étape par étape avec analyse d’image.
   • Produit à la fois des réponses et des raisonnements, aidant à comprendre la prise de décision de l’IA.
2. Applications sensibles
   • Utile dans des domaines comme l’analyse d’images médicales où la transparence et les explications de chaîne de pensée sont critiques.
3. Systèmes légers
   • Peut être déployé sur des applications web simples ou des appareils avec des ressources backend minimales.
4. Expérimentation et recherche
   • La taille compacte du modèle le rend accessible aux chercheurs et développeurs disposant de puissance de calcul limitée.
5. Systèmes de tutorat
   • Permet des capacités vision-langage pour des environnements d’apprentissage interactifs.

Essayez GLM4.5V et GLM 4.1V dès maintenant !

Avantages coûts de GLM 4.5V

Haute performance d’après le test LLMOCR

• Précision globale : 98,7 % sur 1000 documents de types mixtes.
• Points forts spécifiques :
  • Reconnaissance chinoise : 99,3 %.
  • Reconnaissance anglaise : 98,9 %.
  • Restauration de tableaux : 97,5 %.
  • Reconnaissance d’écriture manuscrite : 96,8 %.
• Efficacité : Traite les documents en 0,42 seconde par page avec un taux de succès des appels API de 99,95 %.

Efficacité des coûts

• Coût moyen : ¥0,015 par page.
• Économies :
  • Réduction de 73 % des coûts par rapport à GPT-4V.
  • Réduction de 65 % des coûts par rapport à Claude-3.

Novita AI : un fournisseur d’API GLM 4.5V plus rentable et stable

L’API GLM-4.5V de Novita AI offre un contexte de 65,5K tokens, avec un tarif de 0,60 $/1K tokens en entrée, 1,80 $/1K tokens en sortie, et prend en charge l’appel de fonctions et les sorties structurées.

Étape 1 : Connectez-vous et accédez à la bibliothèque de modèles

Connectez-vous à votre compte et cliquez sur le bouton Bibliothèque de modèles.

Essayez GLM4.5V et GLM 4.1V dès maintenant !

Étape 2 : Choisissez votre modèle

Parcourez les options disponibles et sélectionnez le modèle qui correspond à vos besoins.

Étape 3 : Démarrez votre essai gratuit

Commencez votre essai gratuit pour explorer les capacités du modèle sélectionné.

Étape 4 : Récupérez votre clé API

Pour vous authentifier auprès de l’API, nous vous fournirons une nouvelle clé API. En accédant à la page « Paramètres », vous pouvez copier la clé API comme indiqué sur l’image.

Étape 5 : Installez l’API

Installez l’API à l’aide du gestionnaire de paquets spécifique à votre langage de programmation.

Après l’installation, importez les bibliothèques nécessaires dans votre environnement de développement. Initialisez l’API avec votre clé API pour commencer à interagir avec Novita AI LLM. Voici un exemple d’utilisation de l’API de complétion de chat pour les utilisateurs Python.

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/openai",
    api_key="session_rDfpD7GWNXFvnoIbmYNFkVlStqevDItFJac__3tAuw3ZiENHe3wm498Kv9rZEc5JhZgEJ7c9To5Y3EmZZewMbw==",
)

model = "zai-org/glm-4.5v"
stream = True # or False
max_tokens = 32768
system_content = "Be a helpful assistant"
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  
  

Construire un outil simple de reconnaissance d’images avec MCP et GLM

Si vous souhaitez tirer parti des capacités de GLM — comme la construction d’un outil simple de reconnaissance d’images pour démontrer son intégration de reconnaissance visuelle et de raisonnement — vous pouvez utiliser la fonctionnalité MCP prise en charge par Novita AI. Voici un exemple de code :

import os
import sys
from mcp.server.fastmcp import FastMCP
import requests
import uvicorn
from starlette.applications import Starlette
from starlette.routing import Mount

base_url = "https://api.novita.ai/v3"
headers = {
    "Content-Type": "application/json",
    "Authorization": f"Bearer {os.environ['NOVITA_API_KEY']}"
}

mcp = FastMCP("Novita_API")

@mcp.tool()
def list_models() -> str:
    """
    List all available models from the Novita API.
    """
    url = base_url + "/openai/models"
    response = requests.request("GET", url, headers=headers)
    data = response.json()["data"]

    text = ""
    for i, model in enumerate(data, start=1):
        text += f"Model id: {model['id']}\
"
        text += f"Model description: {model['description']}\
"
        text += f"Model type: {model['model_type']}\
\
"

    return text

@mcp.tool()
def get_model(model_id: str, message) -> str:
    """
    Provide a model ID and a message to get a response from the Novita API.
    """
    url = base_url + "/openai/chat/completions"
    payload = {
        "model": model_id,
        "messages": [
            {
                "content": message,
                "role": "user",
            }
        ],
        "max_tokens": 200,
        "response_format": {
            "type": "text",
        },
    }
    response = requests.request("POST", url, json=payload, headers=headers)
    content = response.json()["choices"][0]["message"]["content"]
    return content

@mcp.tool()
def vision_chat(model_id: str, image_url: str, question: str) -> str:
    """
    Use GLM-4.1V-9B-Thinking to answer a question about an image.
    """
    url = base_url + "/openai/chat/completions"
    payload = {
        "model": model_id,
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": image_url,
                        }
                    },
                    {
                        "type": "text",
                        "text": question,
                    }
                ]
            }
        ],
        "max_tokens": 500
    }
    response = requests.post(url, json=payload, headers=headers)
    return response.json()["choices"][0]["message"]["content"]

if __name__ == "__main__":
   # Run using stdio transport
   mcp.run(transport="stdio")

Si vous souhaitez obtenir plus de détails, vous pouvez consulter cet article : Comment construire votre premier serveur MCP avec Novita AI !

GLM-4.5V surpasse son prédécesseur GLM-4.1V sur tous les aspects : de sa capacité à traiter des visuels complexes et des documents longs aux économies de coûts et à l’optimisation matérielle supérieure. Avec son architecture améliorée et sa gamme d’applications étendue, c’est un game-changer pour les développeurs et les entreprises à la recherche d’une solution IA tout-en-un.

Quelles sont les principales améliorations architecturales de GLM-4.5V ?

GLM-4.5V introduit une architecture de Mélange d’Experts (MoE) avec 106 milliards de paramètres (12 milliards actifs), un encodage RoPE 3D et des convolutions 3D pour la reconnaissance vidéo et d’interfaces graphiques, surpassant la conception de transformateur dense de GLM-4.1V.

Comment GLM-4.5V gère-t-il les tâches multimodales ?

GLM-4.5V intègre des modules de vision avancés pour la reconnaissance vidéo 3D et d’interfaces graphiques, permettant des tâches telles que l’OCR vidéo en temps réel, l’analyse de géolocalisation et la génération de contenu multimodale.

Quelles tâches sont mieux adaptées à GLM-4.5V par rapport à GLM-4.1V ?

GLM-4.5V excelle dans la compréhension de documents (y compris l’écriture manuscrite et les filigranes), la reconstruction de tableaux, l’OCR vidéo en temps réel et la génération de contenu multimodale, des domaines où GLM-4.1V était limité.

Novita AI est la plateforme cloud tout-en-un qui concrétise vos ambitions en matière d’IA. API intégrées, serverless, instances GPU — les outils rentables dont vous avez besoin. Éliminez les contraintes d’infrastructure, commencez gratuitement et faites de votre vision IA une réalité.

Lectures recommandées

• Tutoriel : Comment accéder à Qwen2.5-VL-72B localement, via API, sur GPU cloud
• Deepseek v3 vs Llama 3.3 70b : Tâches linguistiques vs Code et mathématiques
• Qwen3 Embedding 8B : Recherche puissante, personnalisation flexible et multilingue