O GLM-4.1V-9B-Thinking é um modelo inovador de visão-linguagem com 9 bilhões de parâmetros que introduz a primeira abordagem focada em raciocínio para IA multimodal. Desenvolvido pela THUDM, este modelo alcança desempenho de ponta ao implementar um “paradigma de pensamento” único que permite processos de raciocínio transparentes e passo a passo.
Apesar de seu tamanho compacto, o GLM-4.1V-9B-Thinking iguala ou supera modelos muito maiores de 72B parâmetros em 18 tarefas de benchmark, demonstrando excepcional eficiência e capacidade em raciocínio multimodal.
Por tempo limitado, novos usuários podem receber $10 em créditos gratuitos para explorar e construir com o GLM-4.1V-9B-Thinking.
Aqui está o preço atual da API GLM-4.1V-9B-Thinking na Novita AI: $0,035 / M tokens de entrada, $0,138 / M tokens de saída
O que é o GLM-4.1V-9B-Thinking?
Modelos de Visão-Linguagem (VLMs) se tornaram componentes fundamentais dos sistemas inteligentes. À medida que as tarefas de IA do mundo real se tornam cada vez mais complexas, os VLMs precisam evoluir além da percepção multimodal básica para demonstrar capacidades avançadas de raciocínio. Essa evolução foca em melhorar a precisão, abrangência e inteligência geral — abrindo caminho para aplicações como resolução de problemas complexos, compreensão de contexto longo e agentes multimodais.
O GLM-4.1V-9B-Thinking é um Modelo de Visão-Linguagem (VLM) de próxima geração projetado para atender a essas demandas, avançando a compreensão e o raciocínio multimodal de uso geral. Construído sobre o modelo base GLM-4-9B-0414, ele introduz um “paradigma de pensamento” inovador que o diferencia.
Esse novo paradigma permite que o modelo realize raciocínio explícito e passo a passo antes de fornecer as saídas finais. Diferente dos modelos tradicionais que produzem respostas diretas, o GLM-4.1V-9B-Thinking externaliza seu processo de raciocínio, tornando-o transparente, interpretável e verificável — abrindo caminho para sistemas de IA mais confiáveis e capazes.
Principais Recursos e Inovações
Manipulação Flexível de Entrada: O modelo suporta resoluções de imagem e proporções arbitrárias. Ele integra 2D-RoPE, permitindo o processamento eficaz de imagens com proporções extremas (acima de 200:1) ou altas resoluções (acima de 4K).
Adaptação de Embedding de Posição: Para preservar as capacidades fundamentais do ViT pré-treinado, o modelo mantém embeddings de posição absoluta originais aprendíveis. Durante o treinamento, esses embeddings são dinamicamente adaptados a entradas de resolução variável via interpolação bicúbica.
Compreensão Temporal: Para conteúdo de vídeo, o modelo insere tokens de índice de tempo após cada token de quadro, onde o índice de tempo é implementado codificando o timestamp de cada quadro como uma string. Esse design informa explicitamente ao modelo os timestamps do mundo real e as distâncias temporais entre os quadros.
Suporte a Contexto Estendido: O modelo suporta comprimento de contexto de 64K e fornece capacidades bilíngues em chinês e inglês, tornando-o poderoso para compreensão de documentos longos e aplicações interculturais.
Principais Melhorias em Relação a Modelos Anteriores:
- Primeiro modelo focado em raciocínio da série, alcançando desempenho líder mundial em vários subdomínios
- Suporta comprimento de contexto de 64K
- Lida com proporções arbitrárias e resolução de imagem de até 4K
- Fornece versão de código aberto com suporte bilíngue (chinês e inglês)
Framework de Treinamento Revolucionário
O GLM-4.1V-9B-Thinking usa uma abordagem de treinamento inovadora com Aprendizado por Reforço com Amostragem por Currículo (RLCS), que aprimora sistematicamente as capacidades de raciocínio em múltiplos domínios.
Estágio 1: Fundação de Pré-treinamento
O modelo passa por pré-treinamento em larga escala para equipá-lo com fortes capacidades fundamentais, incluindo pares massivos de imagem-texto com conhecimento factual preciso, corpus acadêmico auto-curatedo com imagem e texto intercalados, e documentos e diagramas anotados.
Estágio 2: Ajuste Fino Supervisionado
Este estágio funciona como uma ponte para o aprendizado por reforço, transformando o VLM base em um capaz de inferência de cadeia de pensamento longa (CoT). Cada resposta segue uma estrutura padronizada com seções [thinking] e <answer>.
Estágio 3: Inovação em Aprendizado por Reforço
A equipe introduz o Aprendizado por Reforço com Amostragem por Currículo (RLCS) para impulsionar capacidades de raciocínio em larga escala e entre domínios. O RLCS combina aprendizado por currículo com amostragem ciente da dificuldade para melhorar a eficiência do treinamento.
Fonte: THUDM
Comparação com Outros VLMs Avançados
Fonte: THUDM
Eficiência Excepcional: Apesar de seu tamanho relativamente compacto, o GLM-4.1V-9B-Thinking supera o modelo muito maior Qwen2.5-VL-72B em 18 de 28 benchmarks. Isso inclui tarefas particularmente desafiadoras como MMStar (72,9 vs 70,8), MUIRBENCH (74,7 vs 62,9), MMMU-Pro (57,1 vs 51,1) e ChartMuseum (48,8 vs 39,6), ilustrando a eficiência e capacidade superiores do modelo.
Competitivo Contra Modelos Proprietários: Comparado ao proprietário GPT-4o, o GLM-4.1V-9B-Thinking alcança resultados superiores na maioria das tarefas, incluindo MMStar (72,9 vs 66,2), MUIRBENCH (74,7 vs 69,7), AI2D (87,9 vs 84,8), MMMU-Pro (57,1 vs 54,6), MathVista (80,7 vs 64,0) e MotionBench (59,0 vs 58,0). Esse desempenho é alcançado apesar da escala significativamente maior do GPT-4o e sua vantagem de código fechado.
Domínio em Tarefas Especializadas: O modelo mostra desempenho excepcional em tarefas de agente GUI, alcançando 72,1 no WebQuest-SingleQA (vs 60,5 para Qwen2.5-VL-72B e 57,0 para GPT-4o) e 69,0 no WebVoyageSom (vs 40,4 para Qwen2.5-VL-72B e 59,4 para GPT-4o). Em tarefas de codificação, alcança 72,5 no Flame-VLM-Code, superando significativamente o modelo de 72B (46,3) enquanto se mantém competitivo com o GPT-4o (75,0).
Eficiência de Recursos Ideal: Essas descobertas enfatizam que o GLM-4.1V-9B-Thinking oferece um excelente equilíbrio entre desempenho e eficiência. Isso o torna uma escolha atraente para implantação no mundo real onde os recursos computacionais são limitados, fornecendo uma solução prática e poderosa sob restrições de recursos, mantendo um desempenho competitivo contra sistemas muito maiores.
Explore a Demonstração do GLM-4.1V-9B-Thinking Agora
Requisitos de Runtime
A arquitetura eficiente do modelo permite opções de implantação flexíveis em várias configurações de hardware com base nas especificações oficiais.
Inferência
Dispositivo (GPU Única) |
Framework | Memória Mínima | Velocidade | Precisão |
|---|---|---|---|---|
| NVIDIA A100 | transformers | 22GB | 14 - 22 Tokens / s | BF16 |
| NVIDIA A100 | vLLM | 22GB | 60 - 70 Tokens / s | BF16 |
Ajuste Fino
Os resultados a seguir são baseados no ajuste fino de imagem usando o kit de ferramentas LLaMA-Factory.
| Dispositivo (Cluster) | Estratégia | Memória Mínima / # de GPUs | Tamanho do Lote (por GPU) | Congelamento |
|---|---|---|---|---|
| NVIDIA A100 | LORA | 21GB / 1 GPU | 1 | Congelar VIT |
| NVIDIA A100 | FULL ZERO2 | 280GB / 4 GPUs | 1 | Congelar VIT |
| NVIDIA A100 | FULL ZERO3 | 192GB / 4 GPUs | 1 | Congelar VIT |
| NVIDIA A100 | FULL ZERO2 | 304GB / 4 GPUs | 1 | Sem Congelamento |
| NVIDIA A100 | FULL ZERO3 | 210GB / 4 GPUs | 1 | Sem Congelamento |
Nota: O ajuste fino com Zero2 pode resultar em perda zero; recomenda-se Zero3 para treinamento estável.
Como Acessar o GLM-4.1V-9B-Thinking na Novita AI
Começar com o GLM-4.1V-9B-Thinking é rápido, simples e sem riscos na Novita AI. Graças ao Programa de Indicação, você receberá US$ 10 em créditos gratuitos — o suficiente para explorar totalmente o poder de raciocínio multimodal do GLM-4.1V-9B-Thinking, construir protótipos e até lançar seu primeiro caso de uso sem custo inicial.
Use o Playground (Sem Necessidade de Codificação)
Acesso Instantâneo: Cadastre-se, solicite seus créditos gratuitos e comece a experimentar o GLM-4.1V-9B-Thinking e outros modelos multimodais de ponta em segundos.
UI Interativa: Teste a compreensão de imagens, análise de gráficos e fluxos de trabalho de raciocínio transparente em tempo real. Experimente o paradigma de pensamento único do modelo através da interface intuitiva.
Comparação de Modelos: Alterne facilmente entre GLM-4.1V-9B-Thinking, outros modelos de visão-linguagem e modelos apenas de texto para encontrar a opção perfeita para suas necessidades multimodais.
Integre via API (Para Desenvolvedores)
Conecte perfeitamente o GLM-4.1V-9B-Thinking aos seus aplicativos, fluxos de trabalho ou chatbots com a API REST unificada da Novita AI — sem necessidade de gerenciar pesos de modelo ou infraestrutura.
Opção 1: Integração Direta com API (Exemplo em Python)
Para começar com entradas multimodais, basta usar o trecho de código abaixo:
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="",
)
model = "thudm/glm-4.1v-9b-thinking"
stream = True # or False
max_tokens = 4000
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Principais Recursos:
- Endpoint unificado:
/v3/openaisuporta o formato da API Chat Completions da OpenAI. - Controles flexíveis: Ajuste temperatura, top-p, penalidades e mais para resultados personalizados.
- Streaming e lote: Escolha seu modo de resposta preferido.
Opção 2: Fluxos de Trabalho Multiagente com OpenAI Agents SDK
Construa sistemas avançados de agentes multimodais integrando a Novita AI com o OpenAI Agents SDK:
Plug-and-play: Use GLM-4.1V-9B-Thinking em qualquer fluxo de trabalho do OpenAI Agents para tarefas de visão-linguagem.
Suporte a handoffs, roteamento e uso de ferramentas: Projete agentes que podem analisar conteúdo visual, delegar tarefas ou executar funções, todos alimentados pelas capacidades de raciocínio do GLM-4.1V-9B-Thinking.
Integração Python: Basta apontar o SDK para o endpoint da Novita (https://api.novita.ai/v3/openai) e usar sua chave de API para fluxos de trabalho multimodais de agentes perfeitos.
Conecte a API GLM-4.1V-9B-Thinking em Plataformas de Terceiros
Hugging Face: Use GLM-4.1V-9B-Thinking em Spaces, pipelines ou com a biblioteca Transformers através dos endpoints da Novita AI para aplicações multimodais.
Frameworks de Agentes e Orquestração: Conecte facilmente a Novita AI com plataformas parceiras como Continue, AnythingLLM, LangChain, Dify e Langflow através de conectores oficiais e guias de integração passo a passo.
API Compatível com OpenAI: Desfrute de migração e integração sem complicações com ferramentas como Cline e Cursor, projetadas para o padrão da API OpenAI.
Conclusão
O GLM-4.1V-9B-Thinking representa um marco transformador na IA multimodal, demonstrando que capacidades avançadas de raciocínio podem ser alcançadas eficientemente em um modelo de 9 bilhões de parâmetros. Através de seu framework de treinamento RLCS inovador e paradigma de pensamento único, ele iguala ou supera sistemas muito maiores de 72B parâmetros em diversos benchmarks.
Experimente a demonstração do GLM-4.1V-9B-Thinking na Novita AI agora e solicite seus créditos gratuitos!
Novita AI é uma plataforma de nuvem de IA que oferece aos desenvolvedores uma maneira fácil de implantar modelos de IA usando nossa API simples, além de fornecer nuvem GPU acessível e confiável para construir e escalar.
