GLM-4.6V en Novita AI: IA de visión con llamada nativa a funciones

GLM-4.6V en Novita AI: IA de visión con llamada nativa a funciones

GLM-4.6V ya está disponible en la plataforma de Novita AI, incorporando el avanzado modelo de visión-lenguaje de Zhipu AI con capacidades multimodales revolucionarias. Con 106B parámetros en su versión base y una ventana de contexto de 128K tokens, GLM-4.6V alcanza un rendimiento de última generación en comprensión visual entre modelos de escalas de parámetros similares.

Esta última versión integra por primera vez la capacidad nativa de llamada a funciones (Function Calling), cerrando efectivamente la brecha entre la percepción visual y la acción ejecutable. Ya sea que estés construyendo agentes multimodales, procesando documentos complejos o desarrollando aplicaciones de edición visual, GLM-4.6V ofrece las capacidades que necesitas a través de la infraestructura amigable para desarrolladores de Novita AI.

Prueba la demo de GLM-4.6V

¿Qué es GLM-4.6V?

GLM-4.6V es el avanzado modelo de visión-lenguaje de Zhipu AI que ofrece capacidades integrales de comprensión y generación multimodal. Parte de la familia de modelos GLM-V, representa un avance significativo en la conexión de la percepción visual con la inteligencia procesable mediante la integración nativa de llamada a funciones.

Arquitectura de modelo dual: GLM-4.6V se presenta en dos versiones: el modelo base de 106B parámetros diseñado para clústeres de alto rendimiento y la nube, y GLM-4.6V-Flash con 9B parámetros optimizado para despliegue local y aplicaciones de baja latencia. Ambos modelos ofrecen potentes capacidades multimodales adaptadas a diferentes necesidades de despliegue.

Ventana de contexto extendida: GLM-4.6V cuenta con una ventana de contexto de 128K tokens, permitiendo procesar entradas de múltiples documentos o documentos largos, interpretando directamente páginas formateadas como imágenes. Este contexto ampliado permite manejar documentos complejos y con muchas imágenes sin necesidad de conversión previa a texto plano.

Llamada nativa a funciones: Por primera vez en la serie GLM-V, GLM-4.6V integra capacidades nativas de llamada a funciones. Este avance tiende un puente efectivo entre la percepción visual y la acción ejecutable, proporcionando una base técnica unificada para agentes multimodales en escenarios empresariales reales.

Rendimiento de última generación: GLM-4.6V alcanza un rendimiento de última generación en comprensión visual entre modelos de escalas de parámetros similares en los principales benchmarks multimodales, demostrando capacidades excepcionales en el procesamiento y comprensión de información visual.

Características y capacidades clave

GLM-4.6V introduce varias capacidades especializadas que lo hacen particularmente efectivo para aplicaciones multimodales.

Comprensión documental multimodal

GLM-4.6V procesa hasta 128K tokens de entradas de múltiples documentos o documentos largos, interpretando directamente páginas formateadas como imágenes. El modelo comprende texto, diseño, gráficos, tablas y figuras de forma conjunta, permitiendo una comprensión precisa de documentos visuales complejos. Esta capacidad elimina la necesidad de preprocesamiento o extracción de texto, permitiendo el análisis directo de PDFs, informes, presentaciones y otros documentos visuales.

Replicación frontend y edición visual

El modelo reconstruye HTML/CSS con precisión de píxeles a partir de capturas de pantalla de interfaz de usuario y admite ediciones guiadas por lenguaje natural. GLM-4.6V detecta visualmente el diseño, los componentes y los estilos, genera código limpio y aplica modificaciones visuales iterativas mediante instrucciones simples del usuario. Esto lo hace valioso para prototipado rápido, flujos de trabajo de diseño a código y generación automatizada de UI.

Generación de contenido intercalado de imagen y texto

GLM-4.6V admite la creación de contenido mixto de alta calidad a partir de entradas multimodales complejas. El modelo toma contexto multimodal que abarca documentos, entradas de usuario e imágenes recuperadas por herramientas, y luego sintetiza un contenido intercalado coherente de imagen y texto adaptado a la tarea. Durante la generación, puede invocar activamente herramientas de búsqueda y recuperación para recopilar y curar texto e imágenes adicionales, produciendo contenido rico y visualmente fundamentado.

Integración nativa de herramientas

Las capacidades integradas de llamada a funciones permiten a GLM-4.6V invocar de forma autónoma herramientas externas durante el procesamiento. Esto permite al modelo obtener información en tiempo real, acceder a bases de datos, recuperar imágenes o desencadenar acciones basadas en análisis visual. La integración nativa lo hace particularmente efectivo para construir sistemas de agentes multimodales sofisticados.

Rendimiento y arquitectura

GLM-4.6V demuestra un rendimiento sólido en evaluaciones multimodales exhaustivas.

Arquitectura del modelo

GLM-4.6V emplea una arquitectura sofisticada optimizada para la comprensión multimodal, basándose en los fundamentos técnicos de la serie GLM-V:

  • Modelo base (GLM-4.6V): 106B parámetros totales diseñado para despliegue en la nube y máxima capacidad
  • Modelo ligero (GLM-4.6V-Flash): 9B parámetros optimizado para despliegue periférico y latencia reducida
  • Longitud de contexto: 128K tokens para procesar entradas multimodales extensas
  • Codificador de visión: Tamaño de parche espacial de 14 con tamaño de parche temporal de 2 para un procesamiento visual eficiente

Primeros pasos con GLM-4.6V en Novita AI

Novita AI ofrece múltiples formas de acceder a GLM-4.6V, diseñadas para diferentes niveles de habilidad y casos de uso.

Usa el Playground (Sin necesidad de programar)

Regístrate y comienza a experimentar con GLM-4.6V en segundos a través de una interfaz interactiva. Sube imágenes o documentos, prueba mensajes multimodales y observa las salidas en tiempo real con la ventana de contexto completa de 128K tokens. Perfecto para prototipado y para comprender lo que el modelo puede hacer antes de construir implementaciones completas.

Integración vía API (Para desarrolladores)

Conecta GLM-4.6V a tus aplicaciones utilizando la API REST unificada de Novita AI.

Integración directa con la API (Ejemplo en Python)

from openai import OpenAI

client = OpenAI(
    api_key="<Tu Clave API>",
    base_url="https://api.novita.ai/openai"
)

response = client.chat.completions.create(
    model="zai-org/glm-4.6v",
    messages=[
        {"role": "system", "content": "Eres un asistente útil."},
        {"role": "user", "content": "Hola, ¿cómo estás?"}
    ],
    max_tokens=32768,
    temperature=0.7
)

print(response.choices[0].message.content)

Flujos de trabajo multiagente con OpenAI Agents SDK

Construye sistemas de agentes multimodales sofisticados con integración plug-and-play, soporte para handoffs, enrutamiento e integración de herramientas con llamada nativa a funciones y la ventana de contexto completa de 128K tokens.

Conéctate con plataformas de terceros

Frameworks de agentes: Conecta fácilmente Novita AI con plataformas asociadas como Continue, AnythingLLM, LangChain, Dify y Langflow a través de conectores oficiales y guías de integración paso a paso.

Hugging Face: Novita AI es un proveedor de inferencia oficial para Hugging Face, asegurando una amplia compatibilidad del ecosistema.

API compatible con OpenAI: Disfruta de una migración e integración sin complicaciones con herramientas como Cline, Cursor, Trae y Qwen Code, diseñadas para el estándar de la API de OpenAI.

API compatible con Anthropic: Integra sin problemas con Claude Code para flujos de trabajo de codificación agentiva y otras herramientas compatibles con la API de Anthropic.

Conclusión

GLM-4.6V en Novita AI ofrece el avanzado modelo de visión-lenguaje de Zhipu AI con 106B parámetros y ventana de contexto de 128K tokens, alcanzando un rendimiento de última generación en comprensión multimodal. Con integración nativa de llamada a funciones y capacidades especializadas para análisis de documentos, replicación de UI y generación de contenido mixto, GLM-4.6V proporciona una base unificada para construir aplicaciones multimodales de IA sofisticadas.

Empieza a explorar GLM-4.6V hoy mismo a través del playground, la API de Novita AI o las integraciones de terceros para mejorar tus aplicaciones con comprensión visual avanzada, procesamiento de documentos y capacidades de razonamiento multimodal. Construye la próxima generación de soluciones potenciadas por IA con la inteligencia de visión-lenguaje innovadora de GLM-4.6V.

Novita AI es una plataforma líder de nube de IA que proporciona a los desarrolladores APIs fáciles de usar e infraestructura de GPU asequible y confiable para construir y escalar aplicaciones de IA.