¿Estás considerando desplegar GLM-4.5 de forma local pero te preocupan los sustanciales recursos de GPU necesarios? El modelo completo GLM-4.5 requiere configuraciones como 16 GPU NVIDIA H100 u 8 GPU H200 en precisión FP8, mientras que la variante más eficiente en recursos GLM-4.5-Air funciona con 2 GPU H100 o 1 GPU H200 en precisión FP8. Estas configuraciones garantizan un rendimiento óptimo y admiten la extensa longitud de contexto del modelo de hasta 128K tokens.
En este artículo, exploraremos los requisitos de VRAM de GLM-4.5, analizaremos la viabilidad del despliegue local y examinaremos métodos alternativos para utilizar de forma efectiva este potente modelo de lenguaje.
Requisitos de VRAM de GLM 4.5
GLM-4.5 es el último avance de la familia GLM, que cuenta con una sofisticada arquitectura de Mezcla de Expertos (MoE) y optimización para aplicaciones agénticas. El modelo se presenta en dos variantes: el insignia GLM-4.5 con 355 mil millones de parámetros totales (32 mil millones activos) y el eficiente GLM-4.5-Air con 106 mil millones de parámetros totales (12 mil millones activos).
Las innovaciones arquitectónicas clave incluyen una estructura de modelo más profunda con ancho reducido y mayor profundidad para mejorar el razonamiento, preentrenamiento en un corpus masivo de 15 billones de tokens para conocimientos integrales, y la infraestructura de RL de código abierto “slime” diseñada para aprendizaje por refuerzo agéntico escalable a gran escala.
De Z.AI
¿Cuánta VRAM necesita GLM 4.5 para inferencia?
Los modelos pueden ejecutarse con las configuraciones de la tabla siguiente:
| Modelo | Precisión | Tipo y cantidad de GPU | Framework de prueba |
|---|---|---|---|
| GLM-4.5 | BF16 | H100 x 16 / H200 x 8 | sglang |
| GLM-4.5 | FP8 | H100 x 8 / H200 x 4 | sglang |
| GLM-4.5-Air | BF16 | H100 x 4 / H200 x 2 | sglang |
| GLM-4.5-Air | FP8 | H100 x 2 / H200 x 1 | sglang |
Con las configuraciones de la tabla siguiente, los modelos pueden utilizar su longitud de contexto completa de 128K:
| Modelo | Precisión | Tipo y cantidad de GPU | Framework de prueba |
|---|---|---|---|
| GLM-4.5 | BF16 | H100 x 32 / H200 x 16 | sglang |
| GLM-4.5 | FP8 | H100 x 16 / H200 x 8 | sglang |
| GLM-4.5-Air | BF16 | H100 x 8 / H200 x 4 | sglang |
| GLM-4.5-Air | FP8 | H100 x 4 / H200 x 2 | sglang |
¿Cuánta VRAM necesita GLM 4.5 para ajuste fino?
El código se puede ejecutar con las configuraciones de la tabla siguiente usando Llama Factory:
| Modelo | Tipo y cantidad de GPU | Estrategia | Tamaño de lote (por GPU) |
|---|---|---|---|
| GLM-4.5 | H100 x 16 | Lora | 1 |
| GLM-4.5-Air | H100 x 4 | Lora | 1 |
El código se puede ejecutar con las configuraciones de la tabla siguiente usando Swift:
| Modelo | Tipo y cantidad de GPU | Estrategia | Tamaño de lote (por GPU) |
|---|---|---|---|
| GLM-4.5 | H20 (96GiB) x 16 | Lora | 1 |
| GLM-4.5-Air | H20 (96GiB) x 4 | Lora | 1 |
| GLM-4.5 | H20 (96GiB) x 128 | SFT | 1 |
| GLM-4.5-Air | H20 (96GiB) x 32 | SFT | 1 |
| GLM-4.5 | H20 (96GiB) x 128 | RL | 1 |
| GLM-4.5-Air | H20 (96GiB) x 32 | RL | 1 |
Uso de VRAM de GLM 4.5 con diferentes tamaños de lote
| Modelo | Precisión | Tamaño de lote (por GPU) | VRAM |
|---|---|---|---|
| GLM-4.5 | FP16 | 1 | 945.36GB |
| GLM-4.5 | FP16 | 8 | 1128.49GB |
| GLM-4.5 | FP16 | 16 | 1137.79GB |
| GLM-4.5 | FP16 | 32 | 1756.38GB |
| GLM-4.5-Air | FP16 | 1 | 288.68GB |
| GLM-4.5-Air | FP16 | 8 | 343.58GB |
| GLM-4.5-Air | FP16 | 16 | 406.33GB |
| GLM-4.5-Air | FP16 | 32 | 531.83GB |
¿Cuáles son los requisitos de hardware para GLM 4.5?
https://www.youtube.com/watch?v=grAXN76\_-Ig
- GPUs:
- Inferencia: 8 × H100/4 × H200 (FP8) o 16 × H100/8 × H200 (BF16) para el modelo completo; la mitad para la variante Air.
- Ajuste fino: GPUs con ≥ 80 GB de VRAM.
- CPU y sistema:
- ≥ 1 TB de RAM para cargar modelos y gestionar búferes de descarga.
- Interconexión de alto ancho de banda (NVLink/interruptor HPC) para paralelismo de tensores multigpu.
- Precisión:
- FP8 para un uso mínimo de VRAM (requiere GPUs con soporte nativo para FP8).
- BF16 como alternativa en GPUs sin soporte para FP8.
- Software:
- vLLM o Llama Factory para inferencia; soporte para decodificación especulativa y descarga en CPU.
Optimizar GLM 4.5 para reducir el consumo de VRAM
- Variantes de modelo: Elige GLM 4.5-Air (106 B totales/12 B activos) para configuraciones de GPU de 32 a 64 GB.
- Cuándo elegir GLM-4.5-Air ：
- Generación significativamente más rápida:
- GLM-4.5-Air alcanza una tasa de salida de alrededor de 160 tokens por segundo, casi el doble de rápido que el modelo de tamaño completo (aproximadamente 88 tokens/s). Esto hace que Air sea ideal para aplicaciones sensibles a la latencia.
- Latencia del primer token (TTFT) extremadamente baja:
- Air genera su primer token en aproximadamente 0,58 segundos, en comparación con 0,68 segundos para el modelo de tamaño completo. En algunas pruebas, la latencia del modelo completo puede alcanzar los 22 a 23 segundos al incluir el tiempo de “pensamiento”.
- Tiempo de respuesta de extremo a extremo más corto:
- Air entrega respuestas de extremo a extremo (procesamiento de entrada, inferencia y salida) en aproximadamente 16 segundos, mientras que el modelo de tamaño completo tarda casi 29 segundos, lo que hace que este último sea menos adecuado para interacciones en tiempo real.
- Puntuaciones ligeramente más bajas en tareas de razonamiento complejo:
- En puntos de referencia de razonamiento como MMLU-Pro, GPQA y AIME, Air obtiene puntuaciones entre un 2 y un 3% más bajas que el modelo de tamaño completo, pero sigue manteniendo un rendimiento líder en la industria.
- Recomendado para la mayoría de casos de uso:
- Para la mayoría de tareas de generación de texto, resumen, razonamiento básico y asistencia de código, no es necesario el modelo de tamaño completo: Air es suficiente para ofrecer un alto rendimiento y capacidad de respuesta.
- Generación significativamente más rápida:
- Descarga de capas: Descarga expertos MoE seleccionados o capas de alimentación hacia adelante a la memoria de la CPU.
- Cuantización de KV-Cache: Reduce la precisión de la caché para ahorrar VRAM con un costo de calidad mínimo.
- Tamaño de lote = 1: Limita la inferencia a una sola muestra por GPU para minimizar las activaciones.
Otra opción rentable: API
Aquí tienes una comparación simplificada entre desplegar GLM 4.5 a través de una API y ejecutarlo de forma local:
| Aspecto | Despliegue por API | Despliegue local |
|---|---|---|
| Coste | Precio por uso; por ejemplo, tokens de entrada a $0,6 por millón y tokens de salida a ¥2,2 por millón en Novita AI | Alta inversión inicial en hardware (por ejemplo, GPU NVIDIA A100); costos potencialmente más bajos con el tiempo para usos intensivos. |
| Rendimiento | Escalable con posible latencia de red; adecuado para aplicaciones donde se aceptan pequeños retrasos. | Latencia baja y rendimiento constante; ideal para aplicaciones en tiempo real que requieren respuestas inmediatas. |
| Escalabilidad | Fácilmente escalable sin gestionar infraestructura; el proveedor se encarga de la escalabilidad. | La escalabilidad requiere hardware adicional y gestión de infraestructura. |
| Privacidad de datos | Los datos se procesan de forma externa, lo que puede generar preocupaciones de privacidad, especialmente en industrias reguladas. | Los datos se mantienen en la empresa, ofreciendo un mayor control y cumplimiento de las normativas de protección de datos. |
| Complejidad operativa | Configuración y mantenimiento mínimos; el proveedor gestiona las actualizaciones y la infraestructura. | Requiere experiencia técnica para la configuración, el mantenimiento y la seguridad; ofrece una mayor personalización. |
| Personalización | Limitado a las configuraciones del proveedor; menos flexibilidad para necesidades específicas. | Control total sobre la personalización del modelo, el ajuste fino y la integración con sistemas existentes. |
| Adecuación para casos de uso | Ideal para aplicaciones con uso variable o bajo, necesidades de desarrollo rápido o recursos técnicos limitados. | Mejor para aplicaciones con uso alto y constante, requisitos estrictos de privacidad de datos o necesidad de una personalización extensa. |
¿Cómo acceder a GLM 4.5 a través de Novita AI？
Novita AI proporciona APIs con 131K de contexto, y costos de $0,6/entrada y $2,2/salida, ofreciendo un fuerte apoyo para maximizar el potencial del agente de código de GLM 4.5.
Novita AI
Paso 1: Inicia sesión y accede a la biblioteca de modelos
Inicia sesión en tu cuenta y haz clic en el botón Biblioteca de modelos.
Paso 2: Elige tu modelo
Explora las opciones disponibles y selecciona el modelo que se adapte a tus necesidades.
Paso 3: Inicia tu prueba gratuita
Comienza tu prueba gratuita para explorar las capacidades del modelo seleccionado.
Paso 4: Obtén tu clave de API
Para autenticarte con la API, te proporcionaremos una nueva clave de API. Al entrar en la página de “Configuración”, puedes copiar la clave de API como se indica en la imagen.
Paso 5: Instala la API
Instala la API usando el gestor de paquetes específico de tu lenguaje de programación.
Después de la instalación, importa las bibliotecas necesarias en tu entorno de desarrollo. Inicializa la API con tu clave de API para empezar a interactuar con el LLM de Novita AI. Este es un ejemplo de uso de la API de finalización de chat para usuarios de Python.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="session_UsudmdAIggvSInjIdO2HWaTCyXxTFOXDV8TH8UCPbA576Rs4AGqSA5ThNbelSDgdEGAWQcWXnAU2bHi5BueceA==",
)
model = "zai-org/glm-4.5"
stream = True # or False
max_tokens = 65536
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
GLM-4.5 y su variante Air ofrecen soluciones potentes para aplicaciones agénticas, con distintos requisitos de VRAM para adaptarse a diferentes escenarios de despliegue. Evaluar tus necesidades y recursos específicos te guiará para elegir entre el despliegue local y las soluciones basadas en API.
Preguntas frecuentes
¿Quién debe usar GLM 4.5?
GLM-4.5 es ideal para desarrolladores, investigadores y empresas que buscan capacidades avanzadas de agentes de IA, especialmente para tareas de programación, automatización y gestión de conocimientos.
¿Qué es GLM-4.5?
GLM-4.5 es un modelo de lenguaje grande avanzado con arquitectura de Mezcla de Expertos, optimizado para aplicaciones agénticas que requieren razonamiento complejo e integración de herramientas.
¿Puedo desplegar GLM-4.5 sin hardware extenso?
Sí, utilizar GLM-4.5 a través de una API es una alternativa que reduce la necesidad de una importante inversión en hardware, aunque puede implicar consideraciones sobre privacidad de datos y latencia de red.
Novita AI es una plataforma de IA en la nube que ofrece a los desarrolladores una forma sencilla de desplegar modelos de IA mediante nuestra API simple, además de proporcionar una nube de GPU asequible y fiable para construir y escalar.
