Blog de Novita AI

Revolucionando la inferencia de modelos de lenguaje grandes: decodificación especulativa y cuantización de baja precisión

Compresión dinámica de KV Cache basada en el framework vLLM

Asignación dinámica de recursos GPU para cargas de trabajo en Kubernetes

Agregar dinámicamente asignaciones de puertos a contenedores Docker en ejecución

Métodos de Cuantización para una Aceleración de 100X en la Inferencia de Modelos de Lenguaje Grande