Desplegar el modelo ASR NVIDIA Nemotron Speech en una instancia GPU de Novita AI

El reconocimiento de voz en tiempo real exige algo más que precisión: requiere una latencia baja constante sin consumir ciclos de GPU innecesariamente.

El modelo ASR NVIDIA Nemotron Speech resuelve la deriva de latencia y el cómputo redundante gracias a su arquitectura de streaming consciente de caché. Esto elimina la necesidad de inferencia con búfer, ofreciendo una latencia estable por debajo de 100 ms (mediana de 24 ms en tiempo hasta el primer token) y hasta 3 veces más rendimiento en tu GPU.

Esta guía te muestra cómo desplegar NVIDIA Nemotron Speech ASR en instancias GPU de Novita AI usando nuestra plantilla preconfigurada. Crea aplicaciones de voz de nivel productivo sin la complejidad de la infraestructura.

¿Qué es NVIDIA Nemotron Speech ASR?

NVIDIA Nemotron Speech ASR es un modelo de reconocimiento automático del habla (ASR) en streaming diseñado para aplicaciones en tiempo real con latencia mínima.

Los sistemas ASR tradicionales dependen de fragmentos de audio almacenados en búfer, lo que genera deriva de latencia y un uso ineficiente de la GPU. Nemotron Speech ASR utiliza streaming consciente de caché para procesar el audio de forma continua sin retrasos por búfer.

Especificaciones de NVIDIA Nemotron Speech ASR:

• Arquitectura: ASR en streaming consciente de caché con Conformer-CTC
• Rendimiento de latencia: Procesamiento extremo a extremo por debajo de 100 ms
• Tiempo hasta el primer token: Latencia mediana de 24 ms
• Mejora de rendimiento: Hasta 3 veces frente a la inferencia con búfer
• Idiomas compatibles: Inglés (variante de 0,6B parámetros)
• Tamaño del modelo: 600M parámetros optimizados para streaming

La arquitectura de streaming consciente de caché elimina la deriva de latencia y el cómputo redundante, lo que hace que NVIDIA Nemotron Speech ASR sea ideal para transcripción en vivo, asistentes de voz, análisis de centros de llamadas y aplicaciones de IA interactivas.

¿Qué es NVIDIA NeMo Framework?

NVIDIA NeMo Framework es un framework de IA generativa escalable y nativo de la nube para investigadores y desarrolladores de PyTorch.

NeMo Framework admite el desarrollo en múltiples dominios de IA:

• Modelos de lenguaje grandes (LLM)
• Modelos multimodales (MM)
• Reconocimiento automático del habla (ASR)
• Texto a voz (TTS)
• Visión por computador (CV)

El framework te ayuda a crear, personalizar y desplegar modelos de IA generativa de manera eficiente aprovechando código existente y puntos de control de modelos preentrenados.

NVIDIA Nemotron Speech ASR está construido sobre NeMo Framework, proporcionando capacidades ASR listas para producción con una configuración mínima.

Para documentación técnica completa, consulta la Guía de usuario de NeMo Framework.

¿Por qué desplegar Nemotron Speech ASR en Novita AI?

Las instancias GPU de Novita AI proporcionan una infraestructura optimizada para desplegar NVIDIA Nemotron Speech ASR a escala:

Despliegue rápido: Lanza instancias GPU en segundos con plantillas NeMo preconfiguradas. No es necesaria configuración manual del entorno.

Precios rentables: Facturación por segundo sin contratos a largo plazo ni compromisos mínimos. Escala hacia arriba o hacia abajo según la demanda.

Plantillas preconfiguradas: NeMo Framework y las dependencias vienen preinstaladas. Empieza a ejecutar Nemotron Speech ASR de inmediato.

Infraestructura global: Acceso a GPU de baja latencia en múltiples regiones para despliegue mundial.

Herramientas para desarrolladores: Monitorización en tiempo real, acceso SSH y despliegue sencillo de plantillas desde la biblioteca de Novita AI.

Ya sea que estés prototipando un asistente de voz o escalando una tubería de transcripción de producción, Novita AI gestiona la infraestructura GPU para que puedas centrarte en crear aplicaciones ASR.

Prerrequisitos para el despliegue

Antes de desplegar NVIDIA Nemotron Speech ASR, asegúrate de tener:

• Cuenta de Novita AI con créditos suficientes (regístrate aquí)
• Archivos de audio de prueba en formato WAV para validar el modelo
• Conocimientos básicos de SSH para el acceso y configuración de la instancia
• Comprensión de los requisitos de GPU para tu carga de trabajo específica

No se requiere experiencia previa con NeMo Framework: la plantilla de Novita AI se encarga de la configuración inicial.

Despliega Nemotron Speech ASR: Guía paso a paso

Paso 1: Accede a la consola de Novita AI

Inicia sesión en tu cuenta de Novita AI y navega hasta la interfaz de GPU.

Selecciona Comenzar para acceder al panel de gestión de despliegues.

Paso 2: Selecciona la plantilla Nemotron Speech ASR

Localiza Nemotron Speech ASR en el repositorio de plantillas y haz clic para iniciar la instalación.

Acceso directo a la plantilla: https://novita.ai/templates-library/108969

La plantilla incluye configuraciones preconfiguradas de NeMo Framework y parámetros optimizados para el despliegue de Nemotron Speech ASR.

Paso 3: Configura los ajustes de la instancia GPU

Configura los parámetros de tu instancia GPU:

• Asignación de memoria: Según los flujos de audio simultáneos esperados
• Requisitos de almacenamiento: Espacio suficiente para los archivos del modelo y el procesamiento de audio
• Configuración de red: Elige según tu región geográfica
• Selección de GPU: Elige según los requisitos de rendimiento

Haz clic en Desplegar para continuar con tu configuración.

Paso 4: Revisa la configuración y despliega

Revisa el resumen de configuración de tu instancia:

• Tipo y cantidad de GPU
• Asignación de memoria y almacenamiento
• Región de red
• Costes estimados

Verifica todos los ajustes y haz clic en Desplegar para iniciar la creación de la instancia.

Paso 5: Supervisa la creación de la instancia

Después de iniciar el despliegue, Novita AI te redirige automáticamente a la página de gestión de instancias.

Tu instancia de Nemotron Speech ASR se crea en segundo plano mientras supervisas el progreso.

Paso 6: Sigue el progreso de la descarga

Supervisa la descarga de la imagen de NeMo Framework en tiempo real.

El estado de la instancia cambia de Descargando a Ejecutando cuando el despliegue se completa.

Haz clic en el icono de flecha junto al nombre de tu instancia para obtener información detallada del progreso.

Paso 7: Verifica el estado del despliegue

Haz clic en el botón Registros para ver los registros de inicio de la instancia.

Verifica que los servicios de NeMo se hayan inicializado correctamente y que Nemotron Speech ASR esté listo para la inferencia.

Instala las dependencias de NeMo Framework

Una vez que tu instancia GPU esté en ejecución, conéctate por SSH para instalar las dependencias necesarias.

Instala dependencias del sistema y el kit de herramientas NeMo

Ejecuta los siguientes comandos para configurar tu entorno:

apt-get update && apt-get install -y libsndfile1 ffmpeg 
pip install Cython packaging
pip install git+https://github.com/NVIDIA/NeMo.git@main#egg=nemo_toolkit[asr]

Desglose de dependencias:

• libsndfile1: Biblioteca de E/S de archivos de audio para procesar WAV
• ffmpeg: Framework multimedia para conversión de audio
• Cython: Optimización de rendimiento para código Python
• nemo_toolkit[asr]: NeMo Framework con módulos específicos de ASR

La instalación se completa en 5-10 minutos dependiendo de la velocidad de la red.

Ejecuta el modelo NVIDIA Nemotron Speech ASR

Descarga el modelo Nemotron Speech ASR

Descarga NVIDIA Nemotron Speech ASR desde el repositorio oficial de Hugging Face.

El formato del archivo del modelo es .nemo y contiene todos los parámetros necesarios para la inferencia.

Usa el script de inferencia oficial de NeMo

NeMo Framework proporciona un script de inferencia optimizado para ASR en streaming consciente de caché.

Script de referencia: speech_to_text_cache_aware_streaming_infer.py

Ejecuta la inferencia de Nemotron Speech ASR

Ejecuta el siguiente comando para transcribir audio:

python speech_to_text_cache_aware_streaming_infer.py \
    model_path=/yourPath/nemotron-speech-streaming-en-0.6b/nemotron-speech-streaming-en-0.6b.nemo \
    audio_file=/yourPath/audio.wav

Parámetros de inferencia

Configura estos parámetros para tu despliegue:

• model_path: Ruta completa al archivo del modelo .nemo de Nemotron Speech ASR
• audio_file: Ruta al archivo de audio de entrada (se recomienda formato WAV)

Ejemplo de salida de transcripción

Una inferencia exitosa produce una salida similar a:

[NeMo I 2026-01-09 08:13:32 speech_to_text_cache_aware_streaming_infer:282] Final streaming transcriptions: ['The English forwarded to the French baskets of flowers of which they had made a plentiful provision to greet the arrival of the young princess. The French, in return, invited the English to a supper, which was to be given the next day.']

Esto confirma que Nemotron Speech ASR ha convertido correctamente el flujo de audio a texto con su arquitectura de streaming consciente de caché.

Casos de uso de Nemotron Speech ASR

Transcripción en vivo en tiempo real

Despliega NVIDIA Nemotron Speech ASR para sistemas de subtitulado en vivo en reuniones, seminarios web y transmisiones.

La latencia inferior a 100 ms garantiza que los subtítulos aparezcan en tiempo real sin retrasos perceptibles.

Aplicaciones de asistente de voz

Crea agentes conversacionales de IA con reconocimiento de voz instantáneo para interacciones naturales con el usuario.

El streaming consciente de caché elimina los retrasos por búfer para comandos de voz receptivos.

Análisis y monitorización de centros de llamadas

Transcribe llamadas de clientes en tiempo real para análisis de sentimiento, monitorización de cumplimiento y asistencia a agentes.

El alto rendimiento (mejora de 3x) permite el procesamiento concurrente de llamadas sin recursos GPU adicionales.

Soluciones de accesibilidad

Crea tecnologías de asistencia para personas con discapacidad auditiva que requieren subtítulos en vivo de baja latencia.

El rendimiento de latencia estable garantiza una accesibilidad constante en diversas condiciones de audio.

Producción multimedia y creación de contenido

Automatiza la generación de subtítulos para podcasts, vídeos y transmisiones en vivo con transcripción en inglés de alta precisión.

La arquitectura de streaming procesa contenido de larga duración de manera eficiente sin limitaciones de memoria.

Conclusión

Desplegar NVIDIA Nemotron Speech ASR en instancias GPU de Novita AI proporciona una infraestructura de reconocimiento de voz lista para producción en minutos, no en horas.

La arquitectura de streaming consciente de caché del modelo ofrece la latencia estable por debajo de 100 ms y la mejora de eficiencia GPU de 3x que tus aplicaciones en tiempo real requieren. La plantilla preconfigurada de Novita AI elimina la compleja configuración de NeMo Framework, permitiéndote centrarte en crear aplicaciones de voz en lugar de gestionar infraestructura.

Ya sea que estés desarrollando asistentes de voz, servicios de transcripción, análisis de centros de llamadas o herramientas de accesibilidad, esta combinación de despliegue elimina las compensaciones tradicionales entre latencia, rendimiento y complejidad operativa.

Empieza a desplegar Nemotron Speech ASR en Novita AI hoy mismo con precios flexibles por segundo de GPU y sin compromisos iniciales.

Novita AI es una plataforma líder en la nube de IA que proporciona a los desarrolladores APIs fáciles de usar e infraestructura GPU fiable y asequible para construir y escalar aplicaciones de IA.