Guía Paso a Paso: Ejecutando Gemma 7B en Instancias GPU de Novita AI

El modelo Gemma 7B de Google ha captado una atención significativa como un modelo de lenguaje de código abierto eficiente y potente. Esta guía te guiará a través del despliegue de Gemma 7B en instancias GPU de Novita AI, haciéndolo accesible para diversas aplicaciones.

¿Qué es Gemma 7B?

Gemma 7B forma parte de la familia de modelos de lenguaje ligeros y de código abierto de Google, construidos con la misma tecnología que los modelos Gemini. Está diseñado para ser más accesible y desplegable en diversas plataformas de hardware, incluyendo laptops y ordenadores de escritorio, además de estar optimizado para GPUs NVIDIA y TPUs de Google Cloud. Gemma 7B tiene 7 mil millones de parámetros y se entrena en un conjunto de datos compuesto principalmente por documentos web, matemáticas y código. Utiliza una arquitectura de transformador solo decodificador con atención de múltiples cabezas, lo que lo hace eficiente para tareas como generación de código, razonamiento matemático y comprensión del lenguaje.

¿Por qué usar Gemma 7B en Novita AI?

Novita AI ofrece una plataforma basada en la nube con instancias GPU de alto rendimiento diseñadas para cargas de trabajo de IA, lo que la convierte en una opción ideal para ejecutar modelos como Gemma 7B. Ejecutar Gemma 7B en instancias GPU de Novita AI ofrece varias ventajas:

• Rendimiento: Las potentes GPUs de Novita AI aseguran que Gemma 7B pueda operar de manera eficiente, manejando tareas complejas con alto rendimiento.
• Accesibilidad: La naturaleza ligera de Gemma 7B permite su despliegue en una variedad de hardware, pero el uso de instancias GPU de Novita AI puede potenciar aún más sus capacidades.
• Rentabilidad: Aprovechar los recursos GPU en la nube puede ser más rentable que mantener hardware local para el despliegue de modelos de IA a gran escala.

Desplegando con Plantillas de Gemma 7B en Novita AI

Prerrequisitos

• Cuenta en Novita AI: Asegúrate de tener una cuenta activa en Novita AI.
• Un token API de Hugging Face: Necesitarás crear una cuenta en huggingface.co y generar un token de acceso con los permisos adecuados para interactuar con el repositorio del modelo Gemma.
• Conocimientos básicos: Comprensión de APIs REST, trabajo con contenedores Docker y familiaridad con los fundamentos de computación con GPU.

Guía de Despliegue Paso a Paso para la Implementación de Gemma 7B

Paso 1: Acceder a la Plataforma Novita AI

1. Visita el sitio web oficial de Novita AI: https://novita.ai/

Prueba Novita AI ahora

2. Regístrate en Novita AI a través de Google, GitHub o métodos de autenticación por correo electrónico.

3. Navega a “GPUs” en la barra de menú superior y selecciona “Comenzar” para iniciar el proceso de despliegue.

Paso 2: Desplegar Gemma 7B en una Instancia GPU

1. Haz clic en “Crear Mi Plantilla”.

2. Configura los parámetros de despliegue:

• Nombre de la Plantilla: Introduce un nombre descriptivo para tu plantilla (por ejemplo, “Gemma 7b”).
• Imagen del Contenedor: Introduce vllm/vllm-openai:latest (o tu imagen personalizada si corresponde).
• Comando de Inicio del Contenedor: Especifica el modelo a usar: --model google/gemma-7b-it --max-model-len 4096 –port 8000
• Disco del Contenedor: Establece un tamaño de almacenamiento adecuado.
• Exponer Puertos HTTP: Usa 8000, que es el puerto estándar para servir modelos.
• Variables de Entorno: Nombre: HF_TOKEN; Valor: Tu token de acceso de Hugging Face.

Después de completar los pasos de configuración anteriores, haz clic en “Guardar Plantilla” para guardar tu configuración en la plantilla.

Recuerda acceder a los modelos Gemma en Hugging Face:

1. Inicia sesión en tu cuenta de Hugging Face.
2. Visita la página del modelo Gemma (google/gemma-7b-it).
3. Haz clic en el botón “Acknowledge license”.
4. Acepta las condiciones para obtener acceso inmediato a los archivos y contenido del modelo.

3. Después de completar los pasos de configuración anteriores, haz clic en “Guardar Plantilla” para guardar tu configuración en la plantilla.

Paso 3: Personalizar el Despliegue

En esta guía, deberás configurar la cantidad de GPUs requeridas. Usando una sola GPU RTX 4090 como ejemplo:

1. Selecciona la configuración de GPU “1x RTX 4090 24GB”

2. Haz clic en “Desplegar”.

3. Haz clic en “Siguiente”.

Paso 4: Iniciar una Instancia

1. Haz clic en “Desplegar” para implementar tu entorno configurado.

Espera unos minutos mientras la instancia se configura y gestiona.

2. Después de que la instancia se inicie, comenzará a descargar el modelo. Haz clic en “Registros” --> “Registros de la Instancia” para monitorear el progreso de la descarga del modelo.

Cuando el registro muestre “INFO: Application startup complete”, el inicio ha sido exitoso. ¡Ahora accede a tu modelo privado!

3. Haz clic en “Conectar”, luego haz clic en --> “Conectar al Servicio HTTP [Puerto 8000]”. Dado que es un servicio API, deberás copiar la dirección.

Para realizar solicitudes a tu modelo privado, reemplaza “http://7a65a32b51e37482-8000.jp-tyo-1.gpu-instance.novita.ai” con tu dirección expuesta real. ¡Copia el siguiente código para acceder a tu modelo privado!

$ curl http://7a65a32b51e37482-8000.jp-tyo-1.gpu-instance.novita.ai/v1/chat/completions  \
   -H "Content-Type: application/json"     -d '{
        "model": "google/gemma-7b-it",
        "messages": [{"role": "user", "content": "hello"}]
    }'
{"id":"chatcmpl-57b3296f87f54dd4b69cfb6d2196f48e","object":"chat.completion","created":1740711405,"model":"google/gemma-7b-it","choices":[{"index":0,"message":{"role":"assistant","content":"Alright, the user said \"hello.\" That's a friendly greeting. I should respond in a welcoming manner.\
\
Maybe I can acknowledge their greeting and offer assistance.\
\
It's important to sound approachable and ready to help.\
\
I'll keep it simple and polite.\
 response\
\
Hello! How can I assist you today?","tool_calls":[]},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":70,"completion_tokens":64,"prompt_tokens_details":null},"prompt_logprobs":null}

4. Configura la dirección de la API en tus aplicaciones como Chatbox, ¡y tendrás tu propio asistente personal!

Novita AI es una plataforma en la nube de IA que ofrece a los desarrolladores una manera sencilla de implementar modelos de IA utilizando nuestra API simple, al mismo tiempo que proporciona la nube GPU asequible y confiable para construir y escalar.