Implementación de modelos DeepSeek en la plataforma cloud Novita AI: una guía completa

Los modelos DeepSeek se han consolidado como una opción atractiva en el ámbito de los LLM, ofreciendo un rendimiento impresionante a costes competitivos. Aunque estos modelos presentan capacidades potentes, una implementación exitosa requiere una infraestructura robusta y eficiente. Esta guía muestra cómo aprovechar la plataforma cloud de Novita AI para una implementación óptima de modelos DeepSeek, combinando alto rendimiento con rentabilidad.

Resumen de variantes del modelo

Versiones destiladas

• Basadas en modelos de código abierto (series Qwen2.5 y Llama)
• Rangos de parámetros: 1.5B, 7B, 8B, 14B, 32B y 70B
• Optimizadas para inferencia eficiente manteniendo un alto rendimiento
• Ideales para implementaciones privadas rentables
• Fáciles de desplegar mediante la solución de un solo clic de Novita AI

Versión completa

• DeepSeek-R1-671B
• Construida sobre la arquitectura DeepSeek-V3
• Cuenta con 671B parámetros para máximo rendimiento
• Requiere importantes recursos computacionales
• Disponible a través de nuestro servicio API optimizado

Guía de implementación

Paso 1: Acceder a la plataforma Novita AI

1. Visita el sitio web oficial de Novita AI：https://novita.ai/

Prueba Novita AI ahora

2. Crea una cuenta o inicia sesión en tu cuenta existente

Paso 2: Acceder a la configuración de instancias GPU

1. Haz clic en “GPUs” en la navegación principal

2. Haz clic en “Get Started” para continuar

Paso 3: Seleccionar y configurar el modelo DeepSeek

En esta guía, utilizaremos DeepSeek-R1-Distill-Llama-32B como ejemplo. Puedes seleccionar cualquier plantilla según tus necesidades, pero esta plantilla define los parámetros base del modelo. Deberás configurar el número requerido de GPUs; recomendamos usar RTX 4090 para esta implementación. Todas las plantillas utilizan modelos oficiales de DeepSeek con precisión BF16 por defecto. A continuación se muestran nuestras configuraciones recomendadas:

Modelo	GPU	GPU	Cantidad
DeepSeek-R1-Distill-Qwen-1.5B	BF16	RTX 4090	1
DeepSeek-R1-Distill-Qwen-7B	BF16	RTX 4090	1
DeepSeek-R1-Distill-Llama-8B	BF16	RTX 4090	1
DeepSeek-R1-Distill-Qwen-14B	BF16	RTX 4090	2
DeepSeek-R1-Distill-Qwen-32B	BF16	RTX 4090	4
DeepSeek-R1-Distill-Llama-70B	BF16	RTX 4090	8

Selecciona la plantilla DeepSeek-R1-Distill-Qwen-32B, configura 4 GPUs y haz clic en “Deploy”.

Paso 4: Personalizar la implementación

Confirma los parámetros de la plantilla y asegúrate de completar la variable HF_TOKEN.

Puedes obtener el HF_TOKEN siguiendo estos consejos:

1.Visita huggingface.co:https://huggingface.co/

2.Haz clic en “Log In” en la esquina superior derecha para iniciar sesión, o en “Sign Up” para crear una cuenta nueva

3.Después de iniciar sesión, haz clic en tu foto de perfil en la esquina superior derecha y selecciona “Access Tokens” en el menú izquierdo

4.Haz clic en “New token” para crear un nuevo token de acceso

5.Selecciona “Read” como tipo de token, nombra tu token (por ejemplo, “text”) y haz clic en “Create token” para generarlo.

6.Copia la cadena del token generado

Después de obtener el token, introdúcelo en la variable de entorno HF_TOKEN de la plantilla. Luego haz clic en “Next”.

Paso 5: Iniciar una instancia

Haz clic en “Launch Instance” para desplegar tu entorno configurado.

Espera unos minutos mientras la instancia se configura y gestiona.

Haz clic en el menú desplegable para ver los registros de la instancia.

Una vez que la instancia se inicie, comenzará a descargar el modelo. Haz clic en “Logs” --> “Instance Logs” para supervisar el progreso de la descarga.

Cuando el registro muestre “INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)”, el inicio habrá sido exitoso. ¡Ahora accede a tu modelo privado!

Haz clic en “Connect”, luego haz clic en --> “Connect to HTTP Service [Port 8000]”. Como se trata de un servicio API, deberás copiar la dirección.

Para realizar solicitudes a tu modelo privado, reemplaza***“https://f6d29cb6f71e585e-8000.us-ca-1.gpu-instance.novita.ai”*** con la dirección expuesta real. ¡Copia el siguiente código para acceder a tu modelo privado!

$ curl https://f6d29cb6f71e585e-8000.us-ca-1.gpu-instance.novita.ai/v1/chat/completions  \
   -H "Content-Type: application/json"     -d '{
        "model": "deepseek-ai/DeepSeek-R1-Distill-Qwen-32B",
        "messages": [{"role": "user", "content": "hello"}]
    }'
{"id":"chatcmpl-57b3296f87f54dd4b69cfb6d2196f48e","object":"chat.completion","created":1740711405,"model":"deepseek-ai/DeepSeek-R1-Distill-Qwen-32B","choices":[{"index":0,"message":{"role":"assistant","content":"Alright, the user said \"hello.\" That's a friendly greeting. I should respond in a welcoming manner.\
\
Maybe I can acknowledge their greeting and offer assistance.\
\
It's important to sound approachable and ready to help.\
\
I'll keep it simple and polite.\
 response\
\
Hello! How can I assist you today?","tool_calls":[]},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":70,"completion_tokens":64,"prompt_tokens_details":null},"prompt_logprobs":null}

Configura la dirección de la API en tus aplicaciones como Chatbox, ¡y tendrás tu propio asistente personal!

Novita AI es una plataforma cloud de IA que ofrece a los desarrolladores una forma sencilla de implementar modelos de IA mediante nuestra API simple, además de proporcionar la nube GPU asequible y fiable para construir y escalar.