Aspectos Destacados
Resumen del Modelo: Llama 3.2 1B es un LLM multilingüe ligero de Meta diseñado para un uso eficiente en dispositivos móviles y de borde.
Método de Entrenamiento: Emplea poda estructurada y destilación de conocimiento a partir de modelos más grandes.
Requisitos de Hardware: Requiere 3.14 GB de VRAM para inferencia y 14.11 GB para ajuste fino.
Llama 3.2 1B es un modelo avanzado de lenguaje grande multilingüe creado por Meta, especialmente diseñado para una implementación ligera en dispositivos móviles y de borde. Su arquitectura permite un rendimiento robusto en diversas tareas de procesamiento de lenguaje natural mientras mantiene un uso eficiente de recursos.
Recomienda a tus amigos Novita AI y ambos recibirán $10 en créditos de API de LLM, con recompensas de hasta $500 en total.
Para apoyar a la comunidad de desarrolladores, Llama 3.2 1B, Qwen2.5-7B, Qwen 3 0.6B, Qwen 3 1.7B, Qwen 3 4B están disponibles actualmente de forma gratuita en Novita AI.
¿Qué es Llama 3.2 1B?
El modelo Llama 3.2 1B es un modelo de lenguaje grande multilingüe y ligero desarrollado por Meta, diseñado para ejecutarse de manera eficiente en dispositivos móviles y de borde, ofreciendo un rendimiento sólido para diversas tareas de procesamiento de lenguaje natural.
-
Tamaño del modelo: 1B
-
Código abierto: Sí
-
Arquitectura: Transformer denso
-
Longitud de contexto: 128 000 tokens
-
Idiomas multilingües compatibles:
- Oficialmente compatibles: Inglés, Alemán, Francés, Italiano, Portugués, Hindi, Español, Tailandés
- Colección más amplia: Entrenado con idiomas adicionales más allá de los 8 listados.
-
Capacidad multimodal:
- Entrada: Texto
- Salida: Texto y código
-
Método de entrenamiento: Llama 3.2 1B se entrenó mediante poda estructurada a partir del modelo Llama 3.1 8B, eliminando sistemáticamente partes de la red y ajustando pesos para crear un modelo más pequeño y eficiente. También empleó destilación de conocimiento, donde los logits de los modelos Llama 3.1 8B y 70B se utilizaron como objetivos a nivel de token durante el preentrenamiento. Este enfoque permitió a Llama 3.2 1B aprovechar las ideas de modelos más grandes, mejorando su rendimiento después del proceso de poda.
Evaluación comparativa de Llama 3.2 1B
Requisitos de hardware de Llama 3.2 1B
Detalles de inferencia
-
Modelo: Llama 3.2 1B
-
Cuantización: FP16
-
VRAM necesaria (inferencia): 3.14 GB
-
GPU compatibles:
- RTX 3090 (12 GB)
- RTX 4060 (8 GB)
Detalles de ajuste fino
- Modelo: Llama 3.2 1B
- Cuantización: FP16
- VRAM necesaria (ajuste fino): 14.11 GB
- GPU compatible: RTX 4090 (24 GB)
Meta ha lanzado versiones cuantizadas de los modelos Llama 3.2 1B y 3B, reduciendo significativamente su tamaño y requisitos computacionales. Estos modelos cuantizados ofrecen una reducción de hasta el 56 % en el tamaño del modelo y una disminución del 41 % en el uso de memoria en comparación con sus versiones originales. Estas optimizaciones los hacen adecuados para su implementación en dispositivos móviles, incluidos teléfonos inteligentes con CPUs basadas en ARM.
¿Cómo acceder a Llama 3.2 1B?
Paso 1: Iniciar sesión y acceder a la biblioteca de modelos
Inicia sesión en tu cuenta y haz clic en el botón Model Library.
Paso 2: Elegir tu modelo
Navega entre las opciones disponibles y selecciona el modelo que se adapte a tus necesidades.
Paso 3: Iniciar tu prueba gratuita
Comienza tu prueba gratuita para explorar las capacidades del modelo seleccionado.
Paso 4: Obtener tu clave API
Para autenticarte con la API, te proporcionaremos una nueva clave API. Entrando en la página de “Settings“, puedes copiar la clave API como se indica en la imagen.
Paso 5: Instalar la API
Instala la API usando el gestor de paquetes específico para tu lenguaje de programación.
Después de la instalación, importa las bibliotecas necesarias en tu entorno de desarrollo. Inicializa la API con tu clave API para comenzar a interactuar con Novita AI LLM. Este es un ejemplo de uso de la API de completaciones de chat para usuarios de Python.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "meta-llama/llama-3.2-1b-instruct"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
En resumen, Llama 3.2 1B destaca por su capacidad para ofrecer potentes capacidades de procesamiento de lenguaje en dispositivos con recursos limitados. Con su naturaleza de código abierto y arquitectura optimizada, sirve como una herramienta valiosa para desarrolladores que buscan soluciones de IA eficientes.
Preguntas Frecuentes
¿Qué es Llama 3.2 1B?
Un modelo de lenguaje multilingüe ligero diseñado para una implementación eficiente en dispositivos móviles.
¿Cuáles son los requisitos de hardware de Llama 3.2 1B?
La inferencia requiere 3.14 GB de VRAM; el ajuste fino necesita 14.11 GB de VRAM.
¿Los modelos Llama 3.2 1B son de uso gratuito?
¡Sí! Novita AI ofrece acceso gratuito a los modelos Llama 3.2 1B con una integración API sencilla.
Novita AI es una plataforma en la nube de IA que ofrece a los desarrolladores una forma sencilla de implementar modelos de IA mediante nuestra API simple, al mismo tiempo que proporciona la GPU en la nube asequible y confiable para construir y escalar.
