- Qwen 2.5 7B ofrece habilidades avanzadas de programación y matemáticas, mejora el seguimiento de instrucciones y la generación de texto estructurado.
- El modelo admite longitudes de contexto de hasta 128K tokens, lo que permite salidas más completas y coherentes.
- Novita AI ofrece el modelo Qwen 2.5 7B de forma gratuita para apoyar y contribuir a la comunidad de código abierto.
Qwen 2.5 7B es un potente modelo de lenguaje de código abierto diseñado para satisfacer las diversas necesidades de desarrolladores e investigadores. Con mejoras significativas en áreas clave, se destaca como un recurso valioso para la comunidad. A continuación, los principales aspectos destacados de este modelo:
¿Qué es Qwen 2.5 7B?
Además, como familia de modelos, Qwen 2.5 también incluye otros modelos que cubren diferentes tamaños de parámetros, ventanas de contexto y dominios especializados (general, código y matemáticas).
Familia Qwen 2.5
Arquitecturas y escalas de modelos diversas
La serie Qwen2.5 cubre tamaños de modelo desde 0.5B hasta 72B parámetros, satisfaciendo las necesidades de varios escenarios, desde aplicaciones ligeras hasta de gran escala.
El número de capas y cabezas de atención (Q/KV) aumenta con el tamaño del modelo, lo que resulta en una mayor complejidad del modelo.
Ventana de contexto y longitud de generación
La mayoría de los modelos base tienen una longitud de contexto de 128K, mientras que los modelos más pequeños (0.5B, 1.5B, 3B) tienen 32K, y las versiones Math tienen 4K.
La longitud de generación principal es de 8K, mientras que las versiones Coder y Math tienen 2K.
Cambios en Tie Embedding
Los modelos más pequeños (0.5B, 1.5B, 3B) y todas las versiones Coder/Math-1.5B usan Tie Embedding, mientras que los modelos más grandes no.
Esto puede ayudar a mejorar la eficiencia de parámetros y la generalización de los modelos más pequeños.
Tipos de modelos variados
Además de los modelos de propósito general, también hay subseries Coder (especializados en código) y Math (especializados en matemáticas), que satisfacen las necesidades de diferentes dominios verticales.
Benchmark de Qwen 2.5 7B
Requisitos de hardware de Qwen 2.5 7B
¿Cómo acceder a Qwen 2.5 7B?
Novita AI es una plataforma en la nube de IA que ofrece a los desarrolladores una forma sencilla de implementar modelos de IA a través de nuestra API simple, al mismo tiempo que proporciona una nube de GPU asequible y confiable para construir y escalar.
Paso 1: Inicia sesión y accede a la Biblioteca de Modelos
Inicia sesión en tu cuenta y haz clic en el botón Model Library.
Paso 2: Comienza tu prueba gratuita
Comienza tu prueba gratuita para explorar las capacidades del modelo seleccionado.
Paso 3: Obtén tu clave API
Para autenticarte con la API, te proporcionaremos una nueva clave API. Al ingresar a la página “Settings”, puedes copiar la clave API como se indica en la imagen.
Paso 4: Instala la API
Instala la API usando el administrador de paquetes específico de tu lenguaje de programación.
Después de la instalación, importa las bibliotecas necesarias en tu entorno de desarrollo. Inicializa la API con tu clave API para comenzar a interactuar con Novita AI LLM. Este es un ejemplo de uso de la API de chat completions para usuarios de Python.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "qwen/qwen2.5-7b-instruct"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Qwen 2.5 7B establece un nuevo punto de referencia en modelos de lenguaje de código abierto, ofreciendo un rendimiento sobresaliente en codificación, matemáticas y comprensión multilingüe. Su versatilidad, escalabilidad y uso eficiente del hardware lo convierten en una opción principal para desarrolladores y empresas que buscan capacidades de IA de vanguardia.
Preguntas frecuentes
¿Cómo se compara Qwen 2.5 7B con modelos similares?
Qwen 2.5 7B supera a muchos modelos similares en matemáticas, codificación y benchmarks generales, especialmente en tareas de contexto largo y datos estructurados.
¿Cómo puedo acceder a Qwen 2.5 7B?
Puedes implementar Qwen 2.5 7B a través de la plataforma Novita AI, que ofrece integración API sencilla y soluciones de nube GPU escalables.
¿Cuáles son los requisitos de hardware para Qwen 2.5 7B?
Para precisión FP16, se recomienda una sola RTX 4090 (24GB). Para FP32, se necesitan dos GPU RTX 4090. Con cuantización Q4, puede ejecutarse en una RTX 3060.
Novita AI es una plataforma en la nube de IA que ofrece a los desarrolladores una forma sencilla de implementar modelos de IA usando nuestra API simple, al mismo tiempo que proporciona una nube de GPU asequible y confiable para construir y escalar.
