¿Cómo acceder a GPT OSS? Guía completa de instalación y optimización

GPT OSS es la primera serie de modelos GPT de código abierto de OpenAI, diseñada para hacer accesibles las capacidades avanzadas de lenguaje a todos. Está disponible en dos tamaños: GPT OSS 120B (aproximadamente 117 mil millones de parámetros) y GPT OSS 20B (21 mil millones de parámetros). A diferencia de modelos anteriores de OpenAI, GPT OSS ofrece pesos abiertos bajo una licencia permisiva, lo que permite descargar y ejecutar el modelo en tu propio hardware.

Esta guía te presentará los fundamentos de GPT OSS, destacará sus mejoras y requisitos, y te guiará paso a paso para usarlo en la práctica.

Primeros pasos con GPT OSS: Guía para principiantes

Arquitectura de GPT OSS

• Tecnología MoE con activación dispersa para inferencia eficiente
• Arquitectura Transformer autorregresivo + MoE
• RoPE (Rotary Position Embedding)
• Atención global y local de ventana alternada para soporte de secuencias largas
• Tokenizador o200k_harmony, compatible con la API de OpenAI Responses
• Compatibilidad directa con interfaces de modelo OpenAI

Altamente eficiente y escalable

• Al usar MoE (Mixture-of-Experts) con activación dispersa y una arquitectura Transformer, los modelos pueden manejar una gran cantidad de parámetros mientras se ejecutan rápida y eficientemente. Esto facilita escalar el tamaño del modelo sin un gran aumento en los recursos computacionales.

Capaz de manejar contextos muy largos

• Con soporte de hasta 128k tokens, RoPE para codificación posicional y una combinación de atención global y local, los modelos pueden procesar textos o conversaciones mucho más largos que la mayoría de otros modelos. Esto es especialmente útil para documentos extensos o diálogos de múltiples turnos.

Fácil de integrar y usar

• El tokenizador o200k_harmony y la compatibilidad directa con las API de OpenAI permiten que estos modelos se utilicen como reemplazos directos en flujos de trabajo existentes de OpenAI. Esto reduce la barrera para que los desarrolladores adopten y desplieguen los modelos.

Requisitos del sistema GPT OSS

Modelo	Capas	Parámetros totales	Parámetros activos por token	Expertos totales	Expertos activos por token	Longitud de contexto	Requisito de VRAM en una GPU
gpt-oss-120b	36	117B	5.1B	128	4	128k	80GB
gpt-oss-20b	24	21B	3.6B	32	4	128k	16GB

Entrenamiento de GPT OSS

1. Calidad y cobertura de datos

• Escala: Entrenado en billones de tokens provenientes de corpus de texto masivos.
• Enfoque de contenido: Incluye tanto conocimiento especializado (STEM, código de programación) como conocimiento general.
• Filtrado de seguridad: Filtrado riguroso de contenido dañino y sensible, especialmente en bioseguridad.

Fortaleza:
Combina un amplio conocimiento general con experiencia profunda en áreas técnicas, manteniendo alta seguridad y confiabilidad en los datos.

2. Proceso de entrenamiento y cómputo

• Inversión en cómputo:

  • GPT-OSS-120B: ~2.1 millones de horas GPU H100 (comparable a los mejores modelos propietarios)
  • GPT-OSS-20B: aproximadamente la sexta parte

• Arquitectura: Transformer autorregresivo + MoE

Fortaleza:
El enorme cómputo garantiza rendimiento de última generación y robustez del modelo.

3. Post-entrenamiento y alineación

• Ajuste fino:

  • Ajuste fino supervisado con instrucciones
  • Etapa de aprendizaje por refuerzo con alto cómputo

• Técnicas de alineación:

  • Aprendizaje por refuerzo con Chain-of-Thought (CoT)
  • Alineación estricta con estándares de seguridad y ética

Fortaleza:
Permite razonamiento paso a paso avanzado, resolución de problemas complejos y una fuerte alineación con las pautas de seguridad.

4. Flexibilidad y practicidad

• Modos de razonamiento: Soporta esfuerzo de razonamiento bajo, medio y alto, configurable por los desarrolladores para equilibrar precisión, latencia y costo.

Fortaleza:
Ofrece flexibilidad práctica para diferentes casos de uso y presupuestos computacionales.

Mejoras de GPT OSS

Diferencias entre GPT OSS y GPT 4

GPT-OSS, especialmente el modelo 120B, demuestra capacidades sólidas en razonamiento, conocimiento científico y codificación, acercándose a los principales modelos convencionales. Sin embargo, GPT-4 (o4-mini) sigue liderando en todos los benchmarks importantes, incluyendo razonamiento general, razonamiento científico, tareas desafío avanzadas y generación de código. GPT-OSS es competitivo y adecuado para escenarios exigentes, pero GPT-4 sigue siendo el mejor en términos de precisión y universalidad.

¿Dónde puedo descargar GPT OSS?

Requisitos de GPT OSS

Tecnologías de aceleración y uso de recursos

Métodos de descarga de GPT OSS

Método	Ventajas	Hardware	Uso típico
Transformers	Oficial, flexible, gran comunidad	Todas las GPUs principales	Inferencia local, ajuste fino
Llama.cpp	Ligero, multiplataforma, rápido	CUDA/Metal/Vulkan	Despliegues en borde/consumidor/ligeros
vLLM	Alto rendimiento, optimizado	Hopper preferido	Servidores de inferencia, API escalables
transformers serve	Servidor API con un solo comando	Cualquiera	Prototipado/pruebas de API local
torchrun/accelerate	Inferencia multi-GPU/distribuida	Multi-GPU	Inferencia/entrenamiento de modelos grandes

1. Usando Transformers

Funciona en la mayoría de GPUs, especialmente Hopper/Blackwell (H100/H200/GB200/50xx).

Instalación

pip install --upgrade accelerate transformers kernels
# (Opcional) Para PyTorch 2.8 con Triton 3.4:
pip install torch==2.8.0 --index-url https://download.pytorch.org/whl/test/cu128
pip install git+https://github.com/triton-lang/triton.git@main#subdirectory=python/triton_kernels

Ejemplo de inferencia básica

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "openai/gpt-oss-20b"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype="auto",
)

messages = [{"role": "user", "content": "How many rs are in the word 'strawberry'?"}]
inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt", return_dict=True
).to(model.device)
generated = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(generated[0][inputs["input_ids"].shape[-1]:]))

Optimizaciones compatibles

• mxfp4 + Triton 3.4 (para GPUs Hopper/Blackwell: más rápido y menor uso de memoria)
• Flash Attention 3 (para GPUs Hopper, usando attn_implementation="kernels-community/vllm-flash-attn3")
• Kernels MoE de MegaBlocks (para CUDA no Hopper/Blackwell o AMD, usando use_kernels=True, más uso de memoria que mxfp4)

2. Llama.cpp

• Soporte nativo de mxfp4 + Flash Attention.
• Multiplataforma: Metal, CUDA, Vulkan.
• Instalación sencilla:
  • macOS: brew install llama.cpp
  • Windows: winget install llama.cpp
• Recomendado: usar con llama-server

llama-server -hf ggml-org/gpt-oss-120b-GGUF -c 0 -fa --jinja --reasoning-format none
# Luego accede a http://localhost:8080 en el navegador

3. vLLM (Motor de inferencia optimizado)

• Soporta Flash Attention 3 (Sink Attention), mejor en GPUs Hopper.
• Uso en Python:

from vllm import LLM llm = LLM("openai/gpt-oss-120b", tensor_parallel_size=2) output = llm.generate("San Francisco is a")

¿Dónde puedo ejecutar GPT OSS a través de API?

Novita AI proporciona APIs de GPT-OSS 120B
con contexto de 131K y costos de $0.1/entrada y $0.5/salida. Novita AI también ofrece GPT-OSS 20B con contexto de 131 y costos de $0.05/entrada y $0.2/salida, brindando un sólido soporte para maximizar el potencial del agente de código de GPT OSS.

Novita AI

Paso 1: Inicia sesión y accede a la biblioteca de modelos

Inicia sesión en tu cuenta y haz clic en el botón Model Library.

¡Prueba GPT OSS ahora!

Paso 2: Elige tu modelo

Explora las opciones disponibles y selecciona el modelo que se adapte a tus necesidades.

Paso 3: Comienza tu prueba gratuita

Inicia tu prueba gratuita para explorar las capacidades del modelo seleccionado.

Paso 4: Obtén tu clave API

Para autenticarte con la API, te proporcionaremos una nueva clave API. Ingresa a la página “Settings” y copia la clave API como se indica en la imagen.

Paso 5: Instala la API

Instala la API usando el gestor de paquetes específico de tu lenguaje de programación.

Después de la instalación, importa las librerías necesarias en tu entorno de desarrollo. Inicializa la API con tu clave API para comenzar a interactuar con Novita AI LLM. Este es un ejemplo de uso de la API de completado de chat para usuarios de Python.

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="",
)

model = "openai/gpt-oss-120b"
stream = True # or False
max_tokens = 65536
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  
  

Cómo elegir la plantilla de chat adecuada con GPT-OSS

1. Conversación normal o preguntas y respuestas – Mostrar solo el resultado final a los usuarios

Escenario:
Estás construyendo un chatbot y solo quieres que los usuarios vean la respuesta final.
Por ejemplo: “¿Qué tiempo hará mañana en Shanghái?” o “Escríbeme una solicitud de permiso.”

Práctica recomendada:

• Muestra solo el contenido después de <|channel|>final<|message|> al usuario.
• No muestres el razonamiento o análisis del modelo a los usuarios.

2. Depuración o comprensión del razonamiento del modelo

Escenario:
Eres desarrollador y quieres ver cómo el modelo obtiene sus respuestas paso a paso.
O estás trabajando en ingeniería de prompts y quieres inspeccionar la cadena de pensamiento del modelo.

Práctica recomendada:

• Imprime o registra el contenido de <|channel|>analysis<|message|> para ti o tu equipo de desarrollo.
• Aun así, en la interfaz de usuario, muestra solo la respuesta final.

3. Entrenamiento o ajuste fino del modelo

Escenario:
Estás preparando datos de entrenamiento y quieres que el modelo aprenda tanto el proceso de razonamiento como la respuesta final.
Esperas que el modelo genere su propia cadena de pensamiento en el futuro.

Práctica recomendada:

• En tus muestras de entrenamiento, solo incluye la cadena de pensamiento del último turno del asistente; no agregues razonamiento a cada turno.
• Usa la estructura {"thinking": "...", "content": "..."} y asegúrate de que solo el mensaje final del asistente incluya el campo thinking.

4. Cuando hay llamadas a herramientas o plugins externos

Escenario:
Estás construyendo un bot (con GPT OSS) que puede llamar a herramientas externas, como consultar el clima o precios de acciones.
El proceso de llamada a herramientas necesita utilizar el análisis del modelo para funcionar correctamente.

Práctica recomendada:

• Pasa el contenido de <|channel|>analysis<|message|> a tu módulo de manejo de herramientas o de orquestación para la toma de decisiones.
• El usuario aún debe ver solo la respuesta final, pero el análisis se utiliza en el proceso backend.

5. Control estricto de rol, tiempo o capacidad

Escenario:
Quieres que cada conversación incluya información del sistema, como la identidad del modelo, la fecha o la fuerza de razonamiento.
Por ejemplo, al desplegar un asistente empresarial o un bot de exámenes.

Práctica recomendada:

• Al inicio del chat, usa los roles "system" o "developer" para proporcionar contexto, o configúralos mediante parámetros de la plantilla de chat como model_identity o reasoning_effort.

Con la avanzada arquitectura MoE (Mixture-of-Experts), soporte para contextos muy largos y compatibilidad perfecta con las API de OpenAI, GPT OSS es fácil de integrar y altamente eficiente. Ya sea que estés investigando, construyendo chatbots o desarrollando herramientas y agentes avanzados, GPT OSS ofrece un nuevo estándar para modelos de lenguaje grandes, abiertos, escalables y seguros.

Preguntas frecuentes

¿Cuáles son las principales características de GPT OSS?

Código abierto y pesos abiertos: Descárgalo y ejecútalo en tu propio hardware.
Dos tamaños de modelo: 120B (~117B parámetros, 80GB VRAM) y 20B (~21B parámetros, 16GB VRAM).
Arquitectura moderna: MoE disperso, contexto largo (hasta 128k tokens), atención global/local, RoPE.
Compatibilidad con API: Funciona como reemplazo directo de la API de OpenAI.

¿Cuáles son los requisitos de hardware?

GPT OSS 120B: 80GB de VRAM de GPU (H100, H200, GB200 recomendados).
GPT OSS 20B: 16GB de VRAM de GPU.

¿Cómo puedo acceder a GPT OSS mediante API?

Novita AI proporciona acceso API para ambos modelos 120B y 20B con generosas ventanas de contexto y precios asequibles.
Solo regístrate, obtén tu clave API y usa el endpoint compatible con OpenAI.

Novita AI es una plataforma en la nube de IA que ofrece a los desarrolladores una forma sencilla de desplegar modelos de IA usando nuestra API simple, además de proporcionar una GPU en la nube asequible y confiable para construir y escalar.

Lecturas recomendadas

• Novita Kimi K2 API ahora compatible con Function Calling
• Qwen 2.5 72b vs Llama 3.3 70b: ¿Qué modelo se adapta a tus necesidades?
• Accede a Kimi K2: Desbloquea Claude Code más barato e integración MCP, ¡y más!