Como Acessar o GPT OSS? Um Guia Completo para Instalação e Otimização

O GPT OSS é a primeira série de modelos GPT de código aberto da OpenAI, projetada para tornar capacidades avançadas de linguagem acessíveis a todos. Está disponível em dois tamanhos: GPT OSS 120B (aproximadamente 117 bilhões de parâmetros) e GPT OSS 20B (21 bilhões de parâmetros). Diferente dos modelos anteriores da OpenAI, o GPT OSS oferece pesos abertos sob uma licença permissiva, permitindo que você baixe e execute o modelo em seu próprio hardware.

Este guia apresentará os fundamentos do GPT OSS, destacará suas melhorias e requisitos, e mostrará como usá-lo na prática.

Primeiros Passos com o GPT OSS: Um Guia para Iniciantes

Arquitetura do GPT OSS

• Tecnologia MoE com ativação esparsa para inferência eficiente
• Arquitetura Transformer Autoregressivo + MoE
• RoPE (Rotary Position Embedding)
• Atenção global e local alternada para suporte a sequências longas
• Tokenizer o200k_harmony, compatível com a OpenAI Responses API
• Compatibilidade direta com interfaces de modelo OpenAI

Altamente Eficiente e Escalável

• Ao usar MoE (Mixture-of-Experts) com ativação esparsa e arquitetura Transformer, os modelos podem lidar com um enorme número de parâmetros enquanto ainda executam de forma rápida e eficiente. Isso facilita o aumento do tamanho do modelo sem um grande aumento nos recursos computacionais.

Capaz de Lidar com Contextos Muito Longos

• Com suporte a até 128k tokens, RoPE para codificação posicional e uma combinação de atenção global e local, os modelos podem processar textos ou conversas muito mais longos do que a maioria dos outros modelos. Isso é especialmente útil para documentos longos ou diálogos de múltiplas interações.

Fácil de Integrar e Usar

• O tokenizer o200k_harmony e a compatibilidade direta com as APIs OpenAI significam que esses modelos podem ser usados como substitutos diretos em workflows OpenAI existentes. Isso reduz a barreira para desenvolvedores adotarem e implantarem os modelos.

Requisitos de Sistema do GPT OSS

Modelo	Camadas	Total de Parâmetros	Parâmetros Ativos por Token	Total de Especialistas	Especialistas Ativos por Token	Comprimento de Contexto	Requisito de VRAM em GPU Única
gpt-oss-120b	36	117B	5.1B	128	4	128k	80GB
gpt-oss-20b	24	21B	3.6B	32	4	128k	16GB

Treinamento do GPT OSS

1. Qualidade e Cobertura dos Dados

• Escala: Treinado em trilhões de tokens de enormes corpora de texto.
• Foco de Conteúdo: Inclui conhecimento especializado (STEM, código de programação) e conhecimento geral.
• Filtragem de Segurança: Filtragem rigorosa para conteúdo prejudicial e sensível, especialmente biossegurança.

Força:
Combina amplo conhecimento geral com profundo conhecimento em áreas técnicas, mantendo alta segurança e confiabilidade dos dados.

2. Processo de Treinamento e Computação

• Investimento Computacional:

  • GPT-OSS-120B: ~2,1 milhões de horas GPU H100 (comparável aos principais modelos proprietários)
  • GPT-OSS-20B: aproximadamente um sexto desse valor

• Arquitetura: Transformer Autoregressivo + MoE

Força:
Computação massiva garante desempenho de ponta e robustez do modelo.

3. Pós-treinamento e Alinhamento

• Ajuste Fino:

  • Ajuste fino supervisionado por instruções
  • Estágio de aprendizado por reforço de alta computação

• Técnicas de Alinhamento:

  • Aprendizado por reforço com Cadeia de Pensamento (CoT)
  • Alinhamento rigoroso com padrões de segurança e ética

Força:
Permite raciocínio passo a passo avançado, resolução de problemas complexos e forte alinhamento com diretrizes de segurança.

4. Flexibilidade e Praticidade

• Modos de Raciocínio: Suporta esforço de raciocínio baixo, médio e alto, configurável pelos desenvolvedores para equilibrar precisão, latência e custo.

Força:
Oferece flexibilidade prática para diferentes casos de uso e orçamentos computacionais.

Melhorias do GPT OSS

Diferenças entre GPT OSS e GPT 4

O GPT-OSS, especialmente o modelo 120B, demonstra fortes capacidades em raciocínio, conhecimento científico e codificação, aproximando-se dos grandes modelos mainstream. No entanto, o GPT-4 (o4-mini) ainda lidera em todos os benchmarks principais, incluindo raciocínio geral, raciocínio científico, tarefas desafiadoras avançadas e geração de código. O GPT-OSS é competitivo e adequado para cenários exigentes, mas o GPT-4 continua sendo o melhor desempenho em termos de precisão e universalidade.

Onde Posso Baixar o GPT OSS?

Requisitos do GPT OSS

Tecnologias de Aceleração e Uso de Recursos

Métodos de Download do GPT OSS

Método	Prós	Hardware	Uso Típico
Transformers	Oficial, flexível, ótima comunidade	Todas as GPUs principais	Inferência local, fine-tuning
Llama.cpp	Leve, multiplataforma, rápido	CUDA/Metal/Vulkan	Implantações em borda/consumidor/leves
vLLM	Alto throughput, otimizado	Hopper preferido	Servidores de inferência, APIs escaláveis
transformers serve	Servidor API em um comando	Qualquer	Prototipagem/teste de API local
torchrun/accelerate	Inferência multi-GPU/distribuída	Multi-GPU	Inferência/treinamento de modelos grandes

1. Usando Transformers

Funciona na maioria das GPUs, especialmente Hopper/Blackwell (H100/H200/GB200/50xx).

Instalação

pip install --upgrade accelerate transformers kernels
# (Opcional) Para PyTorch 2.8 com Triton 3.4:
pip install torch==2.8.0 --index-url https://download.pytorch.org/whl/test/cu128
pip install git+https://github.com/triton-lang/triton.git@main#subdirectory=python/triton_kernels

Exemplo de Inferência Básica

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "openai/gpt-oss-20b"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype="auto",
)

messages = [{"role": "user", "content": "How many rs are in the word 'strawberry'?"}]
inputs = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt", return_dict=True
).to(model.device)
generated = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(generated[0][inputs["input_ids"].shape[-1]:]))

Otimizações Suportadas

• mxfp4 + Triton 3.4 (para GPUs Hopper/Blackwell: mais rápido e menor uso de memória)
• Flash Attention 3 (para GPUs Hopper, usando attn_implementation="kernels-community/vllm-flash-attn3")
• Kernels MoE MegaBlocks (para CUDA não Hopper/Blackwell ou AMD, usando use_kernels=True, mais uso de memória que mxfp4)

2. Llama.cpp

• Suporte nativo a mxfp4 + Flash Attention.
• Multiplataforma: Metal, CUDA, Vulkan.
• Instalação fácil:
  • macOS: brew install llama.cpp
  • Windows: winget install llama.cpp
• Recomendado: usar com llama-server

llama-server -hf ggml-org/gpt-oss-120b-GGUF -c 0 -fa --jinja --reasoning-format none
# Em seguida, acesse http://localhost:8080 no navegador

3. vLLM (Motor de Inferência Otimizado)

• Suporta Flash Attention 3 (Sink Attention), melhor em GPUs Hopper.
• Uso em Python:

from vllm import LLM llm = LLM("openai/gpt-oss-120b", tensor_parallel_size=2) output = llm.generate("San Francisco is a")

Onde Posso Executar o GPT OSS via API?

A Novita AI fornece APIs do GPT-OSS 120B com contexto de 131K e custos de $0,1/input e $0,5/output. A Novita AI também fornece o GPT-OSS 20B com contexto de 131 e custos de $0,05/input e $0,2/output , oferecendo forte suporte para maximizar o potencial do agente de código do GPT OSS.

Novita AI

Passo 1: Faça Login e Acesse a Biblioteca de Modelos

Faça login na sua conta e clique no botão Model Library.

Experimente o GPT OSS Agora!

Passo 2: Escolha Seu Modelo

Navegue pelas opções disponíveis e selecione o modelo que atende às suas necessidades.

Passo 3: Inicie Seu Teste Gratuito

Comece seu teste gratuito para explorar as capacidades do modelo selecionado.

Passo 4: Obtenha Sua Chave de API

Para autenticar com a API, forneceremos uma nova chave de API. Acesse a página “Settings” e copie a chave de API conforme indicado na imagem.

Passo 5: Instale a API

Instale a API usando o gerenciador de pacotes específico da sua linguagem de programação.

Após a instalação, importe as bibliotecas necessárias para seu ambiente de desenvolvimento. Inicialize a API com sua chave de API para começar a interagir com o LLM da Novita AI. Este é um exemplo de uso da API de chat completions para usuários Python.

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="",
)

model = "openai/gpt-oss-120b"
stream = True # or False
max_tokens = 65536
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  
  

Como Escolher o Template de Chat Adequado com o GPT-OSS

1. Conversa Regular ou Perguntas e Respostas – Mostrar Apenas o Resultado Final aos Usuários

Cenário:
Você está construindo um chatbot e deseja que os usuários vejam apenas a resposta final.
Por exemplo: “Como está o tempo em São Paulo amanhã?” ou “Escreva um pedido de licença.”

Prática Recomendada:

• Exiba apenas o conteúdo após <|channel|>final<|message|> para o usuário.
• Não mostre o raciocínio ou análise do modelo aos usuários.

2. Depuração ou Compreensão do Raciocínio do Modelo

Cenário:
Você é um desenvolvedor e deseja ver como o modelo chega às suas respostas passo a passo.
Ou você está trabalhando em engenharia de prompt e deseja inspecionar a cadeia de pensamento do modelo.

Prática Recomendada:

• Imprima ou registre o conteúdo de <|channel|>analysis<|message|> para você ou sua equipe de desenvolvimento.
• Ainda assim, na interface do usuário, exiba apenas a resposta final.

3. Treinamento ou Ajuste Fino do Modelo

Cenário:
Você está preparando dados de treinamento e deseja que o modelo aprenda tanto o processo de raciocínio quanto a resposta final.
Você espera que o modelo gere sua própria cadeia de pensamento no futuro.

Prática Recomendada:

• Em suas amostras de treinamento, inclua a cadeia de pensamento apenas para a última resposta do assistente; não adicione raciocínio a cada turno.
• Use a estrutura {"thinking": "...", "content": "..."} e garanta que apenas a última mensagem do assistente inclua o campo thinking.

4. Quando Chamadas de Ferramentas ou Plugins Externos Estão Envolvidos

Cenário:
Você está construindo um bot (com GPT OSS) que pode chamar ferramentas externas, como verificar o tempo ou preços de ações.
O processo de chamada de ferramentas precisa usar a análise do modelo para operação correta.

Prática Recomendada:

• Passe o conteúdo de <|channel|>analysis<|message|> para seu módulo de manipulação de ferramentas ou orquestração para tomada de decisão.
• O usuário ainda deve ver apenas a resposta final, mas a análise é usada no processo de backend.

5. Controle Estrito de Papel, Tempo ou Capacidade

Cenário:
Você deseja que toda conversa inclua informações do sistema, como identidade do modelo, data ou intensidade de raciocínio.
Por exemplo, ao implantar um assistente empresarial ou um bot de exames.

Prática Recomendada:

• No início do chat, use os papéis "system" ou "developer" para fornecer contexto, ou defina-os por meio de parâmetros do template de chat, como model_identity ou reasoning_effort.

Com a arquitetura avançada MoE (Mixture-of-Experts), suporte a contextos muito longos e compatibilidade perfeita com APIs OpenAI, o GPT OSS é fácil de integrar e altamente eficiente. Seja para pesquisa, construção de chatbots ou desenvolvimento de ferramentas e agentes avançados, o GPT OSS oferece um novo padrão para modelos de linguagem grandes, abertos, escaláveis e seguros.

Perguntas Frequentes

Quais são as principais características do GPT OSS?

Código aberto e pesos abertos: Baixe e execute em seu próprio hardware.
Dois tamanhos de modelo: 120B (~117B parâmetros, 80GB VRAM) e 20B (~21B parâmetros, 16GB VRAM).
Arquitetura moderna: MoE esparso, contexto longo (até 128k tokens), atenção global/local, RoPE.
Compatibilidade com API: Funciona como substituto direto da API OpenAI.

Quais são os requisitos de hardware?

GPT OSS 120B: 80GB de VRAM GPU (H100, H200, GB200 recomendados).
GPT OSS 20B: 16GB de VRAM GPU.

Como posso acessar o GPT OSS via API?

A Novita AI fornece acesso por API para os modelos 120B e 20B com amplas janelas de contexto e preços acessíveis.
Basta se inscrever, obter sua chave de API e usar o endpoint compatível com OpenAI.

Novita AI é uma plataforma de nuvem de IA que oferece aos desenvolvedores uma maneira fácil de implantar modelos de IA usando nossa API simples, além de fornecer uma GPU de nuvem acessível e confiável para construir e escalar.

Leitura Recomendada

• Novita Kimi K2 API Suporta Chamada de Funções Agora!
• Qwen 2.5 72b vs Llama 3.3 70b: Qual Modelo Atende Suas Necessidades?
• Acesse Kimi K2: Desbloqueie Integração Mais Barata com Claude Code e MCP, e Mais!