Principais Destaques
Aprendizado por Reforço (RL): Utiliza um processo de RL em duas etapas para refinar o raciocínio por tentativa e erro, verificado por ferramentas como interpretadores de código e resolvedores, garantindo resultados precisos.
Benchmarks Competitivos: Obtém pontuações fortes em tarefas de raciocínio e codificação:
AIME24: 79,5 (próximo do 79,8 do DeepSeek R1).
IFEval: 83,9 (ligeiramente acima do DeepSeek R1).
BFCL: 66,4 (superando o 60,3 do DeepSeek R1).
Eficiência de Hardware: Requer significativamente menos VRAM que o DeepSeek R1; suporta quantização para rodar em configurações de hardware menores.
Se você deseja avaliar o QWQ 32B em seus próprios casos de uso — Ao se registrar, a Novita AI fornece um crédito de $0,5 para começar!
O QwQ-32B, desenvolvido pela Equipe Qwen da Alibaba, é um modelo de raciocínio com 32,5 bilhões de parâmetros que oferece desempenho comparável a modelos muito maiores, como o DeepSeek-R1, enquanto utiliza significativamente menos parâmetros. Sua eficiência e fortes capacidades de raciocínio o tornam uma escolha ideal para pesquisadores, desenvolvedores e organizações que buscam alto desempenho sem as pesadas demandas de recursos dos modelos tradicionais de linguagem de grande porte (LLMs).
O que é o QwQ-32B?
Introdução Básica
- qwen/qwq-32b
- Código Aberto: Disponível sob licença Apache 2.0, permitindo contribuições e melhorias da comunidade.
- Transformers: O QwQ-32B usa uma arquitetura transformer com 64 camadas, 40 cabeças de atenção para consultas e 8 para chave-valor. Construído sobre transformers com RoPE (Positional Embeddings Rotativos), o QwQ-32B integra a função de ativação SwiGLU, emprega RMSNorm para normalização e inclui viés nos cálculos QKV de atenção.
- Parâmetros: Um total de 32,5 bilhões de parâmetros, com 31,0 bilhões de parâmetros não-embedding.
- Suporte a Contexto Longo: Suporta até 32.768 tokens.
- Idiomas Suportados: Abrange mais de 29 idiomas para acessibilidade e aplicação global.
Métodos de Treinamento
Baseado no Qwen2.5, o QwQ-32B otimiza especificamente tarefas de raciocínio através de RL, mostrando inovação potencial ao eliminar a dependência de métodos tradicionais de ajuste fino supervisionado (SFT).
Além disso, o QwQ-32B utiliza aprendizado por reforço (RL) para refinar suas habilidades de raciocínio, contando com tentativa e erro para adaptar sua abordagem usando ferramentas e feedback ambiental. Ao empregar um mecanismo de “recompensas baseadas em resultados”, o modelo gera resultados de forma independente, que são então verificados quanto à precisão, garantindo desempenho confiável em tarefas estruturadas. Esse afastamento do SFT destaca seu foco em eficiência e adaptabilidade, marcando uma mudança em direção à otimização mais direta impulsionada por RL.
Benchmark
Do Qwen
O QwQ-32B supera seu peso: Ele iguala ou excede o desempenho de modelos maiores, como o DeepSeek-R1-671B, em vários benchmarks, apesar de ter menos parâmetros. O modelo demonstra forte raciocínio geral, codificação e habilidades de inferência, mas não conteúdo criativo, tornando-o versátil em diversas tarefas.
Requisitos de Hardware
Para executar o QwQ-32B eficientemente, considere os seguintes requisitos de hardware:
- VRAM:
- Requer VRAM substancial.
- Para precisão de 16 bits, são necessários 80 GB de VRAM.
- Para precisão de 8 bits, 40 GB de VRAM são suficientes.
- Para precisão de 4 bits, apenas 20 GB de VRAM são necessários.
- GPUs:
- Compatível com GPUs RTX 3090/4090, especialmente ao usar quantização.
- GPUs de ponta como NVIDIA A100 e H100 também são adequadas.
Comparado ao DeepSeek R1, o QwQ-32B reduz significativamente os requisitos de hardware, tornando-o mais acessível para diversos sistemas, mantendo um forte desempenho.
Aplicações
- Educação:
- Fornece tutoria personalizada em matemática e programação, atendendo a alunos de diferentes níveis de habilidade.
- Explica conceitos complexos em termos simples, tornando-se uma ferramenta valiosa para estudantes e educadores.
- Auxilia na resolução de problemas de lição de casa e na geração de exercícios práticos para aprendizado eficaz.
- Desenvolvimento de Software:
- Apoia desenvolvedores gerando trechos de código de alta qualidade para várias linguagens de programação.
- Auxilia na depuração, identificando erros e sugerindo correções apropriadas.
- Oferece recomendações para otimizar a eficiência do código e aderir às melhores práticas.
- Pesquisa:
- Ajuda pesquisadores na realização de análise de dados, incluindo cálculos estatísticos e visualização.
- Auxilia em revisões de literatura, resumindo artigos acadêmicos e extraindo insights principais.
- Gera rascunhos iniciais para documentos de pesquisa, economizando tempo valioso para os pesquisadores.
- Resolução de Problemas:
- Auxilia na decomposição de problemas complexos em componentes menores e gerenciáveis.
- Sugere soluções potenciais, incluindo orientação passo a passo para desafios multifacetados.
- Fornece raciocínio lógico e explicações para apoiar processos de tomada de decisão.
Ao se destacar nessas áreas, o QwQ-32B serve como um assistente versátil para tarefas educacionais, profissionais e relacionadas à pesquisa.
QWQ 32B vs Qwen 2.5 72B vs DeepSeek R1
| Característica | QwQ-32B | Qwen 2.5 72B | DeepSeek-R1 671B |
|---|---|---|---|
| Parâmetros | 32,5B | 72B | 671B |
| Base da Arquitetura | Qwen 2.5 | Arquitetura nativa | DeepSeek-R1-Zero |
| Método de Treinamento | Aprendizado por Reforço (sem SFT) | Não especificamente declarado | RL + Ajuste Fino Supervisionado |
| Janela de Contexto | 32.768 tokens | 8.000 tokens | 32.768 tokens |
| Suporte a Idiomas | Mais de 29 idiomas | Mais de 29 idiomas | Principalmente chinês e inglês |
| Habilidade Matemática | 79,5 (AIME 2024) | 83,1 (benchmark MATH) | 97,3 (MATH-500), 79,8 (AIME 2024) |
| Habilidade de Codificação | 63,4 (Live Code Bench) | 59,1 (HumanEval) | 49,2 (SWE-bench Verified), 65,9 (Live Code Bench) |
| Requisitos de Hardware | 4 bits: 20 GB VRAM / 8 bits: 40 GB VRAM / 16 bits: 80 GB VRAM, preferencialmente com múltiplas A100 ou H100 | aproximadamente 41,6 GB a 77,1 GB de VRAM | 8 GPUs H100 |
| Licença de Código Aberto | Apache 2.0 | Não especificamente declarada | Licença MIT |
| Principais Vantagens | Amigável ao hardware / Raciocínio forte / Comparável a modelos maiores | Tempo de resposta rápido / Custo-benefício / Bom suporte multilíngue | Raciocínio matemático excepcional / Saídas com autoverificação / Processo de raciocínio claro |
| Características da Saída | Raciocínio lógico forte, conteúdo criativo mais fraco | Capacidades gerais | Lógica clara, bem estruturada |
Como Acessar o QWQ 32B?
1. Use Plataformas Online para Acessar o QWQ 32B (ex. Novita AI)
Você pode encontrar a página LLM Playground da Novita AI para um teste gratuito! Esta é a página de teste que fornecemos especificamente para desenvolvedores! Selecione o modelo desejado na lista. Aqui você pode escolher o modelo QWQ 32B.
2.Acesse APIs QWQ 32B Gratuitas (ex. Novita AI)
A Novita AI é uma plataforma de nuvem de IA que oferece aos desenvolvedores uma maneira fácil de implantar modelos de IA usando nossa API simples, além de fornecer a nuvem de GPU acessível e confiável para construção e escalonamento.
Passo 1: Faça Login e Acesse a Biblioteca de Modelos
Faça login na sua conta e clique no botão Model Library.
Passo 2: Escolha Seu Modelo
Navegue pelas opções disponíveis e selecione o modelo que atende às suas necessidades.
Passo 3: Inicie Seu Teste Gratuito
Comece seu teste gratuito para explorar as capacidades do modelo selecionado.
Passo 4: Obtenha Sua Chave de API
Para autenticar com a API, forneceremos uma nova chave de API. Entrando na página “Settings“, você pode copiar a chave de API conforme indicado na imagem.
Passo 5: Instale a API
Instale a API usando o gerenciador de pacotes específico para sua linguagem de programação.
Após a instalação, importe as bibliotecas necessárias para seu ambiente de desenvolvimento. Inicialize a API com sua chave de API para começar a interagir com o LLM da Novita AI. Este é um exemplo de uso da API de chat completions para usuários Python.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
# Obtenha a Chave de API da Novita AI consultando: https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key.
api_key="<SUA Chave de API da Novita AI>",
)
model = "qwen/qwq-32b"
stream = True # ou False
max_tokens = 512
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": "Aja como se você fosse um assistente útil.",
},
{
"role": "user",
"content": "Olá!",
}
],
stream=stream,
max_tokens=max_tokens,
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "")
else:
print(chat_completion_res.choices[0].message.content)
Ao se registrar, a Novita AI fornece um crédito de $0,5 para começar!
Se os créditos gratuitos acabarem, você pode pagar para continuar usando.
Conclusão
O QwQ-32B representa um avanço significativo nos modelos de raciocínio de IA, oferecendo desempenho excepcional em matemática, codificação e resolução de problemas de múltiplas etapas, tudo isso mantendo um tamanho relativamente compacto. Com sua disponibilidade de código aberto e design eficiente, ele serve como uma ferramenta poderosa para pesquisadores, desenvolvedores e engenheiros que buscam aproveitar a IA para tarefas complexas e estruturadas.
O que torna o QwQ-32B único?
O QwQ-32B se destaca por seu uso de aprendizado por reforço sem ajuste fino supervisionado, alcançando desempenho excepcional em tarefas de raciocínio, particularmente em matemática e codificação.
Quais são os requisitos de hardware?
Para desempenho ideal, o QwQ-32B requer recursos computacionais significativos. A versão quantizada de 4 bits precisa de aproximadamente 20 GB de VRAM.
Qual é a diferença entre QwQ-32B e Qwen2.5?
O QwQ-32B é construído sobre o Qwen2.5, adicionando otimização de aprendizado por reforço especificamente para tarefas de raciocínio, sem usar abordagens tradicionais de ajuste fino supervisionado.
Novita AI é a plataforma completa em nuvem que impulsiona suas ambições de IA. APIs integradas, serverless, instância GPU — as ferramentas econômicas que você precisa. Elimine a infraestrutura, comece de graça e torne sua visão de IA realidade.
