Guia de Acesso ao Deepseek R1 Distill Qwen 32B: Local ou API?

Principais Destaques

Poderoso e Eficiente: Equipara o desempenho de modelos maiores com menor necessidade de recursos.

Líder em Benchmarks: Excelente no AIME 2024 e SWE-bench Verified, superando o OpenAI-o1-mini.

Suporte Multilíngue: Lida com mais de 29 idiomas, incluindo chinês, inglês e francês.

Recursos Avançados: Suporta textos longos (mais de 8K tokens), saídas estruturadas e cenários de role-play.

Fácil Acesso: Disponível via Ollama para implantação local ou API Novita AI para integração.

Indique seus amigos para a Novita AI e ambos ganharão $10 em créditos de API LLM — até $500 em recompensas totais.

Para apoiar a comunidade de desenvolvedores, Qwen2.5-7B, Qwen 3 0.6B, Qwen 3 1.7B, Qwen 3 4B estão atualmente disponíveis gratuitamente na Novita AI.

O DeepSeek R1 Distill Qwen 32B é um modelo destilado de ponta que oferece o poder de modelos maiores com requisitos de hardware significativamente menores. Sua arquitetura ajustada proporciona desempenho superior, superando consistentemente modelos como o OpenAI-o1-mini em benchmarks. Projetado para eficiência e acessibilidade, suporta implantação local e integração perfeita com API, tornando-o ideal para desenvolvedores, pesquisadores e empresas.

Introdução Básica ao Deepseek R1 Distill Qwen 32B

Informações Básicas

Tamanho do Modelo

32.8B

Código Aberto

Sim

Arquitetura

Transformer

Suporte a Idiomas

Suporte multilíngue para mais de 29 idiomas, incluindo:

Chinês, Inglês, Francês, Espanhol, Português, Alemão, Italiano, Russo, Japonês, Coreano, Vietnamita, Tailandês, Árabe e muito mais…

Principais Destaques

• Melhorias significativas no seguimento de instruções e geração de textos longos (mais de 8K tokens).
• Melhor compreensão de dados estruturados (por exemplo, tabelas) e geração de saídas estruturadas, especialmente JSON.
• Mais resiliente a prompts de sistema diversos, melhorando a implementação de role-play e a definição de condições para chatbots.

Capacidade Multimodal

Suporta transformações texto para texto.

Treinamento

Ajuste fino do Qwen 2.5 32B usando DeepSeek R1 como professor para alcançar desempenho semelhante a modelos maiores.

A DeepSeek realmente fez algo especial ao destilar o grande modelo R1 em outros modelos de código aberto. Especialmente a fusão com o Qwen-32B parece gerar ganhos insanos em benchmarks e torna esse modelo a escolha para pessoas com menos VRAM, basicamente oferecendo os melhores resultados gerais em comparação com o destilado Llama-70B. Atualmente, é o estado da arte para LLMs locais, e deve ter um desempenho razoável até mesmo em hardware de consumo.

Benchmark

Benchmark	DeepSeek-R1-32B	OpenAI-o1-mini	Outro Modelo
AIME 2024	72.6%	63.6%	Llama-70B: 70.0%, QwQ-32B: 50.0%
Codeforces	71.5%	60.0%	Llama-70B: 57.5%, QwQ-32B: 54.5%
GPQA Diamond	62.1%	60.0%	Llama-70B: 65.2%, QwQ-32B: 54.5%
MATH-500	75.7%	90.0%	Llama-70B: 94.5%, QwQ-32B: 90.6%
MMLU	90.8%	88.5%	Llama-70B: 91.8%, QwQ-32B: 90.6%
SWE-bench Verified	49.2%	36.8%	Llama-70B: 57.5%, QwQ-32B: 41.6%

O Deepseek R1 Distill Qwen 32B se destaca no AIME 2024 e no SWE-bench Verified, superando ligeiramente o OpenAI-o1-mini em algumas tarefas, mas geralmente fica atrás de modelos maiores como o Deepseek R1 Llama 70B em benchmarks que exigem raciocínio avançado ou capacidades matemáticas.

Como Acessar o Deepseek R1 Distill Qwen 32B Localmente

https://youtu.be/BTNZ1tmVkzA

Requisitos de Hardware

Tamanho do Modelo: 73,21 GB

• 1 × H100 (80GB): GPU de alto desempenho para treinamento.
• 1 × A100 (80GB): GPU de alta memória para grandes conjuntos de dados.
• 2 × L40s (96GB): GPUs avançadas de inferência com memória aprimorada.
• 4 × RTX 4090 (96GB): GPUs de alta potência para tarefas distribuídas.

Guia de Instalação Passo a Passo

# Guide: Install and Use DeepSeek-R1 with Ollama

# 1. Install Ollama
# Visit the Ollama website, download and install the version for your OS:
# https://ollama.ai/

# 2. Download the DeepSeek-R1 Model
# Open your terminal and run the command below to download the model 
# (using the 7B parameter version as an example):
ollama run deepseek-r1:7b
# Wait for the download to complete. The time required will depend on your network speed.

# 3. Verify Installation and Start the Model
# Verify that the model has been successfully downloaded:
ollama list
# Ensure "deepseek-r1" appears in the list.

# Start the 32B version of the model:
ollama run deepseek-r1:32b

# 4. Usage Examples
# Ask a query:
>>> "Explain quantum computing in simple terms."

# Generate code:
>>> "Write a Python function to calculate the Fibonacci sequence."

Desafios na Implantação Local

• Limitações de Hardware: Alta necessidade de recursos, atualizações caras.
• Tamanho do Modelo: Grande armazenamento (ex.: 70+ GB), downloads lentos.
• Compatibilidade de Software: Problemas de dependência e sistema operacional.
• Otimização de Desempenho: Desafios de latência, loteamento e paralelismo.
• Gerenciamento de Memória: Limites de memória da GPU e trade-offs de execução fora do núcleo.
• Manutenção: Atualizações frequentes e problemas de compatibilidade.
• Segurança: Garantia de privacidade de dados em ambientes locais.
• Documentação: Suporte limitado e dificuldades de solução de problemas.

Como Acessar o Deepseek R1 Distill Qwen 32B via Novita AI

Novita AI é uma plataforma de nuvem de IA que oferece aos desenvolvedores uma maneira fácil de implantar modelos de IA usando nossa API simples, além de fornecer a GPU em nuvem acessível e confiável para construir e escalar.

Passo 1: Faça Login e Acesse a Biblioteca de Modelos

Faça login na sua conta e clique no botão Biblioteca de Modelos.

Experimente o Deepseek R1 Distill Qwen 32B Agora!

Passo 2: Escolha Seu Modelo

Navegue pelas opções disponíveis e selecione o modelo que atende às suas necessidades.

Passo 3: Inicie Seu Teste Gratuito

Comece seu teste gratuito para explorar as capacidades do modelo selecionado.

Passo 4: Obtenha Sua Chave de API

Para autenticar com a API, forneceremos a você uma nova chave de API. Acessando a página “Configurações”, você pode copiar a chave de API conforme indicado na imagem.

Passo 5: Instale a API

Instale a API usando o gerenciador de pacotes específico para sua linguagem de programação.

Após a instalação, importe as bibliotecas necessárias para seu ambiente de desenvolvimento. Inicialize a API com sua chave de API para começar a interagir com o LLM da Novita AI. Este é um exemplo de uso da API de completions de chat para usuários de Python.

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="<YOUR Novita AI API Key>",
)

model = "deepseek/deepseek-r1-distill-qwen-32b"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  
  

Quais Métodos São Adequados para Você?

O modelo DeepSeek R1 Distill Qwen 32B é um modelo de linguagem local de última geração que oferece desempenho superior no seguimento de instruções, manipulação de dados estruturados e suporte multilíngue. Seu ajuste fino com DeepSeek R1 como professor garante eficiência, tornando-o adequado para pesquisadores, desenvolvedores e empresas. Apesar de seus requisitos de hardware, oferece um equilíbrio entre desempenho e acessibilidade, destacando-se em benchmarks como AIME 2024 e SWE-bench Verified.

Perguntas Frequentes

Quais são as principais características do DeepSeek R1 Distill Qwen 32B?

Suporte multilíngue para mais de 29 idiomas.
Lida com textos longos (mais de 8K tokens) e dados estruturados como JSON.
Suporta transformações texto para texto e cenários avançados de role-play.

Quais benchmarks destacam seu desempenho?

AIME 2024: 72,6% de precisão (supera o OpenAI-o1-mini).
SWE-bench Verified: 49,2% de precisão (à frente do Llama-70B).
Desempenho consistente em outros benchmarks como MATH-500 e MMLU.

Quais são os requisitos de hardware?

Tamanho do modelo: 73,21 GB.
GPUs recomendadas: 1 × H100 (80GB) ou A100 (80GB).
2 × L40s (96GB) ou 4 × RTX 4090 (96GB).

Novita AI é a plataforma de nuvem completa que impulsiona suas ambições de IA. APIs integradas, serverless, GPU Instance — as ferramentas econômicas que você precisa. Elimine infraestrutura, comece grátis e torne sua visão de IA realidade.

Leitura Recomendada

• DeepSeek V3: Avançando Modelos de Código Aberto, Agora Disponível na Novita AI
• Deepseek v3 vs Llama 3.3 70b: Tarefas de Linguagem vs Código e Matemática
• Llama 3.2 3B vs DeepSeek V3: Comparando Eficiência e Desempenho