- Qwen 2.5 7B oferece capacidades avançadas de programação e matemática, melhor seguimento de instruções e geração de texto estruturado.
- O modelo suporta comprimentos de contexto de até 128K tokens, permitindo resultados mais abrangentes e coerentes.
- A Novita AI oferece o modelo Qwen 2.5 7B gratuitamente para apoiar e contribuir com a comunidade de código aberto.
O Qwen 2.5 7B é um poderoso modelo de linguagem de código aberto projetado para atender às diversas necessidades de desenvolvedores e pesquisadores. Com melhorias significativas em áreas-chave, ele se destaca como um recurso valioso para a comunidade. Abaixo estão os principais destaques deste modelo:
O que é o Qwen 2.5 7B?
Além disso, como uma família de modelos, o Qwen 2.5 também inclui outros modelos, cobrindo diferentes tamanhos de parâmetros, janelas de contexto e domínios especializados (geral, código e matemática).
Família Qwen 2.5
Arquiteturas e Escalas Diversas de Modelos
A série Qwen2.5 abrange tamanhos de modelo que vão de 0,5B a 72B parâmetros, atendendo às necessidades de diversos cenários, desde aplicações leves até as de grande escala.
O número de camadas e cabeças de atenção (Q/KV) aumenta com o tamanho do modelo, resultando em maior complexidade do modelo.
Janela de Contexto e Comprimento de Geração
A maioria dos modelos base tem um comprimento de contexto de 128K, enquanto modelos menores (0.5B, 1.5B, 3B) têm 32K, e as versões Math têm 4K.
O comprimento de geração principal é de 8K, enquanto as versões Coder e Math têm 2K.
Mudanças no Tie Embedding
Modelos menores (0.5B, 1.5B, 3B) e todas as versões Coder/Math-1.5B usam Tie Embedding, enquanto modelos maiores não.
Isso pode ajudar a melhorar a eficiência dos parâmetros e a generalização para modelos menores.
Tipos Ricos de Modelos
Além dos modelos de uso geral, também existem sub-séries Coder (especializada em código) e Math (especializada em matemática), atendendo às necessidades de diferentes domínios verticais.
Benchmark do Qwen 2.5 7B
Requisitos de Hardware do Qwen 2.5 7B
Como Acessar o Qwen 2.5 7B?
A Novita AI é uma plataforma de nuvem de IA que oferece aos desenvolvedores uma maneira fácil de implantar modelos de IA usando nossa API simples, além de fornecer uma nuvem de GPU acessível e confiável para construção e escalabilidade.
Passo 1: Faça Login e Acesse a Biblioteca de Modelos
Faça login na sua conta e clique no botão Biblioteca de Modelos.
Experimente o Qwen 2.5 7B Agora!
Passo 2: Inicie Seu Teste Gratuito
Inicie seu teste gratuito para explorar as capacidades do modelo selecionado.
Passo 3: Obtenha Sua Chave de API
Para autenticar com a API, forneceremos a você uma nova chave de API. Acessando a página “Configurações”, você pode copiar a chave de API conforme indicado na imagem.
Passo 4: Instale a API
Instale a API usando o gerenciador de pacotes específico da sua linguagem de programação.
Após a instalação, importe as bibliotecas necessárias para o seu ambiente de desenvolvimento. Inicialize a API com sua chave de API para começar a interagir com o LLM da Novita AI. Este é um exemplo de uso da API de chat completions para usuários de Python.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "qwen/qwen2.5-7b-instruct"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
O Qwen 2.5 7B estabelece um novo padrão em modelos de linguagem de código aberto, oferecendo desempenho excepcional em codificação, matemática e compreensão multilíngue. Sua versatilidade, escalabilidade e uso eficiente de hardware o tornam a melhor escolha para desenvolvedores e empresas que buscam capacidades de IA de ponta.
Perguntas Frequentes
Como o Qwen 2.5 7B se compara a modelos semelhantes?
O Qwen 2.5 7B supera muitos modelos concorrentes em benchmarks de matemática, codificação e gerais, especialmente em tarefas de contexto longo e dados estruturados.
Como posso acessar o Qwen 2.5 7B?
Você pode implantar o Qwen 2.5 7B através da plataforma Novita AI, que oferece integração fácil com API e soluções escaláveis de nuvem de GPU.
Quais são os requisitos de hardware para o Qwen 2.5 7B?
Para precisão FP16, uma única RTX 4090 (24GB) é recomendada. Para FP32, são necessárias duas placas RTX 4090. Com quantização Q4, ele pode rodar em uma RTX 3060.
Novita AI é uma plataforma de nuvem de IA que oferece aos desenvolvedores uma maneira fácil de implantar modelos de IA usando nossa API simples, além de fornecer uma nuvem de GPU acessível e confiável para construção e escalabilidade.
