Mixtral of Experts significa Mixtral 8x7B e Mixtral 8x22B usando SMoE. Explore recursos e aplicações sobre Mixtral of Experts em nosso blog.
Destaques Principais
- Mixtral 8x7B e Mixtral 8x22B são modelos de linguagem abertos líderes desenvolvidos pela Mistral AI.
- Esses modelos utilizam uma arquitetura Sparse Mixture of Experts (SMoE), com o Mixtral 8x22B empregando apenas 39B parâmetros ativos de um total de 141B.
- Mixtral se destaca em várias tarefas, incluindo geração de código, compreensão multilíngue e manipulação de contexto de longo alcance, superando modelos de linguagem maiores em desempenho.
- Seu desempenho excepcional, aliado à sua natureza de código aberto, posiciona o Mixtral como uma ferramenta poderosa para desenvolvedores que desejam integrar capacidades avançadas de IA em suas aplicações.
Introdução
O campo do Processamento de Linguagem Natural (PLN) está em constante mudança. Novos avanços continuam a aprimorar nossas capacidades, com o modelo Mixtral sendo um excelente exemplo. Operando em uma combinação de abordagens de especialistas dentro de uma estrutura transformer, o Mixtral será examinado em detalhes neste guia. O blog abordará seus recursos, funcionalidades e potenciais aplicações em setores dependentes de processamento de linguagem.
O que é um Mixtral of Experts?
O que são Mixtral 7B e Mixtral 8x22B?
Mixtral 8x7B e Mixtral 8x22B, desenvolvidos pela Mistral AI, são modelos de linguagem grandes avançados. Mixtral 8x7B e Mixtral 8x22B são modelos de pesos abertos conhecidos por sua alta eficiência. Esses modelos são acessíveis sob uma licença Apache 2.0, garantindo melhor acessibilidade. Eles são particularmente valiosos para tarefas que exigem personalização e ajuste fino, oferecendo desempenho mais rápido, maior portabilidade e melhor controle como recursos principais.
O que é um Sparse Mixture of Experts?
O Mixtral utiliza uma abordagem sparse mixture of experts (SMoE) para eficiência. Em vez de usar todos os parâmetros simultaneamente, ele emprega uma rede roteadora para selecionar um pequeno grupo de especialistas para cada token de entrada. Essa seleção direcionada melhora o desempenho ao focar em componentes relevantes do modelo e é feita por uma rede de portão na camada moe. Ao ativar apenas os parâmetros essenciais, o Mixtral alcança maior taxa de transferência e processa informações mais rapidamente, tornando-o ideal para tarefas complexas de PLN com grandes conjuntos de dados.
Capacidades do Mixtral
Aproveitando inovações como Grouped-Query Attention (GQA) e Sliding Window Attention (SWA), o Mixtral se destaca em gerenciar rapidamente tarefas complexas utilizando paralelismo de modelo. O Mixtral pode dividir problemas complexos em problemas mais simples com estratégias de treinamento avançadas. A soma ponderada das saídas de diversos especialistas na camada MoE melhora seu desempenho ao capturar complexidades que modelos de estrutura única podem não perceber.
Recursos Técnicos do Mixtral of Experts
Mixtral 8x7B
- Habilidades multilíngues em inglês, francês, italiano, alemão e espanhol
- Forte desempenho em codificação
- Ajustado fino para um modelo de seguimento de instruções
- Janela de contexto de 32k tokens
Mixtral 8x22B
- Janela de contexto de 64K tokens
- Fluente em inglês, francês, italiano, alemão e espanhol
- Fortes capacidades em matemática e codificação
- Suporte nativo a chamadas de função
Benchmark de Desempenho do Mixtral
A seguir, um gráfico do desempenho do Mixtral 8x22B e Mixtral 8x7B. Isso é derivado de modelos fornecidos pela comunidade. O Mixtral 8x22B é o modelo mais recente da família de modelos abertos da Mistral. Com padrões de ativação esparsa, é uma alternativa muito mais poderosa ao modelo 70B e supera outros modelos de pesos abertos. Sua disponibilidade como modelo base o torna ideal para ajuste fino em vários casos de uso.
Em capacidades de raciocínio, Mixtral 8x7B e Mixtral 8x22B também superam o Llama 2 70B, o atual modelo fundamental para expandir modelos de linguagem grandes para idiomas amplamente falados, mas sub-representados nos dados de treinamento desses modelos de linguagem.
Esses modelos Mixtral de especialistas mostram grandes capacidades de codificação e matemática. O Mixtral supera seu predecessor, Llama 2 70B, usando apenas 13 bilhões de parâmetros ativos por token, uma redução significativa de 70 bilhões para economizar custos computacionais.
A Novita AI fornece esses dois modelos. Você pode verificar informações detalhadas em nossa LLM Model API.
Aplicações Práticas do Mixtral
A proeza técnica do Mixtral vai além de suas capacidades. Sua capacidade de gerar texto semelhante ao humano o torna ideal para codificação, tradução de idiomas e criação de conteúdo. Sendo de código aberto, o Mixtral é acessível a uma ampla gama de indústrias. Os desenvolvedores podem adaptar o modelo para atender a requisitos específicos, pois facilita o desenvolvimento de novos métodos e aplicações.
Geração de Conteúdo
Uma das principais aplicações do Mistral of Experts e de qualquer LLM é gerar texto com base em seus prompts iniciais. No centro dessa funcionalidade está o treinamento extensivo do modelo em conjuntos de dados diversos contendo uma vasta quantidade de texto de vários domínios. Através desse treinamento extensivo, o modelo pode dominar diferentes estilos de escrita, tópicos e estruturas de linguagem, permitindo que se destaque na produção de texto que atenda a requisitos específicos de tom ou conteúdo.
Análise de Emoções
A análise de emoções do Mistral, alimentada por aprendizado profundo, detecta com precisão emoções positivas, negativas e neutras no texto durante o chat. Ele aproveita o treinamento extensivo em conjuntos de dados diversos para inferir tons emocionais e diferenciar emoções em vários tipos de conteúdo. Você pode solicitar que o Mistral analise as emoções em um texto específico.
Código de Exemplo Mixtral 8x22B
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
# Get the Novita AI API Key by referring: /docs/get-started/quickstart.htmll#_3-create-an-api-key
api_key="<YOUR Novita AI API Key>",
)
model = "cognitivecomputations/dolphin-mixtral-8x22b"
stream = True # or False
max_tokens = 512
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": "Act like you are a helpful assistant.",
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Tradução de Texto e Tarefas Multilíngues
O Mistral também demonstra excelentes capacidades no tratamento de tarefas multilíngues. Especificamente treinado, o Mistral pode entender e gerar texto em vários idiomas, particularmente francês, alemão, espanhol e italiano. O Mistral é particularmente valioso para empresas e usuários que precisam se comunicar em vários idiomas.
Geração de Código
Com a entrada fornecida, o modelo Mistral of Experts se destaca na geração de código, convertendo descrições de alto nível em código eficiente em múltiplas linguagens de programação. Ele usa treinamento de repositórios de código, documentação técnica e fóruns de desenvolvedores para atender aos requisitos e garantir funcionalidade e otimização.
Código de Exemplo Mixtral 8x7B
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
# Get the Novita AI API Key by referring: /docs/get-started/quickstart.htmll#_3-create-an-api-key
api_key="<YOUR Novita AI API Key>",
)
model = "Nous-Hermes-2-Mixtral-8x7B-DPO"
stream = True # or False
max_tokens = 512
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": "Act like you are a helpful assistant.",
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Guia do Desenvolvedor para Aproveitar o Mixtral: LLM API
Adicionar o modelo Mixtral a aplicativos é uma oportunidade empolgante para desenvolvedores. Ele é de código aberto e personalizável para necessidades específicas. Para utilizar o Mixtral de forma eficaz, os desenvolvedores devem entender sua funcionalidade e APIs. Recomendamos a Novita AI para integração de LLM API de baixo custo, pois esta plataforma de API de IA é equipada com modelos em destaque e soluções LLM acessíveis.
Comece com a API Novita AI
- Passo 1: Entre na Novita AI e Crie uma conta. Você pode fazer login com Google ou GitHub. Seu primeiro login criará uma nova conta. Não há problema em se inscrever usando seu endereço de e-mail.
- Passo 2: Gerencie a Chave de API. A Novita AI autentica o acesso à API usando autenticação Bearer com uma Chave de API no cabeçalho da solicitação. Vá para “Key Management” para gerenciar suas chaves. Assim que você fizer login pela primeira vez, uma chave padrão é criada automaticamente. Você também pode clicar em “+ Add new key”.
- Passo 3: Faça uma chamada de API. Vá para Model API Reference e insira sua chave de API para continuar as tarefas seguintes.
Aqui está um exemplo com um cliente Python usando a API Chat Completions da Novita AI.
pip install 'openai>=1.0.0'
from openai import OpenAIclient = OpenAI(
base_url="https://api.novita.ai/v3/openai",
# Get the Novita AI API Key by referring: https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key.
api_key="<YOUR Novita AI API Key>",
)model = "Nous-Hermes-2-Mixtral-8x7B-DPO"
stream = True # or False
max_tokens = 512chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": "Act like you are a helpful assistant.",
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
)if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
- Passo 4: Adicione crédito. Conforme mencionado no primeiro passo, você tem um voucher com créditos para experimentar nossos produtos, mas é limitado. Para adicionar mais crédito, visite Billing and Payments e siga o guia em Payment Methods.
Conclusão
Em conclusão, o Mixtral of Experts com MoE em sua arquitetura central é uma nova tecnologia que combina recursos inteligentes de IA com uso real em diferentes indústrias. Ele funciona melhor em tarefas específicas como gerar código, histórias e tradução. Isso o torna uma ferramenta especial no mundo digital atual de aprendizado de máquina. As empresas podem aproveitar todo o seu poder usando o Mixtral com sistemas atuais e seguindo boas práticas. Isso as ajudará a ser mais criativas e a ficar à frente da concorrência. Abrace a força do Mixtral para ter sucesso no mundo acelerado da IA.
Perguntas Frequentes (FAQ)
Qual é a diferença entre Mistral e Mixtral?
Mixtral, com arquitetura Sparse Mixture of Experts, tem capacidades aprimoradas em comparação com Mistral. Ele se destaca em lidar com tarefas linguísticas complexas com velocidade e eficiência, exigindo menos poder computacional.
Em que o Mixtral é treinado?
O Mixtral passou por treinamento com um tamanho de contexto extenso de 32.000 tokens e demonstra desempenho comparável ao Llama 2 70B e GPT-3.5 em diferentes benchmarks.
O Mixtral precisa de uma GPU?
Para realizar inferência usando Mixtral 8X22B, é necessária uma GPU com pelo menos 300GB de memória. Para Mixtral 8x7B, normalmente seriam necessários cerca de 94GB de VRAM com base nas diretrizes padrão.
O Mixtral pode ser usado para uso comercial?
Tanto Mixtral 8x7B quanto Mixtral 8x7B — Instruct estão disponíveis sob a licença Apache 2.0, permitindo uso acadêmico e comercial.
Novita AI é a plataforma all-in-one na nuvem que impulsiona suas ambições de IA. APIs integradas, sem servidor, instância GPU — as ferramentas econômicas que você precisa. Elimine a infraestrutura, comece gratuitamente e torne sua visão de IA realidade.
Leitura Recomendada
