Principais Destaques
- Visão geral do modelo Llama 3: A família Llama 3 da Meta inclui modelos de linguagem avançados (LLMs) nos tamanhos 8B e 70B, otimizados para tarefas de diálogo e geração de texto.
- Avaliação de desempenho: O Llama 3 supera modelos de código aberto como Mistral 7B e Gemini 1.5 em benchmarks importantes, demonstrando habilidades aprimoradas de raciocínio e tratamento de contexto.
- Utilidade da API: APIs são conectores cruciais para que desenvolvedores integrem LLMs avançados em suas aplicações de forma eficiente, permitindo escalabilidade fácil e personalização de respostas.
- Principais provedores de API: Provedores líderes como Lepton, Fireworks, Novita AI e Together AI oferecem soluções de IA robustas e econômicas para diversas aplicações.
- Processo amigável: A Novita AI fornece aos desenvolvedores ferramentas e recursos para implantar a API Llama 3, incluindo um playground de experimentação e um sistema simplificado de gerenciamento de chaves.
Introdução
Modelos de linguagem grandes (LLMs) como o Llama 3 da Meta revolucionaram o processamento de linguagem natural, permitindo interações avançadas e uma compreensão mais profunda do software. O Llama 3 se destaca em tarefas de diálogo e no tratamento de desafios complexos de linguagem. Este artigo explora os recursos do Llama 3, sua integração por meio de APIs e o papel de provedores de API como a Novita AI na implantação desses modelos de forma integrada.
O que é o modelo Llama 3?
A Meta desenvolveu a família de modelos de linguagem grandes (LLMs) Llama 3, apresentando modelos generativos de texto pré-treinados e ajustados por instruções nos tamanhos 8B e 70B. Esses modelos ajustados por instruções são otimizados para tarefas de diálogo e superam muitos modelos de chat de código aberto em benchmarks importantes do setor. Além disso, a Meta priorizou a otimização tanto da utilidade quanto da segurança durante o processo de desenvolvimento.
Avaliação do Llama 3
Aqui você encontra uma lista de modelos e suas pontuações no Open LLM Leaderboard. Esta lista não é exaustiva, então encorajamos você a explorar o leaderboard completo. Lembre-se de que o LLM Leaderboard é particularmente útil para avaliar modelos pré-treinados, enquanto outros benchmarks focam em modelos conversacionais.
Como usar o Llama 3?
Este repositório inclui duas versões do Meta-Llama-3–8B: uma projetada para uso com transformers e outra compatível com o código base original do Llama 3.
Uso com transformers
Consulte o trecho abaixo para uso com Transformers:
import transformers
import torch
model_id = "meta-llama/Meta-Llama-3-8B"
pipeline = transformers.pipeline(
pipeline("Hey how are you doing today?")
Uso com llama 3
Siga as instruções no repositório.
Para baixar os checkpoints originais, veja o exemplo de comando abaixo usando huggingface-cli:
huggingface-cli download meta-llama/Meta-Llama-3-8B --include “original/*” --local-dir Meta-Llama-3-8B
Para suporte do Hugging Face, os desenvolvedores do Meta-Llama recomendam usar Transformers ou TGI, mas um comando semelhante também funcionará.
O LLama 3 da Meta é duas vezes maior que o LLama 2
O Llama 3 apresenta capacidades de raciocínio aprimoradas e acomoda uma janela de contexto maior de até 8.000 tokens, aumentando sua eficácia em tarefas complexas de processamento de linguagem natural no desenvolvimento de software. O Llama 3 da Meta foi treinado em um conjunto de dados abrangente com mais de 15 trilhões de tokens.
Versus Mistral 7B e Gemma 7B
O modelo Llama 3 8B da Meta é dito superar outros modelos de código aberto como Mistral 7B e Gemma 7B em vários benchmarks, incluindo MMLU, ARC e DROP.
Versus Gemini 1.5
O Llama 3 70B da Meta mostrou desempenho superior em comparação com o Gemini 1.5 Pro em vários benchmarks, incluindo MMLU, HumanEval e GSM-8K.
Versus GPT-3.5
O Llama 3 70B da Meta demonstrou desempenho impressionante contra o GPT-3.5 em um conjunto de testes personalizado projetado especificamente para avaliar habilidades em codificação, escrita, raciocínio e sumarização.
O que é uma API?
APIs, ou Interfaces de Programação de Aplicações, são conectores digitais que permitem que diferentes aplicações de software se comuniquem e compartilhem dados. Elas atuam como intermediárias, possibilitando interações integradas entre vários programas e sistemas.
As APIs são onipresentes em nossa vida diária — seja usando aplicativos de carona, fazendo pagamentos móveis ou controlando dispositivos domésticos inteligentes remotamente. Quando você interage com esses aplicativos, eles dependem de APIs para trocar informações com servidores, processar solicitações e apresentar resultados em um formato amigável no seu dispositivo.
Por que precisamos de uma API de LLM?
As APIs fornecem aos desenvolvedores uma interface padronizada para integrar modelos de linguagem grandes em suas aplicações. Essa padronização não apenas simplifica o processo de desenvolvimento, mas também garante acesso às melhorias mais recentes do modelo. Ela permite a escalabilidade eficiente de tarefas e a seleção de LLMs adequados para diversas aplicações. Além disso, a flexibilidade das APIs permite a personalização das respostas do LLM para atender a requisitos específicos, aumentando sua adaptabilidade e relevância em diferentes cenários.
Principais provedores de API de LLM para desenvolvedores em 2024
Provedores de API são plataformas em nuvem econômicas que facilitam a implantação eficiente de modelos de machine learning. Eles oferecem acesso livre de infraestrutura a IA avançada por meio de APIs amigáveis, escalabilidade robusta e preços competitivos, tornando a IA acessível para empresas de todos os tamanhos. Nesta seção, exploraremos alguns dos principais provedores de API do setor.
Tomando o modelo Llama 3 70B como exemplo, aqui estão alguns provedores de API, cada um com métricas de desempenho e custo-benefício distintas. Forneceremos descrições detalhadas de cada opção para ajudar os desenvolvedores a fazer escolhas informadas.
Lepton
Lepton é um provedor de API que também suporta uma saída máxima de 8.192 tokens. Seus custos de entrada e saída são ambos de $0,80, com latência de 0,15 segundos e taxa de transferência de 26,02 t/s.
- Vantagens: A Lepton possui latência muito baixa, sendo ideal para aplicações onde o tempo de resposta é criticamente importante.
- Desvantagens: No entanto, sua taxa de transferência é relativamente menor, o que pode não ser adequado para aplicações que exigem processamento de grandes volumes de dados.
Fireworks
Fireworks é outro provedor de API que pode lidar com solicitações com uma saída máxima de 8.192 tokens. Seus custos de entrada e saída são de $0,90, com latência de 0,24 segundos e taxa de transferência de 142,6 t/s.
- Vantagens: A Fireworks oferece uma taxa de transferência excepcionalmente alta, sendo ideal para usuários que precisam lidar com grandes quantidades de dados sem se preocupar excessivamente com o custo.
- Desvantagens: A latência é relativamente maior e seus custos são os mais altos entre os quatro provedores de API, o que pode não ser adequado para usuários com orçamento apertado.
Novita AI
Novita AI é uma plataforma em nuvem que apoia ambições de IA com APIs integradas, computação serverless e instâncias GPU. Ela fornece ferramentas acessíveis para o sucesso, ajudando usuários a iniciar projetos sem custos e transformar seus sonhos de IA em realidade de forma eficiente.
A Novita AI é um provedor de API que oferece uma solução econômica para lidar com grandes volumes de solicitações, sendo adequada para usuários com orçamento limitado que precisam processar quantidades substanciais de dados.
- Vantagens: A Novita AI tem custos mais baixos ao gerenciar um grande número de solicitações, sendo ideal para usuários preocupados com o orçamento que exigem manipulação extensiva de dados.
- Desvantagens: Em comparação com outros provedores, a Novita AI tem uma latência de 1,10 segundos, o que pode representar desafios para aplicações que exigem tempos de resposta rápidos.
Together AI
Together AI é outro provedor de API capaz de lidar com solicitações com uma saída máxima de 8.192 tokens. Seus custos de entrada e saída são ambos de $0,792, com latência de 0,36 segundos e taxa de transferência de 47,16 t/s.
- Vantagens: A Together oferece latência mais baixa e maior taxa de transferência, sendo bem adequada para aplicações que exigem processamento rápido de solicitações.
- Desvantagens: Seus custos são ligeiramente mais altos que os da Novita AI, o que pode ser uma consideração para usuários com orçamentos muito apertados.
Ao escolher um provedor de API, considere custo, latência e taxa de transferência. A Novita AI é perfeita para projetos com orçamento limitado e grandes necessidades de dados. A Lepton se destaca em aplicações de baixa latência, enquanto a Fireworks lida com dados massivos a custos e latência mais altos. No geral, a Novita AI se destaca para manipulação de dados em larga escala a um preço acessível.
Expandindo sobre APIs de LLM, a API Llama 3 oferece aos desenvolvedores acesso a capacidades avançadas de processamento de linguagem através de uma API padronizada. Isso permite a integração perfeita de funções linguísticas em várias aplicações, aprimorando seus recursos interativos e analíticos. Saiba como usar a API Llama 3 na plataforma de API de LLM da Novita AI.
Execute o Llama 3 da Meta com a API de LLM da Novita AI
Siga estas etapas estruturadas cuidadosamente para construir aplicações poderosas de processamento de linguagem usando a API Llama 3 na Novita AI. Este guia detalhado garante um processo suave e eficiente, atendendo às expectativas dos desenvolvedores modernos em busca de uma plataforma de IA avançada.
Etapa 1: Acesse a Novita AI e faça login.
Você pode fazer login usando sua conta do Google ou GitHub, que criará uma nova conta para você no primeiro login.
Alternativamente, você pode se cadastrar com seu endereço de e-mail.
Etapa 2: Gerencie a chave da API.
A Novita AI usa autenticação Bearer para verificar o acesso à API, exigindo uma Chave de API no cabeçalho da solicitação, como “Authorization: Bearer {Chave de API}”.
Para gerenciar suas chaves, navegue até “Gerenciamento de Chaves” nas configurações.
Uma chave padrão é criada automaticamente no seu primeiro login, e você pode gerar chaves adicionais clicando em “+ Adicionar Nova Chave”.
Etapa 3: Escolha seu modelo
A Novita AI oferece uma variedade de modelos, incluindo várias versões do Llama. Selecione o modelo que melhor se adapta às necessidades da sua aplicação, seja para conclusão de chat, geração de texto ou outras tarefas.
Aqui está o que oferecemos para o Llama 3:
- meta-llama/llama-3.1–8b-instruct
- meta-llama/llama-3.1–70b-instruct
- meta-llama/llama-3.1–405b-instruct
- meta-llama/llama-3–8b-instruct
- meta-llama/llama-3–70b-instruct
Para explorar a lista completa de modelos disponíveis, visite a Lista de Modelos LLM da Novita AI.
Etapa 4: Explore a referência da API de LLM para descobrir as APIs e modelos disponíveis oferecidos pela Novita AI.
Etapa 5: Escolha o modelo que melhor atende às suas necessidades e configure seu ambiente de desenvolvimento. Configure opções como conteúdo, função, nome e prompt para personalizar sua aplicação.
Etapa 6: Execute vários testes para verificar se a API tem desempenho consistente e atende aos requisitos da sua aplicação.
Antes de implantar a API Llama 3 na API de LLM da Novita AI, você pode experimentá-la primeiro no LLM Playground. Oferecemos créditos de uso gratuitos para os desenvolvedores experimentarem a plataforma. Se tiver alguma sugestão, sinta-se à vontade para compartilhá-la no Discord. Agora, deixe-me guiá-lo pelas etapas para começar:
Etapa 1: Acesse o Playground navegando até a guia Produtos, selecionando Model API e iniciando sua exploração da API de LLM.
Etapa 2: Escolha um modelo selecionando o modelo Llama que melhor atende às suas necessidades de avaliação.
Etapa 3: Digite seu prompt no campo de entrada para gerar uma resposta do modelo selecionado.
Exemplo com Python Client
pip install 'openai>=1.0.0'
Chat Completions API:
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
# Get the Novita AI API Key by referring to: https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key.
api_key="<YOUR Novita AI API Key>",
)
model = "Nous-Hermes-2-Mixtral-8x7B-DPO"
stream = True # or False
max_tokens = 512
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": "Act like you are a helpful assistant.",
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Completions API:
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
# Get the Novita AI API Key by referring to: https://docs/get-started/quickstart.html#_2-manage-api-key
api_key="<YOUR Novita AI API Key>",
)
model = "Nous-Hermes-2-Mixtral-8x7B-DPO"
stream = True # or False
max_tokens = 512
completion_res = client.completions.create(
model=model,
prompt="A chat between a curious user and an artificial intelligence assistant.\
You are a cooking assistant.\
Be edgy in your cooking ideas.\
USER: How do I make pasta?\
ASSISTANT: First, boil water. Then, add pasta to the boiling water. Cook for 8-10 minutes or until al dente. Drain and serve!\
USER: How do I make it better?\
ASSISTANT:",
stream=stream,
max_tokens=max_tokens,
)
if stream:
for chunk in completion_res:
print(chunk.choices[0].text or "", end="")
else:
print(completion_res.choices[0].text)
Preços da API Llama 3
Com a Novita AI, você pode acessar e utilizar facilmente modelos de código aberto líderes do setor, incluindo modelos de linguagem grandes, bem como modelos de imagem, áudio e vídeo. Pague apenas pelo que usar, sem custos fixos ou taxas ocultas. Selecione o plano de preços da Novita AI que melhor atende às suas necessidades.
Conclusão
O modelo Llama 3 da Meta representa um avanço significativo em modelos de linguagem grandes, aprimorando habilidades de diálogo e raciocínio. Integrado via APIs, este modelo melhora as experiências do usuário em várias aplicações. A Novita AI se destaca como um provedor de API chave, oferecendo a API Llama 3 juntamente com ferramentas essenciais para o desenvolvimento eficaz de IA. Plataformas como a Novita AI são cruciais para atender à crescente demanda por soluções avançadas de IA e capacitar desenvolvedores a inovar neste espaço.
Perguntas Frequentes
Como o Llama 3 melhora o desempenho da aplicação?
O Llama 3 aprimora o desempenho do aplicativo com algoritmos eficientes e uso de recursos, garantindo cálculos mais rápidos para melhorar a experiência do usuário e a eficiência operacional.
A API Llama 3 pode ser integrada a qualquer aplicação?
A API Llama 3, uma versão especializada da API de LLM, oferece processamento de linguagem avançado para desenvolvedores. Pode ser necessária personalização para uma integração ideal.
Como acessar o Llama 3 gratuitamente?
Se você preferir uma configuração local, ferramentas como o Ollama facilitam a implantação dos modelos Llama 3 em sua máquina local, permitindo uso gratuito para projetos pessoais.
Qual é a diferença entre Llama 3.1 e 3?
O Llama 3.1 supera o Llama 3 em habilidades de matemática e raciocínio. Por exemplo, em um blog técnico da Meta, o Llama-3.1 (8B) pontua 73,0 no MATH (0-shot, CoT), superando a pontuação de 68,4 do Llama-3 no MATH (5-shot).
Publicado originalmente em Novita AI
Novita AI é a plataforma em nuvem tudo-em-um que potencializa suas ambições de IA. APIs integradas, serverless, instâncias GPU — as ferramentas econômicas que você precisa. Elimine a infraestrutura, comece gratuitamente e torne sua visão de IA realidade.
Leitura Recomendada
1.Apresentando Code Llama: Um modelo de linguagem grande de última geração para geração de código.
2.Apresentando Llama3 405B: Lançamentos de LLM Disponíveis Abertamente
