Explorar o Artigo Llama 3.1: Um Manual Detalhado

Principais Destaques

• Suporte Multilíngue Abrangente: Llama 3.1 se destaca no tratamento de oito idiomas, tornando-o ideal para aplicações multilíngues globais.
• Escala Massiva e Eficiência Computacional: Com 405 bilhões de parâmetros, Llama 3.1 é otimizado em computação para alto desempenho sem recursos excessivos.
• Desempenho de Ponta em Benchmarks: Ele compete com modelos de ponta como GPT-4, destacando-se em tarefas de codificação, matemática e contexto longo.
• Arquitetura e Alinhamento de Modelo Aprimorados: Técnicas avançadas como DPO alinham as saídas com as preferências humanas, aumentando a confiabilidade.
• Acessibilidade Open-Source: Meta oferece acesso aberto ao Llama 3.1, promovendo colaboração e inovação em IA.
• Habilidades Incomparáveis de Codificação e Raciocínio: O modelo oferece desempenho superior em codificação e tarefas complexas de resolução de problemas.

Introdução

No mundo em rápida mudança da Inteligência Artificial (IA), os grandes modelos de linguagem (LLMs) representam algumas das melhores novas tecnologias. Esses modelos, treinados usando enormes quantidades de dados, são muito bons em entender e criar textos que parecem escritos por uma pessoa. Este post do blog explorará o artigo Llama 3.1 da Meta. Ele fornecerá uma visão clara de seu design, capacidades e importância como um modelo fundamental no campo do NLP.

Uma Visão Geral do Llama 3.1

O mais recente modelo de linguagem flagship da Meta, Llama 3.1, com 405 bilhões de parâmetros, demonstra a dedicação da Meta ao avanço da IA. Ele se destaca em várias tarefas e idiomas, abrindo caminho para novos modelos baseados na pesquisa e inovação da Meta.

Informações do Modelo

O conjunto Meta Llama 3.1 inclui grandes modelos de linguagem multilíngues (LLMs) nos tamanhos 8B, 70B e 405B, pré-treinados e ajustados para tarefas de texto generativo. Esses modelos Llama 3.1 apenas de texto se destacam em aplicações de diálogo multilíngue e superam muitos benchmarks da indústria.

O modelo suporta oficialmente oito idiomas: Inglês, Alemão, Francês, Italiano, Português, Hindi, Espanhol e Tailandês. O treinamento subjacente sugere capacidades além desses idiomas.

Arquitetura do Modelo

Llama 3.1 é um modelo de linguagem autorregressivo construído sobre uma arquitetura transformer otimizada. Suas versões aprimoradas são refinadas por meio de ajuste fino supervisionado (SFT) e aprendizado por reforço a partir de feedback humano (RLHF), adaptados para atender aos padrões humanos de utilidade e segurança.

Como o Llama 3.1 se diferencia

Llama 3.1 se distingue de versões anteriores e concorrentes em vários aspectos importantes:

• Escala: Com 405 bilhões de parâmetros, é substancialmente maior que seus antecessores. O artigo Llama 3.1 revela: “Treinamos um modelo em uma escala muito maior que os modelos Llama anteriores: nosso modelo flagship usou 3,8 × 10²⁵ FLOPs, quase 50 vezes mais que a maior versão do Llama 2.”
• Tamanho otimizado em computação: A escolha de 405 bilhões de parâmetros é estrategicamente baseada em leis de escala, conforme observado no artigo Llama 3.1: “Este tamanho é computacionalmente ótimo de acordo com as leis de escala, dados nossos dados e orçamento de treinamento.”
• Capacidades multilíngues: Llama 3.1 rivaliza com os principais modelos de IA como GPT-4 em vários benchmarks, com o artigo Llama 3.1 afirmando: “Nossa avaliação experimental sugere que nosso modelo flagship se iguala a modelos de linguagem líderes como GPT-4 em uma variedade de tarefas, aproximando-se do desempenho de ponta.”

Acessando e Entendendo o Artigo Llama 3.1

O artigo Llama 3.1 é um marco na comunidade de IA de código aberto, fornecendo insights sobre o robusto grande modelo de linguagem (LLM). Ele explica a arquitetura do modelo, processos de treinamento e desempenho, promovendo aprendizado e inovação na compreensão de LLMs e sua funcionalidade, aplicações e limitações.

• O Valor do Artigo Llama 3.1: O artigo Llama 3.1 é essencial para profissionais de IA, pois oferece insights aprofundados sobre o design do modelo, avaliações de desempenho centradas no ser humano e abordagens de segurança e alinhamento, promovendo transparência e confiança nos sistemas de IA.
• Baixando o PDF do Artigo Llama 3.1: O compromisso da Meta com a ciência aberta é exemplificado pela disponibilidade gratuita do artigo Llama 3.1 em formato PDF, aumentando a acessibilidade e incentivando um engajamento mais amplo na pesquisa de IA.

Uso Pretendido

Llama 3.1 revoluciona a pesquisa em IA ao oferecer um modelo de linguagem poderoso para pesquisadores globais. Suas habilidades linguísticas avançadas beneficiam aplicações reais, como aprimorar chatbots e sistemas de IA para melhor comunicação em atendimento ao cliente, educação e saúde.

Casos de Uso Pretendidos

Llama 3.1 é projetado para aplicações comerciais e de pesquisa em vários idiomas. Os modelos de texto ajustados por instrução são especificamente voltados para funções de chat assistente, enquanto os modelos pré-treinados são versáteis o suficiente para serem adaptados a uma variedade de tarefas de geração de linguagem natural. Além disso, a coleção de modelos Llama 3.1 facilita o aprimoramento de outros modelos por meio do uso de suas saídas, incluindo geração de dados sintéticos e destilação. A Licença Comunitária Llama 3.1 suporta esses variados casos de uso.

Como usar

Este repositório inclui duas versões do Meta-Llama-3.1–70B, uma compatível com transformers e a outra com a base de código original do Llama.

Uso com transformers

A partir de transformers >= 4.43.0, você pode realizar inferência conversacional usando a abstração de pipeline Transformers ou utilizando as classes Auto com a função generate().

Certifique-se de atualizar sua instalação transformers executando pip install --upgrade transformers.

import transformers
import torch

model_id = “meta-llama/Meta-Llama-3.1-70B”

pipeline = transformers.pipeline(
pipeline(“Hey how are you doing today?”)

Conjunto de dados de treinamento do Llama 3.1

O conjunto de dados de pré-treinamento do Llama 3.1 foi uma mistura cuidadosamente curada e equilibrada de vários domínios gerais, meticulosamente processada para garantir entradas de treinamento de alta qualidade e diversidade.

Dados de Pré-treinamento

A construção do conjunto de dados envolve quatro etapas principais:

1. Filtragem de Qualidade: Legendas não-inglesas e de baixa qualidade são removidas usando medidas heurísticas como pontuações CLIP.
2. Dedupicação Perceptual: Um modelo interno de detecção de cópias SSCD deduplica imagens em grande escala, retendo um par imagem-texto por grupo de duplicatas.
3. Reamostragem: Para garantir diversidade, n-gramas são criados a partir de fontes de texto de alta qualidade, e os dados são reamostrados com base em suas frequências.
4. Reconhecimento Óptico de Caracteres: O texto dentro das imagens é extraído usando um pipeline OCR proprietário e combinado com legendas.

Para aprimorar a compreensão de documentos, o conjunto de dados também inclui:

• Transcrição de Documentos: Páginas de documentos são renderizadas como imagens com texto pareado.
• Segurança de Conteúdo: Técnicas como hashing perceptual são usadas para eliminar conteúdo inseguro, como CSAM.
• O conjunto de dados é refinado para aproximadamente 350 milhões de pares imagem-legenda e enriquecido com mais 150 milhões de exemplos de várias fontes, incluindo ancoragem visual, análise de capturas de tela, pares pergunta-resposta, legendas sintéticas e imagens estruturadas geradas sinteticamente.

Dados de Pós-treinamento

Dados SFT:

• Para imagens: Conjuntos de dados acadêmicos são transformados em pares de P&R por meio de modelos e reescritas de LLM. Anotadores humanos criam diálogos diversos a partir de dados multimodais para aprimorar o conteúdo gerado pelo modelo.
• Para dados sintéticos: Representações textuais de imagens são usadas com LLMs de entrada de texto para criar pares pergunta-resposta para as imagens correspondentes. Este processo envolve converter textos de P&R e dados de tabelas em imagens sintéticas usando legendas e extrações de OCR para gerar dados conversacionais.
• Para vídeos: Conjuntos de dados acadêmicos com anotações são transformados em instruções textuais e respostas alvo para perguntas. Humanos anotam vídeos com perguntas e respostas complexas que requerem mais de um quadro para contexto.

Dados de Preferência:

O conjunto de dados inclui saídas do modelo classificadas como “escolhidas” ou “rejeitadas” em uma escala de 7 pontos, com anotações humanas para preferências e correções. Pares de preferência sintéticos são criados usando LLMs apenas de texto para introduzir erros no conjunto de dados de ajuste fino, gerando amostras negativas por meio de amostragem por rejeição de respostas de alta qualidade não selecionadas.

Aplicando DPO ao Llama 3.1

A Meta implementou a Otimização Direta de Preferência (DPO) como parte crucial do processo de pós-treinamento do Llama 3.1 para alinhar melhor o modelo com as preferências humanas. Aqui está uma análise de como esse processo foi realizado:

Configuração Inicial:

• O processo começa treinando em dados de preferência anotados por humanos, aproveitando os modelos mais bem-sucedidos de rodadas anteriores de alinhamento.
• O principal objetivo é garantir que os dados de treinamento correspondam de perto à distribuição do modelo de política otimizado em cada ciclo, o que ajuda a aprimorar progressivamente o desempenho do modelo.
• Coleta de Dados de Preferência:

• Os dados de preferência são coletados de anotadores humanos que avaliam várias respostas geradas pelo modelo para cada prompt. Essas avaliações são baseadas na qualidade e preferência das respostas, com classificações claras como editado > escolhido > rejeitado.
• Esses dados abrangem respostas classificadas em vários níveis de preferência (significativamente melhor, melhor, ligeiramente melhor ou marginalmente melhor) e ocasionalmente incluem respostas editadas para refinar ainda mais a resposta escolhida.

Experimento do Llama 3.1

Os Experimentos de Visão do Llama 3.1 avaliam seu desempenho em reconhecimento de imagens e vídeos. Os Experimentos de Fala demonstram suas capacidades de reconhecimento de fala. Os resultados destacam a resiliência do modelo e suas aplicações potenciais em IA.

Experimentos de Visão do Llama 3.1

Resultados de Reconhecimento de Imagem

• O modelo Llama 3-V 405B supera o GPT-4V em todos os benchmarks, embora fique ligeiramente atrás do Gemini 1.5 Pro e do Claude 3.5 Sonnet.
• Mostra força particular em tarefas de compreensão de documentos.

Resultados de Reconhecimento de Vídeo

• Llama 3 se destaca no reconhecimento de vídeo, particularmente com os modelos de 8B e 70B parâmetros sendo avaliados.
• Tem um desempenho excepcionalmente bom no PerceptionTest, indicando uma capacidade robusta para raciocínio temporal complexo.
• Em tarefas de compreensão de atividades de longa duração, como ActivityNet-QA, Llama 3 apresenta resultados fortes mesmo processando apenas até 64 quadros. Isso significa que, para um vídeo de três minutos, o modelo processa apenas um quadro a cada três segundos.

Experimentos de Fala do Llama 3.1

Um sistema de texto-para-fala (TTS) em tempo real agora faz parte do Llama 3, criando formas de onda de fala durante a decodificação. Este sistema TTS utiliza embeddings do Llama 3 para melhorar a latência, precisão e naturalidade durante a inferência.

O que é annealing e como funciona?

O treinamento de grandes modelos de linguagem como Llama 3.1 envolve ‘annealing’, que ajusta o modelo para melhor desempenho em tarefas. O termo é emprestado da metalurgia, onde o annealing endurece materiais aquecendo e resfriando lentamente.

O processo de annealing para Llama 3.1 envolve vários componentes principais:

1. Redução Gradual da Taxa de Aprendizado: A taxa de aprendizado é sistematicamente reduzida a zero, estabilizando parâmetros e aumentando a generalização ao minimizar o overfitting.
2. Subamostragem de Dados de Alta Qualidade: A mistura de dados de treinamento é ajustada para priorizar fontes de alta qualidade, melhorando o desempenho e a precisão do modelo.
3. Média de Polyak: Esta técnica calcula a média dos parâmetros de vários checkpoints durante o annealing para criar um modelo pré-treinado estável.

No geral, o processo de annealing garante uma convergência suave, aumenta a estabilidade por meio de atualizações menores de parâmetros e resulta em um modelo robusto e preciso, bem equipado para generalização para novos dados.

Aprimorando as capacidades de codificação, multilíngues e mais do Llama 3.1

Foi dada ênfase ao aprimoramento das capacidades do Llama 3.1 por meio de treinamento adicional em codificação, habilidades multilíngues, raciocínio matemático, manuseio de contexto longo, uso de ferramentas, precisão e direcionabilidade. Avaliações e anotações humanas garantiram desempenho de alta qualidade nessas características otimizadas.

Habilidades de codificação do Llama 3.1

Llama 3.1 mostra desempenho robusto em uma variedade de benchmarks de codificação. As avaliações utilizam a métrica pass@N, que mede a taxa de sucesso de um conjunto de testes unitários em N gerações. Principais descobertas:

Geração de Código Python:

• HumanEval: Llama 3 8B marca 72.6±6.8, 70B atinge 80.5±6.1, e 405B alcança 89.0±4.8.
• MBPP: Llama 3 8B marca 60.8±4.3, 70B alcança 75.4±3.8, e 405B atinge 78.8±3.6.
• HumanEval+: Os resultados são 67.1±7.2 para Llama 3 8B, 74.4±6.7 para 70B e 82.3±5.8 para 405B.

Geração de Código em Múltiplas Linguagens de Programação:

• As avaliações são conduzidas usando MultiPL-E, que apresenta traduções de problemas de HumanEval e MBPP para várias linguagens de programação, como C++, Java, PHP, TypeScript e C#.
• Para HumanEval em C++: Llama 3 8B marca 52.8 ±7.7, e Llama 3 405B alcança 82.0 ±5.9.
• Para MBPP em C++: Llama 3 8B marca 53.7 ±4.9, e Llama 3 405B alcança 67.5 ±4.6.

Capacidades de matemática e raciocínio do Llama 3.1

Llama 3.1 mostrou desempenho notável em vários benchmarks de matemática e raciocínio, destacando sua proficiência nessas áreas. Abaixo estão os principais resultados das avaliações:

GSM8K (8-shot, Chain of Thought — CoT):

• Llama 3 8B: 57.2±2.7
• Llama 3 70B: 83.0±7.4
• Llama 3 405B: 90.0±5.9

MATH (0-shot, CoT):

• Llama 3 8B: 20.3±1.1
• Llama 3 70B: 41.4±1.4
• Llama 3 405B: 53.8±1.4

ARC Challenge (0-shot):

• Llama 3 8B: 79.7±2.3
• Llama 3 70B: 92.9±1.5
• Llama 3 405B: 96.1±1.1

A Meta enfrentou vários desafios ao aprimorar as habilidades matemáticas e de raciocínio do Llama 3.1, incluindo:

• Falta de Prompts
• Falta de Cadeia de Pensamento Verdadeira
• Etapas Intermediárias Incorretas
• Ensinar Modelos a Usar Ferramentas Externas
• Discrepância entre Treinamento e Inferência

Como o Llama 3.1 se comporta em cenários de contexto longo?

Llama 3.1 se destaca em benchmarks de contexto longo, mostrando sua capacidade de lidar e recuperar informações de documentos extensos de forma eficiente. Aqui estão os principais resultados da avaliação:

• Needle-in-a-Haystack: Alcança uma taxa de sucesso de 100% na recuperação de informações ocultas de documentos longos e resultados quase perfeitos na variação Multi-agulha.
• ZeroSCROLLS: Os modelos 405B e 70B igualam ou superam concorrentes no entendimento de linguagem natural em textos extensos.
• InfiniteBench: O modelo 405B supera todos os concorrentes em tarefas que exigem compreensão de contexto longo, destacando-se em perguntas e respostas sobre romances (En.QA).

Após revisar o artigo LLaMA 3.1, suas contribuições acadêmicas brilham em cenários do mundo real. A API LLM simplifica a pesquisa complexa para desenvolvedores, unindo teoria acadêmica com implementação prática de forma eficiente. Vamos explorar como a API LLM consegue isso.

Utilizando Variantes do Llama 3.1 no Novita.AI

Novita AI é uma plataforma robusta para gerenciar modelos Llama 3.1, oferecendo uma interface intuitiva e APIs poderosas que simplificam a integração em aplicações reais. Ela automatiza o gerenciamento do sistema, escala recursos de forma eficiente e garante alto desempenho, priorizando segurança e privacidade de dados. Ao permitir acesso fácil a LLMs avançados, Novita AI capacita desenvolvedores e empresas a acelerar projetos de IA e impulsionar a inovação em vários setores.

Como implantar a API LLM no Novita.AI?

Siga estas etapas estruturadas cuidadosamente para desenvolver aplicações poderosas de processamento de linguagem usando a API Llama 3.1 no Novita AI. Este guia detalhado garante um processo suave e eficiente, atendendo às necessidades dos desenvolvedores modernos que buscam uma plataforma de IA avançada.

Passo 1: Cadastre-se e faça login no Novita AI

Passo 2: Navegue até a aba Dashboard no Novita AI para obter sua chave de API. Você também pode optar por criar uma nova chave.

Passo 3: Após acessar a página de Gerenciamento de Chaves, clique em “Copiar” para recuperar sua chave facilmente.

Passo 4: Vá para a referência da API LLM para descobrir as “APIs” e “Modelos” oferecidos pelo Novita AI.

Passo 5: Escolha o modelo que melhor atende às suas necessidades. Configure seu ambiente de desenvolvimento e ajuste configurações como conteúdo, função, nome e prompt detalhado de acordo.

Passo 6: Realize vários testes para confirmar o desempenho consistente da API.

Como experimentar o LLM Playground no Novita AI?

Antes de implantar oficialmente a API LLM no Novita AI, você pode explorar e experimentar no LLM Playground. Oferecemos aos desenvolvedores uma cota de uso gratuita. A seguir, vou guiá-lo passo a passo pelo processo de início.

Passo 1: Acesse o Playground: Vá para a aba Products no menu, selecione Model API e comece a explorar escolhendo a API LLM.

Passo 2: Selecione entre Vários Modelos: Escolha o modelo llama que melhor atende às suas necessidades de avaliação.

Passo 3: Insira seu Prompt e Gere a Saída: Digite o prompt que deseja usar no campo designado. Esta área é onde você digita o texto ou pergunta para o modelo processar.

Conclusão

O artigo Llama 3.1 fala sobre um novo modelo que possui habilidades incríveis em muitas áreas. Ele cobre tudo, desde como o modelo é construído até os resultados dos testes e para que pode ser usado. Este guia fornece informações úteis para entusiastas de tecnologia e pesquisadores. Se você quiser aprender mais, deve conferir o PDF do artigo Llama 3.1. Isso ajudará você a entender suas habilidades matemáticas, de raciocínio e capacidade de trabalhar em diferentes idiomas. Llama 3.1 tem o poder de mudar como a IA funciona. Suas diferentes versões no Novita.AI oferecem grandes oportunidades para usar esta tecnologia. Explore IA avançada com Llama 3.1 para uma mudança notável.

Perguntas Frequentes

Llama 3.1 pode ser usado para gerar conteúdo criativo?

Sim, Llama 3.1 pode gerar conteúdo criativo. Seus recursos de IA generativa permitem criar diferentes tipos de texto. Isso inclui poemas, roteiros e até música. Isso mostra como é versátil em muitos usos criativos.

Como o Llama 3.1 lida com a privacidade do usuário e segurança de dados?

Llama 3.1 possui Llama Guard para garantir a privacidade do usuário e a segurança dos dados, promovendo o uso responsável da IA. Ele previne uso indevido, apoia escolhas éticas e emprega criptografia para segurança dos dados.

Llama 3.1 é melhor que GPT-4?

Se você prioriza precisão e eficiência em tarefas de codificação, Llama 3 pode ser a melhor escolha.

O que é Llama 3.1 405B?

Os modelos Llama 3.1, com parâmetros 8B, 70B e 405B, mostram desempenho de topo em benchmarks da indústria e fornecem novas capacidades para aplicações de IA generativa.

Por que llama é tão importante?

Llama, um avanço significativo em IA, oferece capacidades impressionantes e acessibilidade aberta. Seu lançamento democratiza a pesquisa em IA, promovendo criatividade e colaboração para impulsionar a inovação em vários domínios.

Originalmente publicado em Novita AI

Novita AI é a plataforma em nuvem All-in-one que impulsiona suas ambições de IA. APIs integradas, serverless, GPU Instance — as ferramentas econômicas que você precisa. Elimine infraestrutura, comece gratuitamente e torne sua visão de IA realidade.

Leitura Recomendada

1.Aprimore seus Projetos com Integração da API Llama 3.1

2.Mergulhe no Llama 3.1 Online com a API LLM

3.Desenvolvimento Avançado de IA com Llama 3 400B