Este artigo fornece uma visão geral das configurações dos modelos de linguagem de grande porte (LLMs), aprofundando as vantagens e desvantagens das grandes janelas de contexto. Ele também oferece exemplos práticos ilustrando como ajustar essas configurações afeta a saída do LLM em várias tarefas.
Introdução
Os modelos de linguagem de grande porte dependem de probabilidades para determinar o token ou palavra subsequente mais provável com base em seus dados de treinamento, prompts e configurações. Discussões anteriores destacaram como técnicas de prompting podem instilar raciocínio humano nos LLMs, enquanto técnicas como Retrieval Augmented Generation aprimoram suas capacidades ao conceder acesso a fontes de conhecimento externas.
No entanto, ajustar as configurações ou parâmetros do LLM pode impactar significativamente a saída final, independentemente do contexto e prompts fornecidos. Dominar essas configurações é crucial para aproveitar efetivamente os modelos de linguagem de grande porte e orientá-los para comportamentos desejados. Neste artigo, exploramos parâmetros fundamentais do LLM, como temperatura, top P, máximo de tokens e janela de contexto, elucidando como eles influenciam a saída do modelo.
O que é a Temperatura do LLM?
Em termos simples, a temperatura é um parâmetro que varia de 0 a 1, determinando o nível de aleatoriedade nas respostas geradas por um modelo de linguagem de grande porte (LLM). Temperaturas mais altas levam a saídas mais diversas e criativas, enquanto temperaturas mais baixas resultam em respostas mais conservadoras e previsíveis.
Quando a temperatura é definida como zero, um LLM produzirá consistentemente a mesma saída para o mesmo prompt. Aumentar a temperatura aumenta a criatividade do modelo, fornecendo uma gama mais ampla de saídas. No entanto, temperaturas excessivamente altas podem levar a saídas que carecem de coerência ou significado.
As configurações padrão de temperatura variam entre diferentes LLMs, dependendo de fatores como o tipo de modelo e se ele é acessado via API ou interface web. Por exemplo, discussões sobre ChatGPT-3.5 e 4 frequentemente mencionam configurações padrão de temperatura em torno de 0,7 a 0,8, embora valores precisos geralmente não sejam divulgados.
Configurações de Temperatura
O parâmetro de temperatura é um valor numérico tipicamente variando entre 0 e 1, embora às vezes possa exceder esse intervalo, que influencia o grau de risco ou conservadorismo nas escolhas de palavras do modelo. Ele ajusta a distribuição de probabilidade da próxima palavra.
Aqui está uma análise dos diferentes parâmetros de temperatura para modelos de linguagem de grande porte:
Baixa Temperatura (<1,0) — Quando definida abaixo de 1, a saída do modelo tende a ser mais determinística e repetitiva. Temperaturas mais baixas priorizam a seleção da palavra mais provável, reduzindo a variabilidade da saída. Isso pode ser vantajoso para obter respostas previsíveis e conservadoras, mas pode também gerar texto menos criativo ou diverso, dando ao modelo um tom mais robótico.
Alta Temperatura (>1,0) — Definir a temperatura acima de 1 aumenta a aleatoriedade no texto gerado. O modelo está mais inclinado a escolher palavras menos prováveis como a próxima palavra na sequência, resultando em saídas mais variadas e, às vezes, mais criativas. No entanto, essa aleatoriedade elevada pode levar a erros ou respostas sem sentido, pois o modelo está menos vinculado à distribuição de probabilidade dos seus dados de treinamento.
Temperatura de 1,0 — Esta é frequentemente a configuração padrão, visando equilibrar aleatoriedade e determinismo. O modelo gera texto que não é nem excessivamente previsível nem muito aleatório, baseando-se na distribuição de probabilidade aprendida durante seu treinamento.
Casos de Uso para Modelagem de Temperatura em LLMs
Ajustar finamente o parâmetro de temperatura na modelagem envolve encontrar o equilíbrio certo entre aleatoriedade e determinismo, um aspecto crítico em aplicações onde a qualidade do texto gerado impacta profundamente a experiência do usuário ou os processos de tomada de decisão.
Em cenários práticos, a escolha da configuração de temperatura depende do resultado desejado. Tarefas que exigem criatividade ou respostas diversas podem se beneficiar de temperaturas mais altas, enquanto aquelas que exigem precisão ou correção factual geralmente favorecem temperaturas mais baixas.
Aqui estão alguns casos de uso comuns e configurações de temperatura recomendadas para modelos LLM:
Escrita Criativa — Empregar temperaturas mais altas pode estimular a criatividade e produzir uma variedade de saídas, sendo benéfico para superar bloqueios de escrita ou gerar ideias inovadoras de conteúdo.
Documentação Técnica — Temperaturas mais baixas são preferidas para garantir a precisão e confiabilidade do conteúdo, crucial em documentação técnica onde a exatidão e consistência são primordiais.
Interação com Clientes — Ajustar a temperatura permite adaptar respostas em chatbots ou assistentes virtuais para se alinhar à marca e ao tom da organização, bem como atender às preferências do público-alvo.
O que é Top P
Top P, também conhecido como amostragem de núcleo, é outro parâmetro que influencia a aleatoriedade da saída do LLM. Este parâmetro determina o limiar de probabilidade para incluir tokens em um conjunto candidato usado pelo LLM para gerar a saída. Valores mais baixos deste parâmetro resultam em respostas mais precisas e baseadas em fatos do LLM, enquanto valores mais altos aumentam a aleatoriedade e diversidade na saída gerada.
Por exemplo, definir o parâmetro Top P para 0,1 leva a uma saída determinística e focada do LLM. Por outro lado, aumentar o Top P para 0,8 permite respostas menos restritas e mais criativas.
O que é Máximo de Tokens
Enquanto a temperatura e o top P regulam a aleatoriedade das respostas do LLM, eles não estabelecem quaisquer restrições no tamanho da entrada aceita ou na saída gerada pelo modelo. Em contraste, dois outros parâmetros, a janela de contexto e o máximo de tokens, afetam diretamente o desempenho do LLM e as capacidades de processamento de dados.
A janela de contexto, medida em tokens (que podem ser palavras inteiras, subpalavras ou caracteres), determina o número de palavras que um LLM pode processar de uma vez. Por outro lado, o parâmetro de máximo de tokens define o limite superior para o número total de tokens, englobando tanto a entrada fornecida ao LLM como prompt quanto os tokens de saída gerados pelo LLM em resposta a esse prompt.
Entendendo a Janela de Contexto
Em geral, o tamanho da janela de contexto em modelos de linguagem de grande porte (LLMs) determina a quantidade de informação que o modelo pode reter e utilizar ao gerar saída. Uma janela de contexto maior permite que o LLM se lembre de mais contexto, levando a respostas mais coerentes e precisas. No entanto, se a entrada exceder a janela de contexto, o modelo começa a “esquecer” informações anteriores, potencialmente resultando em saída de menor qualidade e menos relevante.
Além disso, o tamanho da janela de contexto impõe restrições às técnicas de engenharia de prompt. Métodos como Tree-of-Thoughts ou Retrieval Augmented Generation (RAG) requerem grandes janelas de contexto para serem eficazes, pois dependem de alimentar o modelo com informações suficientes para gerar respostas de alta qualidade.
À medida que os LLMs evoluem, suas janelas de contexto também se expandem, permitindo-lhes processar mais tokens de uma só vez. Por exemplo, enquanto o GPT-4 tem um limite de contexto de 8.192 tokens, modelos mais novos como o GPT-4 Turbo suportam uma janela de contexto de até 128K tokens. Da mesma forma, a Anthropic aumentou o limite de contexto na ferramenta Claude de 9.000 tokens para 200K tokens na versão Claude 2.1.
Quando uma grande janela de contexto não resulta em uma saída melhor?
Embora uma janela de contexto maior permita que os LLMs processem entradas mais longas, levando a respostas potencialmente mais relevantes, expandir os limites de contexto não é universalmente vantajoso. Existem várias desvantagens a considerar.
Primeiro, conjuntos de dados de entrada maiores exigem mais tempo para os LLMs gerarem respostas. A complexidade computacional aumentada de processar janelas de contexto maiores agrava ainda mais este problema.
Segundo, os custos computacionais associados a janelas de contexto maiores escalam proporcionalmente.
Além disso, a pesquisa de Liu et al. (2023) destaca outro desafio: os modelos de linguagem de grande porte muitas vezes têm dificuldade em acessar efetivamente informações dentro de contextos de entrada longos. O estudo deles revelou que os LLMs alcançam desempenho ideal quando a informação relevante está situada no início ou no final da entrada. Por outro lado, utilizar informações do meio de um contexto longo leva a uma diminuição no desempenho do modelo.
Outras Configurações do LLM
Várias outras configurações podem influenciar a saída dos modelos de linguagem, incluindo sequências de parada, penalidades de frequência e penalidades de presença.
Sequências de Parada
As sequências de parada ditam quando o modelo deve interromper a geração de saída, permitindo controlar o comprimento e a estrutura do conteúdo. Por exemplo, ao solicitar que a IA componha um e-mail, definir “Atenciosamente,” ou “Sinceramente,” como a sequência de parada garante que o modelo pare antes da saudação de encerramento, resultando em um e-mail conciso e focado. As sequências de parada são valiosas para gerar saídas que se espera que sigam um formato estruturado, como e-mails, listas numeradas ou diálogos.
Penalidade de Frequência
A penalidade de frequência é uma configuração que desencoraja a repetição no texto gerado, penalizando tokens com base em sua frequência de aparecimento. Tokens que ocorrem com mais frequência no texto têm menos probabilidade de serem usados novamente pela IA.
Penalidade de Presença
A penalidade de presença funciona de forma semelhante à penalidade de frequência, mas aplica uma penalidade fixa aos tokens com base em se eles apareceram no texto ou não, em vez de penalizá-los proporcionalmente.
Fonte: novita.ai
Import Character (opcional)
Alguns LLMs têm suas configurações especiais, por exemplo, import character (importar personagem). Ao importar cartões de personagem, você pode conversar com seus personagens favoritos, independentemente de quem eles são.
novita.ai LLM com recurso Import Character
Como Ajustar as Configurações do LLM?
Como demonstrado anteriormente, ajustar parâmetros como temperatura, top P e máximo de tokens pode ajudar a ajustar finamente os LLMs para produzir resultados mais relevantes e precisos. Diminuir a temperatura ou o top P para valores como 0,1 ou 0,2 reduz a aleatoriedade, gerando respostas mais focadas adequadas para tarefas como geração de código ou script de análise de dados. Por outro lado, aumentar os parâmetros de temperatura ou top P para cerca de 0,7 ou 0,8 incentiva uma saída mais criativa e diversa, ideal para escrita criativa ou storytelling. Geralmente, é aconselhável modificar apenas o parâmetro de temperatura ou o top P, mas não ambos simultaneamente.
Enquanto isso, alterar o parâmetro de máximo de tokens permite personalizar o comprimento da saída do LLM. Essa flexibilidade prova ser benéfica ao adaptar LLMs para gerar respostas curtas para chatbots ou conteúdo mais longo para artigos. Além disso, ajustar o parâmetro de máximo de tokens pode ser útil em cenários como geração de código para desenvolvimento de software ou resumo de documentos mais longos.
Conclusão
Em resumo, ganhar proficiência em configurações como temperatura, top P, comprimento máximo e outros é crucial ao utilizar modelos de linguagem. Esses parâmetros permitem um gerenciamento preciso da saída do modelo, adaptando-a para tarefas ou aplicações específicas. Eles governam fatores como aleatoriedade da resposta, comprimento e frequência de repetição, todos os quais contribuem para melhorar as interações com a IA.
novita.ai, a plataforma completa para criatividade sem limites que oferece acesso a mais de 100 APIs. Desde geração de imagens e processamento de linguagem até aprimoramento de áudio e manipulação de vídeo, pagamento por uso barato, libera você das preocupações com manutenção de GPU enquanto constrói seus próprios produtos. Experimente gratuitamente.
Leitura recomendada
Novita AI LLM Inference Engine: a maior taxa de transferência e inferência mais barata disponível
