Como Obter a Contagem de Tokens em Python para Otimização de Custos

Destaques Principais

• Tokens são os blocos de construção dos modelos de linguagem, representando fragmentos de palavras ou pontuação.
• A contagem de tokens impacta diretamente os custos dos modelos de IA e o comprimento do texto que você pode processar.
• Python oferece ferramentas robustas como a biblioteca Tiktoken para tokenização e contagem eficientes.
• Otimizar seu texto de entrada e prompts pode ajudar a reduzir o uso de tokens e diminuir os custos.
• A Novita AI se destaca por seus preços transparentes e gestão eficiente de tokens.

Em IA e processamento de linguagem natural (PLN), é importante entender “tokens”. Tokens são as peças básicas de texto que os modelos de IA manipulam. Este post do blog mostrará como obter a contagem de tokens em Python. Aprender essa habilidade pode ajudá-lo a economizar dinheiro e fazer suas aplicações de IA funcionarem melhor.

Índice

1. Entendendo a Tokenização
2. Importância da Contagem de Tokens para Otimização de Custos
3. Guia Passo a Passo para Obter a Contagem de Tokens em Python
4. Estratégias de Otimização de Tokens para Reduzir Custos de IA
5. Se o Uso de Tokens Não Puder Ser Reduzido, Escolha uma API Mais Barata
6. Uma Ótima Escolha: Novita AI
7. Conclusão

Entendendo a Tokenização

Representação abstrata da tokenização

Já pensou como os modelos de IA entendem a linguagem humana? A resposta é a tokenização. Tokenização significa dividir o texto em partes menores chamadas tokens. Esses tokens podem ser um caractere ou uma palavra completa. Python é uma linguagem popular para IA. Oferece muitas ferramentas e bibliotecas para tokenização fácil.

Os Fundamentos da Tokenização

Tokenização é sobre quebrar uma string de texto em partes menores chamadas tokens. Esses tokens são as peças básicas que ajudam os modelos de linguagem a entender e criar texto.

É bom lembrar que a tokenização faz mais do que apenas separar palavras com espaços. Ela também considera marcas de pontuação, símbolos especiais e até partes de palavras como tokens individuais. Como a tokenização funciona pode mudar com base no modelo de linguagem e no tokenizador usado.

Exemplo de Tokenização

Para visualizar como o texto é tokenizado, você pode usar a ferramenta Tokenizer. Por exemplo, a frase “Natural-language processing is key.” é tokenizada como: ['Natural', '-', 'language', ' processing', ' is', ' key', '.']. Essa decomposição é crucial para entender como sua entrada se traduz na contagem de tokens.

Usando a biblioteca Tiktoken em Python, você pode rapidamente quebrar strings de texto em tokens. Por exemplo, usando a função tokenize, você pode criar uma lista de tokens a partir de qualquer string de texto. Esse método é útil para muitas tarefas diferentes, como IA generativa e PLN. Ao compreender a ideia de tokens e usar bibliotecas como NLTK, você pode gerenciar bem os processos de tokenização. Isso ajuda a economizar custos.

Importância da Contagem de Tokens para Otimização de Custos

Analisando a contagem de tokens para otimização

• Impacto Direto nos Custos de API: O número de tokens em uma entrada e saída influencia diretamente o custo ao usar modelos de IA. Mais tokens significam custos mais altos, então gerenciar o uso de tokens é crucial para otimizar despesas.
• Limitações do Modelo: Cada modelo tem um limite de tokens (por exemplo, GPT-3.5 pode ter um limite de 4.096 tokens). Acompanhar a contagem de tokens garante que as entradas não excedam esse limite, evitando erros e custos desnecessários para respostas mais longas.
• Uso Eficiente de Recursos: Ao entender a tokenização, você pode escrever prompts mais concisos e gerenciar quanto texto é processado, garantindo que não desperdice tokens com informações irrelevantes. Isso leva a um uso mais eficiente dos recursos.
• Controle do Comprimento da Saída: Ao controlar o número de tokens solicitados na saída do modelo (por exemplo, através do parâmetro max_tokens), você pode limitar o tamanho da resposta, mantendo os custos previsíveis e sob controle.
• Processamento em Lote: A contagem de tokens ajuda ao dividir grandes conjuntos de dados em lotes menores e gerenciáveis. Dessa forma, você evita limites de tokens em chamadas individuais de API, otimizando custo e desempenho.

Quando sua contagem de tokens é maior, seus custos também aumentam. Portanto, encontrar maneiras de usar tokens de forma mais eficiente não é apenas uma questão técnica; é também sobre economizar dinheiro.

Guia Passo a Passo para Obter a Contagem de Tokens em Python

Contar tokens em Python é simples.

Passo 1: Ferramentas e Bibliotecas para Tokenização

Python tem muitas ferramentas e bibliotecas para facilitar a tokenização em tarefas de processamento de linguagem natural. Uma opção conhecida é o Natural Language Toolkit (NLTK). Esta biblioteca possui vários tokenizadores para atender diferentes necessidades, como o tokenizador de palavras do NLTK, que divide o texto em palavras individuais.

Outra ótima escolha é a biblioteca Tiktoken da OpenAI. Tiktoken é um tokenizador rápido feito para os modelos da OpenAI. Isso inclui GPT-3 e GPT-4. Ele usa um algoritmo eficiente de Byte Pair Encoding (BPE), tornando-o muito eficaz para esses modelos.

Instalar essas bibliotecas é simples com pip, que é o gerenciador de pacotes do Python. Por exemplo, para instalar o Tiktoken, basta digitar o comando pip install tiktoken.

Passo 2: Implementando a Contagem de Tokens no Seu Código Python

Incorporar a contagem de tokens em seus projetos Python é fácil. Primeiro, você precisa importar uma biblioteca, como Tiktoken: import tiktoken. Em seguida, carregue o modelo de codificação certo para seu projeto OpenAI. Por exemplo, se você está usando GPT-3.5-turbo, escreva: encoding = tiktoken.encoding_for_model("gpt-3.5-turbo").

Para contar os tokens em seu texto, use o método encode do objeto de codificação. Por exemplo: tokens = encoding.encode("Your text string"). Depois disso, encontre o número de tokens verificando o comprimento da lista tokens: token_count = len(tokens).

Certifique-se de substituir "Your text string" pelo seu texto real. Ao adicionar este código simples, você pode facilmente verificar e melhorar o uso de tokens em suas aplicações Python de IA.

Por conveniência, você pode copiar diretamente o código a seguir:

import tiktoken

# Selecione o modelo de codificação (ex.: "gpt-3.5-turbo")
encoding = tiktoken.get_encoding("gpt-3.5-turbo")

# Texto de entrada
text = "This is a sample sentence to count tokens."

# Conte os tokens
tokens = encoding.encode(text)
token_count = len(tokens)

print(f"Contagem de tokens: {token_count}")

Estratégias de Otimização de Tokens para Reduzir Custos de IA

Otimizar o uso de tokens é muito importante para economizar custos no desenvolvimento de IA. Você pode adotar as seguintes abordagens:

• Simplifique o Texto de Entrada: Uma ótima maneira de otimizar tokens é simplificando seu texto de entrada. Frequentemente, o texto tem detalhes extras, repetições ou frases difíceis de entender que aumentam a contagem de tokens sem realmente ajudar. Além disso, veja se você pode dizer a mesma informação com menos uso de metadados ou descrições longas. Lembre-se de que um texto mais curto e claro não apenas reduz a contagem de tokens, mas geralmente leva a uma melhor comunicação com o modelo de IA. Isso pode fornecer saídas mais precisas e úteis.
• Otimize o Design dos Prompts: A forma como você cria prompts para modelos de IA generativa realmente importa. Bons prompts podem levar a melhores respostas e ajudar a usar menos tokens. Use linguagem simples e garanta que não haja confusão em seus prompts. Ou tente diferentes formas de estruturar seus prompts para encontrar o melhor método para compartilhar suas ideias. Lembre-se, um prompt bem feito ajuda o modelo a trabalhar melhor. Isso reduz respostas desnecessariamente longas que aumentam a contagem de tokens.
• Use Tokenização Mais Eficiente: A escolha do tokenizador e como ele codifica pode afetar muito seu uso de tokens. É importante analisar diferentes opções de tokenizadores e testar suas configurações para reduzir sua contagem de tokens. Por exemplo, se você usa principalmente os modelos GPT da OpenAI, é melhor usar o tokenizador especial deles chamado Tiktoken. Tiktoken usa Byte Pair Encoding (BPE), que é feito para esses modelos. Isso muitas vezes torna a tokenização melhor do que opções mais genéricas.

Se o Uso de Tokens Não Puder Ser Reduzido, Escolha uma API Mais Barata

Quando você tentou todos os métodos de otimização e sua aplicação de IA ainda precisa de muitos tokens, é hora de buscar uma opção de API mais acessível.

Como Encontrar uma API Mais Acessível

Encontrar uma API de baixo custo para suas necessidades de IA requer pesquisa cuidadosa.

Passo 1: Analise a Documentação da API de Diferentes Provedores:

Verifique seus métodos de precificação e como o uso de tokens afeta seus custos gerais. Ao comparar os custos de tokens de entrada e saída, você pode avaliar efetivamente a relação custo-benefício de uma API.

Custos de entrada: Custo por milhão de tokens para o prompt.

Custos de saída: Custo por milhão de tokens para a conclusão.

Ao comparar os custos de tokens de entrada e saída, você pode avaliar efetivamente a relação custo-benefício de uma API.

Passo 2: Compare Outros Detalhes à Precificação para Encontrar o Melhor Negócio:

Você pode avaliar o desempenho de um modelo analisando sua Saída Máxima, Latência e Throughput.

Saída Máxima: Este endpoint pode gerar 4.096 tokens.

Latência: Tempo médio para o provedor enviar o primeiro token.

Throughput: Média de tokens transmitidos por segundo para requisições em streaming.

A comparação de saída máxima, latência e throughput.

Passo 3: Não Tenha Medo de Experimentar Testes Gratuitos de alguns Provedores:

Dessa forma, você pode testar como a API funciona e se atende às necessidades do seu projeto antes de escolher um plano pago.

Guia

Passo 1: Faça Login e Acesse a Biblioteca de Modelos

Faça login na sua conta e clique no botão Model Library.

Passo 2: Escolha Seu Modelo

Navegue pelas opções disponíveis e selecione o modelo que atende às suas necessidades.

Passo 3: Inicie Seu Teste Gratuito

Comece seu teste gratuito para explorar as capacidades do modelo selecionado.

Passo 4: Obtenha Sua Chave de API

Para autenticar com a API, forneceremos uma nova chave de API. Entrando na página “Settings”, você pode copiar a chave de API conforme indicado na imagem.

Passo 5: Instale a API

Instale a API usando o gerenciador de pacotes específico da sua linguagem de programação.

Após a instalação, importe as bibliotecas necessárias para seu ambiente de desenvolvimento. Inicialize a API com sua chave de API para começar a interagir com o LLM da Novita AI. Este é um exemplo de uso da API de chat completions para usuários Python.

 from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    # Obtenha a chave de API da Novita AI consultando: https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key.
    api_key="<SUA Chave de API da Novita AI>",
)

model = "meta-llama/llama-3.3-70b-instruct"
stream = True  # ou False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "Aja como se você fosse um assistente útil.",
        },
        {
            "role": "user",
            "content": "Olá!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "")
else:
    print(chat_completion_res.choices[0].message.content)

Ao se registrar, a Novita AI oferece um crédito de $0,5 para você começar!

Se os créditos gratuitos acabarem, você pode pagar para continuar usando.

Uma Ótima Escolha: Novita AI

A Novita AI é um modelo de API LLM de alto desempenho que se destaca por seu forte throughput, custo-benefício e confiabilidade. Supera a média do mercado em throughput, garante 99,9% de estabilidade da API e oferece preços competitivos ($0,25-$0,35).

Conclusão

Entender a contagem de tokens em Python é importante para economizar dinheiro em projetos de IA. Ao gerenciar como você usa os tokens, pode reduzir custos e melhorar o desempenho de suas aplicações. Você pode aplicar métodos como simplificar o texto de entrada, projetar prompts melhores e escolher APIs acessíveis como a Novita AI. Essas escolhas podem ajudar bastante o orçamento do seu projeto. Mantenha-se atualizado sobre as ferramentas e bibliotecas para tokenização. Siga também o guia para contar tokens com precisão em Python. Ao usar essas dicas, você pode facilitar seu trabalho com IA e economizar dinheiro em seus projetos.

Perguntas Frequentes

Quantos tokens existem em Python?

Em IA e PLN, você não conta tokens diretamente dentro do Python. Em vez disso, você conta tokens nas strings de texto com as quais seu código Python trabalha. O número de tokens em uma string de texto depende do comprimento do texto e do tipo de tokenizador usado.

Como a Contagem de Tokens Pode Levar à Otimização de Custos?

Muitas APIs de IA cobram com base na quantidade de tokens que processam. Ao monitorar os tokens que você usa e tentar usá-los com sabedoria, você pode gerenciar e reduzir seus custos de IA.

Como contar tokens?

Você pode contar tokens usando bibliotecas Python como Tiktoken ou NLTK. Essas bibliotecas ajudam a dividir o texto em tokens. Dessa forma, você pode facilmente saber sua contagem com código simples.

Novita AI é a plataforma all-in-one na nuvem que impulsiona suas ambições de IA. APIs integradas, serverless, GPU Instance — as ferramentas econômicas que você precisa. Elimine infraestrutura, comece gratuitamente e torne sua visão de IA realidade.

Leitura Recomendada
1./what-is-llama-3-3-70b/

2.Como o Usage Tier 2 Afeta os Tokens e Limites da OpenAI: Seu Ajuste

3.Llama 3.3 70B: Recursos, Guia de Acesso e Comparação de Modelos