Как получить количество токенов в Python для оптимизации затрат

Ключевые моменты

• Токены — это строительные блоки языковых моделей, представляющие собой фрагменты слов или знаков препинания.
• Количество токенов напрямую влияет на стоимость модели ИИ и длину текста, который вы можете обработать.
• Python предлагает надежные инструменты, такие как библиотека Tiktoken, для эффективной токенизации и подсчета.
• Оптимизация входного текста и подсказок может помочь сократить использование токенов и снизить затраты.
• Novita AI отличается прозрачным ценообразованием и эффективной обработкой токенов.

В ИИ и обработке естественного языка (NLP) важно понимать, что такое «токены». Токены — это базовые фрагменты текста, которые обрабатывают модели ИИ. В этой статье блога рассказывается, как подсчитать количество токенов в Python. Освоение этого навыка поможет вам сэкономить деньги и повысить эффективность работы ваших ИИ-приложений.

Содержание

1. Понимание токенизации
2. Важность количества токенов для оптимизации затрат
3. Пошаговое руководство по подсчету токенов в Python
4. Стратегии оптимизации токенов для снижения затрат на ИИ
5. Если использование токенов невозможно сократить, выберите более дешевый API
6. Отличный выбор: Novita AI
7. Заключение

Понимание токенизации

Вы когда-нибудь задумывались о том, как модели ИИ понимают человеческий язык? Ответ — токенизация. Токенизация означает разбиение текста на более мелкие части, называемые токенами. Эти токены могут быть одним символом или целым словом. Python — популярный язык для ИИ. Он предлагает множество инструментов и библиотек для простой токенизации.

Основы токенизации

Токенизация — это разбиение текстовой строки на более мелкие части, называемые токенами. Эти токены — основные части, которые помогают языковым моделям понимать и создавать текст.

Хорошо помнить, что токенизация не просто разделяет слова пробелами. Она также рассматривает знаки препинания, специальные символы и даже части слов как отдельные токены. То, как работает токенизация, может меняться в зависимости от языковой модели и используемого токенизатора.

Пример токенизации

Чтобы визуализировать, как текст токенизирован, вы можете использовать инструмент Tokenizer. Например, предложение «Обработка естественного языка является ключевой» токенизировано следующим образом: ['Natural', '-', 'language', ' processing', ' is', ' key', '.']. Эта разбивка имеет решающее значение для понимания того, как ваш вклад преобразуется в количество токенов.

Используя библиотеку TikTok в Python, вы можете быстро разбить текстовые строки на токены. Например, используя tokenize Функция позволяет создать список токенов из любой текстовой строки. Этот метод полезен для множества различных задач, таких как генеративный ИИ и обработка естественного языка. Поняв идею токенов и используя библиотеки, такие как NLTK, вы сможете хорошо управлять процессами токенизации. Это помогает экономить средства.

Важность количества токенов для оптимизации затрат

• Прямое влияние на стоимость API：Количество токенов на входе и выходе напрямую влияет на стоимость при использовании моделей ИИ. Больше токенов означает более высокие затраты, поэтому управление использованием токенов имеет решающее значение для оптимизации расходов.
• Ограничения модели:Каждая модель имеет лимит токенов (например, GPT-3.5 может иметь лимит в 4,096 токенов). Отслеживание количества токенов гарантирует, что входные данные не превысят этот лимит, избегая ошибок и ненужных затрат на более длинные ответы.
• Эффективное использование ресурсов：Понимая токенизацию, вы можете писать более краткие подсказки и управлять объемом обрабатываемого текста, гарантируя, что вы не тратите токены на нерелевантную информацию. Это приводит к более эффективному использованию ресурсов.
• Управление длиной выходного сигнала:Управляя количеством токенов, запрашиваемых в выходных данных модели (например, через max_tokens параметр), вы можете ограничить размер ответа, сохраняя затраты предсказуемыми и контролируемыми.
• Пакетная обработка：Подсчет токенов помогает при разделении больших наборов данных на более мелкие, управляемые пакеты. Таким образом, вы можете избежать ограничений токенов в отдельных вызовах API, оптимизируя как стоимость, так и производительность.

Когда количество ваших токенов увеличивается, ваши расходы также растут. Поэтому поиск способов более эффективного использования токенов — это не просто техническая проблема; это также вопрос экономии денег.

Пошаговое руководство по подсчету токенов в Python

Подсчет токенов в Python прост.

Шаг 1: Инструменты и библиотеки для токенизации

В Python есть много инструментов и библиотек, упрощающих токенизацию для задач обработки естественного языка. Известным вариантом является Natural Language Toolkit (NLTK). Эта библиотека имеет несколько токенизаторов для различных нужд, например, токенизатор слов NLTK, который разбивает текст на отдельные слова.

Еще один отличный выбор — библиотека Tiktoken от OpenAI. Tiktoken — это быстрый токенизатор, созданный для моделей OpenAI. Сюда входят GPT-3 и GPT-4. Он использует эффективный алгоритм Byte Pair Encoding (BPE), что делает его очень эффективным для этих моделей.

Установка этих библиотек проста с помощью pip, который является менеджером пакетов Python. Например, чтобы установить Tiktoken, просто введите команду pip install tiktoken.

Шаг 2: Реализация подсчета токенов в вашем коде Python

Включить подсчет токенов в ваши проекты Python легко. Сначала вам нужно импортировать библиотеку, например Tiktoken: import tiktoken. Затем загрузите правильную модель кодирования для вашего проекта OpenAI. Например, если вы используете GPT-3.5-turbo, напишите: encoding = tiktoken.encoding_for_model("gpt-3.5-turbo").

Чтобы подсчитать токены в вашем тексте, используйте encode метод из объекта кодирования. Например: tokens = encoding.encode("Your text string"). После этого найдите количество токенов, проверив длину tokens список: token_count = len(tokens).

Не забудьте заменить "Your text string" с вашим реальным текстом. Добавив этот простой код, вы можете легко проверить и улучшить использование токенов в ваших приложениях Python AI.

Для удобства вы можете напрямую скопировать следующий код

import tiktoken

# Select the encoding model (e.g., "gpt-3.5-turbo")
encoding = tiktoken.get_encoding("gpt-3.5-turbo")

# Input text
text = "This is a sample sentence to count tokens."

# Count tokens
tokens = encoding.encode(text)
token_count = len(tokens)

print(f"Token count: {token_count}")

Стратегии оптимизации токенов для снижения затрат на ИИ

Оптимизация использования вашего токена очень важна для экономии затрат на разработку ИИ. Вы можете использовать следующие подходы

• Упростить вводимый текст: Один из отличных способов оптимизировать токены — сделать текст ввода проще. Часто текст содержит дополнительные детали, повторы или сложные для понимания фразы, которые увеличивают количество токенов, не принося при этом никакой пользы. Также посмотрите, сможете ли вы передать ту же информацию с меньшим использованием метаданных или длинных описаний. Помните, что более короткий и понятный текст не только снижает количество токенов, но и обычно улучшает взаимодействие с моделью ИИ. Это может дать вам более точные и полезные результаты.
• Оптимизируйте дизайн подсказки: То, как вы создаете подсказки для генеративных моделей ИИ, действительно имеет значение. Хорошие подсказки могут привести к лучшим ответам и помочь использовать меньше токенов. Используйте простой язык и убедитесь, что в ваших подсказках нет путаницы. Или попробуйте разные способы структурирования ваших подсказок, чтобы найти лучший способ поделиться своими идеями. Помните, хорошо сделанная подсказка помогает модели работать лучше. Это сокращает ненужные длинные ответы, которые увеличивают количество токенов.
• Используйте более эффективную токенизацию: Выбор токенизатора и способа его кодирования может существенно повлиять на использование вами токена. Важно рассмотреть различные варианты токенизатора и попробовать их настройки, чтобы уменьшить количество токенов. Например, если вы в основном используете модели GPT OpenAI, лучше всего использовать их специальный токенизатор под названием Tiktoken. Tiktoken использует кодировку пар байтов (BPE), которая создана для этих моделей. Это часто делает его более эффективным в токенизации, чем более общие варианты.

Если использование токенов невозможно сократить, выберите более дешевый API

Если вы перепробовали все методы оптимизации, а вашему ИИ-приложению по-прежнему требуется слишком много токенов, пришло время поискать более бюджетный вариант API.

Как найти более доступный API

Поиск недорогого API для ваших нужд в области ИИ требует тщательного исследования.

Шаг 1： Ознакомьтесь с документацией API от разных поставщиков:

Проверьте их методы ценообразования и посмотрите, как использование токенов влияет на ваши общие расходы. Сравнивая входные и выходные затраты на токены, вы можете эффективно оценить экономическую эффективность API.

Входные затраты: Стоимость за миллион токенов для подсказки.

Расходы на выпуск: Стоимость за миллион токенов для завершения.

Шаг 2: Сравните другие детали с ценами, чтобы найти лучшее предложение:

Вы можете оценить производительность модели, оценив ее Максимальный выход, задержка и пропускная способность.

Максимальный выход: Эта конечная точка может генерировать 4,096 токенов.

Задержка: Среднее время отправки провайдером первого токена

Пропускная способность: Среднее количество токенов, переданных в секунду для потоковых запросов

Шаг 3: Не бойтесь попробовать бесплатные пробные версии от некоторых поставщиков:

Таким образом, вы сможете проверить, насколько хорошо работает API и соответствует ли он потребностям вашего проекта, прежде чем выбрать платный тариф.

Guide

Шаг 1: войдите в систему и получите доступ к библиотеке моделей

Войдите в свою учетную запись и нажмите на кнопку Библиотека моделей .

Шаг 2: Выберите модель

Просмотрите доступные варианты и выберите модель, которая соответствует вашим потребностям.

Шаг 3. Начните бесплатную пробную версию

Начните бесплатную пробную версию, чтобы изучить возможности выбранной модели.

Шаг 4: Получите свой ключ API

Для аутентификации через API мы предоставим вам новый API-ключ. Перейдя на страницу «Настройки», вы можете скопировать API-ключ, как показано на изображении.

Шаг 5: Установка API

Установите API, используя менеджер пакетов, соответствующий вашему языку программирования.

После установки импортируйте необходимые библиотеки в среду разработки. Инициализируйте API, используя свой ключ API, чтобы начать взаимодействие с Novita AI LLM. Это пример использования API завершения чата для пользователей pthon.

 from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    # Get the Novita AI API Key by referring to: https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key.
    api_key="<YOUR Novita AI API Key>",
)

model = "meta-llama/llama-3.3-70b-instruct"
stream = True  # or False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "Act like you are a helpful assistant.",
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "")
else:
    print(chat_completion_res.choices[0].message.content)

После регистрации, Novita AI предоставляет вам кредит в размере 0.5$ для начала работы!

Если бесплатные кредиты будут израсходованы, вы сможете продолжить их использование за плату.

Отличный выбор: Novita AI

Novita AI это высокая производительность LLM Модель API, которая отличается высокой пропускной способностью, экономической эффективностью и надежностью. Она превосходит средний показатель по рынку по пропускной способности, обеспечивает 99.9% стабильности API и предлагает конкурентоспособные цены ($0.25–$0.35).

Заключение

Понимание подсчёта токенов в Python важно для экономии средств на проектах ИИ. Управляя использованием токенов, вы можете снизить затраты и повысить производительность своих приложений. Вы можете применять такие методы, как упрощение ввода текста, улучшение дизайна подсказок и выбор доступных API, таких как Novita AIЭти решения могут значительно сэкономить бюджет вашего проекта. Будьте в курсе новых инструментов и библиотек для токенизации. Также следуйте руководству по точному подсчёту токенов в Python. Следуя этим советам, вы сможете упростить работу с ИИ и сэкономить на своих проектах.

Часто задаваемые вопросы

Сколько токенов в Python?

В ИИ и NLP вы не считаете токены в Python напрямую. Вместо этого вы считаете токены в текстовых строках, с которыми работает ваш код Python. Количество токенов в текстовой строке зависит от длины текста и типа используемого вами токенизатора.

Как подсчет токенов может привести к оптимизации затрат?

Многие API ИИ взимают плату в зависимости от того, сколько токенов они обрабатывают. Отслеживая используемые токены и стараясь использовать их разумно, вы можете управлять и снижать свои расходы на ИИ.

Как подсчитываются жетоны?

Вы можете подсчитать токены, используя библиотеки Python, такие как Tiktoken или NLTK. Эти библиотеки помогут вам разбить текст на токены. Таким образом, вы можете легко узнать их количество с помощью простого кода.

Novita AI — это комплексная облачная платформа, которая поможет вам реализовать ваши амбиции в области искусственного интеллекта. Интегрированные API, бессерверные решения, GPU Instance — необходимые вам экономичные инструменты. Избавьтесь от инфраструктуры, начните бесплатно и воплотите свою идею ИИ в реальность.

Рекомендовать Чтение
1.https://blogs.novita.ai/what-is-llama-3-3-70b/

2.Как использование уровня 2 влияет на токены OpenAI и лимиты: ваш выбор

3.Llama 3.3 70B: характеристики, руководство по доступу и сравнение моделей