如何在 Python 中获取 Token 数量以优化成本

关键要点
理解 Tokenization
Token 数量对成本优化的重要性
如何在 Python 中获取 Token 数量的分步指南
降低 AI 成本的 Token 优化策略
如果无法减少 Token 使用量，选择更便宜的 API
结论
常见问题

关键要点

Token 是语言模型的基本构建单元，代表单词或标点符号的片段。
Token 数量直接影响 AI 模型成本以及你能处理的文本长度。
Python 提供了强大的工具（如 Tiktoken 库）用于高效的 token 化和计数。
优化输入文本和提示词有助于减少 token 使用并降低成本。
Novita AI 以其透明的定价和高效的 token 处理脱颖而出。

在 AI 和自然语言处理（NLP）中，理解“token”至关重要。Token 是 AI 模型处理的文本基本片段。本篇博文将向你展示如何在 Python 中获取 Token 数量。掌握这项技能有助于节省成本并让你的 AI 应用运行更高效。

理解 Tokenization

Tokenization 的抽象表示

你是否想过 AI 模型如何理解人类语言？答案在于 tokenization。Tokenization 是指将文本拆分为更小的部分，称为 token。这些 token 可以是一个字符或一个完整的单词。Python 作为一种流行的 AI 语言，提供了许多工具和库来轻松实现 tokenization。

Tokenization 的基本概念

Tokenization 是将文本字符串分解为更小的部分（token）的过程。这些 token 是语言模型理解和生成文本的基本单元。

需要记住的是，tokenization 不仅仅是按空格拆分单词。它还会将标点符号、特殊符号，甚至单词的一部分视为独立的 token。Tokenization 的具体方式取决于所使用的语言模型和 tokenizer。

Tokenization 示例

为了可视化文本是如何被 token 化的，你可以使用 Tokenizer 工具。例如，句子 “Natural-language processing is key.” 被 token 化为：[‘Natural’, ‘-’, ‘language’, ‘ processing’, ‘ is’, ‘ key’, ‘.’.]。这个分解过程对于理解你的输入如何转换为 token 数量至关重要。

使用 Python 中的 Tiktoken 库，你可以快速将文本字符串拆分为 token。例如，通过 tokenize 函数，你可以从任何文本字符串中生成一个 token 列表。这种方法对于生成式 AI 和 NLP 等众多任务都非常有用。通过掌握 token 的概念并利用 NLTK 等库，你可以很好地管理 token 化过程，从而节省成本。

Token 数量对成本优化的重要性

分析 token 数量以优化成本

直接影响 API 成本： 输入和输出中的 token 数量直接影响使用 AI 模型时的成本。Token 越多，成本越高，因此管理 token 使用量对于优化支出至关重要。
模型限制： 每个模型都有 token 限制（例如，GPT-3.5 可能限制为 4,096 个 token）。跟踪 token 数量可确保输入不超过此限制，避免错误以及为更长响应带来的不必要成本。
资源高效利用： 通过理解 tokenization，你可以编写更简洁的提示语并控制处理的文本量，确保不必要的 token 不被浪费在无关信息上。这可以更高效地利用资源。
控制输出长度： 通过控制模型输出请求的 token 数量（例如通过 max_tokens 参数），你可以限制响应大小，保持成本可预测并可控制。
批量处理： Token 数量有助于将大数据集拆分为更小、可管理的批次。这样可以避免单个 API 调用中的 token 限制，优化成本和性能。

当你的 token 数量较高时，成本也会随之上升。因此，找到更高效使用 token 的方法不仅是技术问题，也关乎成本节约。

如何在 Python 中获取 Token 数量的分步指南

在 Python 中计算 token 很简单。

步骤 1：用于 Token 化的工具和库

Python 提供了多种工具和库，使自然语言处理任务中的 token 化更加便捷。一个知名的选择是 Natural Language Toolkit（NLTK）。该库提供了多种 tokenizer 以满足不同需求，例如 NLTK 的单词 tokenizer，可以将文本拆分为单个单词。

另一个优秀的选择是 OpenAI 的 Tiktoken 库。Tiktoken 是一个专为 OpenAI 模型（包括 GPT-3 和 GPT-4）设计的高效 tokenizer。它使用高效的字节对编码（BPE）算法，因此对这些模型非常有效。

使用 Python 的包管理器 pip 可以轻松安装这些库。例如，要安装 Tiktoken，只需在终端输入命令 pip install tiktoken。

步骤 2：在你的 Python 代码中实现 Token 计数

将 token 计数集成到你的 Python 项目中很简单。首先，需要导入一个库，比如 Tiktoken：import tiktoken。然后，为你的 OpenAI 项目加载相应的编码模型。例如，如果你使用 GPT-3.5-turbo，可以这样写：encoding = tiktoken.encoding_for_model(“gpt-3.5-turbo”)。

要计算文本中的 token 数量，请使用编码对象的 encode 方法。例如：tokens = encoding.encode(“你的文本字符串”)。然后，通过获取 tokens 列表的长度来得到 token 数量：token_count = len(tokens)。

请确保将 “你的文本字符串” 替换为实际文本。通过添加这段简单的代码，你可以轻松监控和优化 Python AI 应用中的 token 使用情况。

为了使用方便，你可以直接复制以下代码：

import tiktoken

# 选择编码模型（例如 "gpt-3.5-turbo"）
encoding = tiktoken.get_encoding("gpt-3.5-turbo")

# 输入文本
text = "这是一个用于计算 token 数量的示例句子。"

# 计算 token 数量
tokens = encoding.encode(text)
token_count = len(tokens)

print(f"Token 数量：{token_count}")

降低 AI 成本的 Token 优化策略

优化 token 使用量对于节省 AI 开发成本至关重要。你可以采取以下方法：

简化输入文本： 优化 token 的一个好方法是简化输入文本。通常情况下，文本中包含了不必要的细节、重复或难以理解的短语，这些会增加 token 数量却没有实际帮助。同时，检查是否可以用更少的元数据或冗长的描述来表达相同的信息。请记住，更短、更清晰的文本不仅能降低 token 数量，通常还能与 AI 模型进行更好的沟通，从而获得更准确和有用的输出。
优化提示词设计： 为生成式 AI 模型创建提示词的方式至关重要。好的提示词能带来更好的响应并帮助减少 token 使用。在提示词中使用简洁的语言，确保没有歧义。或者尝试不同的提示词结构，以找到最佳方式来表达你的想法。记住，精心设计的提示词能让模型更好地工作，从而减少不必要的冗长响应，增加 token 数量。
使用更高效的 Token 化方法： Tokenizer 的选择及其编码方式会显著影响你的 token 使用量。评估不同的 tokenizer 选项并尝试调整它们的设置以减少 token 数量非常重要。例如，如果你主要使用 OpenAI 的 GPT 模型，最好使用它们专门的 tokenizer——Tiktoken。Tiktoken 使用字节对编码（BPE），专为这些模型优化，通常比通用选项在 token 化方面更高效。

如果无法减少 Token 使用量，选择更便宜的 API

当你尝试了所有优化方法，但你的 AI 应用仍然需要大量 token 时，就该寻找更经济实惠的 API 了。

如何找到更实惠的 API

为你的 AI 需求找到低成本的 API 需要仔细研究。

步骤 1：查看不同提供商的 API 文档：

检查其定价模式，了解 token 使用如何影响你的总体成本。通过比较 输入和输出 token 成本，你可以有效评估 API 的性价比。

输入成本： 提示词的每百万 token 成本。

输出成本： 补全内容的每百万 token 成本。

通过比较 输入和输出 token 成本，你可以有效评估 API 的性价比。

步骤 2：将其他细节与定价进行比较，找到最佳方案：

你可以通过评估模型的 最大输出、延迟和吞吐量 来评估模型性能。

最大输出： 该端点可生成 4,096 个 token。

延迟： 提供商发送第一个 token 的平均时间。

吞吐量： 流式请求的平均每秒传输 token 数。

最大输出、延迟、吞吐量的对比。

步骤 3：不要害怕尝试某些提供商的免费试用：

这样，你可以在选择付费计划前测试 API 的效果以及是否满足项目需求。

指南

步骤 1：登录并访问模型库

登录你的账户，点击 模型库 按钮。

步骤 2：选择你的模型

浏览可用选项，选择适合你需求的模型。

步骤 3：开始免费试用

开始免费试用，探索所选模型的能力。

步骤 4：获取你的 API 密钥

为了通过 API 进行身份验证，我们将为你提供一个新的 API 密钥。进入 “设置” 页面，根据图片指示复制 API 密钥。

步骤 5：安装 API

使用你编程语言对应的包管理器安装 API。

安装完成后，将必要的库导入到你的开发环境中。使用你的 API 密钥初始化客户端，开始与 Novita AI LLM 交互。以下是一个面向 Python 用户的聊天补全 API 示例。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    # 获取 Novita AI API 密钥请参考：https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key.
    api_key="<你的 Novita AI API 密钥>",
)

model = "meta-llama/llama-3.3-70b-instruct"
stream = True  # 或 False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "请表现得像一个乐于助人的助手。",
        },
        {
            "role": "user",
            "content": "你好！",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "")
else:
    print(chat_completion_res.choices[0].message.content)

注册时，Novita AI 会提供 $0.5 的信用额度让你开始使用！

如果免费额度用完了，你可以付费继续使用。

一个优秀的选择：Novita AI

Novita AI 是一个高性能的 LLM API 模型，以其强大的吞吐量、成本效益和可靠性而脱颖而出。它在吞吐量上超过市场平均水平，确保 99.9% 的 API 稳定性，并提供有竞争力的定价（$0.25–$0.35）。

结论

在 Python 中理解 token 数量对于节省 AI 项目的成本非常重要。通过管理 token 使用，你可以降低开销并改善应用性能。你可以应用简化输入文本、优化提示词设计以及选择像 Novita AI 这样经济实惠的 API 等方法。这些选择可以显著影响你的项目预算。请及时了解 token 化的工具和库，并按照指南在 Python 中准确计算 token 数量。通过运用这些技巧，你可以简化 AI 工作流程，并在项目中节省资金。

常见问题

Python 中有多少个 token？

在 AI 和 NLP 中，你并不是直接在 Python 中计算 token，而是计算 Python 代码处理的文本字符串中的 token。文本字符串中的 token 数量取决于文本的长度以及所使用的 tokenizer 的类型。

Token 计数如何帮助成本优化？

许多 AI API 根据处理的 token 数量收费。通过跟踪 token 使用量并尽力高效使用，你可以管理和降低 AI 成本。

如何计算 token 数量？

你可以使用 Python 库（如 Tiktoken 或 NLTK）来计算 token 数量。这些库可以帮助你将文本拆分成 token，从而通过简单的代码轻松获取其数量。

Novita AI 是一个一体化云平台，为你的 AI 梦想赋能。集成的 API、无服务器、GPU 实例——经济实惠的工具。消除基础设施，免费开始，让你的 AI 愿景成为现实。

如何在 Python 中获取 Token 数量以优化成本

关键要点

目录