了解使用层级2如何影响OpenAI的令牌、速率限制和定价。理解速率限制与基于令牌的定价模式之间的关键差异，并发现哪种选项适合您的业务。获取关于成本可预测性、灵活性以及有效资源管理的见解，以优化API使用。
什么是速率限制
速率限制概念图
速率限制是指用户或应用在一定时间内可以向API发送的请求数量的限制。您可以在OpenAI账户控制台的“限制部分”（属于账单信息）中找到有关速率限制的详细信息。每个层级（如层级2）都有其自己的速率限制。
为什么需要速率限制？
速率限制是API的标准做法，它出于以下几个关键原因而使用：
- 保持API服务器稳定高效运行： 如果没有速率限制，许多用户会发送大量API请求，可能导致系统过载。这可能会引起延迟，使AI模型响应变慢，也可能破坏依赖它们的应用程序。
- 确保所有用户公平使用： 速率限制确保每个人都能公平地访问API。如果某个用户或组织发送过多请求，可能会拖慢其他人的系统。通过限制每个用户可以发出的请求数量，可以确保更多人能够使用API而不至于面临延迟。
- 防止滥用： 速率限制能够阻止恶意行为者利用API进行垃圾邮件或攻击。通过设置公平的限制，类似OpenAI的模型提供商可以减少这些威胁，为真正的开发者和用户保持良好环境。
现在我们已经理解了它的重要性，接下来看看它的含义。
速率限制的衡量方式
速率限制主要通过四种方式跟踪您的使用情况。
- 每分钟请求数（RPM）： 限制您每分钟可以发出的API调用次数，无论其复杂度如何。
- 每日请求数（RPD）： 限制您一天内可以发出的API调用总数。
- 每分钟令牌数（TPM）： 通过计算使用的令牌来衡量请求的计算成本，更复杂的请求会消耗更多令牌。
- 批量队列限制： 控制同时可以排队处理的请求最大数量，确保高效处理并发任务并防止系统过载。
如果超出这些限制中的任何一项，您的请求可能会被降速或拒绝，从而可能影响应用程序的性能。
OpenAI使用层级概览
OpenAI提供不同的使用层级，以满足用户的各种需求。每个层级都允许访问OpenAI API，并提供不同的功能和定价。“免费层级”是用户无需任何费用即可试用API的绝佳选择。
5个OpenAI使用层级
OpenAI有5个使用层级。每个层级根据您获得的令牌数量提供不同的速率限制。如果您升级到更高层级，就可以获得更大的使用量。
从下表可以看出，随着用户支付金额和使用时间的增加，他们可以享受更高的使用限制。例如，层级2的月使用限制仅为500美元，而层级5则增至200,000美元/月。
| 层级 | 资格条件 | 使用限制 |
|---|---|---|
| 免费 | 用户必须位于允许的地域 | $100 / 月 |
| 层级1 | 已支付$5 | $100 / 月 |
| 层级2 | 已支付$50且距离首次成功付款已满7天 | $500 / 月 |
| 层级3 | 已支付$100且距离首次成功付款已满7天 | $1,000 / 月 |
| 层级4 | 已支付$250且距离首次成功付款已满14天 | $5,000 / 月 |
| 层级5 | 已支付$1,000且距离首次成功付款已满30天 | $200,000 / 月 |
各用户层级包含什么（以层级2为基础）
在OpenAI的定价模型中，层级2相对于免费层级和层级1是一个重大升级。它专为更频繁使用API的企业和开发者设计。
在层级2中，RPM、TPM和批量队列限制显著提升，特别适合需要更高并发请求量和更大数据处理量的场景。层级2提供的资源使用户能够更高效地处理高频请求和大量文本数据，适用于大规模业务应用。
| 模型 | RPM | TPM | 批量队列限制 |
|---|---|---|---|
| gpt-4o | 5,000 | 450,000 | 1,350,000 |
| gpt-4o-mini | 5,000 | 2,000,000 | 20,000,000 |
| gpt-4o-realtime-preview | 200 | 40,000 | - |
| o1-preview | 5,000 | 450,000 | 1,350,000 |
| o1-mini | 5,000 | 2,000,000 | 20,000,000 |
| gpt-4-turbo | 5,000 | 450,000 | 1,350,000 |
| gpt-4 | 5,000 | 40,000 | 200,000 |
| gpt-3.5-turbo | 3,500 | 2,000,000 | 5,000,000 |
| omni-moderation-* | 500 | 20,000 | - |
| text-embedding-3-large | 5,000 | 1,000,000 | 20,000,000 |
| text-embedding-3-small | 5,000 | 1,000,000 | 20,000,000 |
| text-embedding-ada-002 | 5,000 | 1,000,000 | 20,000,000 |
| whisper-1 | 2,500 | - | - |
| tts-1 | 2,500 | - | - |
| tts-1-hd | 2,500 | - | - |
| dall-e-2 | 2,500 img/min | - | - |
| dall-e-3 | 2,500 img/min | - | - |
速率限制定价的潜在问题
一个对比比特币和美元的天平，配有金融和科技元素。
速率限制很重要，但将其作为唯一的定价方式可能会给某些用户带来问题。
业务中断与不灵活性
基于速率限制的定价主要问题在于，当API访问突然增加时可能会造成业务中断。如果达到速率限制，服务可能会停止工作，尤其是在繁忙时段。即使是账户问题或新查询量的短期激增等小问题，也可能使程序超出限制，从而影响客户满意度和业务成果。
成本不可预测
许多应用程序的快速变化特性使得难以准确预测处理所需的令牌数量，尤其是在处理用户生成的内容或实时交互时。API使用量的突然激增（例如由于用户活动增加或特定趋势）可能导致意外成本，使得坚持固定预算变得困难。同时，在速率限制模型下，企业通常必须购买更高的速率限制来处理可能的使用高峰，即便这些高峰并不频繁。
性能与可扩展性问题
对于处理实时数据、大量事务或提供交互式用户体验的应用程序而言，达到“最大”速率限制会减慢响应时间并导致服务延迟。这对于快速增长的企业来说可能是一个重大问题，它们面临用户活动或AI功能需求的突然增加，可能需要重试以维持性能。
那么，是否存在更适合个人开发者或小型企业的API？答案是肯定的！
另一种选择：基于令牌的定价
基于令牌的定价与速率限制定价不同。它关注使用的令牌数量。“令牌”是文本的一部分。成本基于输入提示和输出结果中使用的总令牌数。
基于令牌定价的工作原理
了解基于令牌的定价如何工作对于管理成本很重要。价格与“令牌”挂钩，令牌代表文本的一部分。例如，单词“fantastic”可以拆分为三个令牌：“fan”、“tas”和“tic”。
当您向AI发出请求时，您的输入和输出都会被计为令牌。对话期间的“聊天历史”也会增加令牌总数。API调用的成本通过将使用的总令牌数乘以每个令牌的价格来计算。这个价格可能因您使用的AI模型而异。
https://www.youtube.com/embed/K8crRCC7Dzg
接下来，我将向您介绍选择API时需要考虑的方面。
选择基于令牌定价API的4个因素
您可以使用以下四个关键因素来决定哪个API最适合您。首先，最重要的是输入和输出成本。然后，您还应该查看最大输出、延迟和吞吐量，以更好地了解API的性能。
- 最大输出：越高越好。这是模型一次可以生成的最大令牌数。更高的数字意味着模型可以生成更长的文本。
- 输入和输出成本：越低越好。这是每百万输入和输出令牌所需支付的费用。较低的成本对用户更有利。
- 延迟：越低越好。这是从发出请求到获得响应所需的时间。更快的响应时间意味着更好的用户体验。
- 吞吐量：越高越好。这衡量模型每秒处理多少令牌。更高的吞吐量意味着模型可以处理更多请求，提高效率。
不同供应商提供的API功能差异
基于令牌定价API的优势
基于令牌的定价提供了一种使用AI API的新方式。这种方法克服了传统速率限制中存在的问题。它具有可预测的成本、更高的灵活性、简化的资源管理和更好的透明度等优势。
可预测的成本
基于令牌的定价允许您设定清晰的预算，更容易跟踪和规划支出。对于企业来说，这种可预测性对于财务规划至关重要，尤其是在大规模运营或预算紧张的情况下。能够预测和控制成本意味着您可以更有效地分配资源，从而专注于最大化收益，而不必持续担心意外成本。
适用于各种用例的灵活性与适应性
基于令牌的定价对于使用模式波动或需求不可预测的应用程序尤其有价值。它提供了根据需要调整使用量的灵活性。这使得它成为在特定季节有高峰期或需要在特定时段使用更多资源的应用程序的理想选择。对于快速增长的初创公司或需求不断变化的企业，基于令牌的定价提供了可扩展且适应性强的解决方案。
简化的资源管理与透明度
基于令牌定价的另一个主要优势是其透明度。在基于令牌的定价中，使用量与成本之间的关系是直接的：使用的令牌越多，支付的费用就越多。这使得企业可以轻松看到他们的资源究竟是如何花费的。这种透明度有助于企业发现低效之处或可以优化使用的领域，最终降低成本。
那么，这两种定价方法分别适合哪些人呢？
使用层级 vs 基于令牌定价：哪个适合您？
在使用层级和基于令牌定价之间做出选择取决于您的应用程序需求、使用方式以及预算。
哪些用户最适合使用层级？
像OpenAI的层级2这样的使用层级非常适合具有稳定使用模式和规律API访问的应用程序。例如，如果您运行一个每天有固定数量对话的聊天机器人，或者一个具有设定输出限制的内容创建工具，使用层级可以为您节省资金。
如果您能够估算每月的令牌使用量并保持在层级限制范围内，这种方法效果最佳。使用层级具有清晰的定价，这使得您更容易制定预算和规划成本，而无需密切监控微小的令牌变化。
哪些用户最适合基于令牌的定价？
为了充分利用令牌，经常发出API请求的用户非常适合基于令牌的定价。这包括正在寻找聊天机器人平台或需要定期模型交互的AI应用程序的开发人员。
这些用户享受灵活的令牌限制，并且可以根据他们的使用方式更好地预测成本。通过了解每个使用层级的细节及其关联的限制，开发人员可以很好地管理他们的API访问。
经济高效的API解决方案
接下来，我将向您介绍一个非常经济高效的选择——Novita AI
Novita AI致力于透明度和经济性，提供业界最具竞争力的费率——低至每百万令牌0.06美元。这一定价策略不仅低于Fireworks、Together和Lepton等主要竞争对手，而且保持了低延迟，为开发者提供了最佳性价比。
以 Meta: Llama 3.3 70B Instruct 为例，可以看出使用Novita的成本远低于大多数竞争对手！
Novita AI在API领域具有极高的性价比优势
此外，Novita AI还为初创公司提供高达10,000美元 的免费额度，助力构建、成长和成功。
结论
总之，了解使用层级2如何影响OpenAI令牌对于更好地管理项目非常重要。速率限制有助于确保公平使用资源并防止滥用。另一方面，基于令牌的定价提供了可预测性和灵活性。在使用层级和基于令牌定价之间做出选择时，请考虑您的项目需求和增长方式。通过评估成本和资源管理方式，您可以找到最适合您的定价模式。
常见问题
- 如何提升OpenAI层级？
要提升OpenAI层级，请满足目标层级的支付和使用时间标准。例如，层级2要求支付50美元且活跃使用7天。更高的层级需要更大的支付金额和更长的活跃使用时间。
- OpenAI的速率限制是如何工作的？
OpenAI使用速率限制来控制API使用。这些限制包括每分钟请求数（RPM）、每日请求数（RPD）、每分钟令牌数（TPM）和批量队列限制。这些有助于保持服务器稳定性、确保公平使用并防止滥用。
- 速率限制定价模型和基于令牌定价模型有什么区别？
速率限制定价限制每个时间段内的API请求数量，而基于令牌定价则根据输入和输出中使用的令牌数量收费。
- 基于令牌定价的好处是什么？
基于令牌定价提供可预测的成本、适应变化使用模式的灵活性以及透明的资源管理，使规划和优化支出更加容易。
Novita AI 是一个一体化的云平台，赋能您的AI愿景。集成API、无服务器、GPU实例——您所需的经济高效工具。无需基础设施，免费开始，让您的AI梦想成为现实。
推荐阅读
