AI 和云服务功能强大但资源密集。如果没有适当的控制，单个用户或进程可能使系统过载、中断服务或造成不公平的访问。速率限制对于保持 AI 模型和 API 的可靠、安全以及可供所有人使用至关重要。
在本文中，我们将解释什么是速率限制，如何理解其关键概念，以及不同的应用如何使用不同的速率限制策略。
速率限制基础
速率限制是一种在特定时间段内限制客户端可发出请求数量的技术，可防止资源耗尽并确保服务的可用性和性能。
- 保护服务器免受过载
- 防止滥用或垃圾信息
- 确保所有用户的公平访问
- 通过阻止攻击（如 DDoS）来提升安全性
不同类型的速率限制
- 基于用户： 对单个用户或 IP 地址施加限制。
- 基于服务器： 对每个服务器实例或节点施加限制。
- 地理区域： 基于地理区域的流量限制。
- 并发： 限制同时请求的数量。
主要速率限制算法
| 算法 | 工作原理 | 优点 | 缺点 |
|---|---|---|---|
| 令牌桶 | 令牌以固定速率添加到桶中，每个请求消耗一个令牌。 | 可处理突发流量，占用内存少。 | 高流量下令牌可能冲突。 |
| 漏桶 | 请求进入桶中，并以稳定速率离开。 | 平滑流量，易于设置。 | 突发可能被丢弃。 |
| 固定窗口 | 在固定时间块内（如每分钟）计数请求。 | 实现非常简单。 | 在时间边界上可能不公平。 |
| 滑动窗口 | 在移动窗口中记录最近的请求时间。 | 平滑且精确的控制。 | 更复杂，占用内存更多。 |
速率限制 vs 节流 vs 流量整形
| 概念 | 作用 | 工作原理 | 典型用例 |
|---|---|---|---|
| 速率限制 | 在时间范围内对操作设置硬上限 | 阻止或拒绝超出的请求 | 防止 API 滥用（例如，最大 100 请求/分钟） |
| 节流 | 达到限制后减慢请求 | 延迟或分散额外请求 | 在不阻塞的情况下平滑流量（例如，100 个请求后减速） |
| 流量整形 | 平滑并控制整体流量 | 排队、调度或调整请求 | 管理网络带宽或 API 使用以实现公平和稳定 |
API、Web 和云服务的速率限制最佳实践
API 层
-
面向对象？
主要面向与系统集成的开发者和第三方应用。 -
如何设置速率限制？
- 粒度： 为不同开发者、端点或业务场景设置不同限制。
- 透明性： 始终告知开发者其当前配额使用量、剩余请求数和重置时间，以便他们优雅地处理限制。
- 可定制性： 允许灵活调整，例如为付费客户或特殊合作伙伴提高限制。
Web 应用程序
-
面向对象？
直接面向与网站或系统交互的最终用户。 -
如何设置速率限制？
- 保护关键操作： 对敏感操作（如登录、注册或发帖）施以严格限制，防止滥用。
- 用户分层： 为免费、付费、游客或会员用户设置不同阈值，确保公平和差异化服务。
- 资源控制： 限制对静态或有价值资源的访问，防止抓取或过度带宽消耗。
云服务
-
面向对象？
面向大量租户——企业、开发者和团队——涵盖广泛的用例。 -
如何设置速率限制？
- 自动弹性： 根据实时流量和后端资源可用性动态调整限制。
- 多层保护： 在全局、每租户和每 API 层面施以限制，防止单个租户压垮平台。
- 处理高并发： 平滑流量峰值，在流量激增期间维持稳定性。
- 计费集成： 将速率限制与使用计划和计费模式对齐。
速率限制指标
速率限制指标 是用于定义在特定时间段内允许多少活动的具体数字。常见示例包括：
- 每分钟请求数（RPM）： 用户或系统每分钟可发出的请求数。
- 每秒请求数（RPS）： 每秒允许的请求数。
- 每分钟图像数（IPM）： 每分钟可生成或处理的图像数。
- 并发请求： 可同时发生的请求数。
- TPM（每分钟每个模型的令牌数） 表示单个 AI 模型在一分钟内可处理的令牌数量。
这些指标为每个用户、IP 或系统设定了实际限制。
为什么速率限制对 AI 如此重要？
速率限制 通过以下方式解决这些问题：
- 防止过载： AI 模型和云 API 的运行和扩展成本高昂。速率限制确保没有单个用户或项目消耗过多资源，从而帮助保持服务对所有用户的稳定和响应。
- 确保公平访问： 众多用户（通常来自不同团队甚至不同公司）依赖相同的资源。速率限制有助于保证每个人都能获得公平份额，无论大小。
- 防范滥用： 在云环境中，自动化脚本或恶意行为者可能试图用请求淹没你的 AI 模型或 API。有了适当的限制，你可以在这些攻击造成实际损害之前阻止它们。
- 支持业务增长： 通过引入分层限制，平台可以有效服务业余爱好者和企业——为有更高需求的用户提供更多容量，同时为所有人维持稳定性。
简而言之，智能的速率限制对于保持 AI 和云服务的可靠、安全和可扩展至关重要。现代平台需要超越基本限制，提供动态、透明且灵活的控件，以随用户需求增长。
Novita AI：可靠、开发者友好的速率限制
为确保稳定性和出色的用户体验，先进的 API 和 AI 服务提供商必须超越基本的速率限制，提供多层、动态且开发者友好的解决方案。
通过全面的监控、透明的使用反馈和分层访问，Novita AI 确保个人开发者和大型企业都能享受对强大 AI 模型的公平、可靠和可预测的访问。
LLM 速率限制
为了更好地服务有更高需求的用户，Novita AI 提供了分层服务结构。设置层级有助于平衡公平访问、系统安全和业务可持续性，同时为用户提供清晰的成长路径。
| 层级 | 标准（最近 3 个月中任意月份的月充值额） |
|---|---|
| T1 | ≤ $50 |
| T2 | > $50 且 ≤ $500 |
| T3 | > $500 且 ≤ $3,000 |
| T4 | > $3,000 且 ≤ $10,000 |
| T5 | > $10,000 |
你可以在 Novita AI Docs 中查看每个 LLM 模型的详细信息！
| 模型 | T1 RPM | T2 RPM | T3 RPM | T4 RPM | T5 RPM | TPM（所有层级） |
|---|---|---|---|---|---|---|
| deepseek/deepseek-v3-0324 | 10 | 100 | 1,000 | 3,000 | 6,000 | 50,000,000 |
| qwen/qwen3-235b-a22b-thinking-2507 | 300 | 300 | 300 | 300 | 300 | 50,000,000 |
| moonshotai/kimi-k2-instruct | 10 | 100 | 300 | 300 | 300 | 50,000,000 |
| deepseek/deepseek-r1-0528 | 10 | 100 | 1,000 | 3,000 | 6,000 | 50,000,000 |
| qwen/qwen3-30b-a3b-fp8 | 20 | 100 | 1,000 | 3,000 | 6,000 | 50,000,000 |
图像和视频速率限制
- IPM（每分钟图像数）： 模型每分钟可生成的图像数量。
- RPM（每分钟请求数）： 视频模型每分钟可处理的 API 请求数量。
默认图像模型速率限制（IPM）
| 资源/服务 | 模型 API | 默认 IPM |
|---|---|---|
| 文本转图像 | txt2img_v3 | 20 |
| 图像转图像 | img2img_v3 | 10 |
| 去除背景 | remove_background | 10 |
| 替换背景 | replace_background | 10 |
| 去除文字 | remove_text | 10 |
| 图像修补 | inpainting | 10 |
| 清除 | cleanup | 10 |
| 融合面部 | merge_face | 10 |
| FLUX.1 文本转图像 | flux-1-schnell | 10 |
| 放大 | upscale_v3 | 20 |
默认视频模型速率限制（RPM）
| 资源/服务 | 模型 API | 默认 RPM |
|---|---|---|
| 视频融合面部 | video_merge_face | 10 |
| 文本转视频 | txt2video | 2 |
| 图像转视频 | img2video | 2 |
| Wan 2.1 文本转视频 | wan_txt_to_video | 20 |
| Wan 2.1 图像转视频 | wan i2v | 20 |
| Hunyuan Video Fast | hunyuan_video_fast | 20 |
| KLING V1.6 图像转视频 | Kling i2v | 20 |
| KLING V1.6 文本转视频 | Kling t2v | 20 |
| Minimax Video-01 | Minimax | 20 |
超出速率限制的后果是什么？
-
在客户端侧限制请求
- 控制 应用程序请求的速度。
- 防止在短时间内发送过多请求。
-
使用指数退避策略进行重试
- 当遇到速率限制错误（如 HTTP 429）时，
每次重试后等待更长的时间。 - 这能减轻服务负载并提高成功几率。
- 当遇到速率限制错误（如 HTTP 429）时，
-
监控你的 API 使用情况
- 跟踪 请求数量、频率和错误响应。
- 记录 这些数据，了解你的使用模式，并主动调整。
遇到速率限制时应该怎么办
如果你收到 HTTP 429（“请求过多”） 响应：
稍后重试
- 稍等片刻再试。
优化你的请求
- 降低请求频率。
- 尽可能批量或合并调用。
申请提高速率限制
- 如果你需要更多容量，通过 Discord 联系我们 或 预约与销售团队通话。
智能的速率限制可以保护 AI 和云服务免受过载、滥用和不公平使用。像 Novita AI 这样的先进解决方案走得更远，提供动态、透明且开发者友好的控制，以支持增长和稳定性。
常见问题
为什么速率限制对 AI 和云如此重要？
它防止过载、确保公平访问、阻止滥用，并为所有用户保持服务稳定。
速率限制、节流和流量整形之间有什么区别？
速率限制设置硬上限，节流减慢超出请求，流量整形平滑整体流量。
Novita AI 如何处理速率限制？
Novita AI 使用分层且透明的速率限制，提供实时反馈和灵活配额，以满足不同用户需求。
Novita AI 是一个一站式云平台，助力你的 AI 雄心。整合 API、无服务器、GPU 实例——你需要的经济高效工具。消除基础设施负担，免费开始，让你的 AI 愿景成为现实。
推荐阅读
- 微调 DeepSeek R1 需要多少块 H100 GPU？
- Gemma 3 27B vs Llama 3.3 70B：哪个模型适合哪种任务？
- DeepSeek R1 7B vs 8B：轻量部署的更明智选择
