AI 和雲端服務功能強大但資源密集。若缺乏適當控制，單一使用者或程序可能會使系統過載、中斷服務或造成不公平存取。速率限制對於確保 AI 模型和 API 的可靠性、安全性和可及性至關重要。
在本文中，我們將解釋什麼是速率限制、如何理解其關鍵概念，以及不同應用如何採用不同的速率限制策略。
速率限制基礎
速率限制是一種限制客戶端在特定時間內可發送請求數量，以防止資源耗盡，並確保服務可用性和效能的技術。
- 保護伺服器免於過載
- 防止濫用或垃圾訊息
- 確保所有使用者公平存取
- 透過阻止攻擊（如 DDoS）來提升安全性
不同類型的速率限制
- 基於使用者： 對個別使用者或 IP 位址施加限制。
- 基於伺服器： 對每個伺服器實例或節點施加限制。
- 地理限制： 根據地理區域限制流量。
- 並發限制： 限制同時請求的數量。
主要速率限制演算法
| 演算法 | 運作方式 | 優點 | 缺點 |
|---|---|---|---|
| 權杖桶 | 以固定速率向桶中添加權杖。每個請求消耗一個權杖。 | 處理突發流量，記憶體使用少。 | 高流量時權杖可能衝突。 |
| 漏水桶 | 請求進入桶中並以穩定速率流出。 | 平滑流量，易於設定。 | 突發流量可能被丟棄。 |
| 固定時間窗 | 在設定的時間區塊內（例如每分鐘）計數請求。 | 非常簡單。 | 時間邊界可能不公平。 |
| 滑動時間窗 | 在移動視窗中記住最近的請求時間。 | 平滑且精確控制。 | 更複雜，記憶體使用較多。 |
速率限制 vs 節流 vs 流量整形
| 概念 | 作用 | 運作方式 | 典型使用案例 |
|---|---|---|---|
| 速率限制 | 對時間範圍內的操作設定硬性上限 | 封鎖或拒絕超出請求 | 防止 API 濫用（例如每分鐘最多 100 個請求） |
| 節流 | 超過限制後減慢請求速度 | 延遲或分散額外請求 | 平滑流量而不封鎖（例如達到 100 個請求後減速） |
| 流量整形 | 平滑並控制整體流量 | 對請求進行排隊、排程或調節 | 管理網路頻寬或 API 使用以實現公平性和穩定性 |
API、Web 與雲端服務的速率限制最佳實踐
API 層
-
適用對象？
主要是與你的系統整合的開發者及第三方應用程式。 -
如何設定速率限制？
- 細粒度： 對不同的開發者、端點或業務場景設定不同的限制。
- 透明度： 始終告知開發者其當前配額使用量、剩餘請求和重置時間，以便他們優雅地處理限制。
- 可自訂性： 允許彈性調整，例如為付費客戶或特殊合作夥伴提高限制。
Web 應用程式
-
適用對象？
直接面向與你的網站或系統互動的最終使用者。 -
如何設定速率限制？
- 保護關鍵操作： 對登入、註冊或發布等敏感動作施加嚴格限制，以防止濫用。
- 使用者區分： 為免費、付費、訪客或會員使用者設定不同的閾值，以確保公平性和差異化服務。
- 資源控制： 限制對靜態或珍貴資源的存取，以防止爬取或過度頻寬消耗。
雲端服務
-
適用對象？
適用於大量租戶——企業、開發者團隊——涵蓋廣泛的使用案例。 -
如何設定速率限制？
- 自動彈性： 根據即時流量和後端資源可用性動態調整限制。
- 多層保護： 在全域、每個租戶和每個 API 層級套用限制，防止單一租戶壓垮平台。
- 處理高並發： 平滑流量高峰以維持流量激增時的穩定性。
- 計費整合： 將速率限制與使用方案及計費模式對齊。
速率限制指標
速率限制指標 是用於定義在特定時間內允許多少活動的具體數字。常見範例包括：
- 每分鐘請求數 (RPM)： 使用者或系統每分鐘可以發送多少請求。
- 每秒請求數 (RPS)： 每秒允許多少請求。
- 每分鐘圖片數 (IPM)： 每分鐘可以生成或處理多少張圖片。
- 並發請求數： 可以同時發生多少請求。
- TPM (每模型每分鐘權杖數) 表示單一 AI 模型在一分鐘內可以處理的權杖數量。
這些指標為每個使用者、IP 或系統設定了實際限制。
為什麼速率限制對 AI 如此重要？
速率限制 透過以下方式解決這些問題：
- 防止過載： AI 模型和雲端 API 的運作和擴充成本高昂。速率限制確保沒有任何單一使用者或專案能消耗過多資源，從而有助於為所有人維持穩定且響應迅速的服務。
- 確保公平存取： 許多使用者——通常來自不同團隊甚至不同公司——依賴相同的資源。速率限制有助於確保無論規模大小，每個人都獲得公平的份額。
- 防止濫用： 在雲端環境中，自動化腳本或惡意行為者可能試圖用大量請求淹沒你的 AI 模型或 API。透過適當的限制，你可以在這些攻擊造成實際損害前加以阻止。
- 支援業務成長： 透過引入分層限制，平台可以同時有效地服務業餘愛好者和企業——為需要更多容量的使用者提供更多資源，同時為所有人維持穩定性。
簡而言之，聰明的速率限制對於保持 AI 和雲端服務的可靠性、安全性和可擴展性至關重要。現代平台需要超越基本限制，提供動態、透明且靈活的控制，以滿足用戶不斷增長的需求。
Novita AI：可靠且對開發者友善的速率限制
為確保穩定性與優質用戶體驗，先進的 API 和 AI 服務供應商必須超越基本的速率限制，提供多層級、動態且對開發者友善的解決方案。
透過全面的監控、透明的用量回饋以及分層存取，Novita AI 確保個人開發者和大型企業都能公平、可靠且可預測地存取強大的 AI 模型。
LLM 速率限制
為更好地服務需求較高的用戶，Novita AI 提供分層服務結構。設定層級有助於平衡公平存取、系統安全和業務永續性，同時為用戶提供與平台共同成長的清晰路徑。
| 層級 | 標準（過去 3 個月內任一月累計儲值金額） |
|---|---|
| T1 | ≤ $50 |
| T2 | > $50 且 ≤ $500 |
| T3 | > $500 且 ≤ $3,000 |
| T4 | > $3,000 且 ≤ $10,000 |
| T5 | > $10,000 |
你可以在 Novita AI 文件中查看每個 LLM 模型的詳細資訊！
| 模型 | T1 RPM | T2 RPM | T3 RPM | T4 RPM | T5 RPM | TPM（所有層級） |
|---|---|---|---|---|---|---|
| deepseek/deepseek-v3-0324 | 10 | 100 | 1,000 | 3,000 | 6,000 | 50,000,000 |
| qwen/qwen3-235b-a22b-thinking-2507 | 300 | 300 | 300 | 300 | 300 | 50,000,000 |
| moonshotai/kimi-k2-instruct | 10 | 100 | 300 | 300 | 300 | 50,000,000 |
| deepseek/deepseek-r1-0528 | 10 | 100 | 1,000 | 3,000 | 6,000 | 50,000,000 |
| qwen/qwen3-30b-a3b-fp8 | 20 | 100 | 1,000 | 3,000 | 6,000 | 50,000,000 |
圖片與影片速率限制
- IPM（每分鐘圖片數）： 模型每分鐘可生成的圖片數量。
- RPM（每分鐘請求數）： 影片模型每分鐘可處理的 API 請求數量。
預設圖片模型速率限制（IPM）
| 資源/服務 | 模型 API | 預設 IPM |
|---|---|---|
| 文字轉圖片 | txt2img_v3 | 20 |
| 圖片轉圖片 | img2img_v3 | 10 |
| 移除背景 | remove_background | 10 |
| 更換背景 | replace_background | 10 |
| 移除文字 | remove_text | 10 |
| 修補 | inpainting | 10 |
| 清理 | cleanup | 10 |
| 合併臉部 | merge_face | 10 |
| FLUX.1 文字轉圖片 | flux-1-schnell | 10 |
| 放大 | upscale_v3 | 20 |
預設影片模型速率限制（RPM）
| 資源/服務 | 模型 API | 預設 RPM |
|---|---|---|
| 影片合併臉部 | video_merge_face | 10 |
| 文字轉影片 | txt2video | 2 |
| 圖片轉影片 | img2video | 2 |
| Wan 2.1 文字轉影片 | wan_txt_to_video | 20 |
| Wan 2.1 圖片轉影片 | wan i2v | 20 |
| Hunyuan Video Fast | hunyuan_video_fast | 20 |
| KLING V1.6 圖轉影片 | Kling i2v | 20 |
| KLING V1.6 文轉影片 | Kling t2v | 20 |
| Minimax Video-01 | Minimax | 20 |
超過速率限制的後果
-
在客戶端進行請求節流
- 控制 應用程式的請求速度。
- 防止在短時間內發送過多請求。
-
重試時使用指數退避
- 當收到速率限制錯誤（如 HTTP 429）時，** 每次重試嘗試後等待更長時間**。
- 這可降低服務負載並提高成功機率。
-
監控你的 API 使用情況
- 追蹤 請求數量、頻率和錯誤回應。
- 記錄 這些資料以了解你的使用模式並主動調整。
碰到速率限制時該怎麼辦
如果你收到 HTTP 429（「請求過多」） 回應：
稍後重試
- 等待一小段時間再重試。
最佳化你的請求
- 減少請求頻率。
- 在可能的情況下批次或合併呼叫。
申請更高的速率限制
- 如果你需要更多容量，請透過 Discord 與我們聯絡或與我們的銷售團隊預約通話。
聰明的速率限制可保護 AI 和雲端服務免於過載、濫用和不公平使用。像 Novita AI 這樣的進階解決方案更進一步，提供動態、透明且對開發者友善的控制，以支援成長和穩定性。
常見問題
為什麼速率限制對 AI 和雲端如此重要？
它能防止過載、確保公平存取、阻止濫用，並為所有使用者維持服務穩定性。
速率限制、節流和流量整形之間有何差異？
速率限制設定硬性上限，節流減慢多餘請求，流量整形則平滑整體流量。
Novita AI 如何處理速率限制？
Novita AI 使用分層且透明的速率限制，提供即時回饋和彈性配額以滿足不同用戶需求。
Novita AI 是一個一站式雲端平台，助力你的 AI 願景。整合 API、無伺服器、GPU 實例——你所需的高成本效益工具。消除基礎設施，免費開始，讓你的 AI 願景成真。
推薦閱讀
- 微調 DeepSeek R1 需要多少張 H100 GPU？
- Gemma 3 27B vs Llama 3.3 70B：哪個模型適合哪項任務？
- DeepSeek R1 7B vs 8B：輕量級部署的更明智選擇
