建構 AI Agent 越來越簡單，但大規模部署仍是一大挑戰。傳統基礎設施如容器、虛擬機、無伺服器函數都是為傳統網路應用程式設計的，無法滿足 AI Agent 工作負載的獨特需求。
Novita Agent Runtime 針對這項缺口提供了專為部署 AI Agent 設計的無伺服器基礎設施。它建基於 Novita 的 Agent Sandbox 打造，支援 LangGraph 工作流、Microsoft AutoGen 多 Agent 系統以及自訂實作，只需極少的程式碼修改、無需管理基礎設施，即可將現有 Agent 部署到生產環境。
阻礙 AI Agent 發展的基礎設施缺口
傳統應用程式遵循可預測的執行模式：接收請求、處理請求、返回回應，完整生命週期在毫秒或秒級完成，每個請求獨立處理。
AI Agent 的運作方式則完全不同：它們會跨互動保留推理狀態、執行長時間工作流、呼叫延遲不可預測的外部服務，且需要為處理敏感資料的並行使用者提供強隔離。
現有基礎設施很難滿足這些需求：
| 特性 | Novita Agent Sandbox | 容器 | 無伺服器 | 虛擬機 |
| 啟動時間 | <200ms (MicroVM) | 秒 | 1s | 30 秒以上 |
| 安全隔離 | 強（MicroVM） | 弱（共享核心） | 強 | 強 |
| 狀態持久化 | 即時暫停/恢復 | 支援 | 無狀態 | 快照恢復緩慢 |
| 最大執行時長 | 小時 | 無限制 | 通常限制 15 分鐘 | 無限制 |
| 開發者體驗 | Agent 優化 API | 通用 API | 函數級 API | 基礎設施級 API |
Novita Agent Sandbox 結合了毫秒級啟動、MicroVM 隔離、有狀態執行與 Agent 原生 API。基於 Agent Sandbox 打造的 Novita Agent Runtime，讓你能以極少的程式碼修改，將現有 Agent 部署到這套基礎設施上。
Novita Agent Runtime：專為 AI Agent 打造的部署方案
Novita Agent Runtime 是一款輕量、框架無關的無伺服器部署工具包，建基於與 AgentCore 相容的架構。它能幫助你安全高效地將現有 AI Agent 部署到生產環境，無需具備豐富的 DevOps 專業知識或管理基礎設施。
這款工具包同時支援即時互動與長時間執行的工作負載，從需要次秒級回應時間的對話介面，到可能耗時數小時才能完成的複雜推理任務都能勝任。
Novita Agent Runtime 包含 SDK 與 CLI 工具。SDK 提供基於裝飾器的 API，能將你的 Agent 公開為標準 HTTP 服務，同時提供以程式方式呼叫 Agent 的方法。CLI 則支援一鍵配置並部署到 Novita Agent Sandbox 生態系統。
Novita Agent Runtime 的核心能力
框架無關。Novita Agent Runtime 支援 LangGraph、Microsoft AutoGen、Google ADK、OpenAI Agents SDK、CrewAI 以及自訂實作，你可以使用自己習慣的框架，不會被基礎設施綁架。
模型無關。執行環境獨立於你的模型選擇，支援 Novita AI、Anthropic Claude、Google Gemini、OpenAI 以及其他所有供應商的模型。
200 毫秒以內冷啟動。輕量虛擬化技術可達到接近容器的啟動速度，同時提供硬體層級的環境隔離，即使是首次請求也能在 1 秒內收到回應。
完整工作階段隔離。每個使用者工作階段都在專屬的 microVM 中執行，CPU、記憶體、檔案系統資源完全隔離；工作階段結束後，整個 microVM 會終止並清理記憶體。
數小時長時間執行。平台支援耗時數小時的長時間工作負載，能勝任複雜 Agent 推理、非同步工作流程、多 Agent 協作等場景。
按用量計費。只需為你實際使用的資源付費，可從原型階段一路擴展到生產環境，無需為未使用的容量多付費，也无需擔心資源規劃問題。
三步完成從程式碼到上雲
步驟 1：整合 SDK。使用 SDK 提供的基於裝飾器的 API，在你的現有 Agent 實作中新增幾行程式碼即可。SDK 會自動處理請求路由、回應格式化與健康檢查。
from novita_sandbox.agent_runtime import AgentRuntimeApp
app = AgentRuntimeApp()
@app.entrypoint
def my_agent(request: dict):
# Agent business logic
return {"result": "..."}
步驟 2：單指令部署。使用 CLI 配置並部署你的 Agent：
# Configure your agent
novita-sandbox-cli agent configure
# Deploy to cloud
novita-sandbox-cli agent launch
CLI 會自動生成 Dockerfile 與 .novita-agent.yaml 配置文件，建構你的沙箱模板並上傳，最後生成格式為 <agent_name>-<template_id> 的 Agent ID。
步驟 3：呼叫你的 Agent。部署完成後，你可以透過 CLI 快速測試呼叫 Agent：
# Quick test with CLI
novita-sandbox-cli agent invoke "Hello, Agent!"
或者透過 SDK 以程式方式呼叫：
import json
from novita_sandbox.agent_runtime import AgentRuntimeCliendevet
client = AgentRuntimeClient(api_key="your-api-key")
# Prepare request data (converted to a JSON string and encoded as bytes)
payload = json.dumps({"prompt": "Hello, Agent!"}).encode()
response = await client.invoke_agent_runtime(
agentId="agent-xxxxx",
payload=payload
)
每次呼叫都會建立一個隔離的沙箱實例，在安全的環境中執行 Agent 並返回結果。
詳細的逐步教學與程式碼範例可參考快速入門指南，完整安裝說明請見安裝指南。
支援所有主流 AI 框架
所有框架的整合都遵循一致的模式：初始化 AgentRuntimeApp、配置你的框架、使用裝飾器定義進入點、執行應用程式。SDK 可無縫對接 LangGraph、OpenAI Agents SDK、Microsoft AutoGen、Google ADK 以及自訂實作。
from novita_sandbox.agent_runtime import AgentRuntimeApp
# 1. Create Agent Runtime application instance
app = AgentRuntimeApp()
# 2. Initialize your Agent framework
# 3. Define entry point with decorator
@app.entrypoint
def agent_invocation(request: dict) -> dict:
"""
Args:
request: Request data, typically contains fields like prompt
Returns:
Response data dictionary
"""
prompt = request.get("prompt", "")
# Call your Agent framework
result = your_agent.run(prompt)
return {"result": result}
# 4. Run the application
if __name__ == "__main__":
app.run()
詳細整合範例可參考Agent 框架整合指南，串流回應、多輪對話、環境變數管理等進階功能說明請見進階功能文件。
透明的每秒計費方案
Novita Agent Runtime 採用按用量計費模式，計費精度到秒。
CPU
| vCPU 數量 | 單價（每秒） |
| 1× CPU | $0.00000784/s |
| 2× CPU | $0.00001568/s |
| 3× CPU | $0.00002352/s |
| 4× CPU | $0.00003136/s |
| 5× CPU | $0.0000392/s |
| 6× CPU | $0.00004704/s |
| 7× CPU | $0.00005488/s |
| 8× CPU | $0.00006272/s |
記憶體
| 記憶體 | 單價 |
| 有效值：512 MiB 的倍數，範圍 512 MiB 至 8192 MiB（每 GiB / 秒） | $0.00000256 / GiB / s |
| 512 MiB | $0.00000128 / s |
| 1 GiB | $0.00000256 / s |
| 2 GiB | $0.00000512 / s |
儲存空間：每個帳戶包含 60 GB 免費儲存空間，額外儲存空間的計費標準為每 GB 每小時 $0.000072。
立即開始建構生產級 AI Agent
Novita Agent Runtime 消除了傳統上阻礙 AI Agent 部署的基礎設施複雜度。專為 Agent 設計的無伺服器基礎設施，配備 200 毫秒以內冷啟動、完整工作階段隔離、框架彈性等特性，讓開發團隊能專注於打造智慧的 Agent 行為，而非管理基礎設施。
立即安裝 SDK 與 CLI，幾分鐘內即可部署你的第一個 Agent。如需額外支援，可加入 Novita AI Discord 社群 或聯繫我們的銷售團隊。
關於 Novita AI
Novita AI 是一個 AI 雲端平台，為開發者提供簡單的 API 介面，方便部署 AI 模型，同時也提供平價且可靠的 GPU 雲端服務，用於建構與擴展 AI 應用。
