AI 에이전트를 구축하는 것은 점점 더 간단해지고 있습니다. 하지만 이를 대규모로 배포하는 것은 여전히 큰 과제로 남아 있습니다. 컨테이너, 가상 머신, 서버리스 함수와 같은 전통적인 인프라는 기존의 웹 애플리케이션을 위해 설계되었습니다. 이는 AI 에이전트 워크로드의 고유한 요구 사항을 충족하지 못합니다.
Novita Agent Runtime은 AI 에이전트 배포를 위한 특화된 서버리스 인프라를 제공하여 이러한 격차를 해소합니다. Novita의 Agent Sandbox를 기반으로 구축된 이 런타임은 LangGraph 워크플로우, Microsoft AutoGen 다중 에이전트 시스템, 그리고 사용자 정의 구현을 지원합니다. 최소한의 코드 변경과 인프라 관리 없이 기존 에이전트를 프로덕션에 배포하세요.
AI 에이전트를 가로막는 인프라 격차
기존 애플리케이션은 예측 가능한 패턴을 따릅니다: 요청을 받고, 처리하고, 응답을 반환합니다. 전체 생애주기가 밀리초 또는 초 단위로 완료되며, 각 요청은 독립적으로 처리됩니다.
AI 에이전트는 다르게 작동합니다. 상호작용 전반에 걸쳐 추론 상태를 유지하고, 확장된 워크플로우를 실행하며, 예측 불가능한 지연 시간을 가진 외부 서비스를 호출하고, 민감한 데이터를 처리하는 동시 사용자에 대한 강력한 격리가 필요합니다.
기존 인프라는 이러한 요구 사항에 잘 맞지 않습니다:
| 기능 | Agent Sandbox | 컨테이너 | 서버리스 | 가상 머신 |
| 시작 시간 | <200ms (MicroVM) | 초 | 1s | 30초 이상 |
| 보안 격리 | 강력 (MicroVM) | 약함 (공유 커널) | 강력 | 강력 |
| 상태 유지 | 즉시 일시 중단/재개 | 지원됨 | 무상태 | 느린 스냅샷 복구 |
| 최대 실행 시간 | 시간 | 무제한 | 일반적으로 15분 제한 | 무제한 |
| 개발자 경험 | 에이전트 최적화 API | 일반 API | 함수 수준 API | 인프라 수준 API |
Novita Agent Sandbox는 밀리초 단위 시작, MicroVM 격리, 상태 저장 실행, 그리고 에이전트 네이티브 API를 결합합니다. Agent Sandbox를 기반으로 구축된 Novita Agent Runtime을 사용하면 최소한의 코드 변경으로 기존 에이전트를 이 인프라에 배포할 수 있습니다.
Novita Agent Runtime: AI 에이전트를 위해 특별히 설계됨
Novita Agent Runtime은 AgentCore 호환 아키텍처를 기반으로 구축된 가볍고 프레임워크에 구애받지 않는 서버리스 배포 도구 키트입니다. 방대한 DevOps 전문 지식이나 인프라 관리 없이 기존 AI 에이전트를 안전하고 효율적으로 프로덕션에 배포할 수 있게 해줍니다.
이 도구 키트는 실시간 상호작용과 장기 실행 워크로드를 모두 지원합니다. 1초 미만의 응답 시간이 필요한 대화형 인터페이스부터 완료하는 데 몇 시간이 걸릴 수 있는 복잡한 추론 작업까지 처리합니다.
Novita Agent Runtime에는 SDK와 CLI 도구가 포함되어 있습니다. SDK는 데코레이터 기반 API를 제공하여 에이전트를 표준 HTTP 서비스로 노출하고 프로그래밍 방식으로 에이전트를 호출하는 방법을 제공합니다. CLI는 Novita Agent Sandbox 생태계에 대한 원클릭 구성 및 배포를 가능하게 합니다.
Novita Agent Runtime의 주요 기능
프레임워크에 구애받지 않음. Novita Agent Runtime은 LangGraph, Microsoft AutoGen, Google ADK, OpenAI Agents SDK, CrewAI 및 사용자 정의 구현과 함께 작동합니다. 인프라에 얽매이지 않고 선호하는 프레임워크를 사용하세요.
모델에 구애받지 않음. 런타임은 모델 선택과 독립적으로 작동합니다. Novita AI, Anthropic Claude, Google Gemini, OpenAI 및 기타 공급자와 함께 사용할 수 있습니다.
200ms 미만의 콜드 스타트. 경량 가상화 기술은 하드웨어 수준의 환경 격리를 통해 컨테이너에 가까운 시작 속도를 달성합니다. 첫 번째 요청도 1초 미만의 응답을 받습니다.
완전한 세션 격리. 각 사용자 세션은 전용 MicroVM에서 실행되며 CPU, 메모리 및 파일 시스템 리소스가 격리됩니다. 세션이 완료되면 전체 MicroVM이 종료되고 메모리가 정리됩니다.
수시간 실행. 플랫폼은 수시간에 걸친 장기 실행 워크로드를 지원하여 복잡한 에이전트 추론, 비동기 워크플로우 및 다중 에이전트 협업을 가능하게 합니다.
사용량 기반 요금제. 사용한 만큼만 지불하세요. 프로토타입에서 프로덕션까지 사용하지 않은 용량에 대해 초과 지불하거나 리소스 계획에 대해 걱정하지 않고 확장하세요.
코드에서 클라우드까지 세 단계로
1단계: SDK 통합. SDK의 데코레이터 기반 API를 사용하여 기존 에이전트 구현에 몇 줄의 코드를 추가하세요. SDK는 자동으로 요청 라우팅, 응답 형식 지정 및 상태 확인을 처리합니다.
from novita_sandbox.agent_runtime import AgentRuntimeApp
app = AgentRuntimeApp()
@app.entrypoint
def my_agent(request: dict):
# 에이전트 비즈니스 로직
return {"result": "..."}
2단계: 하나의 명령으로 배포. CLI를 사용하여 에이전트를 구성하고 배포하세요:
# 에이전트 구성
novita-sandbox-cli agent configure
# 클라우드에 배포
novita-sandbox-cli agent launch
CLI는 Dockerfile과 .novita-agent.yaml 구성 파일을 생성하고, 샌드박스 템플릿을 빌드하여 업로드한 다음 <agent_name>-<template_id> 형식의 에이전트 ID를 생성합니다.
3단계: 에이전트 호출. 배포 후 CLI를 통해 에이전트를 호출하여 빠르게 테스트하세요:
# CLI로 빠른 테스트
novita-sandbox-cli agent invoke "안녕, 에이전트!"
또는 SDK를 통해 프로그래밍 방식으로 호출:
import json
from novita_sandbox.agent_runtime import AgentRuntimeCliendevet
client = AgentRuntimeClient(api_key="your-api-key")
# 요청 데이터 준비 (JSON 문자열로 변환 후 바이트로 인코딩)
payload = json.dumps({"prompt": "안녕, 에이전트!"}).encode()
response = await client.invoke_agent_runtime(
agentId="agent-xxxxx",
payload=payload
)
각 호출은 격리된 샌드박스 인스턴스를 생성하고, 해당 보안 환경 내에서 에이전트를 실행한 후 결과를 반환합니다.
코드 예제가 포함된 자세한 설명은 빠른 시작 가이드를 참조하세요. 전체 설치 지침은 설치 가이드를 참조하세요.
모든 주요 AI 프레임워크와 함께 작동
모든 프레임워크 통합은 일관된 패턴을 따릅니다: AgentRuntimeApp 초기화, 프레임워크 설정, 데코레이터로 진입점 정의, 애플리케이션 실행. SDK는 LangGraph, OpenAI Agents SDK, Microsoft AutoGen, Google ADK 및 사용자 정의 구현과 원활하게 작동합니다.
from novita_sandbox.agent_runtime import AgentRuntimeApp
# 1. Agent Runtime 애플리케이션 인스턴스 생성
app = AgentRuntimeApp()
# 2. Agent 프레임워크 초기화
# 3. 데코레이터로 진입점 정의
@app.entrypoint
def agent_invocation(request: dict) -> dict:
"""
Args:
request: 요청 데이터, 일반적으로 prompt와 같은 필드를 포함
Returns:
응답 데이터 사전
"""
prompt = request.get("prompt", "")
# Agent 프레임워크 호출
result = your_agent.run(prompt)
return {"result": result}
# 4. 애플리케이션 실행
if __name__ == "__main__":
app.run()
자세한 통합 예제는 Agent 프레임워크 통합 가이드를 참조하세요. 스트리밍 응답, 다중 턴 대화 및 환경 변수 관리와 같은 고급 기능은 고급 기능 문서를 참조하세요.
투명한 초당 과금 요금제
Novita Agent Runtime은 초당 과금 단위의 사용량 기반 요금제를 사용합니다.
CPU
| vCPU | 단가 (초당) |
| 1× CPU | $0.00000784/s |
| 2× CPU | $0.00001568/s |
| 3× CPU | $0.00002352/s |
| 4× CPU | $0.00003136/s |
| 5× CPU | $0.0000392/s |
| 6× CPU | $0.00004704/s |
| 7× CPU | $0.00005488/s |
| 8× CPU | $0.00006272/s |
메모리
| 메모리 | 단가 |
| 유효 값: 512 MiB에서 8192 MiB까지 512 MiB 단위 (GiB/s 기준) | $0.00000256 / GiB / s |
| 512 MiB | $0.00000128 / s |
| 1 GiB | $0.00000256 / s |
| 2 GiB | $0.00000512 / s |
스토리지: 각 계정에는 60GB의 무료 스토리지가 포함됩니다. 추가 스토리지는 $0.000072/GB/h로 청구됩니다.
지금 바로 프로덕션 AI 에이전트 구축 시작하기
Novita Agent Runtime은 전통적으로 AI 에이전트 배포 속도를 늦추던 인프라 복잡성을 제거합니다. 200ms 미만의 콜드 스타트, 완전한 세션 격리, 프레임워크 유연성을 갖춘 특화된 서버리스 인프라는 개발 팀이 인프라를 관리하는 대신 지능형 에이전트 동작 구축에 집중할 수 있게 해줍니다.
지금 SDK와 CLI를 설치하고, 몇 분 안에 첫 번째 에이전트를 배포하세요. 추가 지원이 필요하면 Novita AI Discord 커뮤니티에 가입하거나 영업팀에 문의하세요.
Novita AI 소개
Novita AI는 개발자에게 간단한 API를 통해 AI 모델을 배포할 수 있는 쉬운 방법을 제공하는 AI 클라우드 플랫폼입니다. 또한 구축 및 확장을 위한 저렴하고 안정적인 GPU 클라우드를 제공합니다.
