Novita AI에서 챗봇 API는 일반적으로 표준 OpenAI 호환 채팅 완성 워크플로입니다. 모델 ID를 선택하고, API에 메시지를 전송한 후, 앱에서 어시스턴트 응답을 반환합니다. 봇이 도구 호출, 파일 쓰기 또는 코드 실행도 필요한 경우, 채팅 API가 호스트 시스템에 직접 접근하지 못하도록 해당 작업을 Agent Sandbox로 옮기세요.
핵심 요점
- 일반적인 챗봇 트래픽에는 OpenAI 호환 채팅 API를 사용하세요.
- 하드코딩된 블로그 예제가 아닌 Novita의 실시간 모델 목록에서 모델 ID를 가져오세요.
- 챗봇이 실제 작업을 필요로 할 때만 함수 호출을 추가하세요.
- 도구 실행, 코드 실행 및 격리된 부작용에는 Agent Sandbox를 사용하세요.
챗봇 API 워크플로란 무엇인가요?
챗봇 API 워크플로는 사용자 메시지를 받아 모델 엔드포인트로 전송하고, 어시스턴트 응답을 앱에 반환합니다. Novita AI에서는 일반적으로 공급자별 모델 ID와 함께 OpenAI 호환 채팅 완성 엔드포인트를 사용합니다. 흐름은 간단합니다: 인증, 모델 선택, 메시지 전송, 응답 렌더링입니다.
언제 Novita AI를 챗봇에 사용해야 하나요?
빠르게 시작할 수 있지만 나중에 도구 사용, 배치 작업 또는 격리된 실행으로 확장할 수 있는 챗봇을 원할 때 Novita AI를 사용하세요. 팀이 이미 OpenAI 스타일 요청 형식을 알고 있거나, 앱을 다시 작성하지 않고 모델을 전환하려는 경우, 또는 텍스트 전용 채팅에서 에이전트 워크플로로의 깔끔한 경로가 필요할 때 적합합니다.
올바른 Novita 경로 선택하기
| 옵션 | 가장 적합한 경우 | 선택 이유 | 피해야 하는 이유 | 출처/날짜 |
|---|---|---|---|---|
| OpenAI 호환 채팅 완성 | 표준 챗봇 및 어시스턴트 | 익숙한 SDK로 가장 빠르게 작동하는 API 구현 | 봇이 코드를 실행하거나 파일을 다뤄야 하는 경우 부족함 | Novita LLM API 문서, 2026-07-29 확인 |
| 실시간 모델 목록 엔드포인트 | 모델 선택 및 모델 ID 조회 | 배포 전에 정확한 모델 ID를 가져올 수 있음 | 런타임 채팅 엔드포인트가 아님 | Novita 문서 인덱스 및 API 참조, 2026-07-29 확인 |
| Agent Sandbox | 도구를 사용하는 봇 및 코드 실행 | 부작용을 호스트 앱과 격리 | 일반 텍스트 채팅에는 과함 | Novita Agent Sandbox 문서, 2026-07-29 확인 |
1단계: 입력 및 출력 형식 정의
챗봇 계약부터 시작하세요. 앱이 보내는 것, 모델이 반환하는 것, 그리고 일반 텍스트, JSON 또는 도구 호출이 필요한지 결정합니다. 대부분의 제품에서 사용자 입력은 짧은 메시지 목록이고 출력은 일반 어시스턴트 응답입니다.
2단계: Novita AI API 요청 구성
Novita의 기본 URL과 함께 OpenAI SDK를 사용하세요. 모델 ID를 Novita의 실시간 모델 목록에 있는 ID로 교체하세요.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/openai",
api_key=os.environ["NOVITA_API_KEY"],
)
response = client.chat.completions.create(
model="<MODEL_ID_FROM_NOVITA>",
messages=[
{"role": "system", "content": "You are a concise support chatbot."},
{"role": "user", "content": "How do I reset my account password?"},
],
)
print(response.choices[0].message.content)
3단계: 첫 번째 API 요청 실행
메모리, 검색 또는 도구 호출을 추가하기 전에 짧은 프롬프트 하나를 먼저 테스트하세요. 응답 품질이 좋지 않다면, 통합을 확장하기 전에 시스템 프롬프트나 모델 선택을 수정하세요.
4단계: 결과 검증 및 개선
세 가지를 확인하세요: 응답 품질, 지연 시간, 실패 동작. 봇이 제품 데이터를 기반으로 답변해야 한다면 검색을 추가하세요. 작업을 수행해야 한다면 함수 호출을 추가하세요. 코드를 실행해야 한다면 해당 실행을 Agent Sandbox로 옮기세요.
5단계: 프로덕션 준비
프로덕션 챗봇은 작동하는 응답 그 이상이 필요합니다:
- 속도 제한 및 재시도
- 로깅 및 요청 추적
- 프롬프트 버전 관리
- 모델이 느리거나 사용 불가능할 때의 폴백 동작
- 봇이 도구를 호출할 수 있는 시점에 대한 명확한 규칙
봇은 언제 Agent Sandbox를 사용해야 하나요?
챗봇이 단순한 대화 이상의 작업을 해야 할 때 Agent Sandbox를 사용하세요. 여기에는 코드 실행, 파일 편집, 변경 사항 테스트, 워크플로 탐색 또는 메인 애플리케이션과 격리되어야 하는 기타 부작용 처리가 포함됩니다.
Novita의 Agent Sandbox 문서는 샌드박스를 상태 저장 실행 환경으로 설명하며, 이는 일반 채팅 엔드포인트보다 에이전트 단계에 더 적합합니다.
문제 해결
봇이 일반적으로 느껴진다면 시스템 프롬프트를 강화하고 더 구체적인 모델 ID를 사용하세요. 모델이 잘못된 형식을 반환한다면 더 엄격한 출력 스키마를 적용하세요. 도구 호출이 안전하지 않다면 작업을 Agent Sandbox로 옮기고 채팅 API는 계획에 집중하세요.
FAQ
어떤 모델 ID를 사용해야 하나요?
대상 작업과 계정에 대해 Novita의 실시간 모델 목록 엔드포인트가 반환하는 모델 ID를 사용하세요.
OpenAI SDK를 사용할 수 있나요?
네. Novita의 채팅 API는 OpenAI와 호환되므로 SDK 마이그레이션은 기본 URL과 모델 ID 변경이 거의 전부입니다.
Agent Sandbox는 언제 필요한가요?
챗봇이 텍스트 생성뿐만 아니라 격리된 실행이 필요할 때 사용하세요.
