Portkey AI Gateway는 Novita AI를 포함한 다양한 AI 모델과 상호작용하는 방식을 혁신했습니다. 이 강력한 도구는 여러 언어 모델에 접근할 수 있는 통합 인터페이스를 제공하며, 빠르고 안정적이며 안전한 라우팅을 보장합니다. 이 종합 가이드에서는 Portkey AI Gateway를 활용하여 Novita AI API에 접근하고, AI 개발 프로세스를 간소화하며 애플리케이션 성능을 향상시키는 방법을 알아보겠습니다.
1. Portkey AI Gateway 이해하기
Portkey AI Gateway는 애플리케이션과 Novita AI를 포함한 다양한 AI 모델 사이의 강력한 중개자 역할을 합니다. 통합 프로세스를 단순화하도록 설계되었으며, 1600개 이상의 언어, 비전, 오디오 및 이미지 모델을 지원하는 통합 API를 제공합니다. 가볍고 오픈 소스인 Portkey는 개발자가 2분 이내에 모든 언어 모델을 통합할 수 있게 해줍니다.
Portkey AI Gateway의 주요 특징은 다음과 같습니다.
- 1ms 미만의 지연 시간으로 매우 빠른 성능
- 122kb에 불과한 작은 크기
- 하루 100억 개 이상의 토큰을 처리하는 검증된 인프라
- 향상된 보안 및 커스텀 배포 등 엔터프라이즈급 기능
2. 주요 기능 및 이점
Portkey AI Gateway는 AI 애플리케이션의 개발 및 배포를 크게 향상시키는 다양한 기능을 제공합니다.
- 통합 API: Novita AI를 포함한 여러 AI 제공업체를 하나의 일관된 인터페이스로 통합합니다.
- 자동 재시도 및 폴백: 가동 중단을 방지하고 AI 서비스의 높은 가용성을 보장합니다.
- 로드 밸런싱 및 조건부 라우팅: 여러 제공업체 또는 모델에 요청을 분산하여 AI 애플리케이션을 효율적으로 확장합니다.
- 가드레일: 콘텐츠 필터 및 출력 검증을 구현하여 품질과 안전 기준을 유지합니다.
- 멀티모달 기능: 텍스트 기반 모델을 넘어 비전, 오디오 및 이미지 처리로 확장합니다.
- 에이전트 워크플로 통합: 복잡한 애플리케이션을 위한 고급 AI 에이전트 프레임워크를 탐색합니다.
이러한 기능들은 함께 더 빠른 개발 주기, 향상된 안정성, 그리고 AI 기반 애플리케이션의 성능 향상에 기여합니다.
3. Portkey AI Gateway 설정하기
Portkey AI Gateway 설정은 게이트웨이 설정, 첫 번째 요청 보내기, 라우팅 및 가드레일 구성의 세 가지 주요 단계로 구성됩니다.
AI Gateway 설정하기
게이트웨이를 로컬에서 실행하려면 Node.js와 npm이 설치되어 있어야 합니다. 그런 다음 다음 명령어를 실행하세요.
npx @portkey-ai/gateway
실행되면 두 개의 중요한 URL을 확인할 수 있습니다.
- Gateway:
http://localhost:8787/v1 - Gateway Console:
http://localhost:8787/public/
첫 번째 요청 보내기
먼저 Portkey AI Python 라이브러리를 설치합니다.
pip install -qU portkey-ai
그런 다음 다음 Python 코드를 사용하여 첫 번째 요청을 보냅니다.
from portkey_ai import Portkey
# OpenAI 호환 클라이언트
client = Portkey(
provider="openai", # 또는 'anthropic', 'bedrock', 'groq' 등
Authorization="sk-***" # 제공업체 API 키
)
# AI Gateway를 통해 요청 보내기
client.chat.completions.create(
messages=[{"role": "user", "content": "What's the weather like?"}],
model="gpt-4o-mini"
)
Gateway Console(http://localhost:8787/public/)에서 모든 로컬 로그를 한곳에서 모니터링할 수 있습니다.
라우팅 및 가드레일
Portkey AI Gateway를 사용하면 라우팅 규칙을 설정하고, 안정성 기능을 추가하며, 가드레일을 구현할 수 있습니다. 다음은 구성 예시입니다.
config = {
"retry": {"attempts": 5},
"output_guardrails": [{
"default.contains": {"operator": "none", "words": ["Apple"]},
"deny": True
}]
}
# 클라이언트에 구성 연결
client = client.with_options(config=config)
client.chat.completions.create(
model="gpt-4o-mini",
messages=[{"role": "user", "content": "Reply randomly with Apple or Bat"}]
)
# 이 예시에서 가드레일은 "Apple"이 포함된 모든 응답을 차단하므로, 응답은 항상 "Bat"이 됩니다. 재시도 구성은 요청을 최대 5회까지 시도한 후 포기합니다.
4. Novita AI API를 Portkey와 통합하기
Portkey AI Gateway를 통해 Novita AI API에 접근하려면 다음 단계를 따르세요.
Portkey SDK 설치
애플리케이션에 Portkey SDK를 추가하여 Portkey 게이트웨이를 통해 Novita AI의 API와 상호작용합니다.
Node.JS
npm install --save portkey-ai
Python
pip install portkey-ai
가상 키로 Portkey 초기화
Novita AI의 LLM API 키를 받아 Portkey에 추가하여 가상 키를 생성합니다.
Node.JS SDK
import Portkey from 'portkey-ai'
const portkey = new Portkey({
apiKey: "PORTKEY_API_KEY", // Portkey API 키로 대체
virtualKey: "VIRTUAL_KEY" // Novita AI용 가상 키로 대체
})
Python SDK
from portkey_ai import Portkey
portkey = Portkey(
api_key="PORTKEY_API_KEY", # Portkey API 키로 대체
virtual_key="VIRTUAL_KEY" # Novita AI용 가상 키로 대체
)
Novita AI로 채팅 완료 호출
Portkey 인스턴스를 사용하여 Novita AI에 요청을 보냅니다. 필요에 따라 API 호출에서 직접 가상 키를 재정의할 수도 있습니다.
Node.JS SDK
const chatCompletion = await portkey.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'Nous-Hermes-2-Mixtral-8x7B-DPO'
});
console.log(chatCompletion.choices);
Python SDK
completion = portkey.chat.completions.create(
messages= [{ "role": 'user', "content": 'Say this is a test' }],
model= 'reka-core'
)
print(completion)
5. 유용한 자료
Portkey AI Gateway와 Novita AI에 대한 이해와 활용을 더욱 높이기 위해 다음 자료를 살펴보시기 바랍니다.
- Portkey AI Gateway GitHub 저장소: 최신 풀 리퀘스트, 기능 및 개선 사항을 확인하세요.
- Portkey AI의 Novita AI 통합 문서: SDK 사용법 및 지원 모델 등 Novita AI와 Portkey 통합에 대한 종합 가이드입니다.
- Portkey AI 블로그: AI 통합 및 모범 사례에 관한 유익한 기사, 튜토리얼 및 업데이트를 확인하세요.
- Novita AI API 문서: Novita AI 공식 문서에서 LLM API 및 모델 사양에 대한 자세한 정보를 참조하세요.
이 자료들은 Portkey AI Gateway를 통해 Novita AI의 잠재력을 최대한 활용하는 데 도움이 되는 풍부한 정보를 제공하며, AI 통합 및 개발 분야에서 앞서 나갈 수 있도록 도와줍니다.
6. 결론
Novita AI API를 Portkey AI Gateway와 통합하면 AI 애플리케이션을 한층 더 효율적으로 향상시킬 수 있습니다. 이 가이드에 설명된 단계를 따르면 Portkey AI Gateway의 강력한 기능을 활용하여 개발 프로세스를 간소화하고, 성능을 개선하며, 안정성을 확보할 수 있습니다. 텍스트, 비전, 오디오 또는 이미지 모델을 사용하든 Portkey AI Gateway는 여러 AI 제공업체의 통합을 간소화하는 통합 인터페이스를 제공합니다.
최신 자료와 모범 사례를 지속적으로 업데이트하면 AI 애플리케이션을 최적화하고 빠르게 진화하는 AI 통합 및 개발 분야에서 앞서 나갈 수 있습니다. Portkey AI Gateway와 Novita AI의 기능을 활용하여 혁신적이고 강력한 AI 솔루션을 구축하세요.
Novita AI는 개발자가 간단한 API를 통해 AI 모델을 쉽게 배포할 수 있도록 지원하는 AI 클라우드 플랫폼이며, 구축 및 확장을 위한 합리적이고 안정적인 GPU 클라우드도 제공합니다.
