Helicone과 Novita AI 사용 가이드: 종합 안내

Novita AI는 Helicone을 포함한 다양한 AI 도구와 개발자들이 상호작용하는 방식을 혁신했습니다. Helicone은 대규모 언어 모델(LLM)로 작업하는 개발자를 위한 고급 관찰 가능성 플랫폼으로 잘 알려져 있습니다. 따라서 이 강력한 통합은 개발자에게 간단한 추론 플랫폼, 강력한 LLM 관찰 가능성, 모니터링 솔루션을 찾는 변혁적인 기회를 제공합니다. 이 글에서는 Helicone의 기능, Novita AI와의 통합 방법, 그리고 이 강력한 조합이 개발자에게 주는 이점을 자세히 살펴봅니다.

Helicone이란?

Helicone은 개발자가 프로덕션 환경의 AI 애플리케이션을 모니터링, 디버깅, 개선할 수 있도록 설계된 올인원 LLM 관찰 가능성 플랫폼입니다. 이 플랫폼은 실시간 로깅 기능을 갖춘 포괄적인 모니터링 솔루션을 제공하여 개발자가 LLM 애플리케이션을 대규모로 분석하고 최적화할 수 있도록 지원합니다. Helicone이 특히 가치 있는 이유는 여러 공급자에 걸쳐 몇 초 안에 통합될 수 있고, 코드 수정 없이 프로덕션 트래픽에 대한 프롬프트 변형을 테스트할 수 있는 기능을 지원하기 때문입니다.

주요 기능 및 역할

Helicone은 프로덕션 환경의 LLM 애플리케이션을 개선하는 주요 기능을 제공합니다.

1. 중앙 집중식 관찰 가능성: Helicone은 대규모 언어 모델(LLM)의 모든 배포에 걸쳐 포괄적인 로그와 메트릭을 캡처하고 시각화하는 강력한 플랫폼을 제공합니다.
2. LLM 성능 최적화: Helicone은 프롬프트 실험, 성공률 추적, 미세 조정 지원 등의 기능을 통해 LLM 성능을 향상시킵니다.
3. 유연한 데이터 관리: 데이터 프라이버시를 우선시하는 Helicone은 전용 인스턴스, 하이브리드 클라우드 통합, 자체 호스팅 환경 등 다양한 배포 옵션을 제공합니다.
4. 배포 유연성: Helicone은 클라우드 호스팅과 온프레미스 배포 옵션을 모두 지원하며, 프로덕션 준비가 완료된 HELM 차트를 사용하여 최대 보안을 보장합니다.
5. 엔터프라이즈급 보안: SOC2 인증 및 HIPAA 규정 준수를 갖추고 있어 민감한 데이터를 안전하게 처리하고 엔터프라이즈 보안 요구 사항을 충족합니다.

Helicone AI Gateway 설정하기

Helicone AI Gateway를 설정하려면 계정 생성, API 키 생성, 선호하는 통합 방법 선택, 첫 번째 요청 전송의 네 단계만 거치면 됩니다.

1단계: 계정 생성

• 계정이 생성되면 다음 단계로 진행하세요.

2단계: API 키 생성

• 설정으로 이동: 왼쪽 상단의 조직을 클릭하고 드롭다운에서 <mark>설정</mark> 을 선택하세요.

• API 키 탭 선택

• 새 키 생성: <mark>새 키 생성</mark> 을 클릭하세요. 새 Helicone API 키를 만들 때 <mark>읽기</mark> 및 <mark>쓰기</mark> 권한을 활성화할 수 있습니다. 쓰기 키는 프록시, 피드백 또는 기타 Helicone 서비스를 통해 <mark>POST</mark> 호출 시 또는 게이트웨이를 사용할 때 사용할 수 있습니다.

3단계: 선호하는 통합 방법 선택

• 사용하는 공급자를 아래에서 선택하세요. 이후 지침이 다릅니다.

4단계: 첫 번째 요청 전송

• 요청이 수신되면 <mark>요청</mark> 탭에서 확인할 수 있습니다.

• 또한 <mark>대시보드</mark> 가 새 요청으로 업데이트된 것을 확인할 수 있습니다.

Novita AI API 키 얻기

Novita AI API 키 생성은 Novita AI 접속 및 로그인, Novita AI LLM API 키 관리, 크레딧 충전의 세 단계로 진행됩니다.

1단계: Novita AI 접속 및 로그인

• Novita AI에 Google 또는 GitHub로 로그인할 수 있으며, 첫 로그인 시 새 계정이 생성됩니다. 또는 이메일 주소로 등록할 수 있습니다.

2단계: Novita AI LLM API 키 관리

Novita AI는 요청 헤더에 API 키를 포함하는 Bearer 인증을 통해 API 액세스를 보호합니다(예: “Authorization: Bearer {API Key}”).

• 키를 관리하려면 설정의 “키 관리”로 이동하세요. 첫 로그인 시 기본 키가 자동 생성됩니다.
• “+ 새 키 추가”를 클릭하여 추가 키를 생성할 수 있습니다.

3단계: 크레딧 충전

• Novita AI는 신규 사용자에게 제품을 체험할 수 있는 약간의 크레딧이 포함된 바우처를 제공합니다. 추가 크레딧을 충전하려면 결제 및 청구로 이동하여 결제 수단 안내를 따르세요.

Novita AI API를 Helicone과 통합하는 방법

Novita AI를 Helicone과 통합하는 것은 API 키를 사용하여 간단히 진행할 수 있으며, Novita AI 및 Helicone 계정 로그인, HELICONE_API_KEY 및 NOVITA_API_KEY를 환경 변수로 설정, 기본 URL 수정 및 인증 헤더 추가의 세 단계로 이루어집니다.

1단계: Novita AI 계정 및 Helicone 계정에 로그인

• Novita AI에 로그인하거나 계정을 생성하세요. 계정이 생성되면 대시보드에서 API 키를 생성할 수 있습니다.
• Helicone에 로그인하거나 계정을 생성하세요. 계정이 생성되면 API 키를 생성할 수 있습니다.

2단계: HELICONE_API_KEY 및 NOVITA_API_KEY를 환경 변수로 설정

HELICONE_API_KEY=<your API key>
NOVITA_API_KEY=<your API key>

3단계: 기본 URL 수정 및 인증 헤더 추가

• 다음 Novita AI URL을 Helicone Gateway URL로 변경하세요: <mark>https://api.novita.ai</mark> -> <mark>https://novita.helicone.ai</mark>

• 그런 다음 다음 인증 헤더를 추가하세요:

Authorization: Bearer <your API key>

예제

• 이제 간단한 fetch 호출로 Novita AI의 모든 모델에 액세스할 수 있습니다:

curl \
  --header 'Authorization: Bearer <NOVITA_API_KEY>' \
  --header 'Content-Type: application/json' \
  --data '{
    "model": "deepseek/deepseek-r1",
    "messages": &#91;
      {
        "role": "user",
        "content": "What language is mostly spoken in Singapore?"
      }
    ]
}' \
  --url https://novita.helicone.ai/v3/chat/completions

유용한 링크 및 리소스

Helicone AI Gateway와 Novita AI에 대한 이해와 사용을 더욱 향상시키려면 다음 유용한 리소스를 살펴보세요:

• Helicone Github

• Helicone 웹사이트 및 문서

• Helicone Discord

결론

Novita AI API를 Helicone AI Gateway와 통합하면 보안과 비용 효율성을 유지하면서 LLM 애플리케이션을 배포, 모니터링, 최적화할 수 있는 강력한 기반이 제공됩니다. Helicone의 관찰 가능성 플랫폼과 Novita AI의 인프라를 결합함으로써 개발자는 전체 개발 수명 주기 동안 AI 애플리케이션을 관리할 수 있는 포괄적인 도구를 얻을 수 있습니다.

자주 묻는 질문

Helicone의 모니터링이 내 vLLM 기반 애플리케이션의 성능에 영향을 미치나요?

아니요, 통합은 vLLM의 PagedAttention 알고리즘과 원활하게 작동하도록 최적화되어 있습니다.

통합이 오픈소스 LLM과 호환되나요?

네, 통합은 오픈소스 LLM을 완전히 지원합니다.

GPU 인프라 전반의 비용과 리소스 사용량을 모니터링할 수 있나요?

네, Novita AI의 합리적인 가격과 신뢰할 수 있는 GPU 클라우드 인프라를 사용하면서 Helicone을 통해 리소스 사용량과 비용을 추적할 수 있습니다.

기간 한정 혜택

Novita AI는 현재 추천 프로그램을 제공하며, 이는 Helicone 사용자에게 혜택이 될 수 있습니다. 관심 있는 사용자가 있으면 초대 링크/코드를 공유할 수 있으며, 추천인과 추천 받은 사람 모두 DeepSeek R1 및 V3 API를 사용할 수 있는 $20 크레딧을 받게 됩니다.

Novita AI 소개

Novita AI는 개발자가 간단한 API를 사용하여 AI 모델을 쉽게 배포할 수 있도록 지원하는 AI 클라우드 플랫폼이며, 합리적인 가격과 신뢰할 수 있는 GPU 클라우드를 제공합니다.