English Arabic 简体中文 繁體中文 Français Deutsch 日本語 한국어 Português Русский Español

LLM 전용 엔드포인트로 커스텀 기본 모델 배포: 유연성, 신뢰성, 확장성

작성자 / / 업데이트 / 7 분 읽기
LLM 전용 엔드포인트로 커스텀 기본 모델 배포: 유연성, 신뢰성, 확장성
목차
  1. LLM 전용 엔드포인트란?
  2. 왜 LLM 전용 엔드포인트를 선택해야 할까?
  3. 선택 방법: 전용 엔드포인트 vs. 서버리스 엔드포인트
  4. 전용 엔드포인트 GPU 가격 비교
  5. Novita AI LLM 전용 엔드포인트 시작하기
  6. 결론

Novita AI의 LLM 전용 엔드포인트는 사용자 정의 또는 미세 조정된 Hugging Face 모델을 손쉽게 배포할 수 있게 해주는 새로 출시된 서비스입니다.

전용 H100 GPU를 시간당 $1.86부터, H200을 시간당 $2.99부터 사용할 수 있어 Novita AI는 Together AI, Fireworks AI, Friendli AI와 같은 대안보다 훨씬 비용 효율적인 경쟁력 있는 가격을 제공합니다.

유연한 LoRA 지원, 99.5% SLA, 확장 가능한 GPU 옵션을 누리세요. 몇 분 안에 프로덕션 준비 완료 LLM 엔드포인트를 설정하고 투명하고 예측 가능한 가격으로 리소스를 자신 있게 관리하세요.

LLM 전용 엔드포인트란?

LLM 전용 엔드포인트 는 오로지 사용자만을 위해 예약된 인프라에서 대규모 언어 모델을 실행하기 위한 프라이빗 클라우드 기반 API를 제공합니다. 이 설정은 공유 또는 서버리스 대안과 달리 모델이 일관된 성능, 높은 신뢰성, 완전한 리소스 격리로 작동하도록 보장합니다.

전용 엔드포인트를 사용하면 커스텀 또는 미세 조정된 변형을 포함하여 Hugging Face의 오픈소스 및 프라이빗 모델을 모두 배포할 수 있습니다. 민감한 데이터와 지적 재산권은 보호되며, 모델과 트래픽이 다른 사용자에게 노출되지 않습니다.

왜 LLM 전용 엔드포인트를 선택해야 할까?

Novita AI의 LLM 전용 엔드포인트를 통해 AI 워크로드를 위한 강력하고 유연한 환경을 얻을 수 있습니다:

  • 커스텀 모델 배포: 격리된 전용 환경에서 프라이빗 및 미세 조정된 버전을 포함한 모든 Hugging Face 모델을 쉽게 제공합니다.
  • 유연한 LoRA 어댑터 관리: 단일 엔드포인트에 여러 LoRA 어댑터를 연결하고 전환할 수 있습니다. 기본 모델을 재배포하지 않고도 실험, 반복, 다양한 작업을 지원할 수 있습니다.
  • 예측 가능한 성능: 전용 리소스는 다른 사용자의 영향을 받지 않고 일관된 처리량과 낮은 지연 시간을 보장합니다. 엄격한 속도 제한이 없으며, 엔드포인트의 용량은 선택한 하드웨어와 구성에 따라 결정됩니다.
  • 확장 가능한 하드웨어: 유휴 상태(0개 복제본)에서 엔드포인트당 최대 10개 복제본까지 확장하고 요구 사항에 맞는 GPU 유형을 선택할 수 있습니다. 각 사용자는 최대 8개의 GPU에 액세스할 수 있으며, 엔터프라이즈 확장이 가능합니다.
  • 투명한 가격: H100 시간당 $1.86, H200 시간당 $2.99—사용한 만큼만 지불하면 됩니다. 전용 엔드포인트는 높거나 지속적인 사용량에서 서버리스 솔루션보다 비용 효율적인 경우가 많습니다.
  • 사용자 친화적인 관리: 배포 및 관리를 위한 직관적인 웹 콘솔과 빠른 검증을 위한 즉시 사용 가능한 플레이그라운드 테스트를 제공합니다.
  • 프로덕션 준비 완료 신뢰성: 99.5% 가동 시간 보장, Novita AI가 완전히 관리하여 안심할 수 있습니다.

선택 방법: 전용 엔드포인트 vs. 서버리스 엔드포인트

올바른 유형의 LLM 추론 엔드포인트를 선택하는 것은 사용 사례, 워크로드 및 운영 요구 사항에 따라 달라집니다. 다음은 결정을 돕기 위한 빠른 가이드입니다:

다음과 같은 경우 LLM 서버리스 엔드포인트를 선택하세요:

  • 인프라 관리 없이 공개 LLM에 빠르고 유연하게 액세스하려는 경우
  • 사용량이 적거나 변동이 있거나 프로토타입 제작 중인 경우
  • 간단한 사용량 기반 가격을 원하는 경우

다음과 같은 경우 LLM 전용 엔드포인트를 선택하세요:

  • 모든 Hugging Face 모델(프라이빗, 미세 조정, 게이트 포함)을 배포하려는 경우
  • LoRA 어댑터와 매개변수를 유연하게 구성해야 하는 경우
  • 전용 하드웨어, 안정적인 높은 처리량, 프로덕션 수준의 신뢰성이 필요한 경우
  • 업계 최저 GPU 비용을 최적화하려는 경우
  • 사용자당 최대 8개의 GPU 또는 그 이상이 필요한 경우

더 많은 리소스가 필요하시면 맞춤형 엔터프라이즈 솔루션을 위해 영업 팀에 문의하세요.
항목 LLM 서버리스 엔드포인트 LLM 전용 엔드포인트 (DE)
청구 모델 사용량 기반(토큰당) GPU 시간당 지불
리소스 유형 공유, 서버리스(멀티 테넌트) 전용, 사용자 제어(싱글 테넌트)
성능 일관성 변동 가능(공유 부하) 예측 가능, 다른 사용자의 영향을 받지 않음
속도 제한 있음(사용자 계층별 TPM, RPM) 엄격한 속도 제한 없음, 사용자 GPU 할당량에 의해 제한
모델 선택 공개 모델만 가능 Hugging Face 저장소(공개, 프라이빗, 게이트)에서 커스텀 기본 모델 로드, LoRA 매개변수 구성 지원
하드웨어 선택 선택 불가 유연성: H100, H200, 4090 등
배포 리전 사용자 선택 불가 사용자가 리전 선택 가능
SLA 공식 보장 없음 99.5% SLA
고사용량 비용 규모가 클수록 비용 증가 고사용량에서 저렴
보안 및 데이터 격리 공유 환경 완전한 테넌트 격리, 프라이빗 엔드포인트
최적 대상 스타트업, 프로토타이핑, 변동 사용량 엔터프라이즈, 프로덕션, 안정적인 높은 처리량, 커스텀 기본 모델

전용 엔드포인트 GPU 가격 비교

공급자를 선택할 때, 특히 프로덕션 규모 배포에서는 비용 효율성이 중요합니다. Novita AI는 주요 공급자 중에서 전용 H100 및 H200 GPU에 대해 가장 낮은 시간당 요금을 제공합니다:
공급자 H100 (1카드/시간) H200 (1카드/시간)
Novita AI $1.86 $2.99
Fireworks AI $5.80 $9.99
Friendli AI $4.90 $5.90
Together AI $3.36 $4.99
Deepinfra $2.40 $3.00

위에서 볼 수 있듯이 Novita AI는 H100 및 H200 GPU 모두에서 지속적으로 가장 경쟁력 있는 가격을 제공합니다. 다른 인기 공급자보다 최대 60% 저렴합니다.

이는 Novita AI를 선택함으로써 높은 처리량이나 장기 실행 LLM 배포에 대한 인프라 비용을 크게 줄일 수 있음을 의미합니다.

Novita AI LLM 전용 엔드포인트 시작하기

1. 콘솔에 액세스

2. 새 엔드포인트 생성

  • 오른쪽 상단의 + 새 엔드포인트 버튼을 클릭합니다.

새 엔드포인트 생성

3. 엔드포인트 구성

구성 양식을 다음 옵션으로 채웁니다:

엔드포인트 구성

  • 엔드포인트 이름: 배포에 고유하고 설명적인 이름을 지정합니다.

  • 기본 모델: 기본 모델의 Hugging Face 저장소 이름을 입력합니다(Hugging Face 모델만 지원되며 공개, 프라이빗, 게이트 포함).

  • LoRA 어댑터(선택 사항): 하나 이상의 Hugging Face 모델 ID를 추가하여 기본 모델에 LoRA 어댑터를 연결합니다.

  • 인스턴스 유형: GPU 하드웨어를 선택합니다(예: H100, H200, RTX4090). 각 사용자는 모든 엔드포인트에서 최대 8개의 GPU를 사용할 수 있습니다.

  • 자동 확장 구성:

    • 최소 복제본: 유휴 상태일 때 엔드포인트가 절전 모드로 전환되도록 0으로 설정하거나(비용 절감) 더 높은 값으로 설정하여 항상 최소 수의 활성 복제본을 유지합니다.
    • 최대 복제본: 확장을 위한 최대 복제본 수를 설정합니다(최대 10개).
    • 쿨다운 기간: 짧은 트래픽 감소 중 조기 축소를 방지하기 위해 복제본 축소 전 지연 시간(초)을 설정합니다.

  • 엔진 구성:

    • 엔진 유형: 추론 엔진(vLLM 또는 SGLang)을 선택합니다.
    • 엔진 버전: 기본값(최신)을 사용하거나 버전을 지정합니다.
    • 컨텍스트 길이: 선택적으로 최대 토큰 컨텍스트 길이를 설정하고, 생략하면 모델 구성에서 파생됩니다.
    • 최대 실행 요청: 반복당 처리되는 시퀀스의 최대 수를 설정합니다.
    • 추가 인수: 고급 사용자 지정을 위해 추가 엔진 매개변수를 추가합니다.

완료되면 생성 을 클릭하여 엔드포인트를 배포합니다.

4. 엔드포인트 배포 상태

엔드포인트 배포 상태

생성 후 엔드포인트는 여러 상태를 거칩니다:

  • 절전: 엔드포인트가 유휴 상태이며 컴퓨팅 리소스를 소비하지 않습니다(최소 복제본이 0으로 설정된 경우).
  • 대기 중: 배포가 초기화 중입니다.
  • 롤링: 모델 및 인프라가 설정 중입니다.
  • 실행 중: 엔드포인트가 활성화되어 요청을 처리할 준비가 되었습니다.

콘솔의 엔드포인트 페이지에서 이 상태를 모니터링할 수 있습니다.

5. 플레이그라운드에서 엔드포인트 테스트

전용 엔드포인트 플레이그라운드

  • 배포가 완료되고 상태가 **실행 중 ** 이면 엔드포인트를 클릭하고 플레이그라운드 탭을 엽니다.
  • 플레이그라운드에서 다음을 수행할 수 있습니다:
    • 기본 모델 및 연결된 LoRA 어댑터에 테스트 프롬프트를 보냅니다.
    • 다양한 어댑터와 기본 모델의 출력을 즉시 비교합니다.

6. 다음 단계

  • 멀티 LoRA 엔드포인트: 단일 엔드포인트에 여러 LoRA 어댑터를 배포하여 유연한 모델 전환을 지원합니다.
  • API 통합: 제공된 API 엔드포인트를 사용하여 요청을 보내고 모델을 자체 애플리케이션에 통합합니다.
  • 최적화 및 확장: 요구 사항이 증가함에 따라 자동 확장, 엔진 구성 및 GPU 할당량을 조정합니다.
  • 더 많은 리소스가 필요하신가요? 8개 이상의 GPU가 필요하거나 엔터프라이즈급 기능이 필요한 경우 영업 팀에 문의하여 엔터프라이즈 솔루션을 알아보세요.

코드 예제(Python 사용자용)

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/dedicated/v1/openai",
    api_key="<Your API Key>",
)

model = "deepseek-ai/DeepSeek-R1-0528-"
stream = True  # 또는 False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "you are a professional AI helper.",
        },
        {
            "role": "user",
            "content": "Where can the example of GPU provided by novita ai be adapted?",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

결론

Novita AI의 새로운 LLM 전용 엔드포인트는 사용자 정의 Hugging Face 모델을 자신 있게 배포하고 확장할 수 있도록 지원합니다. 유연한 LoRA 어댑터 통합, 간편한 자동 확장, 경쟁력 있는 투명한 가격, 99.5% SLA 보장을 누리세요. 첫 번째 미세 조정 모델을 출시하든 프로덕션 워크로드를 관리하든 Novita AI는 프로토타입에서 프로덕션까지 빠르고 안전하며 효율적으로 전환할 수 있도록 해줍니다.

원활한 LLM 배포를 경험할 준비가 되셨나요? 지금 가입 하거나 영업 팀에 문의 하여 엔터프라이즈 데모 및 맞춤형 플랜을 확인하세요.

자주 묻는 질문

전용 엔드포인트에 어떤 모델을 배포할 수 있나요?

Hugging Face의 모든 모델(공개, 프라이빗, 미세 조정, 독점 모델 포함)을 배포할 수 있습니다. 기본 모델과 커스텀 또는 LoRA 어댑터가 있는 모델을 모두 지원합니다.

전용 엔드포인트와 서버리스 엔드포인트의 차이점은 무엇인가요?

전용 엔드포인트는 일관된 성능, 고급 사용자 지정, 더 높은 처리량을 위해 예약된 격리된 하드웨어를 제공합니다. 반면 서버리스 엔드포인트는 공유 인프라에서 실행되며 사용량이 적거나 변동이 있을 때 적합하고 하드웨어 관리 없이 빠른 프로토타이핑에 이상적입니다.

워크로드가 증가함에 따라 전용 엔드포인트를 확장할 수 있나요?

네. 전용 엔드포인트는 실시간 수요에 따라 자동 확장을 지원합니다. 하나의 GPU로 시작하여 사용자당 최대 8개의 GPU(더 많은 엔터프라이즈 옵션 포함)까지 확장할 수 있어 피크 트래픽 중에도 애플리케이션의 응답성을 유지할 수 있습니다.

전용 엔드포인트를 모니터링하고 관리하려면 어떻게 해야 하나요?

각 전용 엔드포인트는 상세한 메트릭과 로그를 제공합니다. 웹 콘솔 또는 API를 통해 성능을 추적하고 사용량을 모니터링하며 문제를 해결할 수 있어 관리 및 최적화가 간편합니다.

가격 옵션은 무엇이며 비용을 어떻게 제어할 수 있나요?

가격은 투명하고 사용량 기반이며 H100 GPU의 경우 시간당 $1.86부터, H200 GPU의 경우 시간당 $3.00부터 시작합니다. 사용한 만큼만 지불하면 됩니다. 자동 확장 및 유연한 관리를 통해 활용도를 최적화하고 특히 프로덕션 워크로드에서 비용을 예측 가능하게 유지할 수 있습니다.

Novita AI는 개발자가 간단한 API를 사용하여 AI 모델을 쉽게 배포할 수 있도록 하고, 구축 및 확장을 위한 저렴하고 안정적인 GPU 클라우드를 제공하는 AI 클라우드 플랫폼입니다.

관련 게시글