단계별 가이드: Novita AI GPU 인스턴스에서 Gemma 7B 실행하기

Gemma 7B란?
Novita AI에서 Gemma 7B를 사용해야 하는 이유?
Novita AI에서 Gemma 7B 템플릿으로 배포하기

Google의 Gemma 7B는 효율적이고 강력한 오픈소스 언어 모델로 주목받고 있습니다. 이 가이드에서는 Novita AI GPU 인스턴스에 Gemma 7B를 배포하여 다양한 애플리케이션에서 활용하는 방법을 단계별로 설명합니다.

Gemma 7B란?

Gemma 7B는 Google의 경량 오픈소스 언어 모델 제품군으로, Gemini 모델과 동일한 기술을 기반으로 구축되었습니다. 노트북 및 데스크탑을 포함한 다양한 하드웨어 플랫폼에서 배포 가능하며, NVIDIA GPU 및 Google Cloud TPU에 최적화되어 있어 더욱 접근성이 높습니다. Gemma 7B는 70억 개의 파라미터를 가지며, 주로 웹 문서, 수학, 코드로 구성된 데이터셋으로 학습되었습니다. 디코더 전용 트랜스포머 아키텍처와 멀티헤드 어텐션을 사용하여 코드 생성, 수학적 추론, 언어 이해 등 다양한 작업에 효율적입니다.

Novita AI에서 Gemma 7B를 사용해야 하는 이유?

Novita AI는 AI 워크로드에 최적화된 고성능 GPU 인스턴스를 제공하는 클라우드 기반 플랫폼으로, Gemma 7B와 같은 모델을 실행하기에 이상적인 선택입니다. Novita AI GPU 인스턴스에서 Gemma 7B를 실행하면 다음과 같은 장점이 있습니다.

성능: Novita AI의 강력한 GPU는 Gemma 7B가 효율적으로 작동하여 복잡한 작업을 높은 성능으로 처리할 수 있도록 합니다.
접근성: Gemma 7B의 경량 특성 덕분에 다양한 하드웨어에 배포할 수 있지만, Novita AI의 GPU 인스턴스를 사용하면 더욱 성능을 향상시킬 수 있습니다.
비용 효율성: 대규모 AI 모델 배포를 위해 로컬 하드웨어를 유지하는 것보다 클라우드 기반 GPU 리소스를 활용하는 것이 더 비용 효율적일 수 있습니다.

Novita AI에서 Gemma 7B 템플릿으로 배포하기

사전 요구 사항

Novita AI 계정: Novita AI의 활성 계정이 필요합니다.
Hugging Face API 토큰: huggingface.co에서 계정을 만들고 Gemma 모델 저장소와 상호작용할 수 있는 적절한 권한의 액세스 토큰을 생성해야 합니다.
기본 지식: REST API 이해, Docker 컨테이너 작업, GPU 컴퓨팅 기본 사항에 익숙해야 합니다.

Gemma 7B 구현을 위한 단계별 배포 가이드

1단계: Novita AI 플랫폼 접속

Novita AI 공식 웹사이트 방문: https://novita.ai/

지금 Novita AI 사용해보기

2. Google, GitHub 또는 이메일 인증 방식으로 Novita AI에 가입합니다.

상단 메뉴바에서 “GPUs” 로 이동한 후 “Get Started” 를 선택하여 배포 프로세스를 시작합니다.

2단계: GPU 인스턴스에 Gemma 7B 배포

“Create My Template” 을 클릭합니다.

배포 매개변수를 구성합니다.

Template Name: 템플릿 이름 입력 (예: “Gemma 7b”)
Container Image: vllm/vllm-openai:latest 입력 (또는 사용자 지정 이미지)
Container Start Command: 사용할 모델 지정: --model google/gemma-7b-it --max-model-len 4096 –port 8000
Container Desk: 적절한 스토리지 크기 설정
Expose HTTP Ports: 8000 사용 (모델 제공 표준 포트)
Environment Variables: Name: HF_TOKEN; Value: Huggingface 액세스 토큰

위 구성을 완료한 후 “Save Template” 을 클릭하여 템플릿에 저장합니다.

Hugging Face에서 Gemma 모델에 접근하는 것을 잊지 마세요.

Hugging Face 계정에 로그인합니다.
Gemma 모델 페이지 (google/gemma-7b-it)를 방문합니다.
“Acknowledge license” 버튼을 클릭합니다.
조건에 동의하여 모델 파일 및 콘텐츠에 즉시 액세스합니다.

위 구성 단계를 완료한 후 “Save Template” 을 클릭하여 템플릿에 저장합니다.

3단계: 배포 사용자 지정

이 가이드에서는 필요한 GPU 수를 구성해야 합니다. 단일 RTX 4090 GPU를 예로 듭니다.

GPU 구성에서 “1x RTX 4090 24GB” 선택

“Depoly” 클릭

“Next” 클릭

4단계: 인스턴스 실행

“Depoly” 를 클릭하여 구성된 환경을 배포합니다.

인스턴스가 구성되고 관리되는 동안 몇 분간 기다립니다.

인스턴스가 시작되면 모델을 가져오기 시작합니다. “Logs” → “Instance Logs” 를 클릭하여 모델 다운로드 진행 상황을 모니터링합니다.

로그에 “INFO: Application startup complete” 가 표시되면 시작이 완료된 것입니다. 이제 개인 모델에 액세스해 보세요!

“Connect” 를 클릭한 후 → “Connect to HTTP Service [Port 8000]” 을 클릭합니다. API 서비스이므로 주소를 복사해야 합니다.

개인 모델에 요청을 보내려면 “http://7a65a32b51e37482-8000.jp-tyo-1.gpu-instance.novita.ai” 를 실제 노출된 주소로 바꾸세요. 다음 코드를 복사하여 개인 모델에 액세스하세요!

$ curl http://7a65a32b51e37482-8000.jp-tyo-1.gpu-instance.novita.ai/v1/chat/completions  \
   -H "Content-Type: application/json"     -d '{
        "model": "google/gemma-7b-it",
        "messages": [{"role": "user", "content": "hello"}]
    }'
{"id":"chatcmpl-57b3296f87f54dd4b69cfb6d2196f48e","object":"chat.completion","created":1740711405,"model":"google/gemma-7b-it","choices":[{"index":0,"message":{"role":"assistant","content":"Alright, the user said \"hello.\" That's a friendly greeting. I should respond in a welcoming manner.\
\
Maybe I can acknowledge their greeting and offer assistance.\
\
It's important to sound approachable and ready to help.\
\
I'll keep it simple and polite.\
 response\
\
Hello! How can I assist you today?","tool_calls":[]},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":70,"completion_tokens":64,"prompt_tokens_details":null},"prompt_logprobs":null}

Chatbox와 같은 애플리케이션에서 API 주소를 구성하면 개인 비서를 사용할 수 있습니다!

Novita AI는 개발자가 간편한 API를 사용하여 AI 모델을 배포하고, 확장 가능한 저렴하고 안정적인 GPU 클라우드를 제공하는 AI 클라우드 플랫폼입니다.

단계별 가이드: Novita AI GPU 인스턴스에서 Gemma 7B 실행하기

Gemma 7B란?

Novita AI에서 Gemma 7B를 사용해야 하는 이유?