로컬, API, 클라우드 GPU에서 Gemma 3 27B에 액세스하는 방법

주요 요점

Gemma 3 27B 는 Google 이 2025년 3월 에 출시한 오픈소스 멀티모달 LLM입니다.

새로운 토크나이저와 **128K 컨텍스트 윈도우 ** 로 140개 이상의 언어 를 지원합니다.

텍스트와 이미지 입력을 모두 처리하고 텍스트를 출력합니다.

**14조 개의 토큰 ** 으로 학습되어 수학, 코드, 명령 수행 에 뛰어납니다.

벤치마크 점수: 1339 Elo, 69.0 (MATH), 67.5 (MMLU-Pro).

단일 NVIDIA H100 에서 실행하거나 Ollama (로컬) 또는 Novita AI API / Cloud GPU 를 통해 배포할 수 있습니다.

Gemma 3 27B는 Google이 구축한 강력하고 유연한 LLM입니다. 다국어 지원, 멀티모달 입력, 높은 성능을 결합하여 로컬 또는 클라우드에서 다양한 AI 워크로드에 이상적입니다.

Gemma 3 27B란 무엇인가요?

주요 기능

• 고급 다국어 지원: 새로운 토크나이저를 통해 Gemma 3는 140개 이상의 언어에서 매우 효과적입니다.
• 멀티모달 입력: 이미지와 텍스트를 모두 처리할 수 있어 다양한 애플리케이션에 유용한 도구입니다.
• 확장된 컨텍스트 윈도우: 128K 토큰 용량으로 광범위하고 상세한 입력을 처리할 수 있습니다.
• 오픈소스 및 커뮤니티 친화적: 오픈소스이므로 커뮤니티 실험과 광범위한 채택을 장려합니다.

카테고리	항목	세부사항
기본 정보	출시일	2025년 3월 12일
	모델 크기	270억 개 파라미터
	오픈소스	예 (Google 출시)
언어 지원	지원 다국어	140개 이상의 언어
학습	학습 데이터	14조 개 토큰
	강점	수학, 코딩, 명령 수행
멀티모달	멀티모달 기능	예 (이미지 및 텍스트 처리, 텍스트 출력)
컨텍스트	컨텍스트 윈도우	128K 토큰
정밀도별 모델 크기	bf16 (원본)	가중치: 54.0 GB; 가중치 + KV 캐시: 72.7 GB
	INT4	가중치: 14.1 GB; 가중치 + KV 캐시: 32.8 GB
	INT4 (blocks=32)	가중치: 15.3 GB; 가중치 + KV 캐시: 34.0 GB
	SFP8	가중치: 27.4 GB; 가중치 + KV 캐시: 46.1 GB

Gemma 3 27B 벤치마크

벤치마크	Gemma 3 27B	DeepSeek R1	LLaMA 3.3 70B
LMSys Elo 점수	1339	~1360	~1260
MMLU-Pro	67.5	84.0	66.4
LiveCodeBench	29.7	65.9	~29
GPQA Diamond	42.4	71.5	50.5
MATH	69.0	97.3	77.0

로컬에서 Gemma 3 27B에 액세스하는 방법

하드웨어 요구 사항

Gemma 3 27B는 “단일 GPU에서 실행할 수 있는 가장 강력한 모델” 로 설명됩니다!

출처: Google

**설정 **	**VRAM 요구 사항 **	** 참고 사항**
클라우드 배포	약 80GB VRAM (단일/다중 GPU)	최적의 클라우드 배포 성능을 위해 A100 또는 H100 GPU를 권장합니다. 또는 RTX 4090 24GB (x3)
Apple Silicon	mlx-vlm을 통해 Gemma 3 4B 지원	Gemma 3 4B는 mlx-vlm(Mac 및 iPhone을 포함한 Apple Silicon 기기에서 비전-언어 모델을 실행하기 위한 오픈소스 라이브러리)에서 출시 당일 지원됩니다.

로컬에 Gemma 3 27B 설치하는 단계별 과정

# Step 0: NVIDIA GPU 확인
nvidia-smi

# Step 1: Ubuntu 패키지 소스 업데이트
apt update

# Step 2: GPU 감지를 위한 Ollama 종속성 설치
apt install pciutils lshw

# Step 3: Ollama 설치
curl -fsSL https://ollama.com/install.sh | sh

# Step 4: Ollama 서버 시작 (이 터미널에서 실행하고 열어 둠)
ollama serve

# Step 5: (새 터미널에서) Ollama 작동 확인
ollama

# Step 6: Gemma-3 모델 설치 (하나 선택)

# Gemma-3 1B 실행
# ollama run gemma3:1b

# Gemma-3 4B 실행
# ollama run gemma3:4b

# Gemma-3 12B 실행
# ollama run gemma3:12b

# ✅ 권장: Gemma-3 27B 실행
ollama run gemma3:27b

# Step 7: 콘솔에서 프롬프트를 통해 모델과 직접 상호 작용
# 예:
# You are an AI-powered trading analyst specializing in cryptocurrency markets.
# Your task is to design an autonomous AI agent that can predict market trends,
# execute trades, and manage risks efficiently. Your response should include:
# - A strategy for analyzing on-chain + off-chain data
# - Model choice for price prediction and sentiment
# - A Python code snippet
# - Risk management methods
# - Ethical concerns

Novita API를 통해 Gemma 3 27B에 액세스하는 방법

Step 1: 로그인하고 모델 라이브러리에 액세스

계정에 로그인하고 Model Library 버튼을 클릭하세요.

지금 Gemma 3 27B 데모 사용해보기!

Step 2: 무료 평가판 시작

선택한 모델의 기능을 살펴보기 위해 무료 평가판을 시작하세요.

Step 3: API 키 받기

API에 인증하기 위해 새 API 키를 제공해 드립니다. “Settings” 페이지로 이동하여 이미지에 표시된 대로 API 키를 복사하세요.

Step 4: API 설치

프로그래밍 언어에 맞는 패키지 관리자를 사용하여 API를 설치하세요.

설치 후 개발 환경에 필요한 라이브러리를 가져오세요. API 키로 API를 초기화하여 Novita AI LLM과 상호 작용을 시작하세요. 다음은 Python 사용자를 위한 채팅 완성 API 사용 예제입니다.

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="<YOUR Novita AI API Key>",
)

model = "google/gemma-3-27b-it"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

Chatbox를 통해 Gemma 3 27B 사용하기

Step 1: Chatbox 설치

1. “Setting” 옵션을 선택하세요. 이 설정은 Novita AI와 같은 OpenAI API 표준을 따르는 API와의 호환성을 보장합니다.
2. 구성 필드를 입력하세요:
   • Base URL: https://api.novita.ai/v3/openai 입력.
   • API Key: Novita AI API Key 를 여기에 붙여넣으세요.
   • Model Name: 이전에 복사한 모델 이름(예: google/gemma-3-27b-it)을 붙여넣으세요.
3. 구성을 완료한 후 Done 을 클릭하세요.

클라우드 GPU를 통해 Gemma 3 27B 사용하기

Step1: 계정 등록

Novita AI를 처음 사용하는 경우 웹사이트에서 계정을 만드세요. 등록이 완료되면 “GPUs” 탭으로 이동하여 사용 가능한 리소스를 살펴보고 여정을 시작하세요.

Step2: 템플릿 및 GPU 서버 탐색

프로젝트 요구 사항에 맞는 템플릿(예: PyTorch, TensorFlow, CUDA)을 선택하세요. 필요에 맞는 버전(예: PyTorch 2.2.1 또는 CUDA 11.8.0)을 선택하세요. 그런 다음 충분한 VRAM, RAM, 디스크 용량으로 까다로운 워크로드를 처리할 수 있는 강력한 성능을 제공하는 A100 GPU 서버 구성을 선택하세요.

Novita AI의 고성능 GPU 사용해보기

Step3: 배포 맞춤 설정

템플릿과 GPU를 선택한 후 운영 체제 버전(예: CUDA 11.8)과 같은 매개변수를 조정하여 배포 설정을 사용자 지정하세요. 다른 구성을 조정하여 프로젝트의 특정 요구 사항에 맞게 환경을 조정할 수도 있습니다.

Step4: 인스턴스 시작

템플릿과 배포 설정을 최종 결정한 후 “Launch Instance” 를 클릭하여 GPU 인스턴스를 설정하세요. 그러면 환경 설정이 시작되어 AI 작업에 GPU 리소스를 사용할 수 있습니다.

강력한 벤치마크와 간편한 배포 옵션을 갖춘 Gemma 3 27B는 개방적이고 고품질의 AI 도구를 찾는 개발자와 연구자에게 최고의 선택입니다.

자주 묻는 질문

Gemma 3 27B란 무엇인가요?

Gemma 3 27B는 Google이 개발한 270억 개 파라미터의 오픈소스 대규모 언어 모델입니다. 멀티모달 입력(텍스트 + 이미지), 140개 이상의 언어를 지원하며 128K 토큰 컨텍스트 윈도우를 제공합니다.

로컬에서 Gemma 3 27B를 실행하기 위한 하드웨어 요구 사항은 무엇인가요?

약 80GB VRAM 이 필요합니다. NVIDIA H100 하나면 충분합니다. 여러 개의 RTX 4090(예: 3×24GB)으로도 실행할 수 있습니다.

Gemma 3 27B의 API 버전이 있나요?

네! Novita AI API 를 통해 Gemma 3 27B 에 액세스할 수 있으며, 이는 OpenAI API 표준과 완벽하게 호환됩니다.

Novita AI는 간단한 API를 통해 AI 모델을 손쉽게 배포할 수 있는 방법을 제공하고, 합리적인 가격과 안정적인 GPU 클라우드를 제공하여 확장을 지원하는 AI 클라우드 플랫폼입니다.

추천 자료

• LLaMA 3.3 70B VRAM 요구 사항이 홈 서버에 도전이 되는 이유
• Qwen 2.5 72b vs Llama 3.3 70b: 어떤 모델이 당신의 요구에 맞을까요?
• Qwen 2.5 vs Llama 3.2 90B: 코딩 및 이미지 추론 능력 비교 분석

간단한 API와 확장 가능한 GPU

Novita AI는 간단한 API를 통해 AI 모델을 쉽게 배포할 수 있는 방법을 제공하고, 합리적인 가격과 안정적인 GPU 클라우드로 구축과 확장을 지원하는 AI 클라우드 플랫폼입니다.

지금 Gemma 3 27B 데모 사용해보기