Gemma-3-12B-IT는 Google의 Gemma 오픈 모델 제품군에 속하며, 강력한 멀티모달 성능을 제공하면서도 가볍고 효율적입니다. Gemini와 동일한 고급 기반 위에 구축되어 텍스트 생성, 요약, 추론, 이미지 이해와 같은 작업을 손쉽게 처리하며, 개발자와 연구자 모두에게 강력하면서도 접근성 좋은 옵션을 제공합니다.
이 가이드에서는 먼저 Gemma-3-12B-IT를 간략히 살펴본 후, 웹 인터페이스, API 통합, 로컬 배포 등 다양한 접근 방식을 단계별로 알아보겠습니다.
Gemma-3-12B-IT란 무엇인가?
기본 정보
| 특징 | 상세 정보 |
| 모델 크기 | 12B 파라미터 |
| 아키텍처 | Dense |
| 오픈소스 | 예 |
| 컨텍스트 윈도우 | 128K 토큰 |
| 다국어 지원 | 영어에 탁월, 140개 언어 지원 |
| 멀티모달 | 텍스트 및 이미지 (896 x 896 해상도로 정규화) |
| 라이선스 | Gemma |
| 벤치마크 | 성능 |
| GPQA Diamond | 35% |
| MMLU-Pro | 60% |
| IFBench | 37% |
| SciCode | 17% |
| LiveCodeBench | 14% |
| AIME 2025 | 18% |
| Humanity’s Last Exam | 4.8% |
| AA-LCR | 7% |
확장된 컨텍스트 처리
128,000 토큰 컨텍스트 윈도우를 갖춘 Gemma-3-12B-IT는 단순한 기술 업그레이드를 넘어, 조직이 긴 문서와 복잡한 분석 워크플로를 처리하는 방식을 재정의합니다. 고급 설계 덕분에 기존 모델에서 발생하는 단편화 문제를 제거하여 방대한 텍스트를 일관성과 맥락 손실 없이 원활하게 이해할 수 있습니다.
이러한 확장된 용량은 문서 인텔리전스의 새로운 지평을 열어, AI 시스템이 전체 연구 논문, 계약서, 기술 매뉴얼을 이해하는 동시에 그래프, 차트, 삽화와 같은 시각적 구성 요소도 해석할 수 있게 합니다.
고급 멀티모달 통합
비전-언어 프레임워크로 구축된 Gemma-3-12B-IT는 표준 이미지 인식을 훨씬 뛰어넘어 인간과 유사한 분석적 추론을 달성합니다. 텍스트와 시각적 정보를 연결하여 두 양식 간의 관계를 해석하고, 텍스트 전용 또는 이미지 전용 분석으로는 접근할 수 없는 더 깊은 통찰을 추출할 수 있습니다.
주요 특징
- 문서 분석: 차트, 그래프, 시각 자료가 포함된 보고서에서 유용한 인사이트를 추출합니다.
- 시각적 이해: 명확하고 논리적인 추론으로 복잡한 이미지 기반 질문에 답변합니다.
- 콘텐츠 생성: 시각 자료와 텍스트를 자연스럽게 연결하는 명확한 설명, 캡션, 해설을 작성합니다.
- 학습 지원: 텍스트와 유용한 시각적 예제를 결합하여 이해하기 쉬운 철저한 설명을 제공합니다.
명령어 튜닝 아키텍처
Gemma-3-12B-IT의 정교한 명령어 튜닝 설계는 복잡한 프롬프트 엔지니어링이나 고급 기술 설정의 필요성을 최소화하여 AI 배포 프로세스를 간소화합니다. 인간의 언어 명령을 자연스럽게 해석하고, 확장된 다중 턴 대화를 통해 맥락을 유지하여 모델과의 더 부드럽고 직관적인 상호작용을 가능하게 합니다.
Gemma-3-12B-IT에 접근하는 방법: 웹 인터페이스 (초보자용)
Gemma-3-12B-IT에 접근하는 방법: API 사용 (개발자용)
Novita AI는 131K 컨텍스트를 갖춘 Gemma-3-12B-IT API를 제공하며, $0.05/입력 및 $0.1/출력의 비용으로, 개발자가 단일 통합 API를 통해 Google의 경량 멀티모달 모델을 고급 추론, 요약, 생성 작업에 원활하게 활용할 수 있도록 합니다.
Novita AI
1단계: 로그인 및 모델 라이브러리 접속
계정에 로그인하고 모델 라이브러리 버튼을 클릭합니다.
2단계: 무료 체험 시작
모델을 선택하고 무료 체험을 시작하여 선택한 모델의 기능을 살펴보세요.
3단계: API 키 받기
API로 인증하려면 새 API 키를 제공합니다. “설정” 페이지로 이동하여 이미지에 표시된 대로 API 키를 복사합니다.
4단계: API 설치
프로그래밍 언어에 맞는 패키지 관리자를 사용하여 API를 설치합니다.
설치 후 필요한 라이브러리를 개발 환경으로 가져옵니다. API 키로 클라이언트를 초기화하여 Novita AI LLM과 상호 작용을 시작합니다. 다음은 Python 사용자를 위한 채팅 완성 API 사용 예시입니다.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/openai",
api_key="session_Um3Ozta39g2J__yeP9b_rOegzeA_qSYYquKzJS2oitKENIo8_H2FL2sCtl25-sKWjCY_wsmN18iuDp1zv_Xkaw==",
)
model = "google/gemma-3-12b-it"
stream = True # or False
max_tokens = 4096
system_content = "Be a helpful assistant"
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
옵션 2: OpenAI Agents SDK를 사용한 다중 에이전트 워크플로
Gemma-3-12B-IT의 이중 모드 기능을 활용하여 정교한 다중 에이전트 시스템을 구축합니다:
- 플러그 앤 플레이 통합: 모든 OpenAI Agents 워크플로에서 DeepSeek V3.1 사용
- 고급 에이전트 기능: 핸드오프, 라우팅, 도구 통합 지원
- 확장 가능한 아키텍처: DeepSeek V3.1의 기능을 활용하는 에이전트 설계
Gemma-3-12B-IT에 접근하는 방법: 로컬 배포 (고급 사용자용)
Gemma3-12B-IT 하드웨어 요구사항
| 양자화 | 가중치만 (대략) | KV-cache 포함 (대략) | 최소 구성 | 권장 GPU |
| BF16 | 24.0 GB | 38.9 GB | Nvidia L40S ×1 | Nvidia H100 ×1 |
| SFP8 | 12.4 GB | 27.3 GB | Nvidia L40S ×1 | Nvidia A100 ×1 |
| INT4 | 6.6 GB | 21.5 GB | Nvidia L4 ×1 | Nvidia L40S ×1 |
더 큰 제어와 유연성을 원하는 사용자를 위해 Novita AI는 L40S, A100, H100은 물론 RTX 4090, RTX 5090, RTX 6000 Ada와 같은 까다로운 옵션을 포함한 주문형 Cloud GPU 인스턴스를 제공하여 사용자가 로컬 하드웨어에 의존하지 않고도 고성능 워크로드를 손쉽게 배포할 수 있도록 합니다.
Gemma-3-12B-IT 사용 모범 사례
- 올바른 접근 방식 선택: 초보자는 웹 인터페이스로 빠르게 시도해보고, 개발자는 Novita AI API를 사용하여 앱과 워크플로에 통합하세요. 고급 사용자는 완전한 제어와 오프라인 사용을 위해 로컬 배포를 선호할 수 있습니다.
- 리소스 요구 사항 확인: 로컬로 배포하는 경우 GPU가 최소 구성을 충족하는지 확인하세요. INT4 또는 SFP8과 같은 양자화 모델은 성능과 메모리 효율성의 균형을 맞추는 데 이상적입니다.
- 컨텍스트 및 처리량 최적화: Gemma-3-12B-IT는 최대 128K 토큰을 지원합니다. 더 긴 입력의 경우 콘텐츠를 구조화된 세그먼트로 나누거나 요약을 사용하여 일관된 결과를 유지하세요.
- 멀티모달 강점 활용: 프롬프트에 텍스트와 이미지를 결합하여 모델의 분석적 추론 및 설명 생성 능력을 탐구하세요.
- 실험 및 반복:
temperature,top_p,max_tokens과 같은 매개변수를 조정하여 작업에 맞게 창의성, 사실성, 응답 길이를 미세 조정하세요.
자주 묻는 질문
Gemma-3-12B-IT란 무엇인가요?
Gemma-3-12B-IT는 Google의 Gemma 시리즈에 속하는 명령어 튜닝된 멀티모달 모델로, 텍스트와 이미지 입력을 모두 처리하여 자연스럽고 맥락에 맞는 텍스트 출력을 생성할 수 있습니다.
Gemma-3-12B-IT는 다른 Gemma 모델과 어떻게 다른가요?
추론, 요약, 시각적 이해 작업에 최적화된 120억 개의 파라미터를 갖춘 성능과 효율성의 균형 잡힌 조합을 제공합니다.
Gemma-3-12B-IT를 어떻게 시작할 수 있나요?
공식 웹 인터페이스, Novita AI API 또는 GPU 인스턴스, 또는 Hugging Face를 사용한 로컬 배포를 통해 접근할 수 있습니다. Novita AI는 합리적인 가격과 강력한 성능을 제공합니다.
Novita AI는 개발자에게 사용하기 쉬운 API와 합리적인 가격의 안정적인 GPU 인프라를 제공하여 AI 애플리케이션을 구축하고 확장할 수 있도록 지원하는 선도적인 AI 클라우드 플랫폼입니다.
