주요 하이라이트
모델 개요: Llama 3.2 1B는 Meta가 개발한 경량 다국어 LLM으로, 엣지 및 모바일 기기에서 효율적으로 사용하도록 설계되었습니다.
훈련 방식: 대형 모델로부터의 구조적 가지치기(pruning)와 지식 증류(knowledge distillation)를 사용합니다.
하드웨어 요구 사항: 추론 시 3.14GB VRAM, 미세 조정 시 14.11GB VRAM이 필요합니다.
Llama 3.2 1B는 Meta가 만든 고급 다국어 대규모 언어 모델로, 모바일 및 엣지 기기에서 가볍게 배포할 수 있도록 특별히 설계되었습니다. 이 아키텍처는 다양한 자연어 처리 작업에서 강력한 성능을 유지하면서도 리소스를 효율적으로 사용할 수 있게 해줍니다.
친구를 Novita AI에 추천하면 두 분 모두 LLM API 크레딧 $10를 받게 되며, 최대 $500까지 리워드를 받을 수 있습니다.
개발자 커뮤니티를 지원하기 위해 Llama 3.2 1B, Qwen2.5-7B, Qwen 3 0.6B, Qwen 3 1.7B, Qwen 3 4B를 현재 Novita AI에서 무료로 제공하고 있습니다.
Llama 3.2 1B란 무엇인가요?
Llama 3.2 1B 모델은 Meta가 개발한 경량 다국어 대규모 언어 모델로, 엣지 및 모바일 기기에서 효율적으로 실행되면서 다양한 자연어 처리 작업에 강력한 성능을 제공합니다.
-
모델 크기: 1B
-
오픈소스: 예
-
아키텍처: Dense Transformer
-
컨텍스트 길이: 128,000 토큰
-
지원 다국어:
- 공식 지원: 영어, 독일어, 프랑스어, 이탈리아어, 포르투갈어, 힌디어, 스페인어, 태국어
- 추가 언어: 위 8개 언어 외에도 더 많은 언어로 훈련됨
-
멀티모달 기능:
- 입력: 텍스트
- 출력: 텍스트 및 코드
-
훈련 방식: Llama 3.2 1B는 Llama 3.1 8B 모델에서 구조적 가지치기(structured pruning)를 사용하여 훈련되었습니다. 네트워크의 일부를 체계적으로 제거하고 가중치를 조정하여 더 작고 효율적인 모델을 만들었습니다. 또한 Llama 3.1 8B 및 70B 모델의 로짓(logits)을 사전 훈련 중 토큰 수준의 대상으로 사용하는 지식 증류(knowledge distillation)를 적용했습니다. 이 접근 방식 덕분에 Llama 3.2 1B는 더 큰 모델의 통찰력을 활용하여 가지치기 이후 성능을 향상시킬 수 있었습니다.
Llama 3.2 1B 벤치마크
Llama 3.2 1B 하드웨어 요구 사항
추론 세부 정보
-
모델: Llama 3.2 1B
-
양자화(Quantization): FP16
-
필요 VRAM (추론): 3.14 GB
-
호환 GPU:
- RTX 3090 (12 GB)
- RTX 4060 (8 GB)
미세 조정 세부 정보
- 모델: Llama 3.2 1B
- 양자화(Quantization): FP16
- 필요 VRAM (미세 조정): 14.11 GB
- 호환 GPU: RTX 4090 (24 GB)
Meta는 Llama 3.2 1B 및 3B 모델의 양자화 버전을 출시하여 크기와 연산 요구 사항을 크게 줄였습니다. 이러한 양자화 모델은 원본 대비 최대 56%의 모델 크기 감소와 41%의 메모리 사용량 감소를 제공합니다. 이러한 최적화 덕분에 ARM 기반 CPU를 탑재한 스마트폰을 포함한 모바일 기기에 배포하기 적합합니다.
Llama 3.2 1B에 어떻게 액세스하나요?
1단계: 로그인 및 모델 라이브러리 접속
계정에 로그인하고 Model Library 버튼을 클릭하세요.
2단계: 모델 선택
사용 가능한 옵션을 살펴보고 필요에 맞는 모델을 선택하세요.
3단계: 무료 체험 시작
선택한 모델의 기능을 살펴보기 위해 무료 체험을 시작하세요.
4단계: API 키 받기
API 인증을 위해 새로운 API 키를 제공해 드립니다. “Settings” 페이지에 들어가면 이미지와 같이 API 키를 복사할 수 있습니다.
5단계: API 설치
사용하는 프로그래밍 언어에 맞는 패키지 관리자를 사용하여 API를 설치하세요.
설치 후, 개발 환경에 필요한 라이브러리를 가져옵니다. API 키로 API를 초기화하여 Novita AI LLM과 상호작용을 시작하세요. 다음은 Python 사용자를 위한 Chat Completions API 사용 예시입니다.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "meta-llama/llama-3.2-1b-instruct"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
요약하자면, Llama 3.2 1B는 제한된 기기에서도 강력한 언어 처리 기능을 제공하는 점에서 두드러집니다. 오픈소스 특성과 최적화된 아키텍처 덕분에 효율적인 AI 솔루션을 원하는 개발자에게 유용한 도구입니다.
자주 묻는 질문 (FAQ)
Llama 3.2 1B란 무엇인가요?
모바일 기기에 효율적으로 배포할 수 있도록 설계된 다국어 경량 언어 모델입니다.
Llama 3.2 1B의 하드웨어 요구 사항은 무엇인가요?
추론에는 3.14 GB VRAM, 미세 조정에는 14.11 GB VRAM이 필요합니다.
Llama 3.2 1B 모델은 무료로 사용할 수 있나요?
네! Novita AI에서는 Llama 3.2 1B 모델을 쉬운 API 통합과 함께 무료로 제공합니다.
*Novita AI *는 개발자가 간단한 API를 통해 AI 모델을 손쉽게 배포할 수 있도록 지원하는 AI 클라우드 플랫폼이며, 또한 구축 및 확장을 위한 저렴하고 안정적인 GPU 클라우드를 제공합니다.
