친구를 Novita AI에 추천하면 두 분 모두 LLM API 크레딧으로 $10를 받을 수 있습니다. 최대 $500까지 가능합니다.
개발자 커뮤니티를 지원하기 위해 Novita AI에서 Qwen2.5-7B, Qwen 3 0.6B, Qwen 3 1.7B, Qwen 3 4B를 현재 무료로 제공하고 있습니다.
Qwen 3 0.6B는 특정 고빈도 작업을 최소 비용과 지연 시간으로 해결하는 핵심 임무를 위해 설계되었습니다. 거대 모델이 헤드라인을 장식하는 가운데, 실시간 검색부터 기기 내 요약까지 다양한 프로덕션 니즈는 경량화된 솔루션을 요구합니다. 강력한 상위 모델에서 증류된 Qwen 3 0.6B는 빠르고 리소스 효율적인 성능을 제공하여 높은 동시성 서비스, 오프라인 추론, 수직 파인튜닝, 콘텐츠 모더레이션 등에 이상적입니다. 119개 언어 지원과 MCP 같은 도구와의 기본 호환성을 갖추어 지능과 배포 가능성 사이의 적절한 균형을 제공합니다.
Qwen 3의 개선 사항은 무엇인가요?
하이브리드
하이브리드 사고 모드
Qwen3는 이중 모드 추론 설계를 채택했습니다. 복잡한 작업의 경우 단계별로 생각하고, 간단한 작업의 경우 즉시 응답하여 속도와 깊이의 균형을 유지하면서 계산 비용을 최적화합니다.
119
다국어 지원
Qwen3는 119개 언어와 방언을 지원합니다. 고객 서비스, 다국어 콘텐츠, 또는 교차 지역 코딩 애플리케이션 등 글로벌 배포에 이상적입니다.
MCP
향상된 에이전트 능력
MCP와 통합된 Qwen3는 도구 사용, 함수 호출, 외부 환경과의 상호작용을 향상시킵니다. 특히 자율 에이전트 및 플러그인 통합에 유용합니다.
맥
간편한 Mac 배포
M1부터 M4 칩까지, Qwen3 0.6b는 보급형 Apple Silicon Mac에서도 원활하게 실행됩니다. 제한된 VRAM을 가진 MacBook이나 iMac을 사용하는 개발자에게 이상적입니다.
Qwen 3 0.6B: 거인에게서 태어난 작은 모델
다이어그램에서 Qwen 3 0.6B, 1.7B, 4B 가 강→약 증류(Strong-to-Weak Distillation) 과정을 통해 훈련되었음을 알 수 있습니다. 이는 ** 경량 모델**을 생성하는 파이프라인의 일부입니다. 훈련 과정의 단계별 설명은 다음과 같습니다:
- 기본 모델(Base Models):
과정은 사전 훈련된 기본 모델 로 시작합니다. 이 모델은 이후 훈련 및 증류의 기초 역할을 합니다. - 최첨단 모델(Frontier Models):
- 기본 모델은 먼저 다단계 과정을 통해 훈련되어 Qwen3-235B-A22B 및 Qwen3-32B 와 같은 최첨단 모델 을 생성합니다.
- 이 훈련에는 다음이 포함됩니다:
- 1단계 (Long-CoT Cold Start): 긴 사고 사슬(CoT) 추론을 통한 초기 훈련.
- 2단계 (Reasoning RL): 추론 능력 향상을 위한 강화 학습(RL).
- 3단계 (Thinking Mode Fusion): 사고 모드(예: 추론 및 빠른 응답 모드) 통합.
- 4단계 (General RL): 광범위한 능력을 위한 일반 강화 학습.
- 강→약 증류(Strong-to-Weak Distillation):
- 큰 **최첨단 모델 **(예: Qwen3-235B 및 Qwen3-32B)은 ** 교사 모델 로 사용되어 Qwen3-4B와 같은 ** 경량 모델의 훈련을 안내합니다.
- 이 증류 과정은 작은 모델이 큰 모델의 지식과 성능을 유지하면서 크기와 계산 요구 사항을 크게 줄이도록 보장합니다.
- Qwen3 0.6B:
- 이 증류 과정의 결과로 Qwen 3 0.6B, 1.7B, 4B는 더 큰 모델의 지식을 활용하면서 효율성에 최적화된 경량 버전입니다.
Qwen 3 0.6B: 소형 모델 중 최고의 벤치마크
전반적으로 Qwen 3 0.6b는 추론 및 정량적 추론 관련 테스트에서 좋은 성능을 보이지만, 코딩 관련 테스트에서는 다소 부족한 성능을 보입니다.
하이브리드+119+MCP+맥=고동시성+온디바이스+수직 시나리오
1. 고동시성, 저지연 온라인 서비스
사용 사례: 검색 순위, 광고 전송, 실시간 채팅—하루 수백만 건의 쿼리가 필요한 시나리오.
요구 사항: 한 자리 수 밀리초 응답 시간 및 초당 10,000 QPS(초당 쿼리) 이상 지원.
가치:
- 전통적인 BERT 모델(예: TinyBERT)에 대한 경량 대안으로 쿼리 재작성, 의도 탐지, 경량 점수 매기기, 임베딩 생성에 사용.
- 쿼리 × 아이템 수준(예: 하나의 쿼리가 수천 개의 후보와 매칭)에서 대량 추론을 지원하여 지연 시간과 비용으로 인해 대규모 모델이 실용적이지 않은 배포를 가능하게 함.
2. 온디바이스 추론 및 엣지 컴퓨팅
사용 사례: 모바일 앱, IoT 기기, 개인 정보 보호에 민감한 작업(예: 로컬 데이터 처리).
요구 사항: 다국어 지원과 함께 오프라인 처리가 가능한 경량 모델.
가치:
- Snapdragon 8과 같은 모바일 칩에서 초당 55-60 토큰을 제공하여 노트 요약 및 기본 도구 호출(예: MCP 프로토콜) 가능.
- 119개 언어 지원으로 국경 간 전자상거래 및 다국어 고객 서비스와 같은 글로벌 사용 사례에 이상적이며 클라우드 기반 LLM에 대한 의존도를 줄임.
3. 수직 도메인에서의 저비용 파인튜닝
사용 사례: 문서 파싱, 데이터 형식 변환, 도메인별 번역과 같은 틈새 작업.
요구 사항: 낮은 리소스 소비와 높은 비용 효율성으로 빠른 훈련.
가치:
- 데이터셋을 준비하여 LLaMA-Factory와 같은 도구로 쉽게 파인튜닝 가능—복잡한 코딩 불필요.
예: OCR 텍스트에서 구조화된 JSON 추출 시 대형 모델 API 호출 비용의 0.1% 미만 비용. - 의료나 법률 분야에서 소규모 샘플 작업(예: 임상 노트 분류)을 위한 빠르고 비공개 배포 가능, 데이터 노출 위험 감소.
4. 콘텐츠 모더레이션 및 규정 준수 사전 심사
사용 사례: 소셜 플랫폼의 사용자 생성 콘텐츠 또는 전자상거래 리뷰의 실시간 검토.
요구 사항: 비용 효율적인 필터링으로 고비용 대형 모델의 부하를 줄임.
가치:
- 비용의 일부로 60-80% 탐지 성능을 제공하는 첫 번째 방어선 역할, 유해 언어나 민감 주제 포착.
- 규칙 엔진과 잘 결합하여 명백한 위반을 차단하고 복잡한 사례만 LLM으로 전달하여 추가 검토.
Novita API를 통해 Qwen 3 소형 모델에 액세스하는 방법
1단계: 로그인 및 모델 라이브러리 액세스
계정에 로그인하고 Model Library 버튼을 클릭하세요.
2단계: 모델 선택
사용 가능한 옵션을 살펴보고 필요에 맞는 모델을 선택하세요.
3단계: 무료 체험 시작
선택한 모델의 기능을 탐색하려면 무료 체험을 시작하세요.
4단계: API 키 받기
API 인증을 위해 새로운 API 키를 제공해드립니다. “Settings” 페이지에 들어가면 이미지에 표시된 대로 API 키를 복사할 수 있습니다.
5단계: API 설치
프로그래밍 언어에 맞는 패키지 관리자를 사용하여 API를 설치하세요.
설치 후, 필요한 라이브러리를 개발 환경으로 가져옵니다. API 키로 API를 초기화하여 Novita AI LLM과 상호작용을 시작하세요. 다음은 Python 사용자를 위한 채팅 완성 API 사용 예제입니다.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "qwen3-0.6b-fp8"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Qwen 3 0.6B는 모델 크기가 성능을 반드시 저하시키지 않는다는 것을 증명합니다. 초고속 온라인 서비스를 구축하든, 오프라인 앱을 실행하든, 도메인별 도구를 배포하든, 이 소형 모델은 비용의 일부만으로 실용적이고 프로덕션 준비가 완료된 AI를 제공합니다.
자주 묻는 질문
Qwen 3 0.6B는 모바일 기기에 적합한가요?
네, 엣지 배포에 최적화되어 있으며 Snapdragon 8 및 Apple Silicon(M1-M4)과 같은 칩에서 잘 작동합니다.
Qwen 3 0.6B가 다른 소형 모델보다 나은 점은 무엇인가요?
하이브리드 추론, MCP 도구 지원, 경쟁력 있는 벤치마크로 인해 1B 미만 파라미터 클래스에서 두드러집니다.
Qwen3 모델은 무료로 사용할 수 있나요?
네! Novita AI는 쉬운 API 통합으로 Qwen3 모델에 대한 무료 액세스를 제공합니다.
Novita AI 는 개발자에게 간단한 API를 사용하여 AI 모델을 쉽게 배포할 수 있는 방법을 제공하는 AI 클라우드 플랫폼이며, 동시에 구축 및 확장을 위한 저렴하고 안정적인 GPU 클라우드를 제공합니다.
