RAG(검색 증강 생성)를 위한 Qwen 3 (LLM, 임베딩, 재랭킹) 는 오픈소스 AI 솔루션입니다. 임베딩 모델을 통해 관련 문서를 찾고, 재랭킹 모델로 최적의 결과를 정렬하며, 강력한 LLM으로 명확하고 정확한 답변을 생성하는 세 가지 주요 모델을 결합합니다. Qwen 3는 긴 컨텍스트, 다국어를 지원하며 사용이 간편해 스마트 검색 및 질의응답 시스템 구축에 이상적입니다.
LLM, 임베딩 모델, 재랭킹 모델은 어떻게 함께 작동하나요?
1. 임베딩 모델: 검색의 이해
목적:
대량의 문서 모음에서 관련 정보를 찾습니다.
작동 방식:
- 각 문서(또는 텍스트 청크)는 임베딩 모델(예: OpenAI의 Ada, Sentence Transformers)을 사용하여 벡터(숫자 배열)로 변환됩니다.
- 사용자의 쿼리도 벡터로 임베딩됩니다.
- 시스템은 쿼리 벡터와 가장 유사한 문서 벡터를 검색합니다(코사인 유사도 같은 유사도 메트릭 사용).
- 상위 N개의 가장 유사한 문서가 검색됩니다.
2. 재랭킹 모델: 관련성 향상
목적:
임베딩 검색 단계의 결과를 쿼리와의 관련성에 따라 더 정밀하게 순위를 매겨 개선합니다.
작동 방식:
- 초기 검색된 문서 집합(예: 상위 20개)은 재랭커를 사용하여 추가 평가됩니다.
- 재랭커는 종종 쿼리와 각 문서를 함께 입력으로 받아 관련성 점수를 출력하는 크로스 인코더 모델(예: BERT, RoBERTa)을 사용합니다.
- 상위 순위의 문서가 다음 단계로 선택됩니다.
3. LLM (대규모 언어 모델): 답변 생성
목적:
검색된 컨텍스트를 바탕으로 일관성 있고 유익한 답변을 생성합니다.
작동 방식:
- 상위 순위 문서가 연결되거나 요약되어 "컨텍스트"로 제공됩니다.
- LLM은 사용자의 질문과 검색된 컨텍스트를 입력으로 받습니다.
- LLM은 검색된 정보를 인용하거나 활용하여 응답을 생성합니다.
함께 작동하는 방식 (RAG 파이프라인)
- 사용자가 쿼리를 제출합니다.
- 임베딩 모델 이 관련 문서를 검색합니다.
- 재랭커 가 문서를 관련성 순으로 정렬합니다.
- LLM 이 상위 문서를 사용하여 답변을 생성합니다.
RAG를 위한 Qwen 3 모델은 무엇인가요?
Qwen 3 임베딩 모델
| 모델 | 크기 | 레이어 | 시퀀스 길이 | 임베딩 차원 | MRL 지원 | 명령 인식 지원 |
|---|---|---|---|---|---|---|
| Qwen3 Embedding 0.6B | 0.6B | 28 | 32K | 1024 | 예 | 예 |
| Qwen3 Embedding 4B | 4B | 36 | 32K | 2560 | 예 | 예 |
| Qwen3 Embedding 8B | 8B | 36 | 32K | 4096 | 예 | 예 |
Qwen 3 재랭킹 모델
| **모델 ** | ** 크기 ** | ** 레이어 ** | ** 시퀀스 길이 ** | ** 명령 인식 지원** |
| Qwen3-Reranker-0.6B | 0.6B | 32 | 32K | 예 |
| Qwen3-Reranker-4B | 4B | 36 | 32K | 예 |
| Qwen3-Reranker-8B | 8B | 36 | 32K | 예 |
Qwen 3 LLM 모델
| 모델 | 아키텍처 | 파라미터 (전체 / 활성화) | 레이어 | 어텐션 헤드 (Q / KV) | 전문가 (전체 / 활성) | 컨텍스트 윈도우 (토큰) |
|---|---|---|---|---|---|---|
| Qwen3-235B-A22B | MoE | 235B / 22B | 94 | 64 / 4 | 128 / 8 | 32,768 (YaRN 적용 시 131,072) |
| Qwen3-30B-A3B | MoE | 30.5B / 3.3B | 48 | 32 / 4 | 128 / 8 | 32,768 (YaRN 적용 시 131,072) |
| Qwen3-32B | Dense | 32.8B | 64 | 64 / 8 | - | 32,768 (YaRN 적용 시 131,072) |
| Qwen3-14B | Dense | 14.8B | 40 | 40 / 8 | - | 32,768 (YaRN 적용 시 131,072) |
| Qwen3-8B | Dense | 8.2B | 36 | 32 / 8 | - | 32,768 (YaRN 적용 시 131,072) |
| Qwen3-4B | Dense | 4.0B | 36 | 32 / 8 | - | 32,768 (YaRN 적용 시 131,072) |
| Qwen3-1.7B | Dense | 1.7B | 28 | 16 / 8 | - | 32,768 |
| Qwen3-0.6B | Dense | 0.6B | 28 | 16 / 8 | - | 32,768 |
개발자들이 RAG에 Qwen3를 선택하는 이유는?
| 기능 | Qwen 3 |
|---|---|
| **긴 컨텍스트 윈도우 ** | 32,000 토큰 |
| **다양한 모델 크기 ** | 0.6B / 4B / 8B |
| **다국어 지원 ** | 100개 이상의 언어 |
| **고급 아키텍처 ** | ** 재랭킹 모델은 크로스 인코더 설정 / 임베딩 모델은 바이 인코더 설정 사용** |
| **오픈소스 ** | Apache-2.0 |
| **명령 인식 ** | ** 명령 인식으로 특정 지침을 이해하고 따를 수 있음** |
Qwen 3 모델의 성능
임베딩 모델 평가는 이 리더보드에서 확인할 수 있습니다!
Qwen 3 모델에 액세스하는 방법은?
Novita AI는 개발자가 간단한 API를 사용하여 AI 모델을 쉽게 배포하고, 저렴하고 안정적인 GPU 클라우드를 구축 및 확장할 수 있는 AI 클라우드 플랫폼입니다.
Qwen 3 Reranker 8B 및 Embedding 8B 외에도 Novita AI는 오픈소스 커뮤니티의 개발을 지원하기 위해 무료 bge-m3를 제공합니다!
1단계: 로그인하고 모델 라이브러리에 액세스
계정에 로그인하고 모델 라이브러리 버튼을 클릭하세요.
2단계: 모델을 선택하고 무료 평가판 시작
사용 가능한 옵션을 살펴보고 필요에 맞는 모델을 선택하세요.
3단계: API 키 받기
API에 인증하기 위해 새 API 키를 제공합니다. “설정” 페이지로 이동하여 이미지에 표시된 대로 API 키를 복사하세요.
4단계: API 설치 (예: Qwen 3 Ranker 모델)
프로그래밍 언어에 맞는 패키지 관리자를 사용하여 API를 설치하세요.
설치 후, 필요한 라이브러리를 개발 환경으로 가져옵니다. API 키로 API를 초기화하여 Novita AI 모델과 상호작용을 시작하세요. 다음은 Python 사용자를 위한 채팅 완성 API 사용 예시입니다.
from openai import OpenAI
base_url = "https://api.novita.ai/v3/openai"
api_key = "<Your API Key>"
model = "qwen/qwen3-reranker-8b"
client = OpenAI(
base_url=base_url,
api_key=api_key,
)
stream = True # 또는 False
max_tokens = 1000
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
extra_body={
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
AI 애플리케이션이 사용자 의도를 더 정확하게 이해해야 하는 요구가 증가함에 따라, 재랭킹 모델은 더 스마트한 검색 결과를 제공하는 필수 도구가 되었습니다. 초기 검색 후 두 번째 지능 계층 역할을 하는 재랭커는 더 깊은 컨텍스트 분석을 통해 문서 순위를 미세 조정합니다. **Qwen 3 Reranker 시리즈 ** 는 이 분야에서 새로운 기준을 세우며, 다국어, 긴 문서, 심지어 코드 검색 작업에서도 인상적인 성능을 제공합니다. Novita AI 를 통해 배포가 간소화되어 개발자는 무거운 인프라 없이도 이러한 고급 모델을 활용할 수 있으며, 고정확도 검색이 그 어느 때보다 접근하기 쉬워졌습니다.
자주 묻는 질문
재랭킹 모델이란 무엇인가요?
재랭커는 검색된 문서 목록을 쿼리와의 관련성 점수로 재정렬하여 AI 검색 시스템의 정밀도를 향상시킵니다.
재랭킹 모델과 임베딩 모델의 차이점은 무엇인가요?
임베딩 모델: 각 텍스트를 벡터로 변환하고 유사도를 사용하여 비교합니다.
재랭킹 모델: 쿼리와 문서를 함께 읽고 관련성에 대한 스마트한 점수를 제공합니다.
Qwen 3 Reranker의 성능은 어떤가요?
Qwen3-Reranker-8B 는 최고 수준의 점수를 달성합니다:
MTEB-R: 69.02,
CMTEB-R: 77.45,
MTEB-Code: 81.22
여러 카테고리에서 BGE, GTE와 같은 인기 모델을 능가합니다.
Novita AI는 AI 야망을 실현하는 올인원 클라우드 플랫폼입니다. 통합 API, 서버리스, GPU 인스턴스 — 필요한 비용 효율적인 도구를 제공합니다. 인프라를 제거하고 무료로 시작하여 AI 비전을 현실로 만드세요.
