전통적인 검색 엔진은 키워드 매칭에 크게 의존하기 때문에 사용자 쿼리 뒤에 숨은 실제 의도나 맥락을 놓치는 경우가 많습니다. 임베딩 모델은 이러한 과정을 혁신하여 쿼리와 문서를 조밀한 벡터로 변환하고 깊은 의미적 관계를 포착합니다. 이를 통해 정확한 키워드가 일치하지 않더라도 관련성이 높고 맥락을 인지한 검색이 가능합니다.
이제 Novita AI에서 제공하는 강력한 Qwen3 Embedding 8B 모델은 긴 입력, 다국어 이해, 명령 인식 커스터마이제이션을 지원하며 검색, 추천, 지식 관리 애플리케이션의 새로운 기준을 제시합니다.
임베딩 모델이란?
임베딩 모델은 단어, 이미지, 오디오와 같은 복잡하고 고차원적인 데이터를 저차원의 숫자 벡터로 변환하는 머신러닝 기술입니다. 이러한 벡터는 데이터 포인트 간의 의미적 관계를 포착하여 모델이 데이터를 더 효과적으로 처리하고 분석할 수 있게 해줍니다.
출처: Qdrant
임베딩 모델이 해결한 문제는 무엇인가요?
임베딩은 쿼리와 문서를 벡터로 표현하여 효과적인 의미 검색을 가능하게 하며, RAG 시스템에서 더 나은 생성을 위해 가장 관련성 높은 데이터를 검색하는 문제를 해결합니다.
출처: Blog
1. 이커머스 검색 및 추천
Instacart, Taobao와 같은 플랫폼은 임베딩 기반 검색 시스템을 활용하여 제품 검색과 추천을 개선합니다. 제품과 사용자 쿼리 간의 의미적 관계를 이해함으로써 특정 키워드가 사용되지 않더라도 사용자 선호도에 맞는 아이템을 제안할 수 있습니다.
2. 콘텐츠 발견
미디어 플랫폼은 사용자 행동과 선호도에 기반하여 기사, 동영상, 음악을 추천하기 위해 임베딩을 사용합니다. 예를 들어, 사용자가 우주 탐사에 관한 기사를 읽었다면, 시스템은 천문학이나 로켓 기술 관련 콘텐츠를 추천할 수 있습니다.
3. 기업 지식 관리
조직은 내부 문서와 지식 베이스 내에서 의미 검색을 용이하게 하기 위해 임베딩 모델을 사용합니다. 이를 통해 직원들이 검색어가 문서 내용과 정확히 일치하지 않더라도 관련 정보를 효율적으로 찾을 수 있습니다.
4. 고객 지원 챗봇
임베딩 모델은 챗봇이 사용자 쿼리를 더 효과적으로 이해하고 응답할 수 있도록 향상시킵니다. 사용자 질문을 지식 베이스의 의미적으로 유사한 답변에 매핑함으로써 챗봇은 정확하고 맥락에 맞는 응답을 제공할 수 있습니다.
임베딩 모델 평가
이러한 지표와 작업 범주는 다양한 애플리케이션에서 임베딩 모델의 성능을 평가하고 비교하는 데 필수적입니다. 모델의 성능을 분석함으로써 연구자와 실무자는 자신의 특정 요구에 가장 적합한 모델을 선택할 수 있습니다.
- Mean (Task): 평가된 모든 작업에서 모델의 평균 성능으로, 전반적인 다용성을 나타냅니다.
- Mean (Type): 다양한 작업 유형 또는 데이터 형식(예: 문장 간, 문단 간)에 대한 평균 성능입니다.
- Bitext Mining: 다른 언어로 된 문장 쌍 중 번역인 쌍을 찾는 작업으로, 다국어 말뭉치에 중요합니다.
- Class. (Classification): 텍스트에 미리 정의된 레이블을 할당하는 작업(예: 감정 분석, 주제 분류).
- Clust. (Clustering): 레이블 없이 유사한 텍스트를 그룹화하여 주제나 구조를 발견하는 작업.
- Inst. Retri. (Instance Retrieval): 쿼리에 대한 특정 관련 문서를 검색하는 작업으로, 검색 또는 추천에 사용됩니다.
- Multi. Class. (Multiclass Classification): 입력을 3개 이상의 범주(예: 뉴스 주제)로 분류하는 작업.
- Pair. Class. (Pair Classification): 텍스트 쌍 간의 관계(예: 중복 또는 의역)를 결정하는 작업.
- Rerank: 후보 목록(예: 검색 결과)을 재정렬하여 관련성을 개선하는 작업.
- Retri. (Retrieval): 쿼리를 기반으로 대규모 말뭉치에서 관련 문서/구절을 가져오는 작업.
Qwen 3 Embedding 모델이란?
| 모델 | 크기 | 레이어 수 | 시퀀스 길이 | 임베딩 차원 | MRL 지원 | 명령 인식 |
|---|---|---|---|---|---|---|
| Qwen3 Embedding 0.6B | 0.6B | 28 | 32K | 1024 | 예 | 예 |
| Qwen3 Embedding 4B | 4B | 36 | 32K | 2560 | 예 | 예 |
| Qwen3 Embedding 8B | 8B | 36 | 32K | 4096 | 예 | 예 |
- Qwen3 Embedding 모델은 세 가지 크기 로 제공됩니다: 소형(0.6B), 중형(4B), 대형(8B).
- 모든 모델은 최대 32,000 토큰의 긴 입력 시퀀스 를 지원하여 긴 문서나 코드 처리에 적합합니다.
- 대형 모델은 더 많은 레이어(36개 대 28개), 더 큰 임베딩 차원(최대 4096) 을 갖추어 더 풍부한 의미 정보를 포착할 가능성이 높습니다.
- 모두 다국어 표현 학습(MRL)을 지원 하여 여러 언어에 걸쳐 효과적인 임베딩을 가능하게 합니다.
- 모든 모델은 명령 인식(instruction-aware) 이 가능하여 특정 작업 지시나 프롬프트에 응답할 수 있어 커스터마이제이션과 다운스트림 성능을 향상시킵니다.
또한, Qwen3는 쿼리 결과를 재정렬하여 가장 관련성 높은 답변을 제공하는 리랭킹 모델도 제공합니다.
Qwen 3 Embedding 8B의 주요 기능
Qwen 3 Embedding 8B의 성능
이 리더보드에서 임베딩 모델의 평가 결과를 확인할 수 있습니다!
Qwen 3 Embedding 8B에 액세스하는 방법은?
Novita AI는 개발자가 간단한 API를 통해 AI 모델을 쉽게 배포할 수 있도록 지원하는 AI 클라우드 플랫폼이며, 구축 및 확장을 위한 저렴하고 안정적인 GPU 클라우드도 제공합니다.
Qwen 3 Embedding 8B 외에도 Novita AI는 오픈소스 커뮤니티 개발을 지원하기 위해 무료 bge-m3도 제공합니다!
1단계: 로그인 및 모델 라이브러리 접속
계정에 로그인하고 Model Library 버튼을 클릭하세요.
2단계: 모델 선택 및 무료 체험 시작
사용 가능한 옵션을 둘러보고 필요에 맞는 모델을 선택하세요.
3단계: API 키 발급받기
API 인증을 위해 새로운 API 키를 제공합니다. “Settings“ 페이지로 이동하여 이미지에 표시된 대로 API 키를 복사하세요.
4단계: API 설치
프로그래밍 언어에 맞는 패키지 관리자를 사용하여 API를 설치하세요.
설치 후 개발 환경에 필요한 라이브러리를 가져옵니다. API 키로 클라이언트를 초기화하여 Novita AI 모델과 상호작용을 시작하세요. 다음은 Python 사용자를 위한 채팅 완성 API 사용 예시입니다.
from openai import OpenAI
import json
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<Your API Key>",
)
model = "qwen/qwen3-embedding-8b"
def get_embeddings(text, model="qwen/qwen3-embedding-8b", encoding_format="float"):
response = client.embeddings.create(
model=model,
input=text,
encoding_format=encoding_format
)
return response
# Example usage
text = "The quick brown fox jumped over the lazy dog"
result = get_embeddings(text)
print(json.dumps(result.model_dump(), indent=2))
Qwen3 Embedding 시리즈 는 확장 가능하고 명령 인식이 가능하며 다국어를 지원하는 모델(0.6B, 4B, 8B 파라미터)로, 긴 시퀀스를 지원하고 업계 최고 수준의 성능을 제공합니다. 유연한 커스터마이제이션과 전용 리랭킹 모델을 갖춘 Qwen3 Embedding 시리즈는 효율적이고 정확한 의미적 이해가 필요한 다양한 실제 시나리오에 매우 적합합니다.
자주 묻는 질문
임베딩이란 무엇인가요?
임베딩은 입력 데이터를 저차원 공간의 숫자 값 벡터로 변환하는 기술입니다.
임베딩 모델은 어떤 문제를 해결하나요?
쿼리와 문서의 의미를 이해함으로써 검색 엔진, 추천, 고객 지원 등에서 관련성을 개선하는 의미 검색 및 검색을 가능하게 합니다.
Qwen3 Embedding 모델이란 무엇인가요?
Qwen3-Embedding은 세 가지 모델(0.6B, 4B, 8B 파라미터) 제품군으로, 긴 입력(최대 32K 토큰), 다국어 표현 학습, 맞춤형 작업을 위한 명령 인식을 지원합니다. 8B 모델은 MTEB 리더보드에서 70.58점으로 1위를 차지했습니다! Novita AI에서 사용할 수 있습니다.
Novita AI는 AI 야망을 실현하는 올인원 클라우드 플랫폼입니다. 통합 API, 서버리스, GPU 인스턴스 — 필요한 비용 효율적인 도구. 인프라를 없애고 무료로 시작하여 AI 비전을 현실로 만드세요.
