Qwen 3 для RAG (LLM, эмбеддинг, реранжирование) — это открытое AI-решение, предназначенное для генерации с расширенным поиском (Retrieval-Augmented Generation). Оно объединяет три основные модели: модель эмбеддингов для поиска релевантных документов, модель реранжирования для сортировки лучших результатов и мощную LLM для генерации чётких и точных ответов. Qwen 3 поддерживает длинные контексты, множество языков и прост в использовании, что делает его идеальным для создания интеллектуальных систем поиска и ответов на вопросы.
Как LLM, модели эмбеддингов и модели реранжирования работают вместе?
1. Модели эмбеддингов: поиск информации
Назначение:
Найти релевантную информацию из большого набора документов.
Как это работает:
- Каждый документ (или фрагмент текста) преобразуется в вектор (массив чисел) с помощью модели эмбеддингов (например, OpenAI Ada, Sentence Transformers).
- Запрос пользователя также преобразуется в вектор.
- Система ищет векторы документов, наиболее похожие на вектор запроса (с помощью метрик схожести, например косинусного сходства).
- Извлекаются top-N наиболее похожих документов.
2. Модели реранжирования: повышение релевантности
Назначение:
Уточнить результаты этапа поиска с помощью эмбеддингов, ранжируя их более точно по релевантности запросу.
Как это работает:
- Первоначальный набор извлечённых документов (скажем, top 20) дополнительно оценивается с помощью реранжера.
- Реранжеры часто используют модели cross-encoder (например, BERT, RoBERTa), которые принимают на вход и запрос, и каждый документ и выдают оценку релевантности.
- Документы с наивысшим рейтингом отбираются для следующего шага.
3. LLM (Large Language Model): генерация ответов
Назначение:
Сгенерировать связный и информативный ответ на основе полученного контекста.
Как это работает:
- Документы с наивысшим рейтингом объединяются или суммируются в «контекст».
- LLM получает вопрос пользователя и извлечённый контекст.
- LLM генерирует ответ, в идеале ссылаясь на полученную информацию или используя её.
Как всё это работает вместе (RAG-пайплайн)
- Пользователь отправляет запрос.
- Модель эмбеддингов извлекает релевантные документы.
- Реранжер сортирует эти документы по релевантности.
- LLM использует лучшие документы для генерации ответа.
Какие модели Qwen 3 подходят для RAG?
Модель эмбеддингов Qwen 3
| Модель | Размер | Слои | Длина последовательности | Размерность эмбеддинга | Поддержка MRL | Учёт инструкций |
|---|---|---|---|---|---|---|
| Qwen3 Embedding 0.6B | 0.6B | 28 | 32K | 1024 | Да | Да |
| Qwen3 Embedding 4B | 4B | 36 | 32K | 2560 | Да | Да |
| Qwen3 Embedding 8B | 8B | 36 | 32K | 4096 | Да | Да |
Модель реранжирования Qwen 3
| Модель | Размер | Слои | Длина последовательности | Учёт инструкций |
| Qwen3-Reranker-0.6B | 0.6B | 32 | 32K | Да |
| Qwen3-Reranker-4B | 4B | 36 | 32K | Да |
| Qwen3-Reranker-8B | 8B | 36 | 32K | Да |
Модель LLM Qwen 3
| Модель | Архитектура | Параметры (всего / активных) | Слои | Головы внимания (Q / KV) | Эксперты (всего / активных) | Окно контекста (токены) |
|---|---|---|---|---|---|---|
| Qwen3-235B-A22B | MoE | 235B / 22B | 94 | 64 / 4 | 128 / 8 | 32 768 (131 072 с YaRN) |
| Qwen3-30B-A3B | MoE | 30.5B / 3.3B | 48 | 32 / 4 | 128 / 8 | 32 768 (131 072 с YaRN) |
| Qwen3-32B | Dense | 32.8B | 64 | 64 / 8 | - | 32 768 (131 072 с YaRN) |
| Qwen3-14B | Dense | 14.8B | 40 | 40 / 8 | - | 32 768 (131 072 с YaRN) |
| Qwen3-8B | Dense | 8.2B | 36 | 32 / 8 | - | 32 768 (131 072 с YaRN) |
| Qwen3-4B | Dense | 4.0B | 36 | 32 / 8 | - | 32 768 (131 072 с YaRN) |
| Qwen3-1.7B | Dense | 1.7B | 28 | 16 / 8 | - | 32 768 |
| Qwen3-0.6B | Dense | 0.6B | 28 | 16 / 8 | - | 32 768 |
Почему разработчики переходят на Qwen3 для RAG?
| Характеристика | Qwen 3 |
|---|---|
| Длинное окно контекста | 32 000 токенов |
| Несколько размеров моделей | 0.6B / 4B / 8B |
| Многоязычная поддержка | 100+ языков |
| Передовые архитектуры | Модели реранжирования используют cross-encoder / модели эмбеддингов — bi-encoder |
| Открытый исходный код | Apache-2.0 |
| Учёт инструкций | Модели понимают и следуют конкретным инструкциям |
Производительность моделей Qwen 3
Вы можете ознакомиться с оценкой моделей эмбеддингов на этом лидерборде!
Как получить доступ к моделям Qwen 3?
Novita AI — это облачная AI-платформа, которая предоставляет разработчикам простой способ развертывания AI-моделей через наш удобный API, а также доступные и надежные GPU-облака для создания и масштабирования.
В дополнение к Qwen 3 Reranker 8B и Embedding 8B, Novita AI также предлагает бесплатный bge-m3 для поддержки сообщества open source!
Шаг 1: Войдите в систему и откройте Библиотеку моделей
Войдите в свою учетную запись и нажмите кнопку Model Library.
Попробуйте модели Qwen 3 сейчас!
Шаг 2: Выберите модель и начните бесплатную пробную версию
Просмотрите доступные варианты и выберите модель, которая подходит для ваших нужд.
Шаг 3: Получите ваш API-ключ
Для аутентификации в API мы предоставим вам новый API-ключ. Перейдите на страницу «Settings» и скопируйте API-ключ, как показано на изображении.
Шаг 4: Установите API (пример: модель ранжирования Qwen 3)
Установите API с помощью менеджера пакетов, соответствующего вашему языку программирования.
После установки импортируйте необходимые библиотеки в вашу среду разработки. Инициализируйте API с вашим API-ключом, чтобы начать взаимодействие с моделями Novita AI. Это пример использования API chat completions для пользователей Python.
from openai import OpenAI
base_url = "https://api.novita.ai/v3/openai"
api_key = "<Your API Key>"
model = "qwen/qwen3-reranker-8b"
client = OpenAI(
base_url=base_url,
api_key=api_key,
)
stream = True # or False
max_tokens = 1000
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
extra_body={
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
По мере того как AI-приложения требуют всё более точного понимания намерений пользователя, модели реранжирования становятся незаменимыми инструментами для выдачи более умных результатов поиска. Выступая в качестве второго уровня интеллекта после первоначального поиска, реранжеры уточняют ранжирование документов, используя более глубокий контекстный анализ. Серия Qwen 3 Reranker устанавливает новый стандарт в этой области, предлагая впечатляющую производительность на разных языках, длинных документах и даже в задачах поиска кода. Благодаря простоте развертывания через Novita AI, разработчики могут использовать эти передовые модели без тяжёлой инфраструктуры — что делает высокоточный поиск более доступным, чем когда-либо.
Часто задаваемые вопросы
Что такое модель реранжирования?
Реранжер переупорядочивает список извлечённых документов, оценивая их релевантность запросу, повышая точность в AI-системах поиска.
Чем реранжер отличается от модели эмбеддингов?
Модель эмбеддингов: Преобразует каждый текст в вектор и сравнивает их, используя меру сходства.
Модель реранжирования: Читает и запрос, и документ вместе и выдаёт интеллектуальную оценку релевантности.
Какова производительность Qwen 3 Reranker?
Qwen3-Reranker-8B достигает лучших показателей:
MTEB-R: 69.02,
CMTEB-R: 77.45,
MTEB-Code: 81.22
Он превосходит популярные модели, такие как BGE и GTE, по нескольким категориям.
Novita AI — это универсальная облачная платформа, которая расширяет ваши AI-амбиции. Интегрированные API, бессерверные решения, GPU-инстансы — экономичные инструменты, которые вам нужны. Устраните инфраструктурные сложности, начните бесплатно и воплотите ваше AI-видение в реальность.
