Qwen 3 for RAG (llm, embedding, reranking) 是一个为检索增强生成 (RAG) 设计的开源 AI 解决方案。它结合了三大模型：用于查找相关文档的嵌入模型、用于对最佳结果进行排序的重排模型，以及用于生成清晰准确答案的强大 LLM。Qwen 3 支持长上下文、多语言且易于使用，非常适合构建智能搜索和问答系统。
LLM、嵌入模型、重排模型如何协同工作？
1. 嵌入模型：理解检索
目的：
从大规模文档集合中查找相关信息。
工作原理：
- 每个文档（或文本块）通过嵌入模型（例如 OpenAI 的 Ada、Sentence Transformers）转换为一个向量（数字数组）。
- 用户的查询也被嵌入成一个向量。
- 系统搜索与查询向量最相似的文档向量（使用余弦相似度等相似度度量）。
- 检索出最相似的前 N 个文档。
2. 重排模型：提升相关性
目的：
通过更精确地根据查询相关性对结果进行排序，优化嵌入检索步骤的结果。
工作原理：
- 使用重排器进一步评估初始检索到的文档集合（如前 20 个）。
- 重排器通常使用交叉编码器模型（如 BERT、RoBERTa），同时将查询和每个文档作为输入，输出一个相关性分数。
- 选出排名靠前的文档进入下一步。
3. LLM（大语言模型）：生成答案
目的：
基于检索到的上下文生成连贯且信息丰富的答案。
工作原理：
- 将排名靠前的文档拼接或总结为“上下文”。
- 向 LLM 提供用户的问题和检索到的上下文作为提示。
- LLM 生成回复，理想情况下引用或使用检索到的信息。
它们如何协同工作（RAG 流程）
- 用户提交查询。
- 嵌入模型 检索相关文档。
- 重排模型 按相关性对这些文档排序。
- LLM 使用排名靠前的文档生成答案。
Qwen 3 用于 RAG 的模型有哪些？
Qwen 3 嵌入模型
| 模型 | 参数量 | 层数 | 序列长度 | 嵌入维度 | 支持 MRL | 支持指令识别 |
|---|---|---|---|---|---|---|
| Qwen3 Embedding 0.6B | 0.6B | 28 | 32K | 1024 | 是 | 是 |
| Qwen3 Embedding 4B | 4B | 36 | 32K | 2560 | 是 | 是 |
| Qwen3 Embedding 8B | 8B | 36 | 32K | 4096 | 是 | 是 |
Qwen 3 重排模型
| **模型 ** | ** 参数量 ** | ** 层数 ** | ** 序列长度 ** | ** 支持指令识别** |
|---|---|---|---|---|
| Qwen3-Reranker-0.6B | 0.6B | 32 | 32K | 是 |
| Qwen3-Reranker-4B | 4B | 36 | 32K | 是 |
| Qwen3-Reranker-8B | 8B | 36 | 32K | 是 |
Qwen 3 LLM 模型
| 模型 | 架构 | 参数量（总 / 激活） | 层数 | 注意力头数（Q / KV） | 专家数（总 / 激活） | 上下文窗口（Token） |
|---|---|---|---|---|---|---|
| Qwen3-235B-A22B | MoE | 235B / 22B | 94 | 64 / 4 | 128 / 8 | 32,768（使用 YaRN 可达 131,072） |
| Qwen3-30B-A3B | MoE | 30.5B / 3.3B | 48 | 32 / 4 | 128 / 8 | 32,768（使用 YaRN 可达 131,072） |
| Qwen3-32B | Dense | 32.8B | 64 | 64 / 8 | - | 32,768（使用 YaRN 可达 131,072） |
| Qwen3-14B | Dense | 14.8B | 40 | 40 / 8 | - | 32,768（使用 YaRN 可达 131,072） |
| Qwen3-8B | Dense | 8.2B | 36 | 32 / 8 | - | 32,768（使用 YaRN 可达 131,072） |
| Qwen3-4B | Dense | 4.0B | 36 | 32 / 8 | - | 32,768（使用 YaRN 可达 131,072） |
| Qwen3-1.7B | Dense | 1.7B | 28 | 16 / 8 | - | 32,768 |
| Qwen3-0.6B | Dense | 0.6B | 28 | 16 / 8 | - | 32,768 |
为什么开发者纷纷转向 Qwen3 用于 RAG？
| 特性 | Qwen 3 |
|---|---|
| **长上下文窗口 ** | 32,000 Token |
| **多种模型尺寸 ** | 0.6B / 4B / 8B |
| **多语言支持 ** | 100+ 种语言 |
| **先进架构 ** | ** 重排模型采用交叉编码器架构 / 嵌入模型采用双编码器架构** |
| **开源 ** | Apache-2.0 |
| **指令感知能力 ** | ** 支持理解并遵循特定指令** |
Qwen 3 模型的性能
你可以通过这个 排行榜 查看嵌入模型的评估结果！
如何访问 Qwen 3 模型？
Novita AI 是一个 AI 云平台，为开发者提供简单 API 来部署 AI 模型，同时提供经济且可靠的 GPU 云用于构建和扩展。
除了 Qwen 3 Reranker 8B 和 Embedding 8B 外，Novita AI 还免费提供 bge-m3 以支持开源社区发展！
第 1 步：登录并进入模型库
登录您的账户，点击 模型库 按钮。
第 2 步：选择模型并开始免费试用
浏览可用的选项，选择适合您需求的模型。
第 3 步：获取您的 API 密钥
为了通过 API 进行身份验证，我们将为您提供一个新的 API 密钥。进入“设置”页面，您可以按图中所示复制 API 密钥。
第 4 步：安装 API（示例：Qwen 3 重排模型）
使用适用于您编程语言的包管理器安装 API。
安装后，在您的开发环境中导入必要的库。使用您的 API 密钥初始化 API，开始与 Novita AI 模型交互。以下是 Python 用户使用聊天补全 API 的示例。
from openai import OpenAI
base_url = "https://api.novita.ai/v3/openai"
api_key = "<Your API Key>"
model = "qwen/qwen3-reranker-8b"
client = OpenAI(
base_url=base_url,
api_key=api_key,
)
stream = True # or False
max_tokens = 1000
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
extra_body={
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
随着 AI 应用对用户意图理解要求的不断提高，重排模型已成为提供更智能搜索结果的必备工具。作为初始检索后的第二层智能，重排器通过更深层次的上下文分析来微调文档排名。**Qwen 3 重排系列 ** 在这一领域树立了新标杆，在多语言、长文档甚至代码检索任务上都展现了令人印象深刻的性能。借助 Novita AI 的简便部署，开发者无需复杂的基础设施即可利用这些先进的模型——使高精度检索变得前所未有的平易近人。
常见问题
什么是重排模型？
重排模型根据查询对检索到的文档列表进行重新排序，通过评分其相关性来提高 AI 搜索系统的精度。
重排模型与嵌入模型有何不同？
嵌入模型：将每个文本转换为向量，并使用相似度进行比较。
重排模型：同时读取查询和文档，给出智能的相关性分数。
Qwen 3 重排模型的性能如何？
Qwen3-Reranker-8B 获得了顶级分数：
MTEB-R: 69.02，
CMTEB-R: 77.45，
MTEB-Code: 81.22
在多个类别中超越了 BGE 和 GTE 等流行模型。
Novita AI 是一个一体化云平台，助力您的 AI 雄心。集成 API、无服务器计算、GPU 实例——您所需的高性价比工具。消除基础设施烦恼，免费开始，让您的 AI 愿景成为现实。
