Qwen 3 用於 RAG（LLM、嵌入、重排序） 是一款專為檢索增強生成設計的開源 AI 解決方案。它結合了三種主要模型：用於尋找相關文件的嵌入模型、用來排序最相關結果的重排序模型，以及能夠生成清晰準確答案的強大 LLM。Qwen 3 支援長上下文、多種語言，且易於使用，非常適合用來打造智慧搜尋與問答系統。
LLM、嵌入模型、重排序模型如何協同運作？
1. 嵌入模型：理解檢索
目的：
從大量文件集合中找出相關資訊。
運作方式：
- 將每份文件（或文字區塊）透過嵌入模型（例如 OpenAI 的 Ada、Sentence Transformers）轉換成向量（數值陣列）。
- 使用者的查詢也會被轉換成向量。
- 系統搜尋與查詢向量最相似的文件向量（使用餘弦相似度等相似性指標）。
- 檢索出最相似的 Top-N 文件。
2. 重排序模型： 提升關聯性
目的：
根據文件與查詢的關聯性，更精確地排序嵌入檢索階段的結果。
運作方式：
- 對初版檢索結果（例如前 20 筆）使用重排序器進一步評估。
- 重排序器通常使用跨編碼器模型（如 BERT、RoBERTa），將查詢與每份文件同時作為輸入，輸出關聯性分數。
- 選取排名最高的文件進入下一步。
3. LLM（大型語言模型）：生成答案
目的：
根據檢索到的上下文生成連貫且豐富的答案。
運作方式：
- 將排名最高的文件拼接或摘要為「上下文」。
- 以使用者的問題與檢索到的上下文作為提示，餵入 LLM。
- LLM 生成回應，並盡量引用或使用這些檢索資訊。
三者如何協作（RAG 流程）
- 使用者提交查詢。
- 嵌入模型 檢索相關文件。
- 重排序器 依關聯性排序這些文件。
- LLM 使用前幾份文件生成答案。
Qwen 3 用於 RAG 的模型有哪些？
Qwen 3 嵌入模型
| 模型 | 參數量 | 層數 | 序列長度 | 嵌入維度 | 支援 MRL | 具指令感知 |
|---|---|---|---|---|---|---|
| Qwen3 Embedding 0.6B | 0.6B | 28 | 32K | 1024 | 是 | 是 |
| Qwen3 Embedding 4B | 4B | 36 | 32K | 2560 | 是 | 是 |
| Qwen3 Embedding 8B | 8B | 36 | 32K | 4096 | 是 | 是 |
Qwen 3 重排序模型
| **模型 ** | ** 參數量 ** | ** 層數 ** | ** 序列長度 ** | ** 具指令感知** |
| Qwen3-Reranker-0.6B | 0.6B | 32 | 32K | 是 |
| Qwen3-Reranker-4B | 4B | 36 | 32K | 是 |
| Qwen3-Reranker-8B | 8B | 36 | 32K | 是 |
Qwen 3 LLM 模型
| 模型 | 架構 | 參數量（總計 / 啟用） | 層數 | 注意力頭數（Q / KV） | 專家數（總計 / 啟用） | 上下文視窗（token） |
|---|---|---|---|---|---|---|
| Qwen3-235B-A22B | MoE | 235B / 22B | 94 | 64 / 4 | 128 / 8 | 32,768（搭配 YaRN 可達 131,072） |
| Qwen3-30B-A3B | MoE | 30.5B / 3.3B | 48 | 32 / 4 | 128 / 8 | 32,768（搭配 YaRN 可達 131,072） |
| Qwen3-32B | Dense | 32.8B | 64 | 64 / 8 | - | 32,768（搭配 YaRN 可達 131,072） |
| Qwen3-14B | Dense | 14.8B | 40 | 40 / 8 | - | 32,768（搭配 YaRN 可達 131,072） |
| Qwen3-8B | Dense | 8.2B | 36 | 32 / 8 | - | 32,768（搭配 YaRN 可達 131,072） |
| Qwen3-4B | Dense | 4.0B | 36 | 32 / 8 | - | 32,768（搭配 YaRN 可達 131,072） |
| Qwen3-1.7B | Dense | 1.7B | 28 | 16 / 8 | - | 32,768 |
| Qwen3-0.6B | Dense | 0.6B | 28 | 16 / 8 | - | 32,768 |
開發者為何紛紛改用 Qwen3 進行 RAG？
| 功能 | Qwen 3 |
|---|---|
| **長上下文視窗 ** | 32,000 tokens |
| **多種模型大小 ** | 0.6B / 4B / 8B |
| **多語言支援 ** | 100 種以上語言 |
| **先進架構 ** | ** 重排序模型採用跨編碼器設定 / 嵌入模型採用雙編碼器設定** |
| **開源授權 ** | Apache-2.0 |
| **指令感知 ** | ** 支援理解並遵循特定指令** |
Qwen 3 模型的效能表現
你可以在這個排行榜上查看嵌入模型的評測！
如何存取 Qwen 3 模型？
Novita AI 是一個 AI 雲端平台，讓開發者能透過簡單的 API 輕鬆部署 AI 模型，同時提供平價且可靠的 GPU 雲端服務來建置與擴展應用。
除了 Qwen 3 Reranker 8B 與 Embedding 8B ，Novita AI 也提供免費的 bge-m3 以支援開源社群的發展！
步驟 1：登入並進入模型庫
登入你的帳號，然後點選 模型庫 按鈕。
步驟 2：選擇你的模型並開始免費試用
瀏覽可用的選項，選擇符合你需求的模型。
步驟 3：取得你的 API 金鑰
為了對 API 進行驗證，我們將提供一個新的 API 金鑰。進入「設定」頁面，即可按圖示複製 API 金鑰。
步驟 4：安裝 API（範例：Qwen 3 重排序模型）
使用你程式語言專屬的套件管理器安裝 API。
安裝完成後，將必要的函式庫匯入你的開發環境。使用 API 金鑰初始化 API，即可開始與 Novita AI 模型互動。以下是給 Python 使用者使用的聊天補全 API 範例。
from openai import OpenAI
base_url = "https://api.novita.ai/v3/openai"
api_key = "<Your API Key>"
model = "qwen/qwen3-reranker-8b"
client = OpenAI(
base_url=base_url,
api_key=api_key,
)
stream = True # or False
max_tokens = 1000
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
extra_body={
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
隨著 AI 應用對使用者意圖的理解越來越要求精準，重排序模型已成為提供更智慧搜尋結果的關鍵工具。作為初版檢索後的第二層智慧篩選機制，重排序器透過深度上下文分析精細調整文件排名。**Qwen 3 Reranker 系列 ** 在此領域樹立了新的標竿，在各種語言、長文件甚至程式碼檢索任務中都展現了出色的效能。透過 Novita AI 的簡易部署，開發者無需建置沉重基礎設施即可運用這些先進模型，讓高精準度檢索變得更加觸手可及。
常見問題
什麼是重排序模型？
重排序器會根據文件與查詢的關聯性，為檢索到的文件列表重新評分排序，進而提升 AI 搜尋系統的精確度。
重排序模型與嵌入模型有何不同？
嵌入模型：將每段文字轉換為向量，並透過相似度進行比較。
重排序模型：同時讀取查詢與文件，並給出一個智慧型的關聯性分數。
Qwen 3 重排序器的效能如何？
Qwen3-Reranker-8B 獲得了頂級分數：
MTEB-R: 69.02，
CMTEB-R: 77.45，
MTEB-Code: 81.22
它在多個類別中超越了 BGE 和 GTE 等熱門模型。
Novita AI 是一個一站式雲端平台，助力你的 AI 願景。整合 API、無伺服器、GPU 實例——物超所值的工具，你所需的一切。消除基礎設施負擔，從免費開始，讓你的 AI 夢想成真。
