従来の検索エンジンはキーワードマッチングに大きく依存しており、ユーザーのクエリの真の意図や文脈を見逃すことがよくありました。Embedding モデルは、クエリとドキュメントを、深い意味的理解を捉える高密度ベクトルに変換することで、このプロセスに革命をもたらします。これにより、正確なキーワードが一致しなくても、関連性が高く文脈を考慮した検索が可能になります。
強力な Qwen3 Embedding 8B モデルが Novita AI で利用可能になりました。このモデルは長い入力、多言語理解、命令認識によるカスタマイズをサポートし、検索、レコメンデーション、ナレッジマネジメントアプリケーションに新たな基準を打ち立てます。
Embedding モデルとは？
Embedding モデルは、単語や画像、音声などの複雑で高次元のデータを、より低次元の数値ベクトルに変換する機械学習手法です。これらのベクトルはデータポイント間の意味的な関係を捉え、モデルがデータをより効果的に処理・分析できるようにします。
出典：Qdrant
Embedding モデルが解決する問題とは？
Embeddings は、クエリとドキュメントをベクトルとして表現することで効果的なセマンティック検索を実現し、RAG システムにおいて生成を改善するための最も関連性の高いデータを取得する問題を解決します。
出典：Blog
1. Eコマース検索とレコメンデーション
Instacart や Taobao などのプラットフォームは、embedding ベースの検索システムを活用して製品検索とレコメンデーションを改善しています。製品とユーザークエリ間の意味的な関係を理解することで、特定のキーワードが使われていなくても、ユーザーの好みに合ったアイテムを提案できます。
2. コンテンツ発見
メディアプラットフォームは、ユーザーの行動や好みに基づいて記事、動画、音楽をレコメンドするために embeddings を採用しています。たとえば、ユーザーが宇宙探査に関する記事を読んだ場合、天文学やロケット技術に関連するコンテンツを提案する可能性があります。
3. エンタープライズナレッジマネジメント
組織は embedding モデルを利用して、社内文書やナレッジベース内のセマンティック検索を容易にしています。これにより、従業員は検索用語が文書の内容と完全に一致しなくても、関連情報を効率的に見つけることができます。
4. カスタマーサポートチャットボット
Embedding モデルは、チャットボットがユーザーのクエリをより効果的に理解し応答できるようにします。ユーザーの質問をナレッジベース内の意味的に類似した回答にマッピングすることで、チャットボットは正確で文脈に適した応答を提供できます。
Embedding モデルの評価
これらの指標とタスクカテゴリは、さまざまなアプリケーションにわたって embedding モデルのパフォーマンスを評価・比較するために不可欠です。モデルのパフォーマンスをこれらの領域で分析することで、研究者や実務者は特定のニーズに最も適したモデルを選択できます。
- Mean (Task): 評価されたすべてのタスクにおけるモデルの平均パフォーマンス。全体的な汎用性を示します。
- Mean (Type): 異なるタスクタイプやデータ形式（例：文対文、段落対段落）における平均パフォーマンス。
- Bitext Mining: 異なる言語で翻訳である文ペアを見つけること。多言語コーパスにおいて重要です。
- Class. (Classification): 感情やトピック分類など、テキストに事前定義されたラベルを割り当てること。
- Clust. (Clustering): ラベルなしで類似テキストをグループ化し、トピックや構造を発見すること。
- Inst. Retri. (Instance Retrieval): クエリに対して特定の関連ドキュメントを取得すること。検索やレコメンデーションで使用されます。
- Multi. Class. (Multiclass Classification): ニューストピックなど、3つ以上のカテゴリに入力を分類すること。
- Pair. Class. (Pair Classification): 重複や言い換えなど、テキストペア間の関係を判定すること。
- Rerank: 検索結果などの候補リストを再順序付けして関連性を向上させること。
- Retri. (Retrieval): クエリに基づいて大規模コーパスから関連ドキュメント/パッセージを取得すること。
Qwen 3 Embedding モデルとは？
| モデル | サイズ | レイヤー | シーケンス長 | 埋め込み次元 | MRL サポート | Instruct Aware |
|---|---|---|---|---|---|---|
| Qwen3 Embedding 0.6B | 0.6B | 28 | 32K | 1024 | Yes | Yes |
| Qwen3 Embedding 4B | 4B | 36 | 32K | 2560 | Yes | Yes |
| Qwen3 Embedding 8B | 8B | 36 | 32K | 4096 | Yes | Yes |
- Qwen3 Embedding モデルは 3 つのサイズ（小 0.6B、中 4B、大 8B）で提供されます。
- すべてのモデルは 最大 32,000 トークンの長い入力シーケンス をサポートし、長文ドキュメントやコードの処理に適しています。
- より大きなモデルは より多くのレイヤー（36 vs 28）、より大きな埋め込み次元（最大 4096） を持ち、より豊かな意味情報を捉えられる可能性があります。
- すべてのモデルは 多言語表現学習 (MRL) をサポートしており、多くの言語で効果的な埋め込みを実現します。
- すべてのモデルは 命令認識型（instruction-aware） であり、特定のタスク命令やプロンプトに応答できるため、カスタマイズ性とダウンストリーム性能が向上します。
さらに、Qwen3 はクエリ結果を再順序付けして最も関連性の高い回答を提供するリランキングモデルも提供しています。
Qwen3 Embedding 8B の主な特徴
Qwen 3 Embedding 8B の能力
Embedding モデルの評価は、こちらのリーダーボードで確認できます。
Qwen 3 Embedding 8B にアクセスする方法
Novita AI は、開発者がシンプルな API を使用して AI モデルを簡単にデプロイできる AI クラウドプラットフォームであり、手頃で信頼性の高い GPU クラウドを提供して構築とスケーリングを支援します。
Qwen 3 Embedding 8B に加えて、Novita AI はオープンソースコミュニティの開発を支援するために、無料の bge-m3 も提供しています。
ステップ 1: ログインしてモデルライブラリにアクセス
アカウントにログインし、Model Library ボタンをクリックします。
ステップ 2: モデルを選択して無料トライアルを開始
利用可能なオプションから、ニーズに合ったモデルを選択します。
ステップ 3: API キーを取得
API で認証するために、新しい API キーを提供します。「Settings」ページに移動し、画像のように API キーをコピーします。
ステップ 4: API をインストール
使用しているプログラミング言語に応じたパッケージマネージャーを使用して API をインストールします。
インストール後、必要なライブラリを開発環境にインポートします。API キーを使用して API を初期化し、Novita AI モデルとの連携を開始します。これは、Python ユーザー向けのチャット補完 API の使用例です。
from openai import OpenAI
import json
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<Your API Key>",
)
model = "qwen/qwen3-embedding-8b"
def get_embeddings(text, model="qwen/qwen3-embedding-8b", encoding_format="float"):
response = client.embeddings.create(
model=model,
input=text,
encoding_format=encoding_format
)
return response
# Example usage
text = "The quick brown fox jumped over the lazy dog"
result = get_embeddings(text)
print(json.dumps(result.model_dump(), indent=2))
Qwen3 Embedding シリーズ は、スケーラブルで命令認識型、多言語対応のモデル（0.6B、4B、8B パラメータ）を提供し、長いシーケンスをサポートし、業界をリードするパフォーマンスを発揮します。柔軟なカスタマイズと専用のリランキングモデルにより、Qwen3 Embedding シリーズは、効率的で正確な意味理解を必要とする多様な実世界のシナリオに適しています。
よくある質問
Embedding とは何ですか？
Embedding は、入力データを低次元空間の数値ベクトルに変換する手法です。
Embedding モデルはどのような問題を解決しますか？
クエリとドキュメントの意味を理解することで、検索エンジン、レコメンデーション、カスタマーサポートなどにおける関連性を向上させるセマンティック検索と検索を可能にします。
Qwen3 Embedding モデルとは何ですか？
Qwen3-Embedding は、3 つのモデル（0.6B、4B、8B パラメータ）からなるファミリーで、長い入力（最大 32K トークン）、多言語表現学習、カスタマイズタスクのための命令認識をサポートしています。8B モデルは MTEB リーダーボードでスコア 70.58 を記録し、トップに立っています！Novita AI でご利用いただけます。
Novita AI は、AI の野望を支援するオールインワンのクラウドプラットフォームです。統合 API、サーバーレス、GPU インスタンス — 必要なコスト効率の高いツールを提供します。インフラを排除し、無料で始めて、AI のビジョンを現実にしましょう。
