BGE-M3 嵌入模型现已登陆 Novita AI

理解嵌入
了解 BAAI/bge-m3 嵌入模型
嵌入为何重要？
嵌入的应用
如何在 Novita AI 上访问 BAAI/bge-m3 模型
常见问题

核心要点

嵌入模型： 嵌入模型是将复杂数据转换为数值表示的关键，使 AI 能够高效理解和处理信息。

BAAI/bge-m3： bge-m3 模型具备多功能性，支持超过 100 种语言，并能处理短文本和长文档（最多 8192 个 token）。它的多功能性和高效率使其成为各种 AI 任务的理想选择。

强大的 bge-m3 嵌入模型现已登陆 Novita AI，仅需 0.01 美元/百万 token。立即在 Novita AI 上开始免费试用！

嵌入是现代机器学习的基石，它使 AI 系统能够高效理解和处理复杂数据。本文将深入探讨什么是嵌入、为什么它们至关重要、如何应用，以及 BAAI/bge-m3 等先进模型如何提升嵌入能力以推动创新。

理解嵌入

嵌入是复杂的数值表示，允许机器学习和 AI 系统理解复杂的知识领域。它们将现实世界中的对象转换为数学表示，从而捕捉数据中的内在属性和关系。

向量表示

这些嵌入的核心是向量概念。机器学习模型以数值方式处理信息。向量——多维空间中的一组数值——使这些模型能够识别分散数据点之间的相似性。这种数值表示至关重要，因为嵌入向量专门将非数值信息编码成机器学习系统可以处理和关联的值序列。

来自 Qdrant

如何创建嵌入？

工程师利用神经网络通过以下过程生成嵌入：

输入准备：将向量化的样本输入神经网络。
学习模式：神经网络识别数据中的模式，并从中学习以对未见数据做出准确预测。
微调：模型经过微调，将输入特征适当地映射到目标维度空间。
独立运行：嵌入独立运作，使机器学习模型能够基于向量化表示生成推荐。
持续优化：定期使用新数据监控和微调模型，以保持准确性和适应性。

来自 LinkedIn

选择嵌入的评估指标

评估维度	描述
检索性能	通过评估模型检索相关信息能力的任务来评估。
语义理解	衡量模型在单词、短语和句子层面捕捉语义信息的能力。
任务特定性能	评估在 NLP 任务（如分类、聚类和相似度计算）中的表现。
模型大小	在模型大小与性能之间权衡，以确保可扩展性。
泛化能力	测试模型在未见数据上的表现，评估其对新场景的适应性。

了解 BAAI/bge-m3 嵌入模型

模型名称	baai/bge-m3
输入/输出价格 (Novita)	输入：0.01 美元/百万 token
上下文大小	8192
额外参数	嵌入模型：1024 维
关键特性	多功能性：支持密集检索、多向量检索和稀疏检索。
	多语言：支持超过 100 种语言。
	多粒度：处理从短句到长文档（最多 8192 个 token）的输入。
	同时生成 token 权重和密集嵌入。

下图展示了与 mE5（最佳基线）和 OpenAI 最近发布的向量模型 API 的性能对比。总体而言，使用三种检索方法组合的 BGE-M3(ALL) 在所有三个评估中取得全面领先，而用于密集检索的 BGE-M3(Dense) 在多语言和跨语言检索任务中展现出显著优势。

MKQA 上的跨语言检索性能（以 Recall@100 衡量）来自 Hugging Face

MIRACL 开发集上的多语言检索性能（以 nDCG@10 衡量）来自 Hugging Face

MLDR 测试集上的多语言长文档检索评估（以 nDCG@10 衡量）来自 Hugging Face

嵌入为何重要？

增强数据理解：嵌入允许深度学习模型更好地理解现实世界的数据，简化表示的同时保留语义和句法关系。
降维：它们将高维数据转换到低维空间，显著减少处理原始数据所需的计算资源和时间。
提升数据质量：嵌入在训练大型语言模型 (LLM) 过程中提升数据质量。
支持创新应用：它们为新的深度学习和生成式 AI 应用奠定了基础。
优化机器学习任务：嵌入广泛用作文档分类、情感分析和机器翻译等任务的特征。通过提供丰富而紧凑的数据表示，它们提高了机器学习算法的性能。

嵌入的应用

搜索：根据与查询的相关性对结果进行排序。
聚类：根据相似性将文本字符串分组。
推荐：推荐具有相关文本字符串的项目。
异常检测：识别与其他数据相似性最小的离群点。
多样性度量：分析相似性分布以度量多样性。
分类：根据最相似的标签对文本字符串进行分类。
问答：使用基于嵌入的搜索检索答案。
代码搜索：使用嵌入在代码库中进行高效搜索。
数据可视化：转换和可视化高维数据。

如何在 Novita AI 上访问 BAAI/bge-m3 模型

Novita AI 是一个 AI 云平台，为开发者提供使用简单 API 部署 AI 模型的便捷方式，同时提供经济可靠的 GPU 云用于构建和扩展。

步骤 1：登录并访问模型库

登录您的账户，然后点击 模型库 按钮。

立即尝试 bge-m3！

步骤 2：选择模型并开始免费试用

浏览可用选项，选择适合您需求的模型。

步骤 3：获取您的 API 密钥

为了进行 API 身份验证，我们将为您提供一个新的 API 密钥。进入“设置”页面，您可以按照图片指示复制 API 密钥。

步骤 4：安装 API

使用特定于您编程语言的包管理器安装 API。

安装后，将必要的库导入到您的开发环境中。使用您的 API 密钥初始化 API，开始与 Novita AI LLM 交互。以下是 Python 用户使用聊天补全 API 的示例。

from openai import OpenAI
import json
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="<Your API Key>",
)
model = "baai/bge-m3"
def get_embeddings(text, model="baai/bge-m3", encoding_format="float"):
    response = client.embeddings.create(
        model=model,
        input=text,
        encoding_format=encoding_format
    )
    return response
# 示例用法
text = "The quick brown fox jumped over the lazy dog"
result = get_embeddings(text)
print(json.dumps(result.model_dump(), indent=2))

注册后，Novita AI 会提供 0.5 美元的信用额度，助您快速上手！

如果免费信用额度用完，您可以付费继续使用。

嵌入在机器学习中扮演着关键角色，使模型能够有效地理解和处理复杂数据。BAAI/bge-m3 等先进模型通过多功能性和广泛的语言支持提升了这些能力，成为推动 AI 创新不可或缺的工具。

常见问题

什么是嵌入？

嵌入是一种技术，用于将输入数据转换为低维空间中的数值向量。

为什么嵌入很重要？

嵌入简化了数据表示，保留了语义和句法关系，并使深度学习模型能够更有效地理解现实世界的数据。

什么是混合检索，BAAI/bge-m3 如何支持它？

混合检索结合了嵌入和稀疏检索方法，BAAI/bge-m3 支持这种方法以增强检索性能。您可以在 Novita AI 上使用它！

Novita AI 是一个一体化云平台，助力您的 AI 抱负。集成 API、无服务器、GPU 实例——您所需的经济高效工具。消除基础设施障碍，免费开始，让您的 AI 愿景成为现实。

BGE-M3 嵌入模型现已登陆 Novita AI

核心要点

理解嵌入