Points clés
Modèles d’embedding : Les modèles d’embedding sont essentiels pour transformer des données complexes en représentations numériques, permettant à l’IA de comprendre et de traiter efficacement les informations.
BAAI/bge-m3 : Le modèle bge-m3 offre une multifonctionnalité, prend en charge plus de 100 langues et gère aussi bien les textes courts que les documents longs (jusqu’à 8192 tokens). Sa polyvalence et son efficacité le rendent idéal pour une large gamme de tâches d’IA.
Le puissant modèle d’embedding bge-m3 est disponible sur Novita AI, pour seulement 0,01 $/M tokens. Commencez un essai gratuit sur Novita AI !
Les embeddings sont une pierre angulaire de l’apprentissage automatique moderne, permettant aux systèmes d’IA de comprendre et de traiter des données complexes avec efficacité. Cet article explore ce que sont les embeddings, pourquoi ils sont essentiels, comment ils sont appliqués, et comment des modèles avancés comme BAAI/bge-m3 élèvent les capacités d’embedding pour stimuler l’innovation.
Comprendre les embeddings
Les embeddings sont des représentations numériques sophistiquées qui permettent aux systèmes d’apprentissage automatique et d’IA de comprendre des domaines de connaissances complexes. Ils transforment des objets du monde réel en représentations mathématiques qui capturent les propriétés intrinsèques et les relations au sein des données.
Représentations vectorielles
Au cœur de ces embeddings se trouve le concept de vecteurs. Les modèles d’apprentissage automatique traitent les informations de manière numérique. Les vecteurs – ensembles de valeurs numériques dans un espace multidimensionnel – permettent à ces modèles d’identifier les similitudes entre des points de données dispersés. Cette représentation numérique est cruciale car les vecteurs d’embedding encodent spécifiquement des informations non numériques en séquences de valeurs que les systèmes d’apprentissage automatique peuvent traiter et relier.
Source : Qdrant
Comment sont créés les embeddings ?
Les ingénieurs utilisent des réseaux de neurones pour générer des embeddings selon le processus suivant :
- Préparation des entrées : Des échantillons vectorisés sont introduits dans le réseau de neurones.
- Apprentissage des motifs : Le réseau de neurones identifie les motifs dans les données, apprenant à partir de ceux-ci pour faire des prédictions précises sur des données non vues.
- Ajustement fin : Le modèle est ajusté pour mapper correctement les caractéristiques d’entrée dans l’espace dimensionnel souhaité.
- Fonctionnement indépendant : Les embeddings fonctionnent de manière autonome, permettant aux modèles d’apprentissage automatique de générer des recommandations basées sur les représentations vectorisées.
- Optimisation continue : Le modèle est surveillé et ajusté régulièrement avec de nouvelles données pour maintenir sa précision et son adaptabilité.
Source : Linkedin
Métriques pour choisir un embedding
| Dimension d’évaluation | Description |
|---|---|
| Performance de récupération | Évaluée à l’aide de tâches mesurant la capacité du modèle à récupérer des informations pertinentes. |
| Compréhension sémantique | Mesure la capacité du modèle à capturer les informations sémantiques au niveau des mots, des phrases et des énoncés. |
| Performance spécifique à la tâche | Évalue les performances dans des tâches de TAL comme la classification, le clustering et le calcul de similarité. |
| Taille du modèle | Équilibre le compromis entre la taille du modèle et les performances pour la scalabilité. |
| Capacité de généralisation | Teste la performance du modèle sur des données non vues pour une adaptabilité dans de nouveaux scénarios. |
Comprendre le modèle d’embedding BAAI/bge-m3
| Nom du modèle | baai/bge-m3 |
|---|---|
| Prix entrée/sortie (Novita) | Entrée : 0,01 $/million de tokens |
| Taille de contexte | 8192 |
| Paramètres supplémentaires | Modèle d’embedding : 1024 dimensions |
| Fonctionnalités clés | Multifonctionnalité : Prend en charge la recherche dense, la recherche multi-vecteurs et la recherche creuse. |
| Multilinguisme : Prend en charge plus de 100 langues. | |
| Multi-granularité : Gère les entrées allant de phrases courtes à des documents longs (jusqu’à 8192 tokens). | |
| Génère simultanément des poids de tokens et des embeddings denses. |
La figure ci-dessous montre une comparaison des performances avec mE5 (meilleure référence) et les API de modèles vectoriels récemment publiées par OpenAI. Dans l’ensemble, BGE-M3 (ALL) utilisant trois méthodes de récupération combinées obtient des avances complètes dans les trois évaluations, tandis que BGE-M3 (Dense) pour la recherche dense montre des avantages significatifs dans les tâches de récupération multilingues et interlangues.
Performances de récupération interlangues sur MKQA (mesurées par Recall@100) – source Hugging Face
Performances de récupération multilingues sur l’ensemble de développement MIRACL (mesurées par nDCG@10) – source Hugging Face
Évaluation de la récupération multilingue de documents longs sur l’ensemble de test MLDR (mesurée par nDCG@10) – source Hugging Face
Pourquoi les embeddings sont-ils importants ?
- Meilleure compréhension des données : Les embeddings permettent aux modèles d’apprentissage profond de mieux comprendre les données du monde réel en simplifiant leur représentation tout en préservant les relations sémantiques et syntaxiques.
- Réduction de dimensionnalité : Ils transforment des données de grande dimension en un espace de faible dimension, réduisant considérablement les ressources de calcul et le temps nécessaires au traitement des données brutes.
- Amélioration de la qualité des données : Les embeddings améliorent la qualité des données lors de l’entraînement des grands modèles de langage (LLM).
- Permettre des applications innovantes : Ils servent de base à de nouvelles applications d’apprentissage profond et d’IA générative.
- Optimisation des tâches d’apprentissage automatique : Les embeddings sont largement utilisés comme caractéristiques dans des tâches telles que la classification de documents, l’analyse des sentiments et la traduction automatique. En fournissant une représentation riche et condensée des données, ils améliorent les performances des algorithmes d’apprentissage automatique.
Utilisation des embeddings
- Recherche : Classement des résultats en fonction de leur pertinence par rapport à une requête.
- Clustering : Regroupement de chaînes de texte par similarité.
- Recommandations : Suggestion d’éléments dont les chaînes de texte sont apparentées.
- Détection d’anomalies : Identification des valeurs aberrantes ayant une similarité minimale avec les autres.
- Mesure de diversité : Analyse des distributions de similarité pour mesurer la diversité.
- Classification : Catégorisation de chaînes de texte par leur étiquette la plus similaire.
- Réponse aux questions : Récupération de réponses via une recherche basée sur les embeddings.
- Recherche de code : Recherche efficace dans les bases de code à l’aide d’embeddings.
- Visualisation de données : Transformation et visualisation de données de grande dimension.
Comment accéder au modèle BAAI/bge-m3 sur Novita AI
Novita AI est une plateforme cloud d’IA qui offre aux développeurs un moyen simple de déployer des modèles d’IA via notre API, tout en fournissant un cloud GPU abordable et fiable pour construire et faire évoluer leurs projets.
Étape 1 : Connectez-vous et accédez à la bibliothèque de modèles
Connectez-vous à votre compte et cliquez sur le bouton Bibliothèque de modèles.
Étape 2 : Choisissez votre modèle et lancez un essai gratuit
Parcourez les options disponibles et sélectionnez le modèle qui correspond à vos besoins.
Étape 3 : Obtenez votre clé API
Pour vous authentifier auprès de l’API, nous vous fournirons une nouvelle clé API. Rendez-vous dans la page « Paramètres » et copiez la clé API comme indiqué sur l’image.
Étape 4 : Installez l’API
Installez l’API à l’aide du gestionnaire de paquets spécifique à votre langage de programmation.
Après l’installation, importez les bibliothèques nécessaires dans votre environnement de développement. Initialisez l’API avec votre clé API pour commencer à interagir avec Novita AI LLM. Voici un exemple d’utilisation de l’API de chat complet pour les utilisateurs Python.
from openai import OpenAI
import json
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<Your API Key>",
)
model = "baai/bge-m3"
def get_embeddings(text, model="baai/bge-m3", encoding_format="float"):
response = client.embeddings.create(
model=model,
input=text,
encoding_format=encoding_format
)
return response
# Example usage
text = "The quick brown fox jumped over the lazy dog"
result = get_embeddings(text)
print(json.dumps(result.model_dump(), indent=2))
Lors de l’inscription, Novita AI vous offre un crédit de 0,50 $ pour démarrer !
Si le crédit gratuit est épuisé, vous pouvez payer pour continuer à utiliser le service.
Les embeddings jouent un rôle crucial dans l’apprentissage automatique, permettant aux modèles de comprendre et de traiter efficacement des données complexes. Des modèles avancés comme BAAI/bge-m3 élèvent ces capacités grâce à leur multifonctionnalité et leur vaste support linguistique, ce qui en fait des outils indispensables pour stimuler l’innovation en IA.
Foire aux questions
Qu’est-ce qu’un embedding ?
Un embedding est une technique utilisée pour convertir des données d’entrée en un vecteur de valeurs numériques dans un espace de dimension réduite.
Pourquoi les embeddings sont-ils importants ?
Les embeddings simplifient la représentation des données, conservent les relations sémantiques et syntaxiques, et permettent aux modèles d’apprentissage profond de comprendre plus efficacement les données du monde réel.
Qu’est-ce que la recherche hybride et comment BAAI/bge-m3 la prend-il en charge ?
La recherche hybride combine des méthodes de recherche par embedding et de recherche creuse, et BAAI/bge-m3 prend en charge cette approche pour améliorer les performances de récupération. Vous pouvez l’utiliser sur Novita AI !
Novita AI est la plateforme cloud tout-en-un qui propulse vos ambitions en IA. API intégrées, serverless, instance GPU – les outils rentables dont vous avez besoin. Supprimez l’infrastructure, commencez gratuitement et faites de votre vision IA une réalité.
