Découvrez l’impact transformateur des Grands Modèles Multimodaux (LMMs) comme CLIP et Flamingo, capables de traiter et de générer diverses modalités de données telles que le texte et les images. Explorez les directions de recherche de pointe, notamment l’intégration de nouvelles modalités, l’amélioration de l’efficacité d’entraînement et la génération de sorties multimodales, avec le potentiel de révolutionner les industries et les interactions des utilisateurs avec l’IA.
Contexte
Pendant longtemps, les modèles d’apprentissage automatique fonctionnaient dans un seul mode de données : le texte pour la traduction et la modélisation du langage, l’image pour la détection et la classification d’objets, et l’audio pour la reconnaissance vocale. Pourtant, l’intelligence humaine ne se limite pas à une seule modalité. Nous lisons et écrivons du texte, interprétons des images et des vidéos, écoutons de la musique pour nous détendre, et comptons sur les sons pour détecter un danger. Pour fonctionner efficacement dans le monde réel, l’IA doit également être capable de traiter des données multimodales.
Conscient de cela, OpenAI a souligné l’importance d’incorporer des modalités supplémentaires, comme les images, dans les Grands Modèles de Langage (LLMs), marquant une frontière cruciale dans la recherche et le développement de l’IA. Cette intégration de modalités supplémentaires transforme les LLMs en Grands Modèles Multimodaux (LMMs). Au cours de l’année écoulée, les principaux laboratoires de recherche ont introduit une série de nouveaux LMMs, tels que Flamingo de DeepMind, BLIP de Salesforce, KOSMOS-1 de Microsoft, PaLM-E de Google et Macaw-LLM de Tencent. Même les chatbots comme ChatGPT et Gemini entrent dans la catégorie des LMMs.
Cependant, tous les systèmes multimodaux ne sont pas des LMMs. Des modèles comme Midjourney, Stable Diffusion et DALL-E peuvent traiter plusieurs modalités mais ne possèdent pas de composant de modèle de langage. Les systèmes multimodaux peuvent englober une variété de scénarios : où l’entrée et la sortie sont de modalités différentes (par exemple, texte vers image, image vers texte), où les entrées sont multimodales (par exemple, traitement à la fois de texte et d’images), ou où les sorties sont multimodales (par exemple, génération à la fois de texte et d’images).
Qu’est-ce que le multimodal
Multimodal peut signifier une ou plusieurs des choses suivantes :
- L’entrée et la sortie sont de modalités différentes (par ex. texte vers image, image vers texte)
- Les entrées sont multimodales (par ex. un système qui peut traiter à la fois du texte et des images)
- Les sorties sont multimodales (par ex. un système qui peut générer à la fois du texte et des images)
Pourquoi multimodal
La multimodalité est indispensable dans de nombreux cas d’usage, notamment dans les industries qui manipulent un mélange de modalités de données, comme la santé, la robotique, le commerce électronique, la vente au détail, les jeux vidéo, etc.
En effet, l’intégration de données provenant de plusieurs modalités peut améliorer significativement les performances des modèles. Il est logique qu’un modèle capable d’apprendre à partir de texte et d’images soit plus performant qu’un modèle limité à une seule modalité.
Les systèmes multimodaux offrent une interface plus adaptable, permettant aux utilisateurs d’interagir avec eux de différentes manières selon leurs préférences ou circonstances. Imaginez pouvoir poser une question en tapant, en parlant, ou simplement en pointant une caméra vers un objet.
Modalités de données
Les différentes modalités de données incluent le texte, l’image, l’audio, les données tabulaires, etc. Chaque modalité peut être traduite ou approchée sous une autre forme :
- L’audio peut être représenté sous forme d’images, comme des mel-spectrogrammes.
- La parole peut être transcrite en texte, bien que cette conversion puisse perdre des nuances comme le volume, l’intonation et les pauses.
- Une image peut être convertie en un vecteur, qui peut ensuite être aplati et représenté comme une séquence de jetons textuels.
- Les vidéos sont composées de séquences d’images combinées avec de l’audio. Cependant, les modèles ML actuels traitent généralement les vidéos uniquement comme des séquences d’images, négligeant l’importance du son. Cette limitation est notable car le son contribue significativement à l’expérience vidéo, comme en témoigne le fait que 88 % des utilisateurs de TikTok soulignent son importance.
- Le texte peut être capturé comme une image simplement en le prenant en photo.
- Les tableaux de données peuvent être transformés en graphiques, qui sont essentiellement des images.
Voici les différentes modalités de novita.ai :
novita.ai est une plateforme tout-en-un pour une créativité illimitée qui vous donne accès à plus de 100 API. De la génération d’images au traitement du langage en passant par l’amélioration audio et la manipulation vidéo, avec un paiement à l’utilisation économique, elle vous libère des contraintes de maintenance GPU tout en construisant vos propres produits. Essayez-la gratuitement.
Tâches du multimodal
Pour comprendre les systèmes multimodaux, il est utile d’examiner les tâches qu’ils abordent. Ces tâches varient considérablement et leur organisation peut prendre de nombreuses formes. Dans la littérature, les tâches vision-langage sont souvent classées en deux groupes principaux : la génération et la compréhension vision-langage (VLU), qui englobe les tâches n’impliquant pas de génération. Cependant, il est à noter que la distinction entre ces groupes est quelque peu ambiguë, car la capacité à générer des réponses implique intrinsèquement une compréhension.
Génération
Dans les tâches génératives, la sortie peut être unimodale (comme du texte, une image ou un rendu 3D) ou multimodale. Si les sorties unimodales sont courantes dans les modèles actuels, le développement de sorties multimodales est encore en cours. Nous aborderons les sorties multimodales vers la fin de cet article.
Génération d’images (synthèse texte vers image)
Cette catégorie de tâches est simple. Exemples : Dall-E, Stable Diffusion et Midjourney.
Génération de texte
Une tâche courante en génération de texte est la réponse à des questions visuelles (VQA), où le modèle reçoit à la fois du texte et des images pour en tirer un contexte. Cela permet des scénarios où les utilisateurs peuvent utiliser leur caméra pour poser des questions telles que : « Qu’est-ce qui ne va pas avec ma voiture ? » ou « Comment préparer ce plat ? ».
De même, la légende d’images (image captioning) est une autre application courante. Elle peut être intégrée dans des systèmes de recherche d’images basés sur du texte utilisés par des organisations disposant de vastes bibliothèques d’images comprenant des images de produits, des graphiques, des designs, des photos d’équipe, des supports promotionnels, etc. En générant automatiquement des légendes et des métadonnées, l’IA simplifie le processus de localisation d’images spécifiques dans ces collections.
Compréhension vision-langage
Concentrons-nous sur deux types de tâches : la classification et la recherche d’images basée sur le texte (TBIR).
Classification
Les modèles de classification sont limités à produire des sorties comprises dans une liste prédéfinie de classes. Cela convient lorsque l’objectif est de discerner parmi un nombre défini de résultats potentiels. Par exemple, dans un système de reconnaissance optique de caractères (OCR), la tâche consiste simplement à prédire si un visuel correspond à l’un des caractères reconnus, comme un chiffre ou une lettre.
Une tâche étroitement liée à la classification est la recherche image-texte : étant donné une image et un ensemble de textes prédéfinis, l’objectif est d’identifier le texte le plus susceptible de correspondre à l’image. Cette application peut être particulièrement utile pour la recherche d’images de produits, par exemple pour récupérer des avis sur un produit à partir d’une image donnée.
Traitement de documents avec GPT-4V. L’erreur du modèle est surlignée en rouge.
Recherche d’images basée sur le texte (recherche d’images)
La recherche d’images est importante non seulement pour les moteurs de recherche, mais aussi pour les entreprises qui souhaitent filtrer leurs images et documents internes. Certains appellent la recherche d’images basée sur le texte « recherche texte vers image ».
Il existe différentes approches pour la recherche d’images basée sur le texte. Deux méthodes notables sont :
- Générer des légendes et des métadonnées pour chaque image, manuellement ou automatiquement (comme dans la légende d’images en génération de texte). Étant donné une requête textuelle, le but est d’identifier les images dont les légendes ou métadonnées correspondent le mieux à la requête.
- Entraîner un espace d’incorporation (embedding) conjoint pour les images et le texte. Dans cette approche, une requête textuelle génère un embedding, et l’objectif est de localiser les images dont les embeddings sont les plus similaires à celui de la requête.
La deuxième approche offre plus de flexibilité et devrait être plus largement adoptée. Elle repose sur la création d’un espace d’incorporation conjoint robuste pour la vision et le langage, similaire à celui développé par OpenAI avec CLIP.
Composant clé de l’entraînement multimodal
À un niveau général, un système multimodal comprend les composants suivants :
- Des encodeurs pour chaque modalité de données chargés de générer des embeddings spécifiques à cette modalité.
- Des mécanismes pour aligner les embeddings de différentes modalités dans un espace d’incorporation multimodal unifié.
- Pour les modèles génératifs, un modèle de langage est nécessaire pour générer des réponses textuelles. Étant donné que les entrées peuvent inclure à la fois du texte et des visuels, des techniques innovantes sont nécessaires pour permettre au modèle de langage de baser ses réponses non seulement sur le texte mais aussi sur les visuels.
Idéalement, autant de ces composants que possible devraient être pré-entraînés et réutilisables pour améliorer l’efficacité et la polyvalence.
Introduction aux systèmes multimodaux existants
Choisir les systèmes multimodaux à aborder dans cet article a été un défi en raison de l’abondance d’options remarquables. Finalement, j’ai choisi de mettre en lumière deux modèles : CLIP (2021) et Flamingo (2022). Ces choix reposent sur leur importance, ainsi que sur la disponibilité et la clarté des informations publiques.
CLIP a marqué l’histoire en devenant le premier modèle capable de généraliser à plusieurs tâches de classification d’images en utilisant des techniques d’apprentissage zero-shot et few-shot. D’un autre côté, bien que Flamingo n’ait pas été le premier grand modèle multimodal capable de générer des réponses ouvertes (BLIP de Salesforce l’a précédé de 3 mois), ses performances impressionnantes ont conduit beaucoup à le considérer comme le moment décisif, à l’instar de GPT-3 dans le domaine multimodal.
Bien qu’il s’agisse de modèles plus anciens, les techniques employées par CLIP et Flamingo restent pertinentes aujourd’hui. Elles servent de piliers fondamentaux pour comprendre les modèles plus récents dans le paysage multimodal en évolution rapide, où de nombreuses idées innovantes sont continuellement développées.
CLIP : Contrastive Language-Image Pre-training
La principale percée de CLIP réside dans sa capacité à mapper des données provenant de différentes modalités — texte et images — dans un espace d’incorporation partagé. Cet espace d’incorporation multimodal partagé simplifie considérablement des tâches telles que le texte vers image et l’image vers texte.
De plus, l’entraînement de cet espace d’incorporation multimodal a abouti à un encodeur d’images robuste dans CLIP. Par conséquent, CLIP démontre des performances zero-shot compétitives dans diverses tâches de classification d’images. La force de cet encodeur d’images s’étend à d’autres applications, notamment la génération d’images, la réponse à des questions visuelles et la recherche d’images basée sur le texte. Notamment, Flamingo et LLaVA utilisent CLIP comme leur encodeur d’images, tandis que DALL-E utilise CLIP pour reclasser les images générées. Cependant, il n’est pas certain que GPT-4V intègre CLIP dans son architecture.
CLIP a utilisé la supervision par langage naturel et des techniques d’apprentissage contrastif, permettant au modèle de monter en échelle ses données et d’améliorer l’efficacité de l’entraînement.
Architecture de haut niveau de CLIP
Dans l’architecture de CLIP, les encodeurs et les matrices de projection sont entraînés conjointement à partir de zéro. L’objectif de l’entraînement est de maximiser les scores de similarité des paires (image, texte) correctes tout en minimisant les scores de similarité des paires incorrectes, une technique appelée apprentissage contrastif.
Applications de CLIP
Classification
Actuellement, CLIP sert de baseline robuste prête à l’emploi pour de nombreuses tâches de classification d’images, soit dans sa forme originale, soit en étant affiné pour des applications spécifiques.
Recherche d’images basée sur le texte
Étant donné que le processus d’entraînement de CLIP partage des similitudes conceptuelles avec la recherche image-texte et la recherche texte-image, il présente un fort potentiel pour des applications larges comme la recherche d’images. Cependant, ses performances par rapport à l’état de l’art global sont notablement inférieures dans les tâches de recherche d’images.
Des efforts ont été faits pour exploiter CLIP dans la recherche d’images. Par exemple, le package clip-retrieval fonctionne comme suit :
- Générer des embeddings CLIP pour toutes les images et les stocker dans une base de données vectorielle.
- Générer un embedding CLIP pour chaque requête textuelle.
- Interroger la base de données vectorielle pour toutes les images dont les embeddings correspondent étroitement à l’embedding de la requête textuelle.
Génération d’images
Les embeddings conjoints image-texte de CLIP offrent un support précieux pour les tâches de génération d’images. Par exemple, DALL-E (2021) utilise CLIP pour reclasser une multitude de visuels générés en fonction d’une invite textuelle donnée, présentant aux utilisateurs les visuels les mieux classés.
En 2022, OpenAI a introduit unCLIP, un modèle de synthèse texte vers image conditionné sur les latents de CLIP. Il comprend deux composants principaux :
- CLIP est entraîné et maintenu fixe. Le modèle CLIP pré-entraîné peut produire des embeddings pour le texte et les images dans le même espace d’incorporation.
- Lors de la génération d’images, deux étapes se produisent : a. Utiliser CLIP pour générer des embeddings pour le texte donné. b. Employer un décodeur de diffusion pour générer des images conditionnées sur ces embeddings.
Génération de texte
Les auteurs de CLIP ont exploré la création d’un modèle de génération de texte. Une variante qu’ils ont expérimentée est connue sous le nom de LM RN50. Cependant, bien que ce modèle puisse générer des réponses textuelles, ses performances étaient systématiquement inférieures d’environ 10 % au modèle CLIP le plus performant sur toutes les tâches de compréhension vision-langage évaluées.
Bien que CLIP lui-même ne soit pas directement utilisé pour la génération de texte aujourd’hui, son encodeur d’images sert fréquemment de base aux Grands Modèles Multimodaux (LMMs) capables de générer du texte.
Flamingo : l’aube des LMMs
Contrairement à CLIP, Flamingo a la capacité de produire des réponses textuelles. En termes simplifiés, Flamingo peut être considéré comme CLIP combiné à un modèle de langage, avec des techniques supplémentaires permettant au modèle de langage de générer des jetons textuels conditionnés à la fois par des entrées visuelles et textuelles.
Flamingo peut générer des réponses textuelles conditionnées à la fois par du texte et des images.
Architecture de haut niveau de Flamingo
Flamingo peut être décomposé en deux composants principaux :
- Encodeur visuel : Cet aspect implique l’entraînement d’un modèle de type CLIP en utilisant l’apprentissage contrastif. Ensuite, l’encodeur de texte du modèle est abandonné, laissant l’encodeur visuel figé pour être intégré dans le modèle principal.
- Modèle de langage : Flamingo affine Chinchilla par un fine-tuning pour produire des jetons textuels conditionnés à la fois par des entrées visuelles et textuelles. Ce processus implique l’utilisation d’une perte de modèle de langage et l’incorporation de deux composants supplémentaires : le Perceiver Resampler et les couches GATED XATTN-DENSE.
Jeu de données
Flamingo a utilisé 4 ensembles de données : 2 ensembles de paires (image, texte), 1 ensemble de paires (vidéo, texte) et 1 ensemble de données entrelacées d’images et de texte.
Modèle de langage de Flamingo
Dans Flamingo, Chinchilla sert de modèle de langage, avec un accent particulier sur le gel des 9 couches pré-entraînées de Chinchilla LM. Contrairement à un modèle de langage traditionnel, qui prédit le prochain jeton textuel uniquement sur la base des jetons textuels précédents.
Flamingo étend cela en prédisant le prochain jeton textuel en tenant compte à la fois des jetons textuels et visuels précédents. Cette capacité à générer du texte conditionné à la fois par des entrées textuelles et visuelles est facilitée par l’intégration du Perceiver Resampler et des couches GATED XATTN-DENSE.
CLIP vs. Flamingo
Orientations futures pour les LMMs
CLIP existe depuis 3 ans, et Flamingo approche de son deuxième anniversaire. Bien que leurs architectures fournissent une base solide pour comprendre la construction des Grands Modèles Multimodaux (LMMs), de nombreuses avancées ont eu lieu dans ce domaine.
Plusieurs directions dans l’espace multimodal sont particulièrement intrigantes pour moi, bien que cette liste ne soit en aucun cas exhaustive. La longueur de cet article et mon exploration continue du sujet contribuent à son incomplétude. Si vous avez des idées ou des recommandations, je les apprécierais grandement !
Intégration de plus de modalités de données
Dans le domaine des systèmes multimodaux, l’accent actuel porte principalement sur le texte et les images. Cependant, il ne s’agit que d’une question de temps avant que le besoin de systèmes capables d’intégrer d’autres modalités telles que les vidéos, la musique et les données 3D ne se fasse sentir. La perspective d’avoir un espace d’incorporation unifié accueillant toutes les modalités de données est en effet enthousiasmante.
Quelques travaux notables dans ce domaine incluent :
- ULIP : Learning a Unified Representation of Language, Images, and Point Clouds for 3D Understanding (Xue et al., décembre 2022)
- ImageBind : One Embedding Space To Bind Them All (Girdhar et al., mai 2023)
- NExT-GPT : Any-to-Any Multimodal Large Language Model (Wu et al., septembre 2023)
De plus, l’ambitieux projet Pathways de Jeff Dean (2021) vise à « permettre des modèles multimodaux qui englobent simultanément la compréhension visuelle, auditive et linguistique. »
Entraînement multimodal plus efficace
Alors que Flamingo utilisait 9 couches pré-entraînées et figées de Chinchilla, il nécessitait un pré-entraînement de son encodeur visuel, du Perceiver Resampler et des couches GATED XATTN-DENSE à partir de zéro. L’entraînement de ces modules à partir de zéro peut être coûteux en calcul. Par conséquent, de nombreux travaux récents se sont concentrés sur le développement de méthodes plus efficaces pour amorcer des systèmes multimodaux avec un entraînement réduit à partir de zéro.
Certains de ces travaux montrent des résultats prometteurs. Par exemple, BLIP-2 a surpassé Flamingo-80B de 8,7 % sur le VQA-v2 en zero-shot avec 54 fois moins de paramètres entraînables.
Travaux notables dans ce domaine :
- BLIP-2 : Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models
- [LAVIN] Cheap and Quick : Efficient Vision-Language Instruction Tuning for Large Language Models
- LLaMA-Adapter V2 : Parameter-Efficient Visual Instruction Model
Les images ci-dessous proviennent du tutoriel sur les Grands Modèles Multimodaux de Chunyuan Li au CVPR 2023, qui est fortement recommandé pour sa couverture complète du sujet.
Génération de sorties multimodales
Alors que les modèles capables de traiter des entrées multimodales deviennent de plus en plus courants, le développement de capacités de sortie multimodales est encore en retard. De nombreux scénarios pratiques nécessitent des sorties multimodales. Par exemple, lorsque l’on demande une explication à ChatGPT sur RLHF, une réponse efficace pourrait inclure des graphiques, des équations et même des animations simples.
Pour générer des sorties multimodales, un modèle doit d’abord produire une sortie intermédiaire partagée. Une considération cruciale est la nature de cette sortie intermédiaire.
Une approche pour la sortie intermédiaire est le texte, qui guide ensuite la génération ou la synthèse d’autres actions.
Par exemple, CM3 (Aghajanyan et al., 2022) produit du balisage HTML, qui peut être compilé en pages web contenant non seulement du texte, mais aussi du formatage, des liens et des images. GPT-4V génère du code LaTeX, qui peut ensuite être reconstruit en tableaux de données.
Conclusion
L’évolution des systèmes d’IA unimodaux vers des systèmes multimodaux marque une avancée significative dans la recherche et le développement de l’intelligence artificielle. Des modèles comme CLIP et Flamingo ont ouvert la voie aux Grands Modèles Multimodaux (LMMs), capables de traiter et de générer diverses modalités de données telles que le texte, les images et plus encore. Alors que le domaine continue de progresser, les chercheurs explorent de nouvelles frontières, notamment l’intégration de modalités supplémentaires comme les vidéos et les données 3D, l’amélioration de l’efficacité d’entraînement et le développement de méthodes pour générer des sorties multimodales. Ces avancées promettent de révolutionner diverses industries et d’améliorer les interactions des utilisateurs avec les systèmes d’IA.
novita.ai, la plateforme tout-en-un pour une créativité illimitée qui vous donne accès à plus de 100 API. De la génération d’images au traitement du langage en passant par l’amélioration audio et la manipulation vidéo, avec un paiement à l’utilisation économique, elle vous libère des contraintes de maintenance GPU tout en construisant vos propres produits. Essayez-la gratuitement.
Lecture recommandée
Moteur d’inférence LLM Novita AI : le plus grand débit et l’inférence la moins chère disponible
