Introduction
Outre le discours répandu sur l’intégration des LLM dans les pratiques commerciales, un débat moins médiatisé émerge concernant la comparaison entre les modèles de Machine Learning (ML) traditionnels et les Grands Modèles de Langage (LLM). La question se pose : les modèles de ML conventionnels deviennent-ils obsolètes, les LLM étant sur le point de dominer le paysage de l’IA ? La nouveauté implique-t-elle intrinsèquement la supériorité ?
Cet article vise à décortiquer le discours ML vs LLM, en explorant leurs disparités, fonctionnalités et les cas où l’un peut surpasser l’autre dans diverses applications d’IA.
Tracer une ligne entre ML et LLM
Il est d’abord essentiel de reconnaître que les Grands Modèles de Langage (LLM) sont un sous-ensemble du Machine Learning (ML). Le Machine Learning englobe un large éventail d’algorithmes et de modèles, allant des plus basiques comme Naive Bayes aux plus complexes comme les Réseaux de Neurones. Les LLM, une avancée récente, doivent leur existence à des concepts tels que les Réseaux de Neurones et la rétropropagation pour l’entraînement, qui ont révolutionné des domaines comme la vision par ordinateur, le traitement automatique du langage naturel (NLP) et l’apprentissage par renforcement. Cependant, le potentiel transformateur des Réseaux de Neurones n’a été pleinement réalisé qu’il y a environ une décennie, principalement en raison des limitations en matière de stockage de données et de puissance de calcul, qui ont été surmontées avec l’adoption généralisée des GPU et des méthodes abordables de stockage et de collecte de données.
Comprendre le Machine Learning
Les modèles de ML traditionnels ont longtemps reposé sur l’extraction de caractéristiques, un processus crucial pour diverses applications dans des secteurs comme la finance et la santé. Des techniques telles que les Machines à Vecteurs de Support et les Arbres de Décision, ainsi que les Réseaux de Neurones peu profonds, qui sont fondamentaux pour les LLM, dépendaient fortement de la qualité du feature engineering effectué sur les données disponibles. Cependant, cette approche avait des limites en raison de la capacité finie des humains à concevoir des transformations mathématiques complexes. Les Réseaux de Neurones Profonds, en particulier ceux utilisant les architectures Transformer et CNN, représentent un bond en avant significatif en automatisant et en améliorant l’extraction de caractéristiques. Ces modèles exploitent des techniques d’apprentissage auto-supervisé pour utiliser de vastes quantités de données non structurées, réduisant ainsi le besoin de prétraitement approfondi. Bien que les solutions de Deep Learning excellent dans des tâches comme les systèmes de recommandation et la recherche, elles ne sont pas toujours adaptées aux tâches nécessitant des techniques d’apprentissage au classement, où des solutions de ML traditionnelles comme les arbres de boosting peuvent être plus appropriées.
Comprendre le NLP (Traitement Automatique du Langage Naturel)
Dans le domaine du NLP, les techniques traditionnelles de traitement de texte comme TF-IDF et le sac de mots (Bag of Words) étaient essentielles pour vectoriser le texte avant l’essor de modèles comme Word2Vec et FastText. Avant l’émergence de modèles comme BERT, une part considérable des efforts en NLP se concentrait sur la perfection des étapes de prétraitement. Les Transformers, à commencer par BERT, ont ouvert la voie aux LLM, qui sont entraînés sur d’immenses quantités de données textuelles provenant d’Internet. Ces modèles excellent dans des tâches linguistiques complexes comme la traduction, les questions-réponses et le résumé, grâce à leurs vastes données d’entraînement et à la grande taille de leurs paramètres.
Si vous vous intéressez à la différence entre le NLP et les LLM, vous pouvez consulter notre blog : NLP vs LLM : Différences clés et synergies
La distinction entre ML et LLM dépend des exigences spécifiques de l’application. Les LLM sont souvent préférables pour les tâches nécessitant une compréhension nuancée du langage ou de l’IA générative, comme les chatbots ou le résumé de texte, en raison de leurs capacités avancées. Cependant, le ML traditionnel brille dans les scénarios où l’interprétabilité et l’efficacité computationnelle sont cruciales, comme l’analyse de données structurées ou les environnements à ressources limitées comme les appareils périphériques.
Dans certains domaines comme l’analyse de sentiments ou les systèmes de recommandation, le ML et les LLM peuvent tous deux offrir des solutions viables, chacune avec des avantages uniques. Ces méthodes peuvent être complémentaires plutôt que concurrentes, selon le cas d’utilisation spécifique. La section suivante détaillera les aspects de mise en œuvre et les considérations pour chaque technique, aidant ainsi au processus de décision pour divers cas d’utilisation.
La matrice de décision pour ML vs LLM
Les LLM excellent dans les tâches génératives nécessitant une compréhension complète du langage, tandis que le ML traditionnel conserve son efficacité dans les tâches discriminatives grâce à son efficacité et à ses moindres besoins en ressources. Par exemple, le ML peut être préféré pour l’analyse de sentiments ou la prédiction d’attrition des clients, tandis que les LLM sont privilégiés pour des tâches complexes comme la génération de code ou la complétion de texte.
Pipelines de démonstration ML vs DL vs LLM
Examinons un scénario où nous souhaitons construire un modèle d’analyse de sentiments pour évaluer la positivité ou la négativité des avis sur une plateforme de commerce électronique.
Nous allons étudier trois méthodologies distinctes : l’utilisation du Machine Learning avec XGBoost, l’exploitation du Deep Learning via TensorFlow, et la réalisation de prédictions d’analyse de sentiments à l’aide d’un Grand Modèle de Langage provenant d’OpenAI.
ML avec XGBoost
Pour commencer, je vais aborder l’utilisation de XGBoost, un algorithme de Machine Learning robuste et efficace, pour l’analyse de sentiments. Cette démonstration mettra en évidence les étapes d’extraction de caractéristiques à partir de données textuelles, d’entraînement du modèle et d’évaluation de ses performances, soulignant la capacité de XGBoost à traiter efficacement les données structurées.
Cet extrait de code illustre la mise en œuvre d’un pipeline de Machine Learning conçu pour l’analyse de sentiments, utilisant XGBoost, un célèbre framework de gradient boosting, en conjonction avec TF-IDF pour la vectorisation de texte. Le concept fondamental consiste à convertir les données textuelles en vecteurs numériques à l’aide de TF-IDF, une technique qui capture l’importance des mots dans un corpus, puis à appliquer XGBoost, un algorithme efficace et puissant basé sur les arbres de boosting, pour une tâche de classification binaire. Ce pipeline s’avère particulièrement efficace pour les ensembles de données structurées et est idéal pour les scénarios privilégiant l’interprétabilité et l’efficacité computationnelle. Cependant, il est important de noter que dans ce scénario, nous supposons que les données textuelles fournies au pipeline sont en parfait état, ce qui n’est souvent pas le cas. En général, des étapes préalables impliquent des traitements textuels tels que la suppression des mots vides (stop words) et la normalisation du texte.
DL avec TensorFlow :
Dans l’exemple suivant, je vais présenter une approche de Deep Learning utilisant TensorFlow. Ici, nous construisons un réseau de neurones simple (peu profond) pour traiter des données textuelles, dans le but d’illustrer comment le Deep Learning peut discerner des motifs complexes dans le langage en traversant des couches de réseaux de neurones. Voici une illustration utilisant TensorFlow avec Keras :
En passant de la démonstration précédente d’une méthode conventionnelle de Machine Learning pour l’analyse de sentiments, cet extrait de code se concentre sur une approche de Deep Learning utilisant TensorFlow, un framework robuste pour la construction de modèles basés sur des réseaux de neurones. Au cœur de cette illustration de Deep Learning se trouve la couche d’embedding, un concept notamment popularisé par Word2Vec. Cette couche traduit les mots en vecteurs denses dans un espace de haute dimension, capturant les relations sémantiques d’une manière qui va au-delà d’une simple vectorisation numérique. Contrairement à l’approche précédente avec TF-IDF et XGBoost, ce modèle de deep learning apprend les représentations des mots en contexte, lui permettant de saisir les subtilités de l’utilisation du langage. Le modèle utilise une architecture de réseau de neurones basique comprenant une couche d’embedding, une couche de pooling pour la réduction de dimensionnalité, et une couche dense pour la classification.
Il convient de noter que, par souci de simplicité, le réseau de neurones implémenté ne comporte qu’une seule couche cachée. Pour tirer pleinement parti des capacités d’extraction de caractéristiques des Réseaux de Neurones Profonds (DNN), un réseau de neurones avec une plus grande profondeur et complexité serait nécessaire. Cette méthodologie s’avère puissante pour des ensembles de données vastes et complexes où la capture de motifs linguistiques nuancés est primordiale. C’est un excellent exemple de la façon dont le Deep Learning peut rationaliser et améliorer l’extraction de caractéristiques, une tâche qui nécessitait traditionnellement une intervention manuelle intensive et une expertise du domaine.
LLM avec GPT-3
Enfin, j’explore un exemple utilisant un Grand Modèle de Langage, spécifiquement GPT-3, montrant comment ces modèles sophistiqués, pré-entraînés sur de vastes ensembles de données, peuvent être utilisés pour l’analyse de sentiments avec une configuration minimale, bien qu’ils dépendent d’API et de ressources externes. Voici une illustration utilisant l’API GPT-3 d’OpenAI pour l’analyse de sentiments :
Ce dernier extrait de code présente une approche alternative de l’analyse de sentiments en exploitant GPT-3 d’OpenAI (modèle Davinci), un Grand Modèle de Langage (LLM) avancé.
Ici, les subtilités de l’entraînement du modèle et de l’extraction de caractéristiques sont abstraites, car vous empruntez essentiellement un raccourci en utilisant un modèle pré-entraîné. Contrairement aux exemples précédents où les modèles étaient entraînés sur des ensembles de données spécifiques adaptés à la tâche, GPT-3 a été entraîné sur des ensembles de données vastes et diversifiés, ce qui lui confère la capacité de comprendre et de générer du texte semblable à celui d’un humain.
Le principal avantage de cette approche réside dans sa simplicité et sa polyvalence. Avec seulement quelques lignes de code et un peu d’ingénierie de prompt, vous pouvez exploiter les capacités des modèles GPT pour exécuter un large éventail de tâches, y compris l’analyse de sentiments, sans avoir besoin d’un prétraitement important des données ni d’un entraînement de modèle. Cet extrait communique du texte à l’API GPT-3 et récupère une évaluation des sentiments, montrant comment les LLM peuvent être facilement déployés pour une utilisation immédiate. Il souligne les progrès réalisés dans le traitement automatique du langage naturel, où la complexité de la compréhension du langage est intégrée dans le modèle pré-entraîné, ce qui le rend très puissant et convivial dans diverses applications.
Cependant, bien que cette solution soit plus facile à mettre en œuvre et potentiellement plus robuste, elle occulte le processus d’entraînement complexe impliqué dans le développement d’un Grand Modèle de Langage. Cet aspect peut soulever des considérations techniques et financières, que nous approfondirons ensuite.
Plongée dans les considérations techniques
Explorer le terrain technique des Grands Modèles de Langage implique de naviguer à la fois dans la dette technique et les considérations de coût. Bien que ces modèles simplifient le déploiement et atténuent les complexités, comme illustré dans les exemples ci-dessus, ils entraînent également des implications financières. Cette transition des défis techniques aux défis financiers souligne la nécessité d’un examen plus approfondi des compromis entre l’efficacité technique et les coûts tangibles liés au déploiement et au maintien des LLM.
Dette technique et coût
En réfléchissant aux exemples précédents, il est évident que si les LLM tels que GPT-4 ou Llambda offrent un traitement rationalisé et une convivialité, ils posent également des défis en termes de coûts. Ces modèles, capables de comprendre et de répondre à divers prompts, simplifient notablement le processus de déploiement et atténuent les complexités généralement associées au développement et à la maintenance de modèles. Cela contraste fortement avec les méthodes de ML comme XGBoost, qui exigent une implication plus pratique dans le feature engineering et l’optimisation du modèle.
Lorsqu’on envisage les applications des LLM, on peut les considérer comme un moyen de transformer les complexités et les obstacles techniques associés à la construction de pipelines de machine learning et de deep learning en un coût financier. En effet, les transformers, l’architecture sous-jacente de ces modèles, prennent en charge la tâche complexe d’extraction de caractéristiques, qui nécessite traditionnellement des ressources computationnelles et une expertise substantielles. Cependant, cette commodité s’accompagne d’un compromis sous la forme d’une dépendance accrue à l’égard de puissantes unités de traitement graphique (GPU). Ces GPU représentent soit une dépense directe si l’on héberge son propre LLM, comme Llambda, soit ce coût est intégré dans les frais de service lors de l’utilisation d’un service géré, comme avec les modèles OpenAI. Essentiellement, le fardeau de la complexité technique est transféré en un fardeau financier, rendant la technologie accessible mais à un prix.
Latence et nature de la tâche
Dans les applications destinées aux utilisateurs, la vitesse à laquelle les modèles d’IA peuvent traiter et répondre aux entrées, connue sous le nom de latence, revêt une importance primordiale.
Les modèles de ML traditionnels, réputés pour leurs capacités de traitement rapide, sont idéaux pour les applications en temps réel et à grande vitesse, comme l’exécution d’algorithmes de trading financier, la fourniture de recommandations ou la gestion de systèmes de réponse d’urgence où les décisions en une fraction de seconde sont critiques.
Pendant des années, le milieu universitaire et l’industrie ont investi des efforts considérables dans l’optimisation et la mise à l’échelle des coûts computationnels associés à la prédiction et à l’entraînement des modèles de ML.
Cependant, le paysage change lorsqu’il s’agit des LLM. Prenons l’exemple d’un assistant virtuel dans une application de service client. Bien que les réponses immédiates restent essentielles, la compréhension complète du langage des LLM peut nettement améliorer la qualité et la profondeur des interactions, justifiant un léger délai dans les réponses. Ce compromis nuancé est également évident dans les tâches de génération de contenu, où la richesse et la cohérence du texte ou des images générées par les LLM peuvent l’emporter sur la nécessité de résultats instantanés typiquement observée dans d’autres applications.
Essentiellement, le choix entre les modèles de ML traditionnels et les LLM nécessite une évaluation minutieuse de la nature et de l’urgence spécifiques des tâches à accomplir. L’équilibre entre la latence et la compréhension du langage apparaît comme un facteur critique pour déterminer la solution optimale pour un contexte technique donné, soulignant la nécessité d’approches adaptées et la reconnaissance que des applications diverses nécessitent des considérations distinctes.
Néanmoins, des efforts continus sont en cours pour optimiser les ressources computationnelles requises par ces LLM afin de fournir des réponses plus rapides à plus grande échelle.
Conclusion
Lorsqu’on considère le ML par rapport aux LLM, il est essentiel de comprendre leurs forces et faiblesses uniques. La décision dépend en fin de compte des exigences et contraintes spécifiques de l’application, telles que le coût, la latence et la nature de la tâche. Cependant, deux considérations clés doivent toujours être au premier plan lors de l’évaluation de vos options.
novita.ai, la plateforme tout-en-un pour une créativité illimitée qui vous donne accès à plus de 100 API. De la génération d’images au traitement du langage, en passant par l’amélioration audio et la manipulation vidéo, avec un paiement à l’utilisation avantageux, elle vous libère des tracas de la maintenance des GPU tout en construisant vos propres produits. Essayez-la gratuitement.
Lectures recommandées
Moteur d’inférence LLM Novita AI : le plus grand débit et l’inférence la moins chère disponible
