Introduction
Les grands modèles de langage peuvent-ils transformer les sciences sociales computationnelles ? Attendez une seconde, que fait exactement la science sociale computationnelle ? Bienvenue dans le domaine dynamique des sciences sociales computationnelles (SSC), où les grands modèles de langage (LLM) révolutionnent la manière dont nous analysons et interprétons les comportements sociaux, les opinions et les tendances.
Dans cet article, centré sur les LLM en SSC, nous explorerons le rôle des sciences sociales computationnelles, l’alignement des capacités des LLM avec les exigences des tâches SSC, les performances des LLM dans des tâches SSC réelles et les orientations futures des LLM en SSC. De plus, vous apprendrez également à utiliser les API LLM pour votre propre projet de sciences sociales computationnelles. Si cela vous intéresse, continuez à lire !
Quel est le rôle des sciences sociales computationnelles ?
Imaginez un monde où les ordinateurs nous aident à comprendre des problèmes sociaux complexes, comme ce qui fait qu’un mème se propage comme une traînée de poudre, ou comment l’opinion publique évolue pendant les élections. C’est le domaine des sciences sociales computationnelles (SSC). En exploitant la puissance de calcul massive disponible aujourd’hui, la SSC explore les volumes gigantesques de données que nous générons chaque jour sur les réseaux sociaux, les blogs et autres plateformes en ligne pour étudier le comportement humain et les tendances sociétales de manière détaillée et scientifique.
Par exemple, la SSC peut suivre comment un hashtag spécifique lié au changement climatique gagne en dynamisme au fil du temps et cartographier les régions du monde les plus engagées dans cette conversation. Elle peut analyser des tweets pour comprendre le sentiment public envers de nouvelles politiques gouvernementales ou évaluer les réactions à des événements mondiaux comme les Jeux olympiques ou les Oscars. En examinant les motifs dans les données, la SSC aide à prédire les tendances et même le potentiel de changements sociétaux.
De plus, la SSC peut explorer des aspects plus personnels du comportement social, comme la façon dont des communautés se forment autour d’intérêts particuliers en ligne, du tricot à la physique quantique, et comment ces communautés évoluent dans le temps.
En substance, la SSC utilise la puissance des ordinateurs non seulement pour collecter et analyser des données, mais aussi pour construire des modèles complets de l’interaction sociale humaine et prédire les comportements et tendances futurs à partir d’observations actuelles. Cette compréhension approfondie peut aider à tout, des campagnes marketing à l’élaboration de politiques, en permettant aux dirigeants de prendre des décisions éclairées en phase avec la dynamique réelle de leurs sociétés.
Comment les LLM peuvent-ils aider en sciences sociales computationnelles ?
Les LLM peuvent apporter une aide considérable aux SSC en exploitant leurs capacités avancées en traitement du langage naturel. Voici comment les capacités des LLM s’alignent sur les exigences des tâches SSC :
Classification de texte améliorée
Les LLM peuvent classer des textes dans diverses catégories (idéologie politique, sentiment, sujets) sans nécessiter de données d’entraînement supplémentaires, ce qui est crucial pour les recherches en SSC qui couvrent des sujets divers.
Aide à l’annotation de données
Les LLM peuvent servir d’annotateurs zero-shot, fournissant des étiquettes ou classifications préliminaires à examiner par des experts humains. Cela peut considérablement accélérer le processus d’annotation en SSC.
Résumé et explication
Les LLM peuvent résumer de grands volumes de texte et générer des explications pour des phénomènes sociaux complexes, aidant les chercheurs à donner du sens à des masses de données.
Réponses aux questions
Les LLM peuvent répondre à des questions spécifiques sur des textes, offrant des perspectives qui nécessiteraient autrement une analyse manuelle exhaustive.
Détection des biais sociaux
Ils peuvent identifier et analyser les biais sociaux dans le langage, un aspect important pour garantir l’équité dans la recherche en SSC.
Collaboration humain-IA
Les LLM peuvent travailler aux côtés des chercheurs humains, combinant les forces des deux pour améliorer la fiabilité et l’efficacité de l’analyse en SSC.
Sélection et adaptation de modèles
Comprendre les performances des différents LLM sur des tâches SSC peut aider les chercheurs à choisir les modèles les plus efficaces pour leurs besoins spécifiques.
Quelle est la performance des LLM sur ces tâches de sciences sociales computationnelles ?
Les preuves empiriques de Ziems et al. (2024), intitulées « Can Large Language Models Transform Computational Social Science? », fournissent une évaluation complète des performances des LLM sur diverses tâches de sciences sociales computationnelles. L’étude comprenait un pipeline d’évaluation étendu mesurant la performance zero-shot de 13 modèles de langage sur 25 benchmarks SSC représentatifs en anglais. Les résultats mettent en lumière les forces et les limites des LLM dans le contexte des SSC.
Performance dans les tâches de classification
Dans les tâches d’étiquetage taxonomique, analogues à la classification en sciences sociales, les LLM n’ont pas surpassé les meilleurs modèles fine-tunés mais ont tout de même atteint des niveaux d’accord acceptables avec les annotateurs humains (Ziems et al., 2024). Ziems et al. rapportent que pour la détection de position (stance detection), le meilleur modèle zero-shot a obtenu un score F1 de 76,0 %, avec un accord substantiel (κ = 0,58) avec les annotations humaines. Cela suggère que les LLM peuvent être des partenaires fiables dans le processus d’annotation, en particulier lorsqu’ils sont utilisés conjointement avec le jugement humain.
Performance dans les tâches de génération
Les LLM ont démontré une capacité remarquable dans les tâches de codage libre (free-form coding), qui impliquent de la génération. Ils ont produit des explications qui dépassaient souvent la qualité des références or des travailleurs (crowdworkers) (Ziems et al., 2024). Par exemple, dans la tâche de génération d’explications pour des inférences de biais social, les LLM leaders ont atteint la parité avec la qualité des références du jeu de données et ont été préférés par les évaluateurs humains 50 % du temps. Cela indique que les LLM peuvent être précieux dans les tâches de génération créative, comme expliquer les attributs sous-jacents d’un texte.
Accord avec les annotateurs humains
Une métrique importante pour évaluer la performance des LLM est leur accord avec les annotateurs humains. Ziems et al. (2024) ont constaté que pour 8 des 17 tâches de classification, les modèles ont obtenu des scores d’accord modérés à bons, allant de κ = 0,40 à 0,65. Cela indique que les LLM peuvent être un outil viable pour augmenter l’annotation humaine en SSC, en particulier dans les tâches avec des définitions explicites et largement reconnues, comme les catégories d’émotions et les positions politiques.
Analyse des erreurs
Ziems et al. (2024) ont également mené une analyse des erreurs, révélant que dans certains cas, les erreurs des LLM étaient dues à des erreurs d’annotation dans le jeu de données de référence plutôt qu’à des déficiences du modèle. Cette constatation suggère que l’intégration des LLM dans le processus d’annotation pourrait potentiellement améliorer la qualité des annotations en fournissant une couche supplémentaire de validation.
Viabilité de l’apprentissage few-shot
L’article a également exploré la viabilité de l’apprentissage few-shot, où les LLM reçoivent un petit nombre d’exemples pour améliorer leurs performances sur une tâche. Les résultats étaient mitigés, indiquant que bien que l’apprentissage few-shot puisse améliorer les performances dans certaines tâches, il n’améliore pas uniformément la performance sur toutes les tâches SSC (Ziems et al., 2024).
En résumé, les preuves empiriques de Ziems et al. (2024) démontrent que les LLM peuvent être efficaces pour effectuer diverses tâches SSC, en particulier lorsqu’ils sont utilisés conjointement avec des annotateurs humains. Bien qu’il y ait une marge d’amélioration, surtout dans les tâches nécessitant une compréhension et une génération complexes, les résultats sont prometteurs et suggèrent que les LLM peuvent être un atout précieux dans la boîte à outils des sciences sociales computationnelles.
Comment utiliser les API LLM pour mon propre projet de sciences sociales computationnelles ?
Pour utiliser les API LLM dans un projet SSC, vous devez d’abord identifier les tâches spécifiques que les LLM peuvent aider, comme la classification, l’analyse syntaxique, le résumé ou la génération.
Ensuite, vous devez sélectionner un LLM qui correspond aux exigences de votre projet, en tenant compte de facteurs tels que la taille du modèle, les données de pré-entraînement et les paradigmes de fine-tuning. En suivant les bonnes pratiques de prompting décrites par Ziems et al. (2024), vous pouvez concevoir des prompts pour susciter le comportement souhaité du modèle.
Novita AI propose aux développeurs une API LLM équipée de différents modèles de LLM. De cette manière, vous pouvez facilement tirer parti d’un large éventail de leurs forces.
De plus, l’API LLM de Novita AI offre des paramètres ajustables et une entrée de prompt système pour répondre à vos besoins spécifiques. Par exemple, pour que votre LLM réponde à vos questions comme un réalisateur de film, il suffit d’entrer « Sois un réalisateur de film ». Quant aux paramètres, en modifiant simplement les nombres, vous pouvez contrôler des aspects de la sortie du modèle tels que la créativité, la répétition de mots, la longueur de la réponse, etc. Essayez-le vous-même sur notre Playground !
Enfin, il est également recommandé d’utiliser une approche human-in-the-loop pour valider et affiner les sorties générées par les LLM. Cette approche favorise un processus itératif d’amélioration, où le feedback humain est utilisé pour améliorer les performances du modèle, conduisant à des résultats de recherche plus fiables et valides. Elle reconnaît également les limites actuelles des LLM dans le traitement de données sociales complexes, telles que les conversations et les documents complets, et souligne l’importance de l’implication humaine pour relever ces défis et maintenir les normes éthiques de la recherche.
Quelles sont les orientations futures des grands modèles de langage en sciences sociales computationnelles ?
Augmentation de l’annotation humaine
Les LLM peuvent servir d’annotateurs de données zero-shot, aidant les équipes d’annotation humaine en fournissant des étiquettes et des résumés préliminaires qui peuvent être examinés et affinés par des experts humains. Cette collaboration peut accroître l’efficacité des processus d’annotation de données.
Amorçage de tâches de génération créative
Les LLM ont le potentiel d’améliorer les tâches nécessitant une génération créative, comme expliquer les attributs sous-jacents d’un texte ou générer des explications informatives pour des concepts de sciences sociales.
Adaptation spécifique à un domaine
Les LLM peuvent être adaptés pour mieux performer dans des domaines scientifiques spécifiques. Les performances des modèles pouvant varier selon les disciplines académiques, cela suggère un besoin de fine-tuning ou de développement de modèles spécifiques à un domaine.
Amélioration des fonctionnalités
On s’attend à ce que les LLM s’améliorent à la fois dans les tâches de classification et de génération. Cela inclut l’aide aux tâches d’étiquetage ainsi que la génération de résumés et d’explications pour une gamme de phénomènes en sciences sociales.
Méthodologie d’évaluation
Le développement de nouvelles métriques et procédures d’évaluation est nécessaire pour capturer la validité sémantique du codage libre (free-form coding) avec les LLM, en particulier lorsqu’ils approchent ou dépassent la performance humaine dans certaines tâches.
Recherche interdisciplinaire
Les LLM pourraient permettre de nouveaux paradigmes de recherche interdisciplinaire en combinant les capacités de l’apprentissage supervisé et non supervisé, permettant ainsi une génération et un test d’hypothèses plus dynamiques.
Simulation et analyse de politiques
Les LLM peuvent être utilisés pour simuler des phénomènes sociaux et prédire les effets des changements de politiques, bien que cela comporte des défis liés à l’imprévisibilité des systèmes sociaux et à la nécessité d’une validation minutieuse.
Applications interculturelles
Les recherches futures devraient explorer l’utilité des LLM pour les applications SSC interculturelles, en tenant compte de la diversité des langues et des contextes culturels au-delà des populations occidentales, éduquées, industrialisées, riches et démocratiques (WEIRD).
Conclusion
Dans le domaine des sciences sociales computationnelles, les grands modèles de langage émergent comme des outils transformateurs qui améliorent notre façon d’analyser et d’interpréter des données sociales complexes. Ces modèles facilitent des tâches telles que la classification de texte, l’annotation de données et la génération de modèles de comportement social, associant la puissance de calcul de l’IA à l’expertise humaine pour améliorer la précision et l’efficacité de la recherche.
Des études empiriques, comme celles de Ziems et al. (2024), indiquent que même si les LLM ne sont pas encore supérieurs dans tous les aspects, ils performent de manière louable aux côtés des annotateurs humains dans des tâches telles que l’analyse des sentiments et la détection des biais sociaux. Ce partenariat suggère une voie prometteuse pour les applications actuelles et futures des SSC.
En regardant vers l’avenir, les LLM dans les SSC sont destinés à révolutionner le domaine en améliorant à la fois la profondeur et la portée de la recherche, en embrassant des contextes sociaux plus diversifiés et en affinant les méthodologies. Cette intégration naissante promet de rendre la recherche en sciences sociales plus prédictive, inclusive et percutante, marquant une nouvelle ère d’analyse computationnelle guidée à la fois par la perspicacité humaine et l’intelligence artificielle.
Références
Ziems, C., Held, W., Shaikh, O., Chen, J., Zhang, Z., & Yang, D. (2024). Can Large Language Models Transform Computational Social Science? Computational Linguistics, 50(1). https://arxiv.org/abs/2305.03514
Novita AI, la plateforme tout-en-un pour une créativité sans limites qui vous donne accès à plus de 100 APIs. De la génération d’images au traitement du langage, en passant par l’amélioration audio et la manipulation vidéo, pay-as-you-go économique, elle vous libère des contraintes de maintenance GPU tout en construisant vos propres produits. Essayez-la gratuitement.
