Introduction
Comment les grands modèles de langage sont-ils développés ? Comment peuvent-ils être utilisés en médecine ? Quels sont quelques LLM populaires en médecine ? Comment entraîner mon propre LLM en médecine ? Quelles sont les limites des LLM en médecine ? Dans cet article, nous explorerons ces questions une par une.
Comment les grands modèles de langage sont-ils développés ?
Le développement des grands modèles de langage (LLM) implique plusieurs éléments clés (Thirunavukarasu et al., 2023) :
Architecture du modèle
Les LLM utilisent généralement des architectures de réseaux de neurones qui exploitent des techniques d’apprentissage profond pour représenter les relations associatives complexes entre les mots dans les données d’entraînement textuelles. L’architecture la plus connue est le Transformer, utilisé dans des modèles comme GPT (Generative Pre-trained Transformer).
Données d’entraînement
Les LLM sont entraînés sur des ensembles de données massifs contenant des milliards de mots provenant de diverses sources comme les sites web, les livres et les articles. Par exemple, GPT-3 a été entraîné sur un ensemble de données de 45 téraoctets comprenant des pages web Common Crawl, WebText, des livres et Wikipedia.
Pré-entraînement
Le processus d’entraînement initial est appelé pré-entraînement, qui est généralement non supervisé. Il consiste à entraîner le modèle sur une tâche de modélisation du langage, où il apprend à prédire le mot suivant dans une séquence en fonction des mots précédents. Les approches courantes de pré-entraînement incluent la modélisation causale du langage, la modélisation masquée du langage et les autoencodeurs débruitants.
Mise à l’échelle du modèle
À mesure que les LLM deviennent plus grands (plus de paramètres) et sont entraînés sur des ensembles de données plus volumineux avec des ressources de calcul croissantes, ils développent des capacités améliorées en few-shot et zero-shot, leur permettant de bien performer sur des tâches inédites avec peu ou pas de données d’entraînement spécifiques à la tâche.
Réglage fin (fine-tuning)
Après le pré-entraînement, les LLM subissent un réglage fin, où ils sont entraînés sur des tâches ou des jeux de données spécifiques pour optimiser les performances. Pour ChatGPT, le réglage fin a consisté à exposer GPT-3 à des prompts et des réponses humaines, et à utiliser l’apprentissage par renforcement à partir du feedback humain (RLHF) pour améliorer la qualité des réponses. Pour les LLM en médecine, on peut effectuer un réglage fin sur des questions-réponses en utilisant des questions d’examens médicaux, ou sur le résumé en utilisant des notes cliniques.
Entraînement continu
Certaines applications de LLM comme ChatGPT peuvent subir un entraînement et un réglage fin continus lorsqu’elles sont déployées et interagissent avec les utilisateurs, ce qui leur permet d’apprendre et de s’améliorer à partir des données et des commentaires du monde réel.
Comment les grands modèles de langage peuvent-ils être utilisés en médecine ?
Thirunavukarasu et al. (2023) discutent de plusieurs scénarios et applications dans lesquels les grands modèles de langage (LLM) sont utilisés ou pourraient potentiellement être exploités en médecine :
Aide à la décision clinique
Les LLM comme ChatGPT ont démontré leur capacité à obtenir des notes de passage aux examens de licence médicale, ce qui suggère un potentiel d’utilisation dans la prise de décision clinique et la fourniture de recommandations diagnostiques/thérapeutiques aux professionnels de santé.
Éducation des patients
Les LLM pourraient être utilisés pour générer du matériel éducatif personnalisé pour les patients, des instructions et des explications en langage simple adaptées à leur état de santé et à leur historique.
Recherche médicale
Les LLM peuvent assister les chercheurs en résumant la littérature scientifique, en générant des hypothèses, en analysant des données et même en aidant à rédiger des articles de recherche et des propositions de subventions.
Formation médicale
Les LLM sont explorés comme tuteurs ou assistants virtuels pour les étudiants en médecine et les stagiaires afin de les aider à répondre aux questions, à renforcer leurs connaissances et à s’entraîner pour les examens.
Documentation clinique
Les LLM pourraient potentiellement améliorer l’efficacité en automatisant certains aspects de la documentation clinique comme la prise de notes et le résumé des dossiers à partir des dialogues patient-soignant.
Réponse aux questions biomédicales
Les LLM peuvent rapidement récupérer et synthétiser des informations à partir de grandes bases de connaissances médicales pour répondre aux questions cliniques des praticiens.
Codage et facturation médicale
Les LLM pourraient aider à coder avec précision les rencontres avec les patients pour la facturation en comprenant les notes cliniques et en les mappant à des codes standardisés.
Quels sont quelques LLM populaires en médecine ?
Série GPT (Generative Pretrained Transformer) :
- GPT-3 : Un grand modèle d’environ 175 milliards de paramètres, connu pour sa capacité à générer du texte semblable à celui d’un humain et ayant été affiné pour diverses tâches.
- GPT-4 : La dernière version au moment de l’article, avec des capacités améliorées incluant le traitement d’entrées multimodales comme les images, le texte et l’audio.
BERT (Bidirectional Encoder Representations from Transformers) :
- BioBERT : Pré-entraîné sur la littérature biomédicale, il est adapté à la fouille de textes biomédicaux.
- PubMedBERT : Similaire à BioBERT mais spécifiquement entraîné sur les résumés PubMed.
- ClinicalBERT : Adapté aux notes cliniques et entraîné sur des dossiers de santé électroniques.
PaLM (Pathways Language Model) :
- Flan-PaLM : Version affinée de PaLM pour la réponse aux questions médicales, obtenant des résultats de pointe.
- Med-PaLM : Un modèle ajusté par instructions démontrant des capacités en connaissances cliniques, consensus scientifique et raisonnement médical.
BioGPT :
- Un modèle pré-entraîné sur les résumés PubMed pour des tâches incluant la réponse aux questions, l’extraction de relations et la classification de documents.
BioMedLM (anciennement PubMedGPT) :
- Pré-entraîné à la fois sur les résumés PubMed et les textes intégraux, montrant des avancées dans les LLM biomédicaux.
LLaMA (LLMs for Academic Medicine) :
- Une famille de modèles open-source de différentes tailles, conçus pour des applications académiques et médicales.
Modèles de base cliniques (Clinical Foundation Models) :
- Ce sont des modèles entraînés à partir de zéro en utilisant des données de dossiers de santé électroniques, ce qui peut nécessiter moins de données étiquetées et gérer efficacement les données multimodales.
InstructGPT :
- Un modèle qui a été affiné pour suivre des instructions et a été évalué pour son utilité dans le domaine de la santé.
Megatron-LM :
- Un modèle de langage à grande échelle développé par NVIDIA, connu pour sa taille et ses besoins en calcul.
Comment entraîner mon propre LLM en médecine ?
Étape 1 : Choisir une API et configurer
Sélectionnez une API qui prend en charge l’entraînement de modèles personnalisés, comme Novita AI LLM API qui fournit des modèles pré-entraînés puissants et des outils de personnalisation, y compris Llama 3 8B et 70B. Novita AI offre une compatibilité avec la norme de l’API OpenAI, facilitant l’intégration dans des applications existantes.
Avant d’intégrer les API, vous devez évaluer les performances des LLM disponibles afin de décider lesquels répondent à vos attentes pour votre propre LLM médical.
Étape 2 : Rassembler et préparer les données
Collectez un grand ensemble de données textuelles médicales pertinentes pour votre domaine spécifique (par exemple, notes cliniques, articles de recherche, littérature médicale). Assurez-vous que votre ensemble de données est diversifié et représentatif du langage et des sujets que vous souhaitez que votre modèle comprenne.
Étape 3 : Prétraiter les données
Nettoyez et prétraitez votre ensemble de données pour supprimer le bruit et les informations non pertinentes. Cela peut inclure :
- Tokenisation : Division du texte en tokens (mots ou sous-mots).
- Suppression des mots vides (stopwords) : Mots courants qui n’apportent pas beaucoup de sens.
- Normalisation du texte : Mise en minuscules, gestion des abréviations, etc.
Étape 4 : Réglage fin (fine-tuning) du modèle pré-entraîné
La plupart des API LLM fournissent des modèles pré-entraînés que vous pouvez affiner sur votre ensemble de données spécifique. Le réglage fin implique :
- Initialiser votre modèle avec les poids pré-entraînés de l’API.
- Fournir votre ensemble de données à l’interface d’entraînement de l’API.
- Spécifier des paramètres tels que la taille du lot (batch size), le taux d’apprentissage (learning rate), le nombre d’époques (epochs), etc.
Étape 5 : Surveiller la progression de l’entraînement
Pendant le réglage fin, surveillez des métriques telles que la perte (loss) et la précision (accuracy) pour évaluer la performance du modèle. Ajustez les hyperparamètres si nécessaire pour améliorer les performances.
Étape 6 : Évaluer la performance du modèle
Une fois l’entraînement terminé, évaluez votre modèle sur un ensemble de validation distinct pour évaluer sa capacité de généralisation et sa précision. Utilisez des métriques pertinentes pour vos tâches spécifiques (par exemple, précision, score F1 pour les tâches de classification).
Étape 7 : Amélioration itérative
Améliorez itérativement votre modèle en :
- Effectuant un réglage fin avec des données supplémentaires.
- Ajustant les hyperparamètres.
- Intégrant les retours de l’évaluation du modèle.
Étape 8 : Déployer et utiliser
Après avoir obtenu des performances satisfaisantes, déployez votre modèle via l’API pour l’inférence. Assurez-vous que votre déploiement respecte toutes les directives réglementaires ou éthiques pour les applications médicales.
Étape 9 : Maintenir et mettre à jour
Mettez régulièrement à jour votre modèle avec de nouvelles données pour le garder actuel et améliorer ses performances au fil du temps. Surveillez la dérive et réentraînez si nécessaire.
Considérations :
- Considérations éthiques et légales : Assurez-vous de respecter les lois sur la protection des données (par exemple, HIPAA), les directives éthiques et les réglementations régissant les applications d’IA médicale.
- Exigences en ressources : L’entraînement d’un LLM peut être intensif en ressources (puissance de calcul, stockage de données), alors planifiez en conséquence.
- Validation : Validez les prédictions de votre modèle avec des experts du domaine pour garantir la fiabilité et la sécurité dans les applications médicales.
En suivant ces étapes, vous pouvez entraîner efficacement votre propre LLM médical en utilisant une API, en tirant parti de ses capacités pré-entraînées et en le personnalisant selon vos besoins spécifiques dans le domaine de la santé.
Quelles sont les limites des grands modèles de langage en médecine ?
Omiye et al. (2024) et Thirunavukarasu et al. (2023) ont relevé les limites suivantes des LLM en médecine :
Problèmes de précision
Les sorties des LLM dépendent fortement de la qualité et de l’exhaustivité des données d’entraînement. Les très grands ensembles de données ne peuvent pas être entièrement vérifiés, et certaines informations peuvent être obsolètes.
Manque de spécificité au domaine
La plupart des LLM sont entraînés sur des données générales non spécifiques au domaine de la santé. Cela peut entraîner des sorties biaisées ou incorrectes pour les tâches médicales.
Absence de véritable compréhension
Les LLM génèrent des sorties basées sur des schémas statistiques dans les données d’entraînement, sans véritable compréhension. Ils peuvent produire des réponses absurdes ou fictives.
Problèmes de biais et d’équité
Les ensembles de données d’entraînement encodent des biais sociétaux contre les groupes minoritaires, les handicaps, les genres, etc., qui se reflètent dans les sorties des LLM.
Préoccupations concernant la confidentialité
Les LLM publics actuellement disponibles ne sont pas conformes à la HIPAA, ce qui signifie qu’ils ne peuvent pas être directement exposés à des informations de santé protégées issues des dossiers des patients.
Manque d’explicabilité
Le fonctionnement interne et le processus de raisonnement des grands LLM sont des « boîtes noires » opaques, ce qui rend difficile la compréhension de la manière dont ils parviennent à des sorties particulières à des fins d’audit.
Dépendance excessive aux LLM
Il existe des préoccupations éthiques concernant une dépendance excessive aux sorties des LLM, ce qui pourrait favoriser le plagiat ou étouffer la pensée originale dans la recherche médicale et l’éducation s’ils ne sont pas utilisés judicieusement.
Conclusion
En conclusion, les grands modèles de langage (LLM) offrent un potentiel significatif pour révolutionner les applications médicales, de l’aide à la décision clinique à la formation médicale et à la recherche. Malgré leurs avantages potentiels, des défis tels que les limitations de précision, les biais, les préoccupations de confidentialité et la nature opaque des sorties doivent être résolus pour une intégration responsable dans les soins de santé. Une collaboration continue entre les chercheurs en IA, les professionnels de la santé et les décideurs politiques est cruciale pour exploiter le potentiel des LLM tout en garantissant un déploiement éthique et efficace dans les contextes médicaux.
Références
Omiye, J. A., Gui, H., Rezaei, S. J., Zou, J., & Daneshjou, R. (2024). Large Language Models in Medicine: The Potentials and Pitfalls : A Narrative Review. Annals of Internal Medicine, 177(2), 210–220. https://doi.org/10.7326/M23-2772
Thirunavukarasu, A. J., Ting, D. S. J., Elangovan, K., Gutierrez, L., Tan, T. F., & Ting, D. S. W. (2023). Large language models in medicine. Nature Medicine, 29(8), 1930–1940. https://doi.org/10.1038/s41591-023-02448-8
Novita AI est la plateforme cloud tout-en-un qui alimente vos ambitions en IA. Avec des API intégrées de manière transparente, le calcul sans serveur et l’accélération GPU, nous fournissons les outils rentables dont vous avez besoin pour créer et faire évoluer rapidement votre entreprise axée sur l’IA. Éliminez les problèmes d’infrastructure et commencez gratuitement — Novita AI réalise vos rêves en matière d’IA.
