Introducción
¿Cómo se desarrollan los modelos de lenguaje grandes? ¿Cómo se pueden usar en medicina? ¿Cuáles son algunos LLM populares en medicina? ¿Cómo entrenar mi propio LLM en medicina? ¿Cuáles son las limitaciones de los LLM en medicina? En este blog exploraremos estas preguntas una por una.
¿Cómo se desarrollan los modelos de lenguaje grandes?
El desarrollo de los modelos de lenguaje grandes (LLM) implica varios componentes clave (Thirunavukarasu et al., 2023):
Arquitectura del modelo
Los LLM suelen usar arquitecturas de redes neuronales que aprovechan técnicas de aprendizaje profundo para representar las complejas relaciones asociativas entre las palabras en los datos de entrenamiento de texto. La arquitectura más conocida es el Transformer, utilizada en modelos como GPT (Generative Pre-trained Transformer).
Datos de entrenamiento
Los LLM se entrenan en conjuntos de datos masivos que contienen miles de millones de palabras de diversas fuentes como sitios web, libros y artículos. Por ejemplo, GPT-3 se entrenó en un conjunto de datos de 45 terabytes que comprendía páginas web de Common Crawl, WebText, libros y Wikipedia.
Preentrenamiento
El proceso de entrenamiento inicial se llama preentrenamiento y generalmente no es supervisado. Implica entrenar el modelo en una tarea de modelado del lenguaje, donde aprende a predecir la siguiente palabra en una secuencia basándose en las palabras anteriores. Los enfoques comunes de preentrenamiento incluyen modelado causal del lenguaje, modelado de lenguaje enmascarado y autoencoders de denoising.
Escalado del modelo
A medida que los LLM se vuelven más grandes (más parámetros) y se entrenan en conjuntos de datos más grandes con recursos computacionales crecientes, desarrollan mejores capacidades de few-shot y zero-shot, lo que les permite desempeñarse bien en tareas no vistas con pocos o ningún dato de entrenamiento específico de la tarea.
Ajuste fino (Fine-tuning)
Después del preentrenamiento, los LLM se someten a un ajuste fino, donde se entrenan en tareas o conjuntos de datos específicos para optimizar el rendimiento. Para ChatGPT, el ajuste fino implicó exponer GPT-3 a indicaciones y respuestas de humanos, y usar aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) para mejorar la calidad de las respuestas. Para LLM en medicina, se ajusta en preguntas y respuestas usando preguntas de exámenes médicos, o en resúmenes usando notas clínicas.
Entrenamiento continuo
Algunas aplicaciones de LLM como ChatGPT pueden someterse a entrenamiento y ajuste fino continuos mientras se implementan e interactúan con los usuarios, lo que les permite aprender y mejorar a partir de datos y comentarios del mundo real.
¿Cómo se pueden usar los modelos de lenguaje grandes en medicina?
Thirunavukarasu et al. (2023) discuten varios escenarios y aplicaciones donde los modelos de lenguaje grandes (LLM) se están utilizando o podrían aprovecharse en medicina:
Apoyo a la toma de decisiones clínicas
LLM como ChatGPT han demostrado la capacidad de obtener puntuaciones aprobatorias en exámenes de licencias médicas, lo que sugiere su potencial para su uso en la toma de decisiones clínicas y proporcionar recomendaciones diagnósticas/terapéuticas a los profesionales de la salud.
Educación del paciente
Los LLM podrían usarse para generar materiales de educación del paciente personalizados, instrucciones y explicaciones en lenguaje sencillo adaptadas a la condición de salud y los antecedentes del paciente.
Investigación médica
Los LLM pueden ayudar a los investigadores resumiendo literatura científica, generando hipótesis, analizando datos e incluso ayudando a redactar artículos de investigación y propuestas de subvenciones.
Educación médica
Los LLM se están explorando como tutores o asistentes virtuales para estudiantes de medicina y residentes, para ayudar con preguntas y respuestas, refuerzo de conocimientos y práctica para exámenes.
Documentación clínica
Los LLM podrían mejorar la eficiencia al automatizar aspectos de la documentación clínica, como la toma de notas y el resumen de registros basados en el diálogo entre paciente y proveedor.
Respuesta a preguntas biomédicas
Los LLM pueden recuperar y sintetizar rápidamente información de grandes bases de conocimiento médico para responder consultas clínicas de los profesionales.
Codificación y facturación médica
Los LLM podrían ayudar a codificar con precisión los encuentros con pacientes para facturación, entendiendo las notas clínicas y mapeándolas a códigos estandarizados.
¿Cuáles son algunos LLM populares en medicina?
Serie GPT (Generative Pretrained Transformer):
- GPT-3: Un modelo grande con aproximadamente 175 mil millones de parámetros, conocido por su capacidad para generar texto similar al humano y ha sido ajustado para diversas tareas.
- GPT-4: La versión más reciente en el momento de los artículos, con capacidades mejoradas que incluyen el manejo de entrada multimodal como imágenes, texto y audio.
BERT (Bidirectional Encoder Representations from Transformers):
- BioBERT: Preentrenado en literatura biomédica, está diseñado para la minería de texto biomédico.
- PubMedBERT: Similar a BioBERT pero entrenado específicamente en resúmenes de PubMed.
- ClinicalBERT: Adaptado para notas clínicas y entrenado en registros médicos electrónicos.
PaLM (Pathways Language Model):
- Flan-PaLM: Versión ajustada de PaLM para preguntas y respuestas médicas, logrando resultados de última generación.
- Med-PaLM: Un modelo ajustado con instrucciones que demuestra capacidades en conocimiento clínico, consenso científico y razonamiento médico.
BioGPT:
- Un modelo preentrenado en resúmenes de PubMed para tareas que incluyen preguntas y respuestas, extracción de relaciones y clasificación de documentos.
BioMedLM (anteriormente conocido como PubMedGPT):
- Preentrenado tanto en resúmenes de PubMed como en textos completos, mostrando avances en LLM biomédicos.
LLaMA (LLMs for Academic Medicine):
- Una familia de modelos de código abierto con tamaños variados, diseñada para aplicaciones académicas y médicas.
Modelos Fundamentales Clínicos:
- Son modelos entrenados desde cero utilizando datos de registros médicos electrónicos, que pueden requerir menos datos etiquetados y manejar datos multimodales de manera efectiva.
InstructGPT:
- Un modelo que ha sido ajustado para seguir instrucciones y ha sido evaluado para su utilidad en atención médica.
Megatron-LM:
- Un modelo de lenguaje a gran escala desarrollado por NVIDIA, conocido por su tamaño y requisitos computacionales.
¿Cómo entrenar mi propio LLM en medicina?
Paso 1: Elegir una API y configurar
Selecciona una API que admita el entrenamiento de modelos personalizados, como Novita AI LLM API que proporciona potentes modelos preentrenados y herramientas para personalización, incluyendo Llama 3 8B y 70B. Novita AI ofrece compatibilidad con el estándar de API de OpenAI, lo que permite integraciones más fáciles en aplicaciones existentes.
Antes de integrar las API, debes evaluar el rendimiento de los LLM disponibles para decidir cuáles cumplen con tus expectativas para tu propio LLM médico.
Paso 2: Recopilar y preparar datos
Recopila un conjunto de datos grande de texto médico relevante para tu dominio específico (por ejemplo, notas clínicas, artículos de investigación, literatura médica). Asegúrate de que tu conjunto de datos sea diverso y representativo del lenguaje y los temas que deseas que tu modelo entienda.
Paso 3: Preprocesar datos
Limpia y preprocesa tu conjunto de datos para eliminar ruido e información irrelevante. Esto puede implicar:
- Tokenización: Dividir el texto en tokens (palabras o subpalabras).
- Eliminación de palabras vacías (stopwords): Palabras comunes que no contribuyen mucho al significado.
- Normalización del texto: Convertir texto a minúsculas, manejar abreviaturas, etc.
Paso 4: Afinar el modelo preentrenado
La mayoría de las API de LLM proporcionan modelos preentrenados que puedes afinar en tu conjunto de datos específico. El ajuste fino implica:
- Inicializar tu modelo con los pesos preentrenados de la API.
- Proporcionar tu conjunto de datos a la interfaz de entrenamiento de la API.
- Especificar parámetros como tamaño de lote, tasa de aprendizaje, número de épocas, etc.
Paso 5: Monitorear el progreso del entrenamiento
Durante el ajuste fino, monitorea métricas como pérdida y precisión para evaluar el rendimiento del modelo. Ajusta los hiperparámetros si es necesario para mejorar el rendimiento.
Paso 6: Evaluar el rendimiento del modelo
Una vez completado el entrenamiento, evalúa tu modelo en un conjunto de datos de validación separado para evaluar su capacidad de generalización y precisión. Usa métricas relevantes para tus tareas específicas (por ejemplo, precisión, puntuación F1 para tareas de clasificación).
Paso 7: Mejora iterativa
Mejora iterativamente tu modelo mediante:
- Ajuste fino con datos adicionales.
- Ajuste de hiperparámetros.
- Incorporación de comentarios de la evaluación del modelo.
Paso 8: Implementar y usar
Después de lograr un rendimiento satisfactorio, implementa tu modelo a través de la API para inferencia. Asegúrate de que tu implementación cumpla con las pautas regulatorias o éticas para aplicaciones médicas.
Paso 9: Mantener y actualizar
Actualiza regularmente tu modelo con nuevos datos para mantenerlo actualizado y mejorar su rendimiento con el tiempo. Monitorea la desviación y vuelve a entrenar según sea necesario.
Consideraciones:
- Consideraciones éticas y legales: Asegúrate de cumplir con las leyes de privacidad de datos (por ejemplo, HIPAA), las pautas éticas y las regulaciones que rigen las aplicaciones médicas de IA.
- Requisitos de recursos: El entrenamiento de un LLM puede consumir muchos recursos (potencia de cómputo, almacenamiento de datos), así que planifica en consecuencia.
- Validación: Valida las predicciones de tu modelo con expertos en el dominio para garantizar la confiabilidad y seguridad en aplicaciones médicas.
Siguiendo estos pasos, puedes entrenar efectivamente tu propio LLM médico usando una API, aprovechando sus capacidades preentrenadas y personalizándolo según tus necesidades específicas en el dominio de la salud.
¿Cuáles son las limitaciones de los modelos de lenguaje grandes en medicina?
Omiye et al. (2024) y Thirunavukarasu et al. (2023) han observado las siguientes limitaciones de los LLM en medicina:
Problemas de precisión
Los resultados de los LLM dependen en gran medida de la calidad e integridad de los datos de entrenamiento. Los conjuntos de datos muy grandes no pueden ser verificados completamente, y parte de la información puede estar desactualizada.
Falta de especificidad del dominio
La mayoría de los LLM se entrenan con datos generales no específicos del dominio de la salud. Esto puede dar lugar a resultados sesgados o incorrectos para tareas médicas.
Falta de comprensión real
Los LLM generan resultados basados en patrones estadísticos en los datos de entrenamiento, sin una comprensión verdadera. Pueden producir respuestas sin sentido o ficticias.
Problemas de sesgo y equidad
Los conjuntos de datos de entrenamiento codifican sesgos sociales contra grupos minoritarios, discapacidades, géneros, etc., que se reflejan en los resultados de los LLM.
Preocupaciones de privacidad
Los LLM públicos actualmente disponibles no cumplen con HIPAA, lo que significa que no pueden exponerse directamente a información de salud protegida de los registros de pacientes.
Falta de explicabilidad
El funcionamiento interno y el proceso de razonamiento de los LLM grandes son “cajas negras” opacas, lo que dificulta entender cómo llegan a resultados particulares para fines de auditoría.
Dependencia excesiva de los LLM
Existen preocupaciones éticas sobre la dependencia excesiva de los resultados de los LLM, lo que podría promover el plagio o sofocar el pensamiento original en la investigación y educación médica si no se usan con prudencia.
Conclusión
En conclusión, los modelos de lenguaje grandes (LLM) ofrecen un potencial significativo para revolucionar las aplicaciones médicas, desde el apoyo a la toma de decisiones clínicas hasta la educación e investigación médica. A pesar de sus posibles beneficios, es necesario abordar desafíos como las limitaciones de precisión, los sesgos, las preocupaciones de privacidad y la naturaleza opaca de los resultados para una integración responsable en la atención médica. La colaboración continua entre investigadores de IA, profesionales de la salud y formuladores de políticas es crucial para aprovechar el potencial de los LLM mientras se garantiza una implementación ética y efectiva en entornos médicos.
Referencias
Omiye, J. A., Gui, H., Rezaei, S. J., Zou, J., & Daneshjou, R. (2024). Large Language Models in Medicine: The Potentials and Pitfalls : A Narrative Review. Annals of Internal Medicine, 177(2), 210–220. https://doi.org/10.7326/M23-2772
Thirunavukarasu, A. J., Ting, D. S. J., Elangovan, K., Gutierrez, L., Tan, T. F., & Ting, D. S. W. (2023). Large language models in medicine. Nature Medicine, 29(8), 1930–1940. https://doi.org/10.1038/s41591-023-02448-8
Novita AI es la plataforma integral en la nube que impulsa tus ambiciones de IA. Con API integradas sin problemas, computación serverless y aceleración GPU, proporcionamos las herramientas rentables que necesitas para construir y escalar rápidamente tu negocio impulsado por IA. Elimina los dolores de cabeza de infraestructura y comienza gratis: Novita AI hace realidad tus sueños de IA.
