Introdução
Como os modelos de linguagem de grande escala são desenvolvidos? Como podem ser usados na medicina? Quais são alguns LLMs populares na medicina? Como treinar meu próprio LLM na medicina? Quais são as limitações dos LLMs na medicina? Neste blog, vamos explorar essas perguntas uma a uma.
Como os Modelos de Linguagem de Grande Escala São Desenvolvidos?
O desenvolvimento de modelos de linguagem de grande escala (LLMs) envolve vários componentes-chave (Thirunavukarasu et al., 2023):
Arquitetura do Modelo
LLMs geralmente usam arquiteturas de redes neurais que aproveitam técnicas de aprendizado profundo para representar as complexas relações associativas entre as palavras nos dados de treinamento de texto. A arquitetura mais conhecida é o Transformer, usado em modelos como GPT (Generative Pre-trained Transformer).
Dados de Treinamento
LLMs são treinados em conjuntos de dados massivos contendo bilhões de palavras de diversas fontes, como sites, livros e artigos. Por exemplo, o GPT-3 foi treinado em um conjunto de dados de 45 terabytes composto por páginas web do Common Crawl, WebText, livros e Wikipedia.
Pré-treinamento
O processo inicial de treinamento é chamado de pré-treinamento, que geralmente é não supervisionado. Envolve treinar o modelo em uma tarefa de modelagem de linguagem, onde ele aprende a prever a próxima palavra em uma sequência com base nas palavras anteriores. Abordagens comuns de pré-treinamento incluem modelagem de linguagem causal, modelagem de linguagem mascarada e autoencoders de denoising.
Escalonamento do Modelo
À medida que os LLMs se tornam maiores (mais parâmetros) e são treinados em conjuntos de dados maiores com recursos computacionais crescentes, eles desenvolvem capacidades aprimoradas de few-shot e zero-shot, permitindo que tenham um bom desempenho em tarefas não vistas com poucos ou nenhum dado de treinamento específico da tarefa.
Ajuste Fino (Fine-tuning)
Após o pré-treinamento, os LLMs passam por ajuste fino, onde são treinados em tarefas ou conjuntos de dados específicos para otimizar o desempenho. Para o ChatGPT, o ajuste fino envolveu expor o GPT-3 a prompts e respostas de humanos, e usar aprendizado por reforço a partir de feedback humano (RLHF) para melhorar a qualidade das respostas. Para LLMs na medicina, ajuste fino em perguntas e respostas usando questões de exames médicos, ou em sumarização usando notas clínicas.
Treinamento Contínuo
Algumas aplicações de LLM, como o ChatGPT, podem passar por treinamento e ajuste fino contínuos à medida que são implantados e interagem com usuários, permitindo que aprendam e melhorem a partir de dados e feedback do mundo real.
Como os Modelos de Linguagem de Grande Escala Podem Ser Usados na Medicina?
Thirunavukarasu et al. (2023) discutem vários cenários e aplicações onde modelos de linguagem de grande escala (LLMs) estão sendo usados ou poderiam potencialmente ser aproveitados na medicina:
Suporte à Decisão Clínica
LLMs como o ChatGPT demonstraram capacidade de alcançar notas de aprovação em exames de licenciamento médico, sugerindo potencial para uso na tomada de decisões clínicas e fornecimento de recomendações de diagnóstico/tratamento para profissionais de saúde.
Educação do Paciente
LLMs poderiam ser usados para gerar materiais de educação do paciente personalizados, instruções e explicações em linguagem simples adaptadas à condição de saúde e histórico do paciente.
Pesquisa Médica
LLMs podem auxiliar pesquisadores resumindo literatura científica, gerando hipóteses, analisando dados e até ajudando a escrever artigos de pesquisa e propostas de financiamento.
Educação Médica
LLMs estão sendo explorados como tutores ou assistentes virtuais para estudantes e estagiários de medicina para ajudar com respostas a perguntas, reforço de conhecimento e prática para exames.
Documentação Clínica
LLMs poderiam potencialmente melhorar a eficiência automatizando aspectos da documentação clínica, como anotações e sumarização de registros com base no diálogo paciente-profissional.
Resposta a Perguntas Biomédicas
LLMs podem recuperar e sintetizar rapidamente informações de grandes bases de conhecimento médico para responder às consultas clínicas dos profissionais.
Codificação e Faturamento Médico
LLMs poderiam auxiliar na codificação precisa dos encontros com pacientes para faturamento, entendendo as notas clínicas e mapeando-as para códigos padronizados.
Quais São Alguns LLMs Populares na Medicina?
Série GPT (Generative Pretrained Transformer):
- GPT-3: Um modelo grande com cerca de 175 bilhões de parâmetros, conhecido por sua capacidade de gerar texto semelhante ao humano e foi ajustado para várias tarefas.
- GPT-4: A versão mais recente no momento dos artigos, com capacidades aprimoradas incluindo lidar com entrada multimodal como imagens, texto e áudio.
BERT (Bidirectional Encoder Representations from Transformers):
- BioBERT: Pré-treinado em literatura biomédica, é adaptado para mineração de texto biomédico.
- PubMedBERT: Similar ao BioBERT, mas especificamente treinado em resumos do PubMed.
- ClinicalBERT: Adaptado para notas clínicas e treinado em registros eletrônicos de saúde.
PaLM (Pathways Language Model):
- Flan-PaLM: Versão ajustada do PaLM para resposta a perguntas médicas, alcançando resultados de ponta.
- Med-PaLM: Um modelo ajustado por instruções demonstrando capacidades em conhecimento clínico, consenso científico e raciocínio médico.
BioGPT:
- Um modelo pré-treinado em resumos do PubMed para tarefas incluindo resposta a perguntas, extração de relações e classificação de documentos.
BioMedLM (anteriormente conhecido como PubMedGPT):
- Pré-treinado tanto em resumos do PubMed quanto em textos completos, mostrando avanços em LLMs biomédicos.
LLaMA (LLMs for Academic Medicine):
- Uma família de modelos de código aberto com tamanhos variados, projetada para aplicações acadêmicas e médicas.
Modelos de Fundação Clínica:
- São modelos treinados do zero usando dados de registros eletrônicos de saúde, que podem exigir menos dados rotulados e lidar efetivamente com dados multimodais.
InstructGPT:
- Um modelo que foi ajustado para seguir instruções e foi avaliado para utilidade na área da saúde.
Megatron-LM:
- Um modelo de linguagem em grande escala desenvolvido pela NVIDIA, conhecido por seu tamanho e requisitos computacionais.
Como Treinar Meu Próprio LLM na Medicina?
Passo 1: Escolha uma API e Configuração
Selecione uma API que suporte treinamento de modelos personalizados, como a Novita AI LLM API que fornece modelos pré-treinados poderosos e ferramentas para personalização, incluindo Llama 3 8B e 70B. A Novita AI oferece compatibilidade com o padrão da API OpenAI, permitindo integrações mais fáceis em aplicações existentes.
Antes de integrar APIs, você deve avaliar os desempenhos dos LLMs disponíveis para decidir quais atendem às suas expectativas para seu próprio LLM médico.
Passo 2: Colete e Prepare os Dados
Colete um grande conjunto de dados de texto médico relevante para seu domínio específico (por exemplo, notas clínicas, artigos de pesquisa, literatura médica). Garanta que seu conjunto de dados seja diverso e representativo da linguagem e dos tópicos que você deseja que seu modelo entenda.
Passo 3: Pré-processe os Dados
Limpe e pré-processe seu conjunto de dados para remover ruídos e informações irrelevantes. Isso pode envolver:
- Tokenização: Dividir o texto em tokens (palavras ou subpalavras).
- Remoção de stopwords: Palavras comuns que não contribuem muito para o significado.
- Normalização do texto: Converter texto para minúsculas, lidar com abreviações, etc.
Passo 4: Ajuste Fino do Modelo Pré-treinado
A maioria das APIs de LLM fornece modelos pré-treinados que você pode ajustar em seu conjunto de dados específico. O ajuste fino envolve:
- Inicializar seu modelo com os pesos pré-treinados da API.
- Fornecer seu conjunto de dados para a interface de treinamento da API.
- Especificar parâmetros como tamanho do lote, taxa de aprendizado, número de épocas, etc.
Passo 5: Monitore o Progresso do Treinamento
Durante o ajuste fino, monitore métricas como perda e acurácia para avaliar o desempenho do modelo. Ajuste hiperparâmetros se necessário para melhorar o desempenho.
Passo 6: Avalie o Desempenho do Modelo
Após o treinamento, avalie seu modelo em um conjunto de dados de validação separado para avaliar sua capacidade de generalização e acurácia. Use métricas relevantes para suas tarefas específicas (por exemplo, acurácia, pontuação F1 para tarefas de classificação).
Passo 7: Melhoria Iterativa
Melhore iterativamente seu modelo:
- Ajustando fino com dados adicionais.
- Ajustando hiperparâmetros.
- Incorporando feedback da avaliação do modelo.
Passo 8: Implante e Use
Após alcançar um desempenho satisfatório, implante seu modelo via API para inferência. Garanta que sua implantação cumpra quaisquer diretrizes regulatórias ou éticas para aplicações médicas.
Passo 9: Mantenha e Atualize
Atualize regularmente seu modelo com novos dados para mantê-lo atualizado e melhorar seu desempenho ao longo do tempo. Monitore o desvio e retreine conforme necessário.
Considerações:
- Considerações Éticas e Legais: Garanta a conformidade com leis de privacidade de dados (por exemplo, HIPAA), diretrizes éticas e regulamentos que regem aplicações de IA médica.
- Requisitos de Recursos: Treinar um LLM pode ser intensivo em recursos (poder computacional, armazenamento de dados), então planeje adequadamente.
- Validação: Valide as previsões do seu modelo com especialistas do domínio para garantir confiabilidade e segurança em aplicações médicas.
Seguindo estes passos, você pode treinar efetivamente seu próprio LLM médico usando uma API, aproveitando suas capacidades pré-treinadas e personalizando-o para suas necessidades específicas no domínio da saúde.
Quais São as Limitações dos Modelos de Linguagem de Grande Escala na Medicina?
Omiye et al. (2024) e Thirunavukarasu et al. (2023) observaram as seguintes limitações dos LLMs na medicina:
Problemas de Precisão
As saídas dos LLMs dependem fortemente da qualidade e integridade dos dados de treinamento. Conjuntos de dados muito grandes não podem ser totalmente verificados, e algumas informações podem estar desatualizadas.
Falta de Especificidade de Domínio
A maioria dos LLMs é treinada em dados gerais, não específicos para domínios de saúde. Isso pode resultar em saídas tendenciosas ou incorretas para tarefas médicas.
Falta de Compreensão Real
LLMs geram saídas com base em padrões estatísticos nos dados de treinamento, sem compreensão verdadeira. Eles podem produzir respostas sem sentido ou fictícias.
Problemas de Viés e Equidade
Os conjuntos de dados de treinamento codificam vieses sociais contra grupos minoritários, deficiências, gêneros, etc., que se refletem nas saídas dos LLMs.
Preocupações com Privacidade
Os LLMs públicos atualmente disponíveis não estão em conformidade com a HIPAA, ou seja, não podem ser diretamente expostos a informações de saúde protegidas de registros de pacientes.
Falta de Explicabilidade
O funcionamento interno e o processo de raciocínio de grandes LLMs são “caixas pretas” opacas, dificultando o entendimento de como eles chegam a saídas particulares para fins de auditoria.
Dependência Excessiva dos LLMs
Existem preocupações éticas sobre a dependência excessiva das saídas dos LLMs, que poderia promover plágio ou sufocar o pensamento original na pesquisa e educação médica se não forem usados com discernimento.
Conclusão
Em conclusão, os modelos de linguagem de grande escala (LLMs) oferecem uma promessa significativa na revolução das aplicações médicas, desde o suporte à decisão clínica até a educação e pesquisa médica. Apesar de seus benefícios potenciais, desafios como limitações de precisão, vieses, preocupações com privacidade e a natureza opaca das saídas precisam ser abordados para uma integração responsável na saúde. A colaboração contínua entre pesquisadores de IA, profissionais de saúde e formuladores de políticas é crucial para aproveitar o potencial dos LLMs, garantindo uma implantação ética e eficaz em ambientes médicos.
Referências
Omiye, J. A., Gui, H., Rezaei, S. J., Zou, J., & Daneshjou, R. (2024). Large Language Models in Medicine: The Potentials and Pitfalls : A Narrative Review. Annals of Internal Medicine, 177(2), 210–220. https://doi.org/10.7326/M23-2772
Thirunavukarasu, A. J., Ting, D. S. J., Elangovan, K., Gutierrez, L., Tan, T. F., & Ting, D. S. W. (2023). Large language models in medicine. Nature Medicine, 29(8), 1930–1940. https://doi.org/10.1038/s41591-023-02448-8
Novita AI é a plataforma de nuvem tudo-em-um que capacita suas ambições de IA. Com APIs integradas perfeitamente, computação serverless e aceleração GPU, fornecemos as ferramentas econômicas que você precisa para construir e escalar rapidamente seu negócio impulsionado por IA. Elimine as dores de cabeça de infraestrutura e comece gratuitamente — a Novita AI torna seus sonhos de IA realidade.
