English Arabic 简体中文 繁體中文 Français Deutsch 日本語 한국어 Português Русский Español

大型语言模型如何在医学中得到应用？

作者 / / LLM / 8 分钟阅读
大型语言模型如何在医学中得到应用？

引言

大型语言模型是如何开发的？它们如何在医学中使用？医学中常用的大型语言模型有哪些？如何训练自己的医学大型语言模型？大型语言模型在医学中的局限性是什么？在本篇博客中，我们将逐一探讨这些问题。

大型语言模型是如何开发的？

大型语言模型（LLM）的开发涉及几个关键组成部分（Thirunavukarasu 等，2023）：

模型架构

LLM 通常使用神经网络架构，这些架构利用深度学习技术来表示文本训练数据中词语之间复杂的关联关系。最著名的架构是 Transformer，用于 GPT（生成式预训练 Transformer）等模型中。

训练数据

LLM 基于海量数据集进行训练，这些数据集包含来自网站、书籍、文章等多种来源的数十亿个单词。例如，GPT-3 在 45TB 的数据集上进行了训练，该数据集包含 Common Crawl 网页、WebText、书籍和维基百科。

预训练

初始训练过程称为预训练，通常是无监督的。它涉及在语言建模任务上训练模型，模型根据前面的词语学习预测序列中的下一个词语。常见的预训练方法包括因果语言建模、掩码语言建模和去噪自编码器。

模型缩放

随着 LLM 变得更大（参数更多），并在更大的数据集上使用更多的计算资源进行训练，它们会发展出更好的少样本和零样本能力，从而能够在几乎没有或没有特定任务训练数据的情况下，在未见过的任务上表现良好。

微调

预训练之后，LLM 会进行微调，即在特定任务或数据集上进行训练以优化性能。对于 ChatGPT，微调涉及将 GPT-3 暴露给人类的提示和回答，并使用基于人类反馈的强化学习（RLHF）来提高回答质量。对于医学中的 LLM，可以使用医学考试问题在问答任务上进行微调，或使用临床笔记在摘要任务上进行微调。

持续训练

一些 LLM 应用（如 ChatGPT）可能会在部署并与用户交互时进行持续训练和微调，从而从真实世界的数据和反馈中学习和改进。

大型语言模型如何在医学中得到应用？

Thirunavukarasu 等（2023）讨论了大型语言模型（LLM）在医学中正在使用或可能应用的几个场景和领域：

临床决策支持

像 ChatGPT 这样的 LLM 已展现出在医学执照考试中取得及格分数的能力，表明其在临床决策以及向医疗提供者提供诊断/治疗建议方面具有潜力。

患者教育

LLM 可用于生成个性化的患者教育材料、说明和解释，以通俗易懂的语言根据患者的健康状况和背景进行定制。

医学研究

LLM 可以通过总结科学文献、生成假设、分析数据，甚至帮助撰写研究论文和资助申请，来协助研究人员。

医学教育

LLM 正在被探索作为医学生和受训人员的虚拟导师或助手，用于帮助回答问题、巩固知识和进行考试练习。

临床文档

LLM 有可能通过基于患者与提供者之间的对话自动完成临床文档的某些方面（如笔记记录和记录摘要），来提高效率。

生物医学问答

LLM 可以快速从大型医学知识库中检索和综合信息，以回答临床医生的查询。

医学编码和计费

LLM 可以通过理解临床笔记并将其映射到标准化代码，协助准确地对患者就诊进行编码，以便于计费。

医学中常用的大型语言模型有哪些？

GPT（生成式预训练 Transformer）系列：

  • GPT-3：一个拥有约 1750 亿参数的大型模型，以其生成类人文本的能力而闻名，并已针对各种任务进行了微调。
  • GPT-4：截至文章撰写时的最新版本，具有增强的能力，包括处理多模态输入（如图像、文本和音频）。

BERT（来自 Transformer 的双向编码器表示）：

  • BioBERT：在生物医学文献上预训练，专门用于生物医学文本挖掘。
  • PubMedBERT：与 BioBERT 类似，但专门在 PubMed 摘要上训练。
  • ClinicalBERT：针对临床笔记进行调整，并在电子健康记录上训练。

PaLM（路径语言模型）：

  • Flan-PaLM：PaLM 的微调版本，用于医学问答，取得了最先进的结果。
  • Med-PaLM：一个指令调优模型，展示了在临床知识、科学共识和医学推理方面的能力。

BioGPT：

  • 一个在 PubMed 摘要上预训练的模型，用于问答、关系抽取和文档分类等任务。

BioMedLM（原名 PubMedGPT）：

  • 在 PubMed 摘要和全文上预训练，展示了生物医学 LLM 的进步。

LLaMA（用于学术医学的 LLM）：

  • 一个开源模型家族，具有不同的规模，专为学术和医学应用设计。

临床基础模型：

  • 这些模型从头开始使用电子健康记录数据进行训练，可能需要更少的标记数据，并能有效处理多模态数据。

InstructGPT：

  • 一个经过微调以遵循指令的模型，并已针对医疗保健效用进行了评估。

Megatron-LM：

  • 由 NVIDIA 开发的大规模语言模型，以其规模和计算需求而闻名。

如何训练自己的医学大型语言模型？

第 1 步：选择 API 并进行设置

选择一个支持训练自定义模型的 API，例如 Novita AI LLM API，它提供了强大的预训练模型和用于定制的工具，包括 Llama 3 8B 和 70B。Novita AI 提供与 OpenAI API 标准的兼容性，从而更容易集成到现有应用中。

在集成 API 之前，您应该评估可用 LLM 的性能，以便决定哪些模型符合您对定制医学 LLM 的期望。

第 2 步：收集和准备数据

收集与您的特定领域相关的大量医学文本数据集（例如临床笔记、研究论文、医学文献）。确保您的数据集多样化，并能够代表您希望模型理解的语言和主题。

第 3 步：预处理数据

清理和预处理数据集，去除噪声和不相关信息。这可能包括：

  • 分词：将文本分解为标记（单词或子词）。
  • 去除停用词：对含义贡献不大的常见词。
  • 文本标准化：将文本转换为小写、处理缩写等。

第 4 步：微调预训练模型

大多数 LLM API 都提供预训练模型，您可以在自己的特定数据集上进行微调。微调包括：

  • 使用 API 中的预训练权重初始化模型。
  • 将数据集提供给 API 的训练界面。
  • 指定参数，如批量大小、学习率、训练轮数等。

第 5 步：监控训练进度

在微调过程中，监控损失和准确率等指标，以评估模型的性能。如有必要，调整超参数以改善性能。

第 6 步：评估模型性能

训练完成后，在单独的验证数据集上评估模型，以评估其泛化能力和准确率。使用与特定任务相关的指标（例如，分类任务的准确率、F1 分数）。

第 7 步：迭代改进

通过以下方式迭代改进模型：

  • 使用额外数据进行微调。
  • 调整超参数。
  • 结合模型评估的反馈。

第 8 步：部署和使用

在达到令人满意的性能后，通过 API 部署模型以进行推理。确保您的部署符合医疗应用相关的任何法规或伦理准则。

第 9 步：维护和更新

定期使用新数据更新模型，以保持其最新性并随时间提高性能。监控漂移并根据需要重新训练。

注意事项：

  • 伦理和法律考虑：确保遵守数据隐私法律（如 HIPAA）、伦理指南以及管理医疗 AI 应用的法规。
  • 资源需求：训练 LLM 可能非常耗费资源（计算能力、数据存储），因此请相应计划。
  • 验证：与领域专家一起验证模型的预测，以确保在医疗应用中的可靠性和安全性。

通过遵循这些步骤，您可以有效地使用 API 训练自己的医学 LLM，利用其预训练能力并将其定制到您在医疗领域的特定需求。

大型语言模型在医学中的局限性是什么？

Omiye 等（2024）和 Thirunavukarasu 等（2023）注意到了 LLM 在医学中的以下局限性：

准确性问题

LLM 的输出高度依赖于训练数据的质量和完整性。非常大的数据集无法完全审查，某些信息可能已过时。

缺乏领域特异性

大多数 LLM 是在通用数据上训练的，而非特定于医疗领域。这可能导致在医疗任务中出现偏见或不正确的输出。

缺乏真正理解

LLM 基于训练数据中的统计模式生成输出，而没有真正的理解。它们可能产生无意义或虚构的回答。

偏见和公平性问题

训练数据集编码了针对少数群体、残障人士、性别等的社会偏见，这些偏见会在 LLM 的输出中体现。

隐私问题

当前可用的公共 LLM 不符合 HIPAA 标准，这意味着它们不能直接暴露于患者记录中的受保护健康信息。

缺乏可解释性

大型 LLM 的内部运作和推理过程是不透明的“黑箱”，使得难以理解它们如何得出特定输出以便进行审计。

对 LLM 的过度依赖

存在关于过度依赖 LLM 输出的伦理问题，如果使用不当，可能会在医学研究和教育中助长抄袭或抑制原创思维。

结论

总之，大型语言模型（LLM）在革新医学应用方面具有巨大潜力，从临床决策支持到医学教育和研究。尽管有其潜在优势，但准确性的局限、偏见、隐私问题以及输出的不透明性等挑战，需要在负责任地整合到医疗保健中得到解决。AI 研究人员、医疗提供者和政策制定者之间的持续合作，对于在确保伦理和有效部署的前提下充分发挥 LLM 在医疗领域中的潜力至关重要。

参考文献

Omiye, J. A., Gui, H., Rezaei, S. J., Zou, J., & Daneshjou, R. (2024). Large Language Models in Medicine: The Potentials and Pitfalls : A Narrative Review. Annals of Internal Medicine, 177(2), 210–220. https://doi.org/10.7326/M23-2772

Thirunavukarasu, A. J., Ting, D. S. J., Elangovan, K., Gutierrez, L., Tan, T. F., & Ting, D. S. W. (2023). Large language models in medicine. Nature Medicine, 29(8), 1930–1940. https://doi.org/10.1038/s41591-023-02448-8

Novita AI 是一个一体化云平台，助力您的 AI 雄心。凭借无缝集成的 API、无服务器计算和 GPU 加速，我们提供经济高效的工具，助您快速构建和扩展 AI 驱动的业务。消除基础设施烦恼，立即免费开始 —— Novita AI 让您的 AI 梦想变为现实。

相关文章