English Arabic 简体中文 繁體中文 Français Deutsch 日本語 한국어 Português Русский Español

大型語言模型如何在醫學中應用？

作者 / / LLM / 8 分鐘閱讀
大型語言模型如何在醫學中應用？

簡介

大型語言模型是如何開發的？它們如何在醫學中被使用？醫學領域有哪些流行的 LLM？如何訓練自己的醫學 LLM？LLM 在醫學中面臨哪些限制？在這篇部落格中，我們將逐一探討這些問題。

大型語言模型是如何開發的？

大型語言模型（LLM）的開發涉及幾個關鍵組成部分（Thirunavukarasu et al., 2023）：

模型架構

LLM 通常使用基於深度學習技術的神經網路架構，來表示文本訓練資料中詞彙之間複雜的關聯關係。最著名的架構是 Transformer，用於 GPT（生成式預訓練變換器）等模型中。

訓練資料

LLM 在包含數十億詞彙的海量資料集上進行訓練，這些資料來自網站、書籍和文章等多種來源。例如，GPT-3 是在一個 45 TB 的資料集上訓練的，包含 Common Crawl 網頁、WebText、書籍和維基百科。

預訓練

初始的訓練過程稱為預訓練，通常是無監督的。它涉及在語言建模任務上訓練模型，模型學習根據前面的詞彙預測序列中的下一個詞。常見的預訓練方法包括因果語言建模、遮罩語言建模和去噪自編碼器。

模型規模化

隨著 LLM 變得更大（更多參數）並在更大的資料集上以更多計算資源進行訓練，它們發展出更強的小樣本（few-shot）和零樣本（zero-shot）能力，使其能夠在幾乎沒有或完全沒有任務特定訓練資料的情況下，在未見過的任務上表現良好。

微調

在預訓練之後，LLM 會進行微調，即在特定任務或資料集上進行訓練以優化效能。對於 ChatGPT，微調涉及將 GPT-3 暴露於人類的提示和回應，並使用來自人類回饋的強化學習（RLHF）來改善回應品質。對於醫學 LLM，可以使用醫學考試問題進行問答微調，或使用臨床筆記進行摘要微調。

持續訓練

一些 LLM 應用（如 ChatGPT）可能在上線並與使用者互動時進行持續訓練和微調，使其能夠從真實世界資料和回饋中學習和改進。

大型語言模型如何在醫學中被使用？

Thirunavukarasu 等人（2023）討論了大型語言模型（LLM）在醫學中的一些使用場景和應用，包括目前正在使用的和未來可能應用的：

臨床決策支援

像 ChatGPT 這樣的 LLM 已被證明能夠在醫學執照考試中達到及格分數，這表明它們有可能用於臨床決策，並為醫療服務提供者提供診斷和治療建議。

患者教育

LLM 可用於生成個人化的患者教育資料、指示和以簡單語言提供的解釋，針對患者的健康狀況和背景進行客製化。

醫學研究

LLM 可以透過總結科學文獻、生成假設、分析資料，甚至幫助撰寫研究論文和經費申請，來協助研究人員。

醫學教育

LLM 正被探索作為醫學生和受訓者的虛擬導師或助手，幫助回答問題、強化知識以及練習考試。

臨床文檔

LLM 有可能透過自動化臨床文檔的某些方面（例如根據患者與醫療服務提供者的對話進行筆記和記錄摘要）來提高效率。

生物醫學問答

LLM 可以快速從大型醫學知識庫中檢索和綜合資訊，以回答臨床醫生的問題。

醫療編碼和帳單

LLM 可以透過理解臨床筆記並將其對應到標準代碼，協助準確地為患者就醫記錄編碼以用於帳單。

醫學領域有哪些流行的 LLM？

GPT（生成式預訓練變換器）系列：

  • GPT-3：一個大型模型，約有 1750 億個參數，以其生成類人文本的能力而聞名，並已在各種任務上進行了微調。
  • GPT-4：在文章撰寫時的最新版本，具有增強的能力，包括處理多模態輸入（如圖像、文本和音頻）。

BERT（來自變換器的雙向編碼器表示）：

  • BioBERT：在生物醫學文獻上進行預訓練，專為生物醫學文本挖掘而設計。
  • PubMedBERT：與 BioBERT 類似，但專門在 PubMed 摘要上訓練。
  • ClinicalBERT：針對臨床筆記進行調整，並在電子健康記錄上訓練。

PaLM（路徑語言模型）：

  • Flan-PaLM：PaLM 的微調版本，用於醫學問答，取得了最先進的結果。
  • Med-PaLM：一種指令調整模型，展現了臨床知識、科學共識和醫學推理方面的能力。

BioGPT：

  • 一個在 PubMed 摘要上預訓練的模型，用於問答、關係提取和文檔分類等任務。

BioMedLM（原名 PubMedGPT）：

  • 在 PubMed 摘要和全文上進行預訓練，展示了生物醫學 LLM 的進展。

LLaMA（學術醫學的 LLM）：

  • 一個開源模型家族，具有不同的規模，專為學術和醫學應用而設計。

臨床基礎模型：

  • 這些模型從頭開始使用電子健康記錄資料進行訓練，可以需要更少的標記資料，並能有效處理多模態資料。

InstructGPT：

  • 一個經過微調以遵循指令的模型，並已針對醫療保健效用進行了評估。

Megatron-LM：

  • 由 NVIDIA 開發的大規模語言模型，以其規模和計算需求而聞名。

如何訓練自己的醫學 LLM？

步驟 1：選擇 API 並設定

選擇一個支援訓練自訂模型的 API，例如 Novita AI LLM API，它提供了強大的預訓練模型和用於客製化的工具，包括 Llama 3 8B 和 70B。Novita AI 提供與 OpenAI API 標準的相容性，使整合到現有應用程式中更加容易。

在整合 API 之前，你應該評估可用 LLM 的表現，以便決定哪些模型符合你對自家醫學 LLM 的期望。

步驟 2：收集並準備資料

收集與你特定領域相關的大量醫學文本資料集（例如，臨床筆記、研究論文、醫學文獻）。確保你的資料集多樣化，並能代表你想要模型理解的語言和主題。

步驟 3：預處理資料

清理並預處理你的資料集，以去除噪音和不相關的資訊。這可能包括：

  • 分詞：將文本分解為詞元（詞彙或子詞）。
  • 移除停用詞：對意義貢獻不大的常見詞彙。
  • 標準化文本：將文本轉換為小寫，處理縮寫等。

步驟 4：微調預訓練模型

大多數 LLM API 提供預訓練模型，你可以在自己的特定資料集上對其進行微調。微調涉及：

  • 使用 API 的預訓練權重初始化你的模型。
  • 將你的資料集提供給 API 的訓練介面。
  • 指定參數，如批次大小、學習率、訓練輪數等。

步驟 5：監控訓練進度

在微調期間，監控損失（loss）和準確率（accuracy）等指標，以評估模型的表現。必要時調整超參數以改善表現。

步驟 6：評估模型表現

訓練完成後，在單獨的驗證資料集上評估你的模型，以衡量其泛化能力和準確性。使用與你特定任務相關的指標（例如，分類任務的準確率、F1 分數）。

步驟 7：迭代改進

透過以下方式迭代改進你的模型：

  • 使用更多資料進行微調。
  • 調整超參數。
  • 納入模型評估中的回饋。

步驟 8：部署並使用

在達到令人滿意的表現後，透過 API 部署你的模型以進行推理。確保你的部署符合醫療應用的任何監管或道德準則。

步驟 9：維護和更新

定期用新資料更新你的模型，以保持其最新狀態並隨著時間改善表現。監控漂移（drift）並根據需要重新訓練。

注意事項：

  • 道德與法律考量：確保遵守資料隱私法規（如 HIPAA）、道德準則以及管理醫療 AI 應用的法規。
  • 資源需求：訓練 LLM 可能需要大量資源（運算能力、資料儲存），請相應規劃。
  • 驗證：與領域專家驗證模型的預測結果，以確保其在醫療應用中的可靠性和安全性。

透過遵循這些步驟，你可以有效地使用 API 訓練自己的醫學 LLM，利用其預訓練能力並針對醫療保健領域的特定需求進行客製化。

大型語言模型在醫學中面臨哪些限制？

Omiye 等人（2024）和 Thirunavukarasu 等人（2023）指出了 LLM 在醫學中的以下限制：

準確性問題

LLM 的輸出高度依賴於訓練資料的品質和完整性。非常大的資料集無法完全審查，且部分資訊可能過時。

缺乏領域特異性

大多數 LLM 是在一般資料上訓練的，而非專門針對醫療保健領域。這可能導致醫學任務的輸出帶有偏見或不正確。

缺乏真正理解

LLM 基於訓練資料中的統計模式生成輸出，沒有真正的理解能力。它們可能產生無意義或虛構的回應。

偏見與公平性問題

訓練資料集編碼了針對少數群體、殘疾、性別等的社會偏見，這些偏見會反映在 LLM 的輸出中。

隱私問題

目前公開可用的 LLM 不符合 HIPAA 標準，這意味著它們不能直接接觸患者記錄中的受保護健康資訊。

缺乏可解釋性

大型 LLM 的內部運作和推理過程是不透明的「黑箱」，這使得難以理解它們如何得出特定輸出以進行審計。

過度依賴 LLM

在倫理上存在過度依賴 LLM 輸出的擔憂，如果使用不當，可能會促進剽竊或抑制醫學研究和教育中的原創思維。

結論

總之，大型語言模型（LLM）在革新醫學應用方面展現出巨大潛力，從臨床決策支援到醫學教育和研究。儘管有其潛在優勢，但需要解決準確性限制、偏見、隱私問題以及輸出不透明等挑戰，才能負責任地將其整合到醫療保健中。AI 研究人員、醫療保健提供者和政策制定者之間持續的合作對於充分利用 LLM 的潛力，同時確保其在醫療環境中合乎道德且有效地部署至關重要。

參考文獻

Omiye, J. A., Gui, H., Rezaei, S. J., Zou, J., & Daneshjou, R. (2024). Large Language Models in Medicine: The Potentials and Pitfalls : A Narrative Review. Annals of Internal Medicine, 177(2), 210–220. https://doi.org/10.7326/M23-2772

Thirunavukarasu, A. J., Ting, D. S. J., Elangovan, K., Gutierrez, L., Tan, T. F., & Ting, D. S. W. (2023). Large language models in medicine. Nature Medicine, 29(8), 1930–1940. https://doi.org/10.1038/s41591-023-02448-8

Novita AI 是一個全方位的雲端平台，賦能您的 AI 願景。透過無縫整合的 API、無伺服器運算和 GPU 加速，我們提供經濟高效的解決方案，幫助您快速建立並擴展 AI 驅動的業務。消除基礎架構的煩惱，免費開始使用 — Novita AI 讓您的 AI 夢想成真。

相關文章