簡介
面對眾多的大型語言模型（LLM），要找到一個符合您特定需求的模型似乎令人不知所措。這個領域不斷演進，幾乎每週都有新的模型和改良版本問世。因此，任何試圖列出 LLM 及其特性的努力很快就會過時。
本文並非試圖逐一介紹頂尖 LLM 及其優缺點，而是提供一套評估模型的標準。透過提供分析框架，讀者可以根據核心特性評估新發布的模型，並有效地進行比較。評估 LLM 時應考慮的主要屬性包括：
- 大小
- 架構類型
- 基準表現
- 訓練流程與偏見
- 授權與可用性
LLM 的大小為何？
選擇 LLM 時的首要考量是您的預算限制。操作 LLM 可能會產生可觀的成本，因此選擇一個在預算範圍內的模型至關重要。成本的一個指標是 LLM 內的參數量。
模型的參數量是多少？
參數量對應於模型在訓練過程中調整並用於計算輸出的權重和偏置的數量。為什麼這個數量很重要？它提供了模型性能開銷和推理速度的粗略估算。大致來說，這些因素直接相關：參數量增加，產生輸出的成本也隨之增加。
模型的推理速度是多少？
語言模型的推理速度是指處理輸入所需的時間，本質上衡量其輸出速度。需要注意的是，推理速度和整體性能是複雜且多方面的，並非僅由參數量決定。然而，就本文而言，參數量提供了模型潛在性能的粗略估計。幸運的是，有幾種成熟的方法可以用來緩解機器學習模型的推理時間。
各 LLM 的參數量。
中型模型通常包含少於 100 億個參數，而更便宜的模型可能少於 10 億個。然而，少於 10 億個參數的模型通常較舊或並非專門針對文字生成任務。另一方面，昂貴的模型擁有超過 1000 億個參數，例如 GPT-4 就有驚人的 1.76 兆個參數。許多模型系列，包括 LLaMa 2、Mistral、Falcon 和 GPT，都提供較小的版本（少於 100 億個參數）和較大的版本（100 億到 1000 億個參數）。
LLM 有哪些不同類型？
廣義上來說，基於 Transformer 的 LLM 可根據其架構分為三類：僅編碼器、編碼器-解碼器和僅解碼器。這種分類有助於理解模型的預期用途及其在文字生成任務中的表現。
什麼是僅編碼器模型？
僅編碼器模型只使用編碼器組件，負責對輸入文字進行編碼和分類。這些模型有助於將文字分配到特定類別。BERT 是主要的僅編碼器模型，它被訓練為掩碼語言模型（MLM）和下一句預測（NSP）。這兩個訓練目標都涉及辨識句子中的關鍵元素。
什麼是編碼器-解碼器模型？
編碼器-解碼器模型首先對輸入文字進行編碼（類似於僅編碼器模型），然後根據編碼後的輸入生成或解碼回應。BART 就是編碼器-解碼器模型架構的一個例子。這類模型非常靈活，適用於文字生成和理解任務，特別適合翻譯用途。例如，BART 擅長將長篇文字（如文章）總結為連貫的輸出。BART-Large-CNN 就是一個經過微調的變體，專門用於生成文字的摘要，並已在多種新聞文章上進行訓練。總之，編碼器-解碼器模型具有雙重用途，既能處理文字理解任務，也能處理文字生成任務。
什麼是僅解碼器模型？
僅解碼器模型專門根據給定的提示生成下一個單詞或 token，專注於文字生成任務。它們訓練簡單，對於純文字生成目的特別高效。GPT、Mistral 和 LLaMa 等模型系列都屬於僅解碼器類別。如果您的主要需求是文字生成，僅解碼器模型是首選。
然而，值得注意的是，Mistral 的 8x7B（也稱為 Mixtral）採用了獨特的架構，稱為「專家混合」（mixtral of experts），這使其有別於傳統的僅解碼器模型。同樣地，有跡象表明 GPT-4 可能也使用了類似的技術。因此，這些模型可能不完全屬於僅解碼器類別。此外，新興的架構技術如檢索增強生成（RAG）也無法輕易歸入這些既定類別。
您可以在我們的部落格中深入了解 RAG 技術：什麼是 RAG：檢索增強生成全面介紹
如何衡量 LLM 的性能品質
各種指標被用來評估語言模型理解、詮釋和對不同提示提供準確回應的能力。這些評估方法會根據語言模型的預期用途而有所不同。例如，BERT（一種主要用於分類等任務的僅編碼器模型）的評估標準與 GPT-3（一種專為文字生成設計的僅解碼器模型）不同。在接下來的章節中，我們將闡述一些用來評估文字生成 LLM 的方法。
使用學術考試衡量 LLM 的品質
評估生成式語言模型有效性的一種常見方法是讓它接受考試。例如，GPT-4 在一系列學術測試中與 GPT-3.5 進行了比較。透過這個過程，模型的表現會與人類分數以及先前模型的分數進行比較，從而了解它在學術背景下的推理能力。以下是 GPT-4 接受的部分考試列表，以及它與 GPT-3.5 和人類平均表現的比較分數：
GPT-4 和 GPT-3.5 在標準化考試中的表現與人類平均水準的比較。
另一種類似學術考試的性能指標是向模型呈現各種問答（QnA）資料集。這種方法用於 Hugging Face 開放 LLM 排行榜，提供了一個寶貴的資源，可以根據 QnA 資料集上的表現來比較不同的 LLM。這些資料集提供了一種簡單的基準測試方法，可以評估 LLM 的整體智能和邏輯能力。
LLM 之間的品質比較表
需要注意的是，比較 0-shot 分數和 25-shot 分數是沒有意義的。理想情況下，為了進行品質比較，您應該保持所使用的提示類型一致。即使比較使用相同提示方法的兩個數據點，測試程序的差異仍可能導致不準確。儘管如此，下表應能提供品質的粗略比較：
LLM 之間的品質比較表，涵蓋 ARC、MMLU 和 WinoGrande 測試，並使用 few-shot 和 zero-shot 提示。
目前最適合用作聊天機器人的 LLM 是哪個？
查看這張表，並考慮先前提到的免責聲明，很明顯 GPT-4 在整體品質方面表現最佳。然而，就最佳價值而言，Mistral 模型提供了最佳選擇。特別是 8x7B Mistral 版本採用了一種獨特的技術，融合了多個 Mistral 7b 模型，從而產生更高品質的輸出。這種方法創建了一個非常高效的模型，同時在基準測試中也表現出色。
訓練資料如何影響 LLM
模型訓練資料集的選擇引發了重要的考量。使用了什麼類型的資料？資料集是否專門針對特定應用？資料集中是否存在可能影響模型的固有偏見？
模型偏見如何產生：以 BERT 為例
對於大多數 LLM 來說，訓練資料通常非常龐大，旨在為模型提供語言的基礎理解。例如，BERT 使用 Wikipedia（25 億字）和 BookCorpus（8 億字）進行預訓練。然而，在某些情況下，例如 Mistral 的模型，訓練資料集並未公開。
檢查這些資料集可以深入了解模型中可能存在的固有偏見。以 BERT 為例，它嚴重依賴英文 Wikipedia 資料集進行訓練。雖然 Wikipedia 常被認為是中立的來源，但這並不總是成立。例如，《衛報》報導指出，只有 16% 的 Wikipedia 編輯是女性，而關於知名人物的條目中只有 17% 是關於女性。此外，關於撒哈拉以南非洲的內容主要由該地區以外的人撰寫。鑑於 BERT 依賴英文 Wikipedia，平台中的偏見很可能會繼承給模型。事實上，有證據表明 BERT 的輸出表現出性別和種族偏見。總之，預訓練模型中訓練資料集的偏見會影響其文字生成能力。因此，有必要考慮這些偏見，因為它們會影響最終用戶體驗。
什麼是微調模型？
微調涉及使用新數據重新訓練已經訓練好的模型，通常會產生了為特定目的而設計的特化分支模型。在評估模型的潛在應用時，用於微調的資料選擇至關重要。例如，FinBERT 是 BERT 的分支，它在大量金融語言資料集上進行了微調，使其對於分析文字的金融情緒特別有用。如果您想了解更多關於微調的資訊，請閱讀我們的文章：如何微調大型語言模型？
有些模型旨在允許進一步微調，而有些模型已經微調以實現特定目標。例如，像 Falcon 這樣的模型可能有相關的聊天版本，經過精煉以有效地充當聊天機器人。微調模型的方法有多種，但這些技術的細節不在本文討論範圍內。通常，微調後的模型會提供關於其預期用途和所應用的特定微調技術的資訊。
每個語言模型使用什麼資料集？
鑑於訓練資料對模型性能有重大影響，開發者設計了各種網頁爬取方法來獲取高品質的資料集。例如，OpenAI 的 Webtext 工具會抓取「所有從 Reddit 獲得至少 3 個 karma 的外部連結」。以下是一些最著名模型所使用的資料集列表，請注意許多開發者並不會公開他們所使用的資料集。
最受歡迎的 LLM 所使用的訓練資料集。
LLM 的授權與可用性
為了商業用途使用 LLM，評估特定模型相關的授權條款至關重要。此外，可用性可能很微妙：有些模型是封閉原始碼的，只能透過其 API 存取。
什麼是封閉原始碼語言模型？
封閉原始碼模型表示其原始碼不對公眾開放。像 GPT-3 和 GPT-4 這樣的模型屬於此類，通常只能透過 API 存取。然而，雖然 API 整合可能很簡單，但也會產生費用。一般來說，對於平台整合，根據規模大小，使用開源語言模型並透過像 UbiOps 這樣的平台進行訓練或部署會更具成本效益。
novita.ai LLM API
什麼是開源 LLM？
開源 LLM 指的是對公眾開放的模型，並且根據其授權條款，可以用於商業用途。此外，根據授權條款的規定，可以根據需要對其進行微調、分支或修改。通常，對於平台整合或微調用途，建議選擇開源模型。
此外，利用開源技術有助於推動 LLM 領域的發展，因為它鼓勵對模型進行改進和客製化，最終惠及整個社群。
商業授權
具有商業授權的模型適合用於商業目的，可以整合到商業平台中。
LLM 及其授權概覽。
結論
選擇符合您需求的 LLM 可能看起來令人不知所措，但您可以透過將關鍵特性與您的需求進行比較來簡化評估過程。這些特性包括大小、類型、品質基準、訓練方法、偏見和授權。雖然這個列表只是一個起點，但還有許多其他因素需要考慮。儘管如此，本文旨在提供您評估新發布 AI 模型所需的知識，以便您判斷它是否可能適合您的需求，並決定是否需要進一步研究。
novita.ai，一個為無限創意而設的一站式平台，讓您存取超過 100 個 API。從圖像生成、語言處理到音訊增強和影片操作，採用廉價的按量計費模式，讓您在建立自己產品的同時，無需煩惱 GPU 維護問題。立即免費試用。
推薦閱讀
