引言
隨著 大型語言模型（LLM）如 GPT-3、PaLM、ChatGPT 等日益普及，全面評估其能力已變得至關重要。這些先進的 AI 模型能夠理解並生成類似人類的文字，使它們成為各種應用中的強大工具。
然而，能力越大，責任也越大——我們必須確保 LLM 可靠、無偏見，並且其潛在風險已被充分了解。在本篇部落格中，我們將探討學術論文《大型語言模型評估綜述》（A Survey on Evaluation of Large Language Models），該文為您提供了如何有效評估 LLM 的全面概述。
什麼是大型語言模型？
大型語言模型（LLM）代表了一類先進的深度學習模型，這些模型徹底改變了自然語言處理（NLP）領域。這些模型的特點在於其龐大的規模，以及基於從網際網路取得的大量文字資料所進行的廣泛預訓練。許多 LLM 的基礎架構被稱為 Transformer，它由配備自注意力機制的編碼器和解碼器模組層組成。
Transformer 架構使 LLM 能夠在理解和生成類似人類文字方面表現出色。與傳統模型順序處理文字不同，Transformer 可以平行處理整個資料序列，利用 GPU 的計算能力顯著加速訓練時間。這種平行處理能力對於處理訓練大規模模型所涉及的複雜性和資料規模至關重要。
LLM 以無監督或自我監督的方式進行訓練，這意味著它們僅根據資料中固有的模式和結構來學習預測文字中的下一個詞語或詞序列。這種方法使 LLM 能夠捕捉跨越語言和領域的複雜語言模式、句法規則及語義關係。
此外，LLM 還具備遷移學習的能力，可以透過相對少量的任務特定資料對特定任務進行微調。這種適應性使它們成為廣泛應用中的多功能工具，包括但不限於語言翻譯、情感分析、文字摘要、問答，甚至創意寫作或程式碼生成任務。許多公司，例如 Novita AI，提供 LLM API 供程式設計師利用 LLM 的力量。
應該評估 LLM 的哪些面向？
論文《大型語言模型評估綜述》將 LLM 評估分為幾個關鍵領域：
自然語言處理（NLP）
測試核心 NLP 能力，如文字分類、自然語言推理、摘要、翻譯、問答等。
推理
評估邏輯推理、常識推理、多步驟算術推理能力。
穩健性
檢查模型在對抗性輸入、分布外樣本、資料損壞等情況下的表現。
倫理與偏見
評估與性別、種族、宗教相關的偏見，並測試是否符合倫理原則。
可信度
衡量模型輸出的可靠性、真實性、事實準確性。
以及更多領域，例如多語言表現、醫療應用、工程、數學和科學問答。
在哪裡評估 LLM？
為了全面評估 LLM，論文《大型語言模型評估綜述》的作者指出，我們需要在不同領域精心策劃的資料集和基準：
通用基準：
- BIG-bench、HELM、PromptBench 在單一基準中測試多種能力
專門 NLP 基準：
- GLUE、SuperGLUE 用於一般語言理解
- SQuAD、NarrativeQA 用於問答
推理基準：
- StrategyQA、PIE 用於常識/多步驟推理
穩健性基準：
- GLUE-X、CheckList 用於評估對各種擾動的穩健性
倫理與偏見基準：
- Winogender、CrowS-Pairs 用於性別偏見
- CANDELA 用於評估仇恨言論
多語言基準：
- XGLUE、XTREME 用於跨語言泛化
- M3Exam 用於多語言能力
針對數學、科學、程式碼、人格測試等的專門領域基準。
多模態基準：
- 結合文字與圖片、音訊、影片等
- MMBench、MMLU、LAMM、MME 等
如何評估 LLM？
《大型語言模型評估綜述》討論了 LLM 評估的各種協議：
自動評估：
- 使用 BLEU、ROUGE、F1、準確率等指標對輸出與參考進行評分
- 適用於定義明確的任務，但有局限性
人工評估：
- 招募人類對輸出進行主觀評分
- 成本更高，但能捕捉開放式面向
- 用於常識推理、開放式生成
人在迴路（Human-in-the-Loop）：
- 人類以互動方式提供反饋，以優化模型提示/輸出
- 例如 AdaFilter 過濾有毒輸出
群眾外包測試：
- 從人群外包模板以創建新的測試案例
- DynaBench 等平台進行持續壓力測試
檢查清單：
- 涵蓋能力和失敗模式的策劃測試案例
- 靈感來自軟體測試檢查清單
哪些流行的 LLM 在基準測試中表現出色？
Anthropic：Claude 3.5 Sonnet
Claude 3.5 Sonnet 在 Sonnet 價格下提供超越 Opus 的能力、快於 Sonnet 的速度。Sonnet 特別擅長編碼、增強人類資料科學專業知識、導航非結構化資料同時使用多種工具進行洞察、視覺處理和代理任務。Claude 3.5 Sonnet API 由 Anthropic 提供。
Meta：Llama 3 70B Instruct
Meta 最新的模型系列（Llama 3）推出了多種尺寸和風格。這個 70B 指令調整版本針對高品質對話用例進行了優化。在人工評估中，它相對於領先的閉源模型展現出強勁的表現。提供 Llama 3 70B Instruct API 的主要供應商包括 DeepInfra、Novita AI、OctoAI、Lepton、Together、Fireworks 和 Perplexity。
OpenAI：GPT-4o
GPT-4o（“o”代表“omni”）是 OpenAI 最新的 AI 模型，支援文字和圖片輸入以及文字輸出。它保持了 GPT-4 Turbo 的智慧水準，同時速度快兩倍，成本降低 50%。GPT-4o 在處理非英語語言方面也提供了改進的效能，並增強了視覺能力。提供 GPT-4o 的主要供應商包括 OpenAI 和 Azure。
WizardLM-2 8x22B
WizardLM-2 8x22B 是 Microsoft AI 最先進的 Wizard 模型。它與領先的專有模型相比展現出極具競爭力的性能，並且 consistently 優於所有現有的最先進開源模型。提供 WizardLM-2 8x22B API 的主要供應商包括 Novita AI、DeepInfra、Lepton、OctoAI 和 Together。
Mistral：Mistral 7B Instruct
Mistral 7B Instruct 是一個高性能、業界標準的 7.3B 參數模型，針對速度和上下文長度進行了優化。提供 Mistral 7B Instruct 的主要供應商包括 Novita AI、Lepton、DeepInfra、OctoAI 和 Together。
評估 LLM 的未來挑戰有哪些？
《大型語言模型評估綜述》的作者提出了一些未來挑戰供讀者思考：
設計 AGI 基準：
- 需要能夠全面測試通用人工智慧的基準
- 應涵蓋多任務、多模態、開放式能力
完整的行為測試：
- 對所有可能的輸入分布和行為進行壓力測試
- 確保在實際部署中的可靠性和安全性
穩健性評估：
- 對抗性攻擊、分布轉移、安全風險
- 需要超越當前臨時方法的有原則框架
動態評估：
- 隨著 LLM 的演進更新評估以處理新的風險/能力
- 例如 LLM 在編碼或數學推理方面變得更好
統一評估：
- 需要統一的框架來一致地評估多樣化的 LLM
- 當前方法是臨時的，缺乏標準化
可信評估：
- 評估過程本身必須無偏見、安全、忠實
- 防止 LLM 作弊或不可靠的人工標註
結論
嚴格評估大型語言模型對於建立信任以及實現其安全、合乎道德的部署至關重要。《大型語言模型評估綜述》提供了 LLM 評估的關鍵面向、資料集、協議和開放挑戰的全面概述。隨著這些強大的 AI 模型持續進步，評估研究必須跟上步伐，以審查其性能並防範對社會的潛在風險。遵循有原則的評估實踐對於負責任地利用 LLM 的變革潛力至關重要。
參考文獻
Chang, Y., Wang, X., Wang, J., Wu, Y., Yang, L., Zhu, K., Chen, H., Yi, X., Wang, C., Wang, Y., Ye, W., Zhang, Y., Chang, Y., Yu, P. S., Yang, Q., & Xie, X. (2018). A survey on evaluation of large language models. Journal of the ACM, 37(4), Article 111. https://arxiv.org/abs/2307.03109
Novita AI 是一個一體化的雲端平台，助力您的 AI 雄心。憑藉無縫整合的 API、無伺服器運算和 GPU 加速，我們提供經濟高效的工具，助您快速構建和擴展 AI 驅動的業務。消除基礎設施頭痛，免費開始使用——Novita AI 讓您的 AI 夢想成真。
