簡介
近期，一個僅有 70B 參數的 LLM 超越了 GPT-3。這個名為 Chinchilla 的 LLM 由 Hoffmann 及其同事開發。他們在研究中指出， 目前的 LLM 並未達到計算最優。為什麼會這樣？他們如何訓練所謂的計算最優 LLM Chinchilla？這種方法有哪些限制，我們又該如何克服？在本篇部落格中，我們將逐一探討這些問題。
什麼是計算最優的大型語言模型？
計算最優 LLM 的核心概念是在模型大小（參數量）與使用的訓練資料量之間取得適當的平衡。這與以往的做法不同——以往模型大小的增長遠比訓練資料激進，導致模型相對於其容量來說訓練嚴重不足。
計算最優 LLM 的核心特點是什麼？
特點 1：模型大小與訓練資料的平衡擴展
與其讓模型大小指數級增長而訓練資料僅小幅增加，計算最優 LLM 會以相等比例同時增加模型大小與訓練資料。這確保模型容量能被可用的訓練資料充分利用。
特點 2：整體計算效率最佳化
目標是在模型大小與訓練資料之間找到最佳點，以達到每單位計算資源的最佳性能。這樣就能在固定的計算預算內最大化模型能力，而不是一味追求新的模型大小紀錄。
特點 3：微調與推理所需計算資源更少
這進一步提升了效率與實際應用的可行性，因為模型的部署與使用更符合成本效益。
這些受歡迎的 LLM 不是計算最優的嗎？
遺憾的是，根據 Hoffmann 等人（2022）的研究，這些受歡迎的 LLM 並非計算最優。我們先來回顧一下影響當前 LLM 的觀點。
對模型大小的過度關注
Kaplan 等人（2020）先前的研究顯示，語言模型大小與性能之間存在引人注目的冪律關係。具體來說，他們發現當模型參數量呈指數增長時，模型在各種基準測試上的性能會以穩定的冪律速率提升。
這項開創性研究對大型語言模型領域產生了深遠影響，使得研究人員與工程師將重點放在擴大模型大小作為主要改進方向。邏輯很明確——如果性能與模型大小的關係如此可預測，那麼打造更好的 LLM 就只能不斷建造更大的模型。
重新聚焦於訓練資料量
Hoffmann 等人（2022）認為，這種單方面聚焦於模型擴展付出了巨大代價。他們指出，當前最先進的 LLM 實際上訓練嚴重不足，因為研究重點完全放在增加模型大小上，而未按比例增加訓練資料量。
這個批判是他們論文的關鍵貢獻。作者主張，該領域已經忽略了模型與資料之間的基本權衡，一味追求模型大小的紀錄，卻未確保這些模型在足夠數量的高品質資料上訓練。結果，LLM 可能擁有驚人的參數量，但最終並未在投入的計算資源下達到最佳性能。
透過將注意力重新聚焦於模型容量與訓練資料之間的核心權衡，作者為後續關於這兩個關鍵因素最佳平衡的實證研究奠定了基礎。他們的發現將在以下章節詳細介紹，為開發計算高效的大型語言模型提供了新典範。
如何訓練計算最優的大型語言模型？
在這一節，我們將深入探討 Hoffmann 等人（2022）的論文《Training Compute-Optimal Large Language Models》。一如往常，如果你覺得研究細節太過學術化，可以直接看結論並跳過此節：為了達到計算最優訓練，模型大小與訓練 token 數應以相同比例擴展——模型大小每增加一倍，訓練 token 數也應增加一倍。
實證估計模型與資料的最佳權衡
為了探討模型大小與訓練資料之間的最佳權衡，作者訓練了超過 400 個模型，參數量從 7,000 萬到 160 億不等，使用的資料集從 50 億到 5,000 億 token。他們將最終的預訓練損失建模為模型大小與訓練 token 數的函數。
主要發現
作者發現，為了達到計算最優訓練，模型大小與訓練 token 數應以相同比例擴展——模型大小每增加一倍，訓練 token 數也應增加一倍。這與 Kaplan 等人的建議相反，後者建議訓練 token 的增長幅度應小於模型大小。
訓練計算最優模型：Chinchilla
基於他們的發現，作者使用與 2800 億參數 Gopher 模型相同的計算預算，訓練了一個 700 億參數的模型，稱為 Chinchilla。Chinchilla 在多項下游任務中顯著優於 Gopher、GPT-3、Jurassic-1 與 Megatron-Turing NLG，同時在微調與推理時所需的計算資源也大幅減少。
結語
該論文證明了當前大型語言模型訓練嚴重不足，並提供了一種原則性的方法來決定在給定計算預算下的最優模型大小與訓練資料。這對於未來高效發展大規模語言模型具有重要意義。
如果你想了解更多技術細節，歡迎閱讀 原論文。
訓練計算最優大型語言模型方法的限制
雖然本文所述的方法提供了一個引人注目的理論框架，但仍有幾個潛在限制：
龐大訓練資料的可得性
- 該原則依賴於取得極大量、高品質的資料集來訓練模型。
- 取得並整理如此巨大的資料集可能具有挑戰性、耗時且成本高昂。
- 這可能限制該方法的實際可行性，尤其是對較小的研究團隊或組織而言。
硬體與計算限制
- 以成比例的資料量訓練非常大的模型需要龐大的計算資源。
- 取得必要的硬體（例如強大的 GPU、TPU）以及所需的電力/冷卻基礎設施可能成為限制因素。
- 這種方法相關的整體計算成本對許多人來說可能難以負擔。
領域特定性能
- 本文聚焦於通用語言模型，但針對特定領域或任務的模型，模型大小與訓練資料的最佳平衡可能有所不同。
- 某些應用可能需要不同的權衡方法才能達到最佳結果。
缺乏實證驗證
- 雖然提出的原則在邏輯上合理，但本文並未提供實證證據或案例研究來證明計算最優方法的有效性。
- 需要進一步的研究與實際實施來驗證這些主張並量化其效益。
潛在社會影響
- 擴大模型大小與訓練資料可能會加劇對 AI 安全性、安全性以及大規模機器學習環境影響的擔憂。
- 這些社會影響未在本文中討論，需要仔細考量。
總體來說，實際實施計算最優 LLM 方法可能面臨與資料、硬體、領域特異性以及更廣泛影響相關的重大挑戰。需要實證評估與進一步研究才能全面評估其可行性與效益。
提升 LLM 效能的另一種方式
雖然前述的計算最優方法提供了一個開發高性能 LLM 的誘人框架，但還有一個替代解決方案能提供更大的靈活性與效率：LLM API。
與其依賴單一固定的 LLM，Novita AI LLM API 提供了多樣化的語言模型，每個模型都有其獨特的能力與專長領域。這讓用戶可以根據特定需求選擇最合適的模型。
此外，Novita AI Model API 讓用戶能夠輕鬆調整關鍵模型參數，例如 top p（控制模型選擇詞彙的過程，以促進更多樣且有意義的文字生成）、temperature（調節模型文字生成中的隨機性與探索程度）、max tokens（限制模型輸出的長度）以及 presence penalty（懲罰模型過度重複詞彙，鼓勵生成更多變的文字）。這種自訂能力能夠將 LLM 的效能微調到符合每個專案或使用案例的獨特需求，從而產生更優化且更具針對性的結果。
除了可調整參數之外，Novita AI Model API 的另一個亮點是支援系統提示輸入。用戶可以提供自訂提示或模板來引導語言模型的行為，從而獲得更有方向性與目的性的回應。這對於需要特定語氣、風格或領域知識的應用特別有價值。
結論
Hoffmann 等人的工作代表在實際計算限制下優化大型語言模型訓練的重要一步。他們關於平衡模型容量與訓練資料規模的核心想法既有理論基礎，也透過 Chinchilla 模型獲得實證驗證。透過避免嚴重訓練不足的陷阱，這種計算最優方法與先前的先進 LLM（如 GPT-3）相比，釋放了新的性能與效率層級。
然而，大規模實施這種計算最優訓練並非沒有挑戰。整理龐大且高品質的資料集本身就存在困難。所需的計算資源（從硬體到能源成本）的可用性也可能阻礙採用——尤其是對較小的組織而言。一個提供更大靈活性的替代方案是利用先進的語言模型 API，例如 Novita AI Model API。這些 API 讓用戶可以存取多樣化的預訓練模型，針對不同的使用案例量身打造。
Novita AI 是一個一站式平台，提供無限創意，可存取超過 100 個 API。從影像生成、語言處理到音訊增強與影片操作，按量計費價格便宜，讓您在建立自己的產品時免於 GPU 維護的困擾。立即免費試用。
推薦閱讀
