引言
除了將 LLM 整合到商業實務的普遍討論外，一場較少公開的辯論正在浮現：傳統機器學習（ML）模型與大型語言模型（LLM）之間的比較。問題來了：傳統 ML 模型是否將被淘汰，由 LLM 主宰 AI 領域？新穎性是否必然等同於優越性？
本文旨在剖析 ML 與 LLM 的論述，探討它們的差異、功能，以及在各種 AI 應用中何者可能勝出的情況。
劃清 ML 與 LLM 的界線
首先，必須認知到大型語言模型（LLM）是機器學習（ML）的子集。機器學習涵蓋廣泛的演算法與模型，從樸素貝氏等基礎模型，到神經網路等更複雜的模型。LLM 是近期的突破，其存在歸功於神經網路與反向傳播訓練等概念，這些概念徹底改變了電腦視覺、自然語言處理（NLP）和強化學習等領域。然而，神經網路的變革潛力直到約十年前才真正實現，主要原因在於資料儲存與計算能力的限制，而 GPU 的廣泛應用以及平價的資料儲存與收集方法克服了這些限制。
認識機器學習
傳統 ML 模型長久以來依賴特徵提取，這是金融、醫療保健等產業各種應用的關鍵流程。支援向量機、決策樹，以及作為 LLM 基礎的淺層神經網路等技術，都高度依賴對既有資料進行特徵工程的品質。然而，由於人類設計複雜數學轉換的能力有限，這種方法有其侷限。深度神經網路，尤其是採用 Transformer 與 CNN 架構的模型，透過自動化並強化特徵提取，代表了重大的躍進。這些模型利用自我監督學習技術，善用大量非結構化資料，減少了大量前處理的需求。雖然深度學習解決方案在推薦系統與搜尋等任務上表現出色，但在需要學習排序（learning-to-rank）技巧的任務中，傳統 ML 解決方案（如 Boosting Trees）可能更為合適。
認識自然語言處理（NLP）
在 NLP 領域，傳統的文字處理技術（如 TF-IDF 與詞袋模型）在 Word2Vec 與 FastText 等模型崛起之前，對於文字向量化至關重要。在 BERT 等模型出現之前，NLP 的相當大一部分工作集中在完善前處理步驟。從 BERT 開始的 Transformer 為 LLM 鋪平了道路，這些 LLM 在來自網際網路的大量文字資料上進行訓練。由於擁有龐大的訓練資料與巨大的參數量，這些模型在翻譯、問答和摘要等複雜語言任務中表現出色。
若您對 NLP 與 LLM 之間的差異感興趣，可參考我們的部落格：NLP 與 LLM：主要差異與協同作用
ML 與 LLM 之間的區別取決於應用程式的具體需求。在需要細膩語言理解或生成式 AI 的任務中（例如聊天機器人或文字摘要），LLM 通常因其先進能力而更受青睞。然而，傳統 ML 在可解釋性與計算效率至關重要的情境中表現出色，例如結構化資料分析或資源受限的環境（如邊緣裝置）。
在情感分析或推薦系統等特定領域，ML 與 LLM 都可能提供可行的解決方案，各具獨特優勢。這些方法可以是互補而非競爭，具體取決於使用案例。下一節將深入探討每種技術的實作細節與考量，協助您針對各種使用案例做出決策。
ML 與 LLM 的決策矩陣
LLM 在需要全面語言理解的生成任務中表現優異，而傳統 ML 在判別任務中因效率高、資源需求低而仍然有效。例如，情感分析或客戶流失預測可能較適合 ML，而程式碼產生或文字補全等複雜任務則較適合 LLM。
ML 與 DL 與 LLM 的示範管道
讓我們深入探討一個情境：我們想要建立一個情感分析模型，用來評估電子商務平台上評論的正向或負向。
我們將檢視三種不同的方法：使用 XGBoost 的機器學習、使用 TensorFlow 的深度學習，以及使用 OpenAI 的大型語言模型進行情感分析預測。
使用 XGBoost 的 ML
首先，我將探討如何使用 XGBoost（一種強大且高效的機器學習演算法）進行情感分析。此示範將凸顯從文字資料中提取特徵、訓練模型並評估其效能的步驟，強調 XGBoost 在有效處理結構化資料方面的能力。
這段程式碼摘錄展示了專為情感分析設計的機器學習管道實作，利用 XGBoost（知名的梯度提升框架）以及 TF-IDF 進行文字向量化。基本概念是使用 TF-IDF 將文字資料轉換為數值向量，該技術能捕捉語料庫中詞彙的重要性，然後應用基於 Boosting Trees 的高效且強大的演算法 XGBoost 進行二元分類任務。此管道對於結構化資料集特別有效，且非常適合優先考慮可解釋性與計算效率的情境。不過，請注意，在此情境中，我們假設提供給管道的文字資料是完美無缺的，但實際情況往往並非如此。通常，前步驟包含文字處理任務，例如停用詞移除與文字正規化。
使用 TensorFlow 的 DL：
在接下來的範例中，我將展示採用 TensorFlow 的深度學習方法。我們建構一個簡單的（淺層）神經網路來處理文字資料，旨在說明深度學習如何透過神經網路層來辨別語言中的複雜模式。以下是使用 TensorFlow 搭配 Keras 的示意圖：
從先前傳統機器學習方法的情感分析示範轉變，這段程式碼重點轉向使用 TensorFlow 的深度學習方法，TensorFlow 是一個用於建構基於神經網路模型的強大框架。此深度學習示範的核心是嵌入層，這是因 Word2Vec 而廣為人知的概念。該層將詞彙轉換為高維空間中的稠密向量，以超越簡單數值向量化的方式捕捉語義關係。與先前的 TF-IDF 與 XGBoost 方法相比，此深度學習模型能在上下文中學習詞彙表示，使其能夠掌握語言使用的細微差異。該模型採用基本的神經網路架構，包含嵌入層、用於降維的池化層，以及用於分類的密集層。
值得注意的是，為了簡單起見，實作的神經網路僅包含一個隱藏層。要充分發揮深度神經網路（DNN）的特徵提取能力，需要更深厚、更複雜的神經網路。此方法對於需要捕捉細微語言模式的大量複雜資料集非常有效。它是深度學習如何簡化並強化特徵提取的絕佳範例，而特徵提取傳統上需要大量的人工介入與領域專業知識。
使用 GPT-3 的 LLM
最後，我探索一個使用大型語言模型（特別是 GPT-3）的範例，展示這些在大量資料集上預訓練的複雜模型如何以最少配置用於情感分析，儘管需要依賴外部 API 與資源。以下是使用 OpenAI 的 GPT-3 API 進行情感分析的示意圖：
這最後一段程式碼摘錄呈現了一種替代的情感分析方法，利用 OpenAI 的 GPT-3（Davinci 模型），這是一種先進的大型語言模型（LLM）。
在此，模型訓練與特徵提取的複雜性被抽象化，因為您基本上是透過使用預訓練模型來走捷徑。與先前模型在特定資料集上訓練以適應任務的範例不同，GPT-3 已在大量且多樣的資料集上進行訓練，使其具備理解並生成類人文字的能力。
此方法的主要優勢在於其簡單性與多功能性。只需幾行程式碼與一些提示工程，您就能利用 GPT 模型的能力執行多種任務，包括情感分析，而無需大量的資料前處理或模型訓練。這段程式碼將文字傳送給 GPT-3 API，並檢索情感評估，展示了 LLM 如何能立即部署使用。它凸顯了自然語言處理領域的進展，語言理解的複雜性已嵌入到預訓練模型中，使其在各種應用中既高度強大又易於使用。
然而，雖然此解決方案更容易實作且可能更穩健，但它模糊了開發大型語言模型所涉及的複雜訓練過程。這方面可能會引發技術與財務考量，我們將在下一節進一步探討。
深入技術考量
探索大型語言模型的技術領域時，需要同時考慮技術負債與成本。雖然這些模型簡化了部署並減輕了複雜性（如上例所示），但它們也涉及財務影響。從技術挑戰轉向財務挑戰，突顯了有必要更仔細檢視技術效率與部署及維護 LLM 的實際成本之間的權衡。
技術負債與成本
回顧先前的範例，很明顯，雖然 LLM（例如 GPT-4 或 Llambda）提供了簡化的處理流程與易用性，但它們在成本方面也帶來了挑戰。這些模型擅長理解並回應各種提示，顯著簡化了部署流程，並減輕了通常與模型開發和維護相關的複雜性。這與 XGBoost 等 ML 方法形成鮮明對比，後者需要在特徵工程與模型優化方面投入更多實際操作。
在考量 LLM 的應用時，可以將其視為一種將建構機器學習與深度學習管道的複雜性與技術障礙轉化為財務成本的手段。這是因為 Transformer（這些模型的底層架構）處理了傳統上需要大量計算資源與專業知識的複雜特徵提取任務。然而，這種便利性伴隨著對強大圖形處理單元（GPU）更高依賴的代價。這些 GPU 若不是代表直接費用（如果自行託管 LLM，例如 Llambda），就是該成本已整合到使用受管服務（如 OpenAI 模型）時的服務費用中。本質上，技術複雜性的負擔轉變為財務負擔，使技術變得可取得，但需要付出代價。
延遲與任務性質
在面向使用者的應用程式中，AI 模型處理並回應輸入的速度（即延遲）至關重要。
傳統 ML 模型以其快速處理能力聞名，非常適合高速、即時的應用，例如執行金融交易演算法、提供推薦，或管理緊急應變系統，在這些情境中，瞬間決策至關重要。
多年來，學術界與產業界投入了大量精力來優化並擴展 ML 模型在預測與訓練方面的計算成本。
然而，當涉及 LLM 時，情況就不同了。以客戶支援應用中的虛擬助理為例。雖然即時回應仍然重要，但 LLM 的全面語言理解能力能顯著提升互動的品質與深度，因此些許回應延遲是值得的。這種細微的權衡在內容生成任務中也很明顯，LLM 生成的文字或圖片的豐富性與連貫性，可能勝過其他應用中即時結果的必要性。
本質上，在傳統 ML 模型與 LLM 之間做選擇，需要仔細評估當前任务的具體性質與急迫性。延遲與語言理解之間的平衡，成為決定特定技術脈絡下最佳解決方案的關鍵因素，凸顯了量身訂做方法的必要性，並認識到不同的應用需要不同的考量。
儘管如此，持續的努力正在進行，以優化這些 LLM 所需的計算資源，進而大規模提供更快的回應。
結論
在考量 ML 與 LLM 時，必須掌握它們各自的優勢與劣勢。最終決策取決於具體的應用需求與限制，例如成本、延遲與任務性質。然而，在評估您的選項時，有兩個關鍵考量應始終牢記於心。
novita.ai，一站式平台，為您提供無限創意，可存取超過 100 個 API。從影像生成、語言處理到音訊強化與影片編輯，採用平價的隨用隨付制，讓您在打造自家產品的同時，免於 GPU 維護的煩惱。立即免費試用。
推薦閱讀
