探索 Llama 3.1 論文：一份深入手冊

重點摘要

• 全面的多語言支援：Llama 3.1 擅長處理八種語言，使其成為全球多語言應用的理想選擇。
• 大規模與運算效率：擁有 4,050 億參數的 Llama 3.1 經過運算優化，能在不消耗過多資源的情況下實現高效能。
• 各項基準測試的尖端表現：它與 GPT-4 等頂尖模型競爭，在程式碼、數學與長上下文任務中表現優異。
• 強化模型架構與對齊：採用 DPO 等先進技術，使輸出與人類偏好對齊，提升可靠性。
• 開源可及性：Meta 開放 Llama 3.1 的存取權限，促進 AI 領域的合作與創新。
• 無與倫比的編碼與推理能力：該模型在程式碼編寫與複雜問題解決任務中展現頂尖表現。

引言

在快速變遷的人工智慧（AI）世界中，大型語言模型（LLM）代表了一些最尖端的新技術。這些模型透過大量資料訓練，非常擅長理解並生成如同人類撰寫的文字。這篇部落格文章將深入探討 Meta 的 Llama 3.1 論文，為你提供關於其設計、能力以及作為 NLP 領域基礎模型重要性的清晰觀點。

Llama 3.1 概覽

Meta 最新的旗艦語言模型 Llama 3.1 擁有 4,050 億個參數，展現了 Meta 對 AI 進步的承諾。它在各種任務與語言中表現出色，為基於 Meta 研究與創新的新模型鋪平了道路。

模型資訊

Meta Llama 3.1 系列包含多語言大型語言模型（LLM），有 8B、70B 和 405B 三種規模，經過預訓練與微調，適用於生成式文字任務。這些純文字的 Llama 3.1 模型在多語言對話應用中表現優異，並超越了許多業界基準。

該模型正式支援八種語言：英文、德文、法文、義大利文、葡萄牙文、印地文、西班牙文與泰文。基礎訓練暗示其能力可能涵蓋更多語言。

模型架構

Llama 3.1 是一種自迴歸語言模型，建立在優化的 Transformer 架構之上。其增強版本透過監督式微調（SFT）與基於人類回饋的強化學習（RLHF）進行改進，以符合人類對有用性與安全性的標準。

Llama 3.1 的與眾不同之處

Llama 3.1 在幾個重要方面與早期版本及競爭對手區別開來：

• 規模：擁有 4,050 億個參數，遠大於前代版本。Llama 3.1 論文揭示：「我們訓練的模型規模遠大於先前的 Llama 模型：我們的旗艦語言模型使用了 3.8 × 10²⁵ FLOPs，比最大的 Llama 2 版本高出近 50 倍。」
• 運算最優規模：選擇 4,050 億參數是基於擴展法則的策略性決定，正如 Llama 3.1 論文所述：「根據我們的資料與訓練預算，該規模在擴展法則下是運算最優的。」
• 多語言能力：Llama 3.1 在多項基準測試中可與 GPT-4 等頂尖 AI 模型匹敵，論文指出：「我們的實驗評估顯示，旗艦模型在許多任務中可與 GPT-4 等領先語言模型匹敵，接近最先進的效能。」

取得與理解 Llama 3.1 論文

Llama 3.1 論文是開源 AI 社群的一個里程碑，提供了對強大大型語言模型（LLM）的深入見解。它說明了模型的架構、訓練過程與效能，促進了對 LLM 及其功能、應用與限制的理解、學習與創新。

• Llama 3.1 論文的價值：Llama 3.1 論文對 AI 專業人士至關重要，因為它提供了模型設計、以人為本的效能評估以及安全性與對齊方法的深入洞察，促進了 AI 系統的透明度與信任。
• 下載 Llama 3.1 論文 ** PDF：** Meta 對開放科學的承諾體現在免費提供 Llama 3.1 論文 PDF 格式，提高了可及性，鼓勵更多人參與 AI 研究。

預期用途

Llama 3.1 為全球研究人員提供了一個強大的語言模型，徹底改變了 AI 研究。其先進的語言能力有益於實際應用，例如增強聊天機器人與 AI 系統，以改善客戶服務、教育與醫療保健領域的溝通。

預期使用案例

Llama 3.1 專為多語言的商業與研究應用而設計。經過指令微調的純文字模型特別適合類似助理的聊天功能，而預訓練模型則足夠通用，可適用於各種自然語言生成任務。此外，Llama 3.1 模型集合有助於透過使用其輸出（包括合成資料生成與蒸餾）來增強其他模型。Llama 3.1 社群授權支援這些多種使用案例。

如何使用

此儲存庫包含兩個版本的 Meta-Llama-3.1–70B，一個相容於 Transformers，另一個相容於原始的 Llama 程式碼庫。

與 Transformers 搭配使用

從 transformers >= 4.43.0 開始，你可以使用 Transformers 管線抽象或搭配 generate() 函式的 Auto 類別來進行對話推理。

請務必透過執行 pip install --upgrade transformers 升級你的 transformers 安裝。

import transformers
import torch

model_id = “meta-llama/Meta-Llama-3.1-70B”

pipeline = transformers.pipeline(
pipeline(“Hey how are you doing today?”)

Llama 3.1 的訓練資料集

Llama 3.1 的預訓練資料集是經過精心策劃、平衡良好的各種一般領域混合資料，經過細緻處理以確保高品質且多樣化的訓練輸入。

預訓練資料

資料集建構包含四個主要階段：

1. 品質過濾：使用啟發式方法（如 CLIP 分數）移除非英文與低品質的標題。
2. 感知去重：使用內部 SSCD 複製偵測模型大規模對影像進行去重，每個重複群組保留一個影像-文字對。
3. 重新取樣：為確保多樣性，從高品質文字來源建立 n-gram，並根據其頻率重新取樣資料。
4. 光學字元辨識：使用專有 OCR 管線提取影像中的文字，並與標題結合。

為增強文件理解，資料集還包含：

• 文件轉錄：將文件頁面渲染為影像並附帶配對文字。
• 內容安全：使用感知雜湊等技術消除不安全內容，如 CSAM。
• 資料集精煉至約 3.5 億個影像-標題對，並透過各種來源（包括視覺定位、螢幕截圖解析、問答對、合成標題與合成生成的結構化影像）額外增加了 1.5 億個範例。

後訓練資料

SFT 資料：

• 針對影像： 學術資料集透過模板與 LLM 改寫轉換為問答對。人類標註員從多模態資料創建多樣化對話，以增強模型生成的內容。
• 針對合成資料： 使用文字輸入 LLM 對影像的文字表示進行處理，為對應影像創建問答對。此過程涉及將問答文字與表格資料轉換為合成影像，使用標題與 OCR 提取來生成對話資料。
• 針對影片： 帶有標註的學術資料集被轉換為文字指令與問題的目標回答。人類標註員對包含複雜問題與答案的影片進行標註，這些問題需要多於單幀的上下文資訊。

偏好資料：

資料集包含模型輸出，以 7 分量表評定為「chosen」或「rejected」，並附有人類對偏好與修正的標註。使用純文字 LLM 建立合成偏好對，在微調資料集中引入錯誤，透過從未選中的高品質回應中進行拒絕取樣生成負樣本。

對 Llama 3.1 應用 DPO

Meta 將直接偏好最佳化（DPO）作為 Llama 3.1 後訓練過程的關鍵部分，以更好地使模型與人類偏好對齊。以下是此過程的執行方式：

初始設定：

• 流程始於在人類標註的偏好資料上進行訓練，建立在先前對齊輪次中最成功的模型之上。
• 主要目標是確保訓練資料與每個週期中正在最佳化的策略模型的分佈緊密匹配，這有助於逐步提升模型效能。
• 偏好資料收集：

• 偏好資料來自人類標註員，他們針對每個提示評估多個模型生成的回應。這些評估基於回應的品質與偏好，並具有明確的排名，例如 edited > chosen > rejected。
• 此資料包含按各種偏好等級（顯著更好、更好、略好或邊際更好）排序的回應，有時還包含編輯過的回應，以進一步精煉 chosen 回應。

Llama 3.1 的實驗

Llama 3.1 的視覺實驗評估其影像與影片辨識表現。語音實驗則展示其語音辨識能力。結果突顯了模型的韌性與在 AI 中的潛在應用。

Llama 3.1 的視覺實驗

影像辨識結果

• Llama 3-V 405B 模型在所有基準測試中超越 GPT-4V，但略遜於 Gemini 1.5 Pro 與 Claude 3.5 Sonnet。
• 它在文件理解任務中表現出特別的優勢。

影片辨識結果

• Llama 3 在影片辨識方面表現出色，特別是評估了 8B 與 70B 參數模型。
• 它在 PerceptionTest 上表現極佳，顯示出強大的複雜時間推理能力。
• 在長篇活動理解任務（如 ActivityNet-QA）中，Llama 3 即使只處理最多 64 幀，也能交出強勁的成績。這意味著對於三分鐘的影片，模型每秒僅處理一幀。

Llama 3.1 的語音實驗

即時串流文字轉語音（TTS）系統現已整合至 Llama 3，可在解碼時生成語音波形。此 TTS 系統使用 Llama 3 的嵌入，在推理期間改善延遲、準確性與自然度。

什麼是退火，它是如何運作的？

訓練大型語言模型（如 Llama 3.1）涉及「退火」，這是一個微調模型以提升任務表現的過程。該術語借鑒自冶金學，其中退火透過加熱然後緩慢冷卻來強化材料。

Llama 3.1 的退火過程包含幾個關鍵組成部分：

1. 逐步降低學習率：系統性地將學習率降至零，穩定參數並透過最小化過擬合來增強泛化能力。
2. 對高品質資料進行過採樣：調整訓練資料混合比例，優先考慮高品質來源，從而改善模型表現與準確性。
3. Polyak 平均：此技術在退火過程中平均來自不同檢查點的參數，以建立穩定的預訓練模型。

總體而言，退火過程確保了平滑收斂，透過更小的參數更新增強穩定性，並產生一個穩健且精確的模型，能夠很好地泛化到新資料。

提升 Llama 3.1 的編碼、多語言能力等

重點在於透過額外訓練來增強 Llama 3.1 的能力，涵蓋編碼、多語言能力、數學推理、長上下文處理、工具使用、準確性與可控性。人類評估與標註確保了這些優化功能達到頂級品質。

Llama 3.1 的編碼技能

Llama 3.1 在各種編碼基準測試中表現強勁。評估使用 pass@N 指標，該指標衡量 N 次生成中成功通過一系列單元測試的比率。主要發現包括：

Python 程式碼生成：

• HumanEval： Llama 3 8B 得分 72.6±6.8，70B 達到 80.5±6.1，405B 達到 89.0±4.8。
• MBPP： Llama 3 8B 得分 60.8±4.3，70B 達到 75.4±3.8，405B 達到 78.8±3.6。
• HumanEval+： Llama 3 8B 結果為 67.1±7.2，70B 為 74.4±6.7，405B 為 82.3±5.8。

多程式語言程式碼生成：

• 評估使用 MultiPL-E，該工具將 HumanEval 與 MBPP 中的問題翻譯成多種程式語言，如 C++、Java、PHP、TypeScript 和 C#。
• HumanEval C++ 版： Llama 3 8B 得分 52.8 ±7.7，Llama 3 405B 達到 82.0 ±5.9。
• MBPP C++ 版： Llama 3 8B 得分 53.7 ±4.9，Llama 3 405B 達到 67.5 ±4.6。

Llama 3.1 的數學與推理能力

Llama 3.1 在各種數學與推理基準測試中展現了卓越的表現，突顯了它在這些領域的熟練程度。以下是評估的主要結果：

GSM8K（8-shot，思維鏈 — CoT）：

• Llama 3 8B：57.2±2.7
• Llama 3 70B：83.0±7.4
• Llama 3 405B：90.0±5.9

MATH（0-shot，CoT）：

• Llama 3 8B：20.3±1.1
• Llama 3 70B：41.4±1.4
• Llama 3 405B：53.8±1.4

ARC Challenge（0-shot）：

• Llama 3 8B：79.7±2.3
• Llama 3 70B：92.9±1.5
• Llama 3 405B：96.1±1.1

Meta 在提升 Llama 3.1 的數學與推理能力時面臨了幾項挑戰，包括：

• 缺乏提示
• 缺乏真實思維鏈
• 不正確的中間步驟
• 教導模型使用外部工具
• 訓練與推理之間的不一致

Llama 3.1 在長上下文情境中的表現如何？

Llama 3.1 在長上下文基準測試中表現出色，展現了從長篇文件中高效處理與檢索資訊的能力。以下是關鍵評估結果：

• 大海撈針（Needle-in-a-Haystack）：在從長文件中檢索隱藏資訊方面達到 100% 的成功率，在多針變體中也近乎完美。
• ZeroSCROLLS：405B 與 70B 模型在長篇文字的自然語言理解方面可匹敵或超越競爭對手。
• InfiniteBench：405B 模型在需要長上下文理解的任務中超越所有競爭對手，特別是在小說問答（En.QA）方面表現優異。

在閱讀 LLaMA 3.1 論文後，其學術貢獻在實際場景中大放異彩。LLM API 將學術理論與實際實施有效結合，簡化了開發者對複雜研究的操作。讓我們探討 LLM API 如何實現這一點。

在 Novita.AI 上使用 Llama 3.1 變體

Novita AI 是一個強大的平台，用於管理 Llama 3.1 模型，提供直覺的介面與強大的 API，可輕鬆整合到實際應用中。它自動化系統管理，有效擴展資源，確保高效能，同時優先考慮安全性與資料隱私。透過簡化對先進 LLM 的存取，Novita AI 賦能開發者與企業加速 AI 專案，推動各行業的創新。

如何在 Novita.AI 上部署 LLM API？

請仔細遵循這些結構化步驟，使用 Novita AI 上的 Llama 3.1 API 開發強大的語言處理應用程式。這份詳細指南確保了流暢高效的過程，滿足尋找先進 AI 平台的現代開發者的需求。

步驟 1： 註冊並登入 Novita AI

步驟 2：導覽至 Novita AI 的儀表板標籤，取得你的 API 金鑰。你也可以選擇建立一個新金鑰。

步驟 3： 到達金鑰管理頁面後，點擊「複製」即可輕鬆取得你的金鑰。

步驟 4： 前往 LLM API 參考文件 探索 Novita AI 提供的「API」與「模型」。

步驟 5： 選擇最符合你需求的模型。設定開發環境，並相應調整內容、角色、名稱與詳細提示等設定。

步驟 6： 進行幾次測試，以確認 API 的穩定表現。

如何在 Novita AI 上體驗 LLM Playground？

在正式於 Novita AI 上部署 LLM API 之前，你可以先在 LLM Playground 中探索與實驗。我們為開發者提供免費的使用額度。接下來，我將逐步引導你完成開始使用的過程。

步驟 1：存取 Playground：前往選單中的 Products 標籤，選擇 Model API，然後選擇 LLM API 開始探索。

步驟 2：從多種模型中選擇：選擇最符合你評估需求的 llama 模型。

步驟 3：輸入你的提示並生成輸出：在指定欄位中輸入你想使用的提示。這是輸入文字或問題供模型處理的區域。

結論

Llama 3.1 論文介紹了一個在許多領域擁有驚人能力的新模型。它涵蓋了從模型架構到測試結果以及可能用途的所有內容。本指南為技術愛好者與研究人員提供了有用的資訊。如果你想了解更多，應該查看 Llama 3.1 論文的 PDF。這將幫助你理解其數學、推理能力以及多語言工作的能力。Llama 3.1 有潛力改變 AI 的運作方式。它在 Novita.AI 上的不同版本為利用這項技術提供了絕佳機會。透過 Llama 3.1 探索先進的 AI，體驗顯著的變革。

常見問題

Llama 3.1 可以用於生成創意內容嗎？

是的，Llama 3.1 可以生成創意內容。其生成式 AI 功能使其能夠創建不同類型的文字，包括詩歌、劇本甚至音樂。這顯示了它在許多創意用途中的多功能性。

Llama 3.1 如何處理使用者隱私與資料安全？

Llama 3.1 具備 Llama Guard 功能，以確保使用者隱私與資料安全，促進負責任的 AI 使用。它防止濫用，支援道德選擇，並使用加密技術來保護資料安全。

Llama 3.1 比 GPT-4 更好嗎？

如果你優先考慮編碼任務的準確性與效率，Llama 3 可能是更好的選擇。

Llama 3.1 405B 是什麼？

Llama 3.1 模型有 8B、70B 和 405B 三種參數規模，在業界基準測試中展現頂尖表現，並為生成式 AI 應用提供了新功能。

為什麼 Llama 如此重要？

Llama 作為一項重要的 AI 進展，提供了令人印象深刻的能力與開放的存取權限。它的發布民主化了 AI 研究，促進創造力與協作，推動各領域的創新。

原文發表於 Novita AI

Novita AI 是一個一站式雲端平台，助你實現 AI 抱負。整合 API、無伺服器、GPU 實例——你所需的經濟高效工具。無需管理基礎設施，免費開始，讓你的 AI 願景成為現實。

推薦閱讀

1. 使用 Llama 3.1 API 整合提升你的專案

2. 透過 LLM API 深入了解 Llama 3.1 線上版

3. 使用 Llama 3 400B 進行進階 AI 開發