重點摘要
- 生成式 AI 的進步：Meta 的 Llama 3.1 模型在問題解決能力、上下文長度和多語言支援方面，比 Llama 3 有顯著提升。
- 模型建議：Llama 3.1 70B 適合長篇內容生成與複雜文件分析，而 Llama 3 70B 則更適合即時互動。
- LLM API 靈活性：LLM API 讓開發者能無縫切換模型，便於直接比較並發揮各模型的優勢。
- 入門指南：提供逐步教學，透過 Novita AI LLM API 整合 Llama 模型，包含註冊取得存取權限與測試功能。
- 探索機會：使用者可在 Novita AI LLM Playground 中，搶先於官方 Llama 3 API 發布前，試用較新的 Llama 模型。
簡介
生成式 AI 正見證新穎且富有創意的 Llama 模型。Meta 最新的 Llama 3.1 模型展示了我們已達到的進展。這次更新改進了 Llama 3，並為各類問題解決任務帶來重大升級。在本篇文章中，我們將說明 Llama 3 與 Llama 3.1 的主要差異，協助您為自己的 AI 需求選擇最佳方案。
探索從 Meta Llama 3 到 Llama 3.1 的演進
Llama 3 的推出是開放原始碼生成式 AI 的重要一步。然而，Meta 仍看到改進空間，特別是在上下文長度、多語言支援與安全性方面。這些領域正是打造 Llama 3.1 的關鍵。
透過 Llama 3.1，Meta 解決了這些主要問題，為開發者與研究人員提供更完善的工具。這次升級帶來了能力上的大幅躍進，使 Llama 3.1 成為頂尖專有模型的有力競爭者。
什麼是 Llama 3？
Meta 已開發並釋出了 Meta Llama 3 系列的大型語言模型（LLMs），包含一系列預訓練與指令微調的文字生成模型，提供 80 億與 700 億參數兩種規格。Llama 3 指令微調模型特別針對對話應用進行最佳化，在多項常見業界基準測試中持續超越許多現有的開放原始碼聊天模型。此外，我們在開發這些模型時，也優先考量了實用性與安全性。
Llama 3 模型提供兩種規模——80 億與 700 億參數——皆有預訓練與指令微調兩種版本。
什麼是 Llama 3.1？
Meta Llama 3.1 系列包含多語言大型語言模型（LLMs），提供 80 億、700 億與 4050 億參數（純文字輸入/輸出）的預訓練與指令微調生成模型。Llama 3.1 指令微調純文字模型（8B、70B、405B）特別針對多語言對話應用進行最佳化，在多項常見業界基準測試中持續優於許多現有的開放原始碼與專有聊天模型。
Llama 3 與 3.1 的主要差異
雖然 Llama 3 與 Llama 3.1 採用相同的密集 Transformer 設計，但兩者之間存在幾項重要差異。最大的差異之一在於上下文長度。Llama 3.1 擁有更大的上下文視窗，可一次處理更多文字。因此，在處理長文件或複雜對話時，它的表現比 Llama 3 更出色。
Llama 3.1 還有許多重要的更新：
- 改善的文字生成：Llama 3.1 的訓練過程經過最佳化，生成的文字更清晰、相關性更高且更像人類書寫。
- 多語言能力：與 Llama 3 相比，Llama 3.1 能處理更多語言，使其適用於更廣泛的任務。
- 強大的安全功能：Llama 3.1 包含更完善的安全措施，有助於降低因上下文視窗變長而可能產生的有害輸出風險。
這些更新顯示 Llama 3.1 是一款更具靈活性且功能更強大的工具，適合需要進階文字生成與處理能力的開發者。
Llama 模型目前已更新至 Llama 3.2。若想進一步了解 Meta Llama 3.2、Llama 3.1 與 Llama 3 之間的差異，可點擊此處觀看詳細影片說明，或直接點擊下方影片。
https://www.youtube.com/embed/JCXsf5aUr2k
在探討完 Llama 3 與 Llama 3.1 的主要差異後，我們有必要將注意力轉向一項具體比較：Llama 3 70B 與 Llama 3.1 70B。這項分析將展示它們各自獨特的功能、效能指標與實際應用，讓開發者能根據自身在對話與文字生成方面的需求做出明智選擇。
Llama 3 70B vs Llama 3.1 70B
選擇 Llama 3 70B 或 Llama 3.1 70B 取決於您的專案需求。如果您需要處理大量上下文、生成長篇內容或解決複雜問題，Llama 3.1 70B 是更好的選擇。但如果您更重視速度與效率，那麼 Llama 3 70B 仍是強而有力的選擇，特別適合快速回應與即時任務。
基本比較
以下是兩種模型的基本比較。
基準測試比較
Llama 3.1 70B 在多數基準測試中表現優於前代，並在以下項目有顯著進步：
- MMLU（+4 分）：此基準測試評估在 STEM、人文、社會科學等 57 個學科中的表現，問題範圍從初級到進階專業等級，評估一般知識與問題解決能力。
- MATH（+17.6 分）：MATH 是一個包含 12,500 道具挑戰性數學問題的新資料集，專為競賽設計。
- GSM8K（+2.1 分）：GSM8K 包含 8,500 道由人類作者製作、語言上多樣化且高品質的小學數學文字題。資料集分為 7,500 道訓練題與 1,000 道測試題。
- HumanEval（-1.2 分）：這表示程式碼生成表現略有下降。該資料集包含 164 道原創程式設計問題，評估語言理解、演算法與基礎數學，部分問題類似典型的軟體面試題。
總體而言，Llama 3.1 70B 展現出更優異的表現，尤其是在數學推理任務上，同時維持相當的程式碼生成能力。
速度比較
團隊使用 Keywords AI 的模型遊樂場測試了 Llama 3 70B 與 Llama 3.1 70B 的速度表現。
延遲
測試中對每個模型發送數百次請求，結果顯示延遲有顯著差異。Llama 3 70B 展現出優異的速度，平均延遲為 4.75 秒，而 Llama 3.1 70B 的平均延遲為 13.85 秒。將近三倍的回應時間差距，凸顯了 Llama 3 70B 在需要快速即時回應的應用場景中的優勢，使其可能更適合時間敏感的應用，儘管 Llama 3.1 70B 在其他方面有所改進。
TTFT（首個 Token 延遲）
測試結果顯示 TTFT 表現有顯著差異。Llama 3 70B 表現出色，TTFT 僅 0.32 秒，而 Llama 3.1 70B 則為 0.60 秒。Llama 3 70B 快了一倍的速度優勢，對於需要快速回應啟動的應用（如語音 AI 系統）至關重要，因為最小化感知延遲對使用者體驗至關重要。
吞吐量（每秒 Token 數）
Llama 3 70B 展現出明顯更高的吞吐量，每秒處理 114 個 token，而 Llama 3.1 70B 則為每秒 50 個 token。處理速度的顯著差異（超過兩倍）凸顯了 Llama 3 70B 在快速生成文字方面的優異表現，使其更適合需要快速內容生成或即時互動的應用。
模型建議
Llama 3 70B 與 Llama 3.1 70B 都為 AI 提供了實用功能。了解它們的優勢，有助於為您選擇最適合的模型。
Llama 3.1 70B
- 最適合：長篇內容生成、複雜文件分析、需要廣泛上下文理解的任務、進階邏輯推理，以及受益於更大上下文視窗與輸出能力的應用。
- 不適合：需要快速回應的時效性應用、延遲至關重要的即時互動，或專案資源有限而無法承擔模型更高需求的場景。
Llama 3 70B
- 最適合：需要快速回應時間的應用、即時互動、高效率的程式碼任務、處理較短文件，以及優先考慮計算效率的專案。
- 不適合：涉及非常長文件或超過其 8K 上下文視窗的複雜上下文理解任務、進階邏輯推理問題，或需要處理大量上下文資訊的應用。
Reddit 上關於 Llama 3 70B 與 Llama 3.1 70B 的普遍看法如下圖所示。
Llama 3 提供更快的回應速度，而 Llama 3.1 則在需要更深層上下文理解的任務中表現出色。LLM API 的靈活性讓開發者無需複雜設定即可輕鬆切換兩種模型，便於直接比較它們的效能與功能。這有助於開發者善用各模型的優勢，做出明智決策，並在各種使用案例中發揮它們的潛力。
開始使用 Novita AI LLM API 中的 Llama 模型
請仔細遵循以下詳細步驟，使用 Novita AI 上的 Llama 模型 API 建立一個強大的語言處理應用程式。這份全面指南專為確保流暢、高效的開發流程而設計，滿足尋求先進 AI 平台的開發者需求。
**步驟 1：註冊取得 API 存取權限 **：前往 Novita AI 官方網站並建立帳戶。然後，導覽至 API 金鑰管理區段以產生您的 API 金鑰。
**步驟 2：檢閱文件 **：仔細瀏覽 Novita AI API 文件。
步驟 3：整合 Novita LLM API：將您的 API 金鑰輸入至 Novita AI 的 LLM API，開始生成簡潔的摘要。
步驟 4：測試並加入選用功能：處理 API 回應並以使用者友善格式顯示。可考慮加入主題提取或關鍵字標記等功能。
在 Novita AI 的 LLM Playground 中探索 Llama 模型
在 Llama 3 API 正式發布前，您也可以在 Novita AI LLM Playground 中試用較新的 Llama 模型。
步驟 1：進入 Playground：導覽至「Model API」分頁，點選「LLM Playground」開始試用 Llama 模型。
步驟 2：您可以在 Playground 中從 Llama 系列中選擇各種模型。
步驟 3：輸入提示詞並生成：在提供的輸入欄位中輸入您想要的提示詞。您可以在此輸入希望模型回應的文字或問題。
結論
總之，了解 Llama 3 與 Llama 3.1 之間的差異，確實有助於您為自身需求選擇合適的模型。Llama 3 有其自身優勢，但 Llama 3.1 帶來的改進可能更符合您的需求。透過探究主要差異與各模型的效能表現，您可以做出符合目標的明智選擇。無論您注重速度、準確性，或是與 Novita AI 的 LLM API 的整合方式，選擇正確的 Llama 模型對於提升您的 AI 能力至關重要。探索功能、比較基準測試，並思考您的使用案例，以找出最適合您的版本。
常見問題
如何存取 Llama 3？
Llama 3 是為 AI 社群設計的開放原始碼模型，其上下文視窗限制為 8,192 個 token。這項限制可能對需要處理大量文字資料的任務造成挑戰。
Llama 3.1 比 GPT-4 好嗎？
如果您在程式碼任務中優先考慮準確性與效率，Llama 3 可能是更好的選擇。
Llama 3.1 是否受到限制？
使用者必須在相關網站、介面或文件中醒目顯示「Built with Llama」字樣。
Llama 3 可以本地執行嗎？
若要簡化在本地機器上執行 Llama 3 的流程，可使用開放原始碼工具 Ollama。它允許使用者在本地執行大型語言模型，並將其部署至 Docker 容器中以便存取。
原文發表於 Novita AI
Novita AI 是全能雲端平台，助您實現 AI 雄心。整合 API、無伺服器、GPU 實例——您所需的經濟高效工具。免除基礎設施煩惱，免費開始，讓您的 AI 願景成真。
推薦閱讀
