重點摘要
- 先進的大型語言模型： Meta AI 推出 Llama 3，這套先進的語言模型具備多語言、程式碼撰寫、推理及工具使用等能力。
- 增強功能： Llama 3 包含升級的分詞器、分組查詢注意力（GQA）、擴充資料集、先進的篩選技術，以及對負責任開發的承諾。
- 分詞器升級： Llama 3 將詞彙量增至 128,256 個 token，提升多語言文字編碼效率，並將參數數量擴充至 80 億。
- 頂尖效能： Llama 3 的 8B 和 70B 參數模型為大型語言模型樹立了新標竿，在預訓練和後訓練方面均有顯著進展。
- 賦能開發者： Meta AI 期望透過提供 Llama 3 的客製化選項、新的信任與安全工具，以及與 Hugging Face 等平台的整合，來賦能開發者。
- Novita AI 上的 LLM API： 開發者可透過 Novita AI 的 LLM API 所提供簡潔的介面，存取並使用 Llama 3 的功能。
引言
Meta AI 的 Llama 3 象徵著大型語言模型（LLM）的重大進展，在多語言能力、推理和程式碼撰寫方面樹立了新標竿。它建立在 Llama 2 的基礎上，引入了增強的分詞器和分組查詢注意力（GQA）等關鍵功能。本文將重點介紹 Llama 3 的創新之處、探討其實際應用，並提供如何將 Llama 3 與 Novita AI 的 LLM API 整合的指南。
探索 Llama 3 論文的核心概念
Llama 3 論文介紹了 Meta AI 開發的先進大型語言模型，在多種語言的語意處理方面有所提升。其創新特色包括增強的分詞器、GQA 機制、擴充的訓練資料集、先進的篩選技術，以及對負責任開發的承諾。這些進展重新定義了 AI 的能力，並為大型語言模型的應用設立了新標準。
Llama 3 先進模型簡介
Llama 3 是一套支援多語言、程式碼撰寫、推理和工具使用的語言模型。其中最大的模型是一個擁有 4050 億參數的密集 Transformer，並具備高達 128K token 的上下文視窗。Llama 3 在各種任務上可與 GPT-4 等領先語言模型匹敵。Meta AI 將公開發布 Llama 3，包括 4050 億參數模型的預訓練和後訓練版本，以及輸入與輸出安全模型 Llama Guard 3。
Llama 3 的目標
Meta AI 的 Llama 3 旨在打造頂尖的開源模型，與專有模型競爭。透過納入開發者的意見回饋，Meta AI 提升了 Llama 3 的易用性，並倡導大型語言模型的負責任實踐。這些基於文字的模型的早期發布鼓勵了社群參與。Llama 3 未來將擴展多語言和多模態功能、更長的上下文支援，以及改善推理和程式碼撰寫等核心能力。
Llama 2 與 Llama 3：關鍵差異說明
Llama 3 引入了新的分詞器，將詞彙量從 32K token 增加到 128,256。這提升了多語言文字編碼的效率。然而，這也擴大了輸入和輸出嵌入矩陣，使得參數數量從 Llama 2 的 70 億增加到 Llama 3 的 80 億。
此外，8B 版本的模型現在採用了分組查詢注意力（GQA），這是一種旨在更好處理較長上下文的有效表示方法。
如何使用 Llama 3 進行建構？
Meta AI 的願景是賦能開發者針對相關使用案例客製化 Llama 3，促進最佳實踐的採用，並強化開源生態系統。此次發布包含新的信任與安全工具，例如更新的 元件（內含 Llama Guard 2、Cybersec Eval 2），以及新推出的 Code Shield——一個用於過濾 LLM 生成之不安全程式碼的護欄。
Llama 3 是與 torchtune 共同開發的，這是一個專為輕鬆編寫、微調和實驗 LLM 而設計的 PyTorch 原生函式庫。Torchtune 提供了完全以 PyTorch 實現的記憶體效率訓練配方，並與 Hugging Face、Weights & Biases 和 EleutherAI 等平台整合。它還支援 Executorch，以便在行動裝置和邊緣裝置上進行高效推理。有關提示工程以及使用 LangChain 操作 Llama 3 的指引，Meta AI 提供了一份全面的 ** 入門指南**，涵蓋從下載 Llama 3 到在生成式 AI 應用中大規模部署的所有內容。
大規模部署 Llama 3
Llama 3 現已在主要平台上提供，包括雲端服務供應商和模型 API 供應商。如需如何使用所有這些功能的範例，請參閱 Llama Recipes，其中包含了 Meta AI 的所有開源程式碼。
了解 Llama 模型家族
Llama（Large Language Model Meta AI，先前樣式化為 LLaMA）是 Meta AI 開發的一系列自迴歸大型語言模型（LLM），最初於 2023 年 2 月發布。最新版本是 Llama 3.2，於 2024 年 9 月推出。
Llama 系列中有哪些模型？
以下是 Novita AI 提供的 Llama 家族模型。如果您對任何模型感興趣，歡迎點擊直接試用。
- meta-llama/llama-3.1–8b-instruct
- meta-llama/llama-3.1–70b-instruct
- meta-llama/llama-3.1–405b-instruct
- meta-llama/llama-3–8b-instruct
- meta-llama/llama-3–70b-instruct
模型比較
訓練成本欄僅反映最大模型的成本。例如，「21,000」代表 Llama 2 69B 的訓練成本，以 petaFLOP-天為單位。澄清一下，1 petaFLOP-天等於 1 petaFLOP/秒乘以 1 天，即 8.64E19 FLOP。
使用 Llama 3 實現頂尖效能
Meta AI 全新的 8B 和 70B 參數 Llama 3 模型代表了相較於 Llama 2 的重大進步，為這些規模的 LLM 樹立了新標竿。藉由在預訓練和後訓練方面的增強，預訓練和指令微調後的模型如今已成為 8B 和 70B 參數級別中領先的選擇。後訓練流程的改進顯著降低了錯誤拒絕率、增強了對齊，並增加了模型回應的多樣性。此外，Llama 3 在推理、程式碼生成和指令遵循方面展現出極大的改進，使其比以往更具可引導性。
在開發 Llama 3 時，Meta AI 不僅關注模型在標準基準測試中的表現，也同時針對實際應用進行最佳化。為此，他們建立了一個新的高品質人工評估集，包含 1,800 個提示，涵蓋 12 個關鍵使用場景：尋求建議、腦力激盪、分類、封閉式問答、程式碼撰寫、創意寫作、資訊提取、扮演角色或人格、開放式問答、推理、改寫和摘要。為了避免意外的過度擬合，即使是 Meta AI 的建模團隊也無權存取此評估集。下圖顯示了這些類別和提示的人工評估匯總結果，將 Llama 3 與 Claude Sonnet、Mistral Medium 和 GPT-3.5 進行比較。
基於此評估集的人工標註者偏好排名顯示，Meta AI 的 70B 指令遵循模型在實際場景中的表現優於同等規模的競爭對手模型。
Llama 3 論文凸顯了 Meta 在大型語言模型方面的進展。在實際場景中有效實施這些創新至關重要。Novita AI 上的 LLM API 為開發者提供了一個簡潔的介面，讓他們能夠根據 Llama 3 論文的見解來存取和使用這些強大的模型。了解如何使用 Novita AI 上的 LLM API，將 Llama 3 的功能整合到您的應用程式中。
如何在 Novita AI 上使用 LLM API 進行模型整合
在 Novita AI 上整合 LLM API 是一個簡單的過程，使開發者能夠利用大型語言模型（包括 Llama 3 系列）的強大功能。以下是一個逐步指南，協助您入門。
步驟 1： 建立帳號並存取 Novita AI。
步驟 2： 獲取您的 API 金鑰
您需要一個 API 金鑰來驗證您的請求。您可以依照 Novita AI 文件中的說明來管理您的 API 金鑰。請務必妥善保管您的 API 金鑰，避免將其暴露在公共程式碼儲存庫中。
步驟 3： 選擇您的模型
Novita AI 提供多種模型，包括不同版本的 Llama。您可以 在此 查看可用模型的完整清單。根據您的應用需求選擇最合適的模型，無論是用於聊天補全、文字生成還是其他任務。
如果您想查看我們提供的完整模型清單，可以造訪 Novita AI LLM 模型清單。
步驟 4： 造訪 LLM API 參考文件，探索 Novita AI 提供的 API 和模型。
步驟 5： 選擇符合您需求的模型，然後設定您的開發環境，並配置內容、角色、名稱和提示等選項。
步驟 6： 執行多次測試以確保 API 穩定運行。
透過遵循這些步驟，您可以有效地在 Novita AI 上整合 LLM API，從而在您的應用程式中利用 Llama 3 等先進語言模型的力量。
在 Novita AI 的 LLM Playground 中試用 Llama 3
在 Novita AI 上部署 LLM API 之前，您可以在 LLM Playground 中進行實驗。開發者將獲得免費的使用配額。現在，我將為您介紹入門步驟。
步驟 1： 存取 Playground：導航至「產品」標籤，選擇 Model API，然後開始探索 LLM API。
步驟 2： 選擇模型：選擇最符合您評估需求的 Llama 模型。
步驟 3： 輸入您的提示：在輸入欄位中輸入您的提示，以產生模型回應。
結論
Llama 3 是一個尖端的大型語言模型，在文字生成、程式碼撰寫和多語言處理方面表現出色。透過 Novita AI 的 LLM API，開發者可以充分發揮其潛力應用於各種場景。隨著 Meta AI 不斷推進 AI 研究的邊界，Llama 3 引領著開源 AI 的未來，促進創新並擴大對先進模型的存取。無論是用於實驗還是大規模部署，Llama 3 都能為您提供增強 AI 專案所需的工具。
常見問題
Llama 3 與先前模型有何不同？
Llama 3 憑藉其更大的規模、更高的效率以及與其他模型的無縫整合，在圖像和語音辨識方面表現出色。
實施 Llama 3 技術的主要挑戰有哪些？
實施 Llama 3 技術需要充足的運算能力，因為模型規模龐大。取得多樣化且高品質的訓練資料對於最佳效能和減少偏差至關重要。
Llama 3 可以應用於非英語語言嗎？
Llama 3 在多種語言上表現出色，利用多樣的訓練資料有效地學習不同語言的模式。
llama 3.1 和 llama 3 有什麼不同？
Llama 3.1 支援文字輸入和輸出，而 Llama 3 僅限於純文字互動，不具備多模態能力。
llama 3.1 是多模態的嗎？
Llama 3.1 不是多模態的；它只能處理文字。
原文發布於 Novita AI
Novita AI 是全方位雲端平台，助力您的 AI 抱負。整合 API、無伺服器、GPU 實例——您所需的經濟高效工具。無需基礎設施，免費開始，實現您的 AI 願景。
