重點摘要
- Llama 3.1 模型： 六個新的開源 LLM 模型，提供 8B、70B 和 405B 參數三種尺寸，並包含基礎版與指令調校版。
- 增強功能： 引入 Llama Guard 3 和 Prompt Guard 以提升安全性，支援 128K token 上下文長度。
- 效能提升： 在合成資料生成、多語言翻譯和數學推理等任務上有顯著進步。
- 預期用途： 商業與研究應用概述、類似助理的聊天功能、自然語言生成任務，以及利用模型輸出增強其他功能。
- Llama 3.1 示範存取： 在 Hugging Face 和 Novita AI 等平台上使用 Llama 3.1 示範的完整指南，包含設定說明和模型評估。
- 與 Novita AI 整合： 透過 Novita AI LLM API 整合 Llama 3.1 的步驟，讓您能將進階語言處理功能無縫融入應用程式中。
簡介
Llama 3.1 代表了大型語言模型技術的重大進展，提供多樣化的模型以滿足各種應用需求。本文重點介紹其六個新的開源模型、強化安全功能以及多語言支援。我們將探討每個模型的能力、預期用途和效能指標。此外，還將提供使用 Llama 3.1 示範的實用指南，幫助開發者、研究人員和愛好者有效運用其功能。
全面了解 Llama 3.1
Llama 3.1 版本推出六個基於 Llama 3 架構的新開源 LLM 模型，可從儲存庫下載三種參數尺寸：8B、70B 和 405B。每個模型都包含基礎版（預訓練）和指令調校版，同時具備 Llama Guard 3 和 Prompt Guard 以強化安全性。它們支援 128K token 的上下文長度，並適用於八種語言：英文、德文、法文、義大利文、葡萄牙文、印地文、西班牙文和泰文。Llama 3.1 資料集還採用分組查詢注意力機制（GQA），以有效處理較長上下文。
三個模型概述如下：
- Llama 3.1 405B： 非常適合合成資料生成、一般知識、長篇文本創作、多語言翻譯等任務，甚至在數學能力方面也有所提升。
- Llama 3.1 70B： 適合內容創作、對話式 AI 以及研究與開發，此模型在文本摘要、程式碼生成和遵循指令方面表現出色。
- Llama 3.1 8B： 適合計算資源有限的環境，此模型非常適合本地部署，並在文本摘要、分類和語言翻譯方面表現優異。
您也可以透過 觀看此影片 了解更多關於 Llama 3.1 的資訊。
https://www.youtube.com/embed/JzSqxK3hjPQ
Llama 3 與 Llama 3.1 比較
Llama 3.1 相較於 Llama 3 的新功能在於，指令模型經過微調以支援工具呼叫，使其適用於代理型使用案例。內建兩個工具——搜尋和 Wolfram Alpha 數學推理——可進一步透過自訂 JSON 函數進行擴充。
若想了解更多 Llama 3 與 Llama 3.1 的差異，請點擊此處查看 詳細部落格文章，深入比較兩者。
Llama 3.1 的效能評估為何？
本節將探討 Meta 報告中 Llama 3.1 模型在標準自動化基準測試中的結果。所有評估均使用 Meta 的內部評估庫。
基礎預訓練模型
指令調校模型
Llama 3.1 的預期用途
Llama 3.1 是一款尖端語言模型，專為滿足廣泛的商業與研究需求而設計。其預期應用包括以下各項：
- 商業與研究應用： Llama 3.1 設計用於各種商業和研究情境，支援多種語言。
- 類似助理的聊天： 指令調校的純文字模型經過特別最佳化，可打造引人入勝且有效的助理式聊天體驗。
- 自然語言生成任務： 預訓練模型可輕鬆適應各種自然語言生成任務，成為開發人員的多功能工具。
- 利用模型輸出： Llama 3.1 模型組合讓使用者能利用其模型輸出，增強其他模型，包括合成資料生成和模型蒸餾等應用。
- 社群授權： Llama 3.1 社群授權有助於實現這些多樣化的使用案例，促進創新與協作。
兩種您尚未嘗試過的 Llama 3.1 示範使用方式
準備好嘗試 Llama 3.1 了嗎？Llama 3.1 示範是探索此進階 LLM 的絕佳方式。首先，請確定您已完成所有設定。設定完成後，即可載入模型。無論您是想建立簡單文字、進行翻譯，還是處理更複雜的任務，所有功能預設皆可使用。此示範可讓您盡情探索 Llama 3.1 的能力。
如何在 Hugging Face 上使用 Llama 3.1 示範？
Llama 3.1 需要進行小幅的建模更新，以有效管理 RoPE 縮放。使用 Transformers 4.43.2 版 即可存取新的 Llama 3.1 模型，並利用 Hugging Face 生態系統中的所有工具。請務必使用最新版本的 Transformers：
pip install "transformers>=4.43.2" --upgrade
以下示範如何使用 meta-llama/Meta-Llama-3.1-8B-Instruct 模型。此模型需要約 16 GB VRAM，適合許多消費級 GPU。相同的程式碼片段也適用於 meta-llama/Meta-Llama-3.1-70B-Instruct（需要 140 GB VRAM）和 meta-llama/Meta-Llama-3.1-405B-Instruct（需要 810 GB）。這些規格使這些模型成為生產環境中極具吸引力的選擇。您可以透過 8 位元或 4 位元模式載入，進一步降低記憶體消耗。
from transformers import pipeline
import torch
model_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"
pipe = pipeline(
"text-generation",
model=model_id,
model_kwargs={"torch_dtype": torch.bfloat16},
device="cuda",
)
messages = [
{"role": "user", "content": "Who are you? Please, answer in pirate-speak."},
]
outputs = pipe(
messages,
max_new_tokens=256,
do_sample=False,
)
assistant_response = outputs[0]["generated_text"][-1]["content"]
print(assistant_response)
# Arrrr, me hearty! Yer lookin' fer a bit o' information about meself, eh? Alright then, matey! I be a language-generatin' swashbuckler, a digital buccaneer with a penchant fer spinnin' words into gold doubloons o' knowledge! Me name be... (dramatic pause)...Assistant! Aye, that be me name, and I be here to help ye navigate the seven seas o' questions and find the hidden treasure o' answers! So hoist the sails and set course fer adventure, me hearty! What be yer first question?
如何在 Novita AI 上使用 Llama 3.1 示範？
想知道如何在 Novita AI 上使用 Llama 3.1 示範嗎？讓我們一起探索吧！按照以下步驟，即可輕鬆在 Novita AI 上測試 Llama 3.1 模型。
步驟 1：存取 Llama 3.1 示範： 前往「** 模型 API**」分頁，選擇「LLM API」，即可開始試用 Llama 3.1 模型。
步驟 2：探索不同模型： 在 Novita AI 無審查模型中，選擇您要使用和評估的 Llama 3.1 模型。我們針對 Llama 3.1 提供以下選項：
步驟 3：輸入提示並取得結果： 在指定欄位中輸入您的提示，讓模型進行處理。
如何透過 Novita AI LLM API 整合 Llama 3.1？
在親身體驗 Llama 3.1 示範的功能後，您可能會有興趣將這些能力整合到自己的應用程式中。本節將探討如何使用 Novita AI LLM API 進行推論整合。這將幫助您具備將 Llama 3.1 的進階語言處理功能無縫融入專案所需的知識。
步驟 1： 前往官方 Novita AI 網站並註冊帳號。
步驟 2： 前往 API 金鑰管理 區塊以產生您的 API 金鑰。
步驟 3： 瀏覽 Llama API 文件，查看 Novita AI 提供的可用 API 和模型。
步驟 4： 選擇符合您需求的模型，然後設定開發環境。設定內容、角色、名稱和提示等選項，以自訂您的應用程式。
若要查看完整可用模型清單，請造訪 Novita AI LLM 模型清單。
步驟 6：進行多次測試，確保 API 效能可靠，並滿足您的應用需求。
結論
總結來說，Llama 3.1 提供了一系列令人印象深刻的功能和能力，使其與前代版本截然不同。憑藉其先進的模型、增強的安全性和社群驅動的方式，它為使用者提供了有效運用 AI 力量所需的工具。無論是用於研究、商業應用還是個人專案，Llama 3.1 都準備好滿足多樣化的語言處理需求。
常見問題
Llama 3.1 比 Claude 更好嗎？
Llama 3.1 在程式碼生成方面表現出色，但整體表現不如 Claude 3.5。
Llama 3.1 示範版本有哪些限制？
Llama 3.1 示範提供功能測試，但與完整版本相比有限制，包括存取受限、處理能力降低和請求限制。
運行 Llama 3.1 405B 需要多少記憶體？
Llama 3.1 405B 在 32 位元模式下需要 1944 GB GPU 記憶體。Llama 3.1 405B 在 16 位元模式下需要 972 GB GPU 記憶體。Llama 3.1 405B 在 8 位元模式下需要 486 GB GPU 記憶體。
運行 Llama 3.1 8B 需要多少 VRAM？
要運行 Llama 3.1 8B，通常至少需要 24 GB VRAM。
Llama 3.1 比 GPT-4 更好嗎？
如果您優先考慮編碼任務的準確性和效率，Llama 3 可能是更好的選擇。
原文發表於 Novita AI
Novita AI 是全方位的雲端平台，助您實現 AI 抱負。整合 API、無伺服器、GPU 實例—您需要的經濟高效工具。省去基礎設施，免費開始，讓您的 AI 願景化為現實。
