探索 vLLM Llama3，這款終極助手能提升效率、降低成本以及更多。瞭解它如何徹底改變你的工作流程。
重點摘要
- vLLM Llama3 在使用大型語言模型時能提供出色的準確性並節省成本。
- 其架構專注於最佳效能，包含關鍵元件如 Docker 容器、API 伺服器和 GPU 伺服器。
- 測試顯示，與舊版本相比，推論速度和吞吐量有顯著提升。
- LLama3 包含效率提升、軟體改進和新技術整合等更新。
簡介
虛擬大型語言模型（LLM）的世界不斷演進。Llama 3 是一個展現可擴展性和效率的良好模型。然而，我們需要更快的速度和更簡單的部署方式。vLLM Llama3 是滿足這些需求的強大解決方案，它能提供出色的準確性並節省成本。這篇部落格文章將深入探討 vLLM Llama3，探索其設計、效能提升以及新增的功能。
瞭解 vLLM Llama3
vLLM Llama3 的核心是精心設計的架構，旨在實現卓越效能和擴展性。它採用分散式系統設計，能充分利用大量運算資源，尤其是 GPU。
此外，vLLM Llama3 的設定著重於靈活性和易擴展性，有助於與其他工具和系統無縫整合。這樣一來，開發人員可以根據特定需求調整部署。
什麼是 VLLM？
vLLM 是一個高效能的程式庫，專門設計用於促進 LLM 的推論和服務。它專注於提供速度、效率和成本效益，讓廣大開發人員都能輕鬆使用。
為什麼要使用 VLLM？
- 高吞吐量： vLLM 實現了最先進的服務吞吐量，能夠處理大量請求。
- 記憶體管理： 引入 PagedAttention，一種高效管理注意力鍵值和記憶體的先進機制。
- 持續批次處理： vLLM 支援對傳入請求進行持續批次處理，提升模型的整體吞吐量和效率。
- 無縫整合： vLLM 提供部署 Llama 3 等 LLM 的流程，可輕鬆整合到現有系統和應用程式中。
- API 相容性： 它包含一個與 OpenAI 相容的伺服器，確保能輕鬆整合到使用 OpenAI API 的現有系統中。
- 量化支援： VLLM 使用 GPTQ、AWQ、SqueezeLLM 和 FP8 KV Cache 等量化技術，使模型能夠以較低精度高效運作，同時不犧牲效能。
- 可擴展性： VLLM 支援針對客戶支援、摘要等各種使用場景進行擴展部署，能有效地適應不同的部署規模。
什麼是 Llama 3？
LLaMA 3 由 Meta 開發，這個先進的語言模型系列旨在增強 AI 理解和生成類人文本的能力。它建立在先前版本 Llama 2 的基礎上，利用大量資料集和先進架構來實現更高的準確性和更細緻的文本生成。Llama 3 設計用途廣泛，可應用於研究、內容創作等各個領域。
Llama 3 有多個版本：Llama 3 8B、Llama 3 8B-Instruct、Llama 3 70B、Llama 3 70B-Instruct。Llama 3 8B Instruct 的表現優於 Gemma 7b-it、Mistral 7B Instruct，而 Llama 3 70B Instruct 則展現出比 Gemini 和 Claude 更好的效能。
Llama 3 的主要功能
- 更高的準確性： 與先前的模型相比，Llama 3 準確性更高，尤其是 700 億參數版本（Llama 3 70B）。它在聊天互動、程式碼生成、摘要和檢索增強生成方面表現出色。
- 更多的訓練資料： Llama 3 受益於更多的訓練資料，包括多樣化的文本來源和語言。
- 先進技術： 該模型使用 OpenAI 的 Tiktoken tokenizer 和資料並行化等技術來提高效率。
- 資源配置： Llama 3 利用新的縮放法則來改善效能預測和資源配置，最大化運算效率並減少執行時間。
- 多功能性： Llama 3 的增強使其非常適合電子商務、金融、醫療保健和教育等各種應用。
- 可擴展性和維護： Llama 3 具有先進的訓練堆疊，可實現自動化錯誤偵測、處理和維護，確保可用性和可擴展性。
Llama 3 模型的效能和成本效益
技術特性和效能
Llama 3 8B
- 參數：80 億
- 上下文長度：8K tokens
- 訓練資料：15T tokens
Llama 3 70B
- 參數：700 億
- 上下文長度：8K tokens
- 訓練資料：15T tokens
這兩個模型是在最新的 Llama 3.1 405B 之前發布的。
以下為基礎預訓練模型的效能圖表。
以下是指令調校模型的效能，這些模型經過微調以更好地理解和遵循人類提供的指令。
Llama 3 成本效益
在分析其效能後，我們需要考慮其實際成本。以 llama 3 8b 為例，客戶支援的部署成本如下所示。
作為極具成本效益的選擇，Novita AI 提供 meta-llama/llama-3–8b-instruct 和 meta-llama/llama-3–70b-instruct，輸入和輸出 tokens 皆不超過每百萬個 $1 美元。你可以在 LLM 模型 API 查看更多模型。
我們也提供最新版本 meta-llama/llama-3.1–405b-instruct。最近我們將 Llama 3.1 405B 的價格調降至 ** 每百萬 tokens 僅 $2.75 美元**！
開始使用 VLLM Llama 3
技術前提
在開始之前，請確保滿足以下要求：
- 一台具有相容 GPU 的伺服器（例如 Novita AI 提供的 NVIDIA A100）。
- 在系統的正確目錄中安裝 Python。
- 確保網路連線暢通。
部署 vLLM Llama 3
1. 安裝 vLLM：在你的伺服器上設定 vLLM 環境。你可以使用 pip 安裝 vLLM，如下所示：
pip install vllm
2. 載入模型：將 Llama 3 8B 模型載入到 vLLM：
from vllm import LLM
model = LLM("meta-llama/Meta-Llama-3–8B-Instruct")
3. 執行 LLM 推論：使用模型進行推論：
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3–8B-Instruct")
messages = [{"role": "user", "content": "What is the capital of France?"}]
formatted_prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
output = model.generate(formatted_prompt)
print(output)
進階技巧
- 客製化 Llama3 服務對於滿足各種需求至關重要。該架構允許在資源配置和模型參數等方面進行彈性設定。
- 透過調整 API 參數，開發人員可以針對不同的使用案例自訂模型的行為和輸出。
- 自動調校在機器學習中至關重要。vLLM Llama3 利用這項技術，透過 AI 和 ML 演算法調整設定來增強效能。這個反饋迴圈持續優化延遲和吞吐量等因素，無需手動干預即可為使用者提供最佳效能。
- 你也可以使用 Docker 映像來提高效率。採用量化等技術來改善效能。
開發人員指南：善用 Llama 3 LLM API
部署 Llama 3 相當複雜。為了有效利用 Llama 3，開發人員需要瞭解其功能和 API。我們推薦 Novita AI 提供具成本效益的 LLM API 整合，此 AI API 平台配備精選模型和經濟實惠的 LLM 解決方案。
開始使用 Novita AI API
- 步驟 1：進入 Novita AI 並建立帳戶。你可以使用 Google 或 GitHub 登入。首次登入將會建立一個新帳戶。使用電子郵件註冊也沒問題。
- **步驟 2：管理 API 金鑰 **。Novita AI 使用請求標頭中的 API 金鑰進行 Bearer 驗證來認證 API 存取。請前往 “Key Management” 管理你的金鑰。首次登入後，系統會自動建立一個預設金鑰。你也可以點選 “+ Add new key”。
- 步驟 3：進行 API 呼叫。在後端輸入你的 API 金鑰以繼續執行後續任務。
以下是一個使用 Novita AI Chat Completions API 的 Python 用戶端範例。
pip install 'openai>=1.0.0'
from openai import OpenAIclient = OpenAI(
base_url="https://api.novita.ai/v3/openai",
# 取得 Novita AI API 金鑰，請參閱：https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key。
api_key="<YOUR Novita AI API Key>",
)model = "Nous-Hermes-2-Mixtral-8x7B-DPO"
stream = True # 或 False
max_tokens = 512chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": "請扮演一個有用的助手。",
},
{
"role": "user",
"content": "你好！",
}
],
stream=stream,
max_tokens=max_tokens,
)if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
更多資訊請參閱 Model API Reference。
- **步驟 4. 儲值額度 **。如同第一步所述，你會有免費額度券可以試用我們的產品，但這是有限的。如需增加更多額度，請前往 Billing and Payments 並依照 Payment Methods 的指南操作。
結論
總而言之，vLLM Llama3 是一個出色的解決方案，能簡化工作並降低成本。透過瞭解其運作方式、最佳化效能並掌握部署要求的變化，開發人員可以充分發揮其潛力。Llama3 模型持續改進，展現了對品質的堅定承諾。憑藉前瞻性的規劃和先進的調校方法，vLLM Llama3 引領著 AI 和 ML 技術的創新方向。請留意新功能和長期規劃，它們將有助於塑造模型服務的未來。
常見問題
vLLM 和 TGI 有什麼不同？
VLLM 是一個開源的 LLM 推論和服務引擎，使用 PagedAttention 記憶體配置演算法。它比 Hugging Face Transformers 提供高達 24 倍的吞吐量，比 Hugging Face Text Generation Inference 提供高達 3.5 倍的吞吐量。
vLLM 的批次處理是如何運作的？
根據 vLLM 的文檔，它們使用持續批次處理，允許在生成 tokens 時動態調整批次大小。
Llama 3 是免費的嗎？
Llama 3 是開源的，可以免費使用。然而，對於其 API 的使用，輸入和輸出 tokens 的費用大約為每百萬個 $0.1 美元。
我可以將 Llama 3 用於商業用途嗎？
最新版本的 Llama 3 受 “Meta LLama 3 社群授權協議” 規範，允許幾乎所有商業用途。企業利用 Llama3 來生成教育內容、提供醫療資訊等。
Novita AI 是滿足您 AI 抱負的一體化雲端平台。整合 API、無伺服器、GPU 實例 — 您所需的成本效益工具。消除基礎設施負擔，免費開始，讓您的 AI 願景成真。
推薦閱讀
1*.*Introducing Llama3 405B: Openly Available LLM Releases
