前言
Llama3.1 的發佈立刻引發全球關注，這是開源模型首次在特定指標上接近甚至超越專屬模型。本文介紹使用 Novita AI GPU 實例從頭部署 Llama3.1-405B 模型的方法與步驟。特別提醒，從頭部署大型模型耗時費力，若想避開繁瑣工作並直接使用 Llama3.1-405B 模型，可以尋找業界優秀的模型託管平台，以 OpenAI API 的形式調用推理服務。不僅易於使用，成本也相當友善，總花費極低且可控。目前 Novita AI 已推出 Llama3.1 的 API 服務，可直接在 Playground 中體驗：https://novita.ai/model-api/llm-api/playground
Llama3.1-405B 部署的基本需求
Meta 開源的 Llama3.1 系列模型包含 8B、70B 和 405B 三種規模，其中 405B 模型是目前規模最大的開源大型語言模型，參數量達 405 億。該模型在多項評測結果中超越 GPT-4 與 GPT-4o，並可與 Claude3.5-Sonnet 匹敵。將如此龐大的模型載入 GPU 極具挑戰。原始 FP16 版本的 405B 模型需要 810GB 的 GPU 記憶體，如下圖所示。然而，即使使用市場上最高規格的 GPU H100，最高配置 8 卡的伺服器也無法直接載入此版本模型。必須將 FP16 版本模型量化為更低精確度的表示方式，以降低記憶體需求，成功載入 GPU。
Llama3.1 系列模型的架構繼承自 Llama3，結構非常相似，這對推理框架非常友善。像 vLLM 這樣的開源推理解決方案可以快速完成適配，並支援 Llama3.1-405B 等大型模型的推理。總之，要完成 Llama3.1-405B 推理服務的部署，需要從三個方面準備：
- 硬體：建議選擇配置 8 張 H100 GPU 的 GPU 伺服器實例，並預留約 1.5TB 的儲存空間。可透過 Novita AI 控制台選擇 Instance，並透過掛載網路磁碟提供儲存容量。
- 模型：準備 Huggingface 帳號，下載原始 Llama3.1-405B 模型，或可下載 FP8 或 INT4 版本的模型。
- 推理框架：下載最新版本的 vLLM v0.5.3.post1。
模型準備
準備好配備 8 張 H100 卡的 GPU 伺服器後，登入伺服器並開始下載模型。此處介紹下載 FP16 版本模型並手動轉換為 FP8 和 INT4 量化版本的方法（當然，你也可以直接在 huggingface 平台上直接下載量化模型）。建議從 Huggingface 平台下載 Instruct 版本。首先註冊並登入 Huggingface 平台，在設定頁面上建立並儲存當前用戶的 Access Token，以便在下載模型時使用。開啟 Llama3.1-405B 模型首頁：https://huggingface.co/meta-llama/Meta-Llama-3.1-405B-Instruct，向 Meta 提交模型申請，等待約半小時獲得授權。回到 GPU 伺服器，安裝 huggingface 客戶端程式，並使用以下命令開始下載模型：
pip install huggingface-hub
huggingface-cli login ## 輸入 Access Token
huggingface-cli download meta-llama/Meta-Llama-3.1-405B-Instruct ## 開始下載 405B 大型模型
經過長時間等待（取決於當前的網路速度），800GB 的 405B 大型模型成功下載到本地，可透過呼叫 “huggingface-cli scan-cache” 查看具體模型資訊。接下來，對原始模型進行 FP8 和 INT4 量化。首先下載 FP8 量化工具，可直接使用開源的 AutoFP8：https://github.com/neuralmagic/AutoFP8，並使用其中的腳本進行手動量化，量化模式為動態，如下所示：
git clone https://github.com/neuralmagic/AutoFP8.git
cd AutoFP8
pip install -e . ## 在本地編譯並安裝 AutoFP8 工具
python3 examples/quantize.py --model-id meta-llama/Meta-Llama-3.1-405B-Instruct --save-dir Meta-Llama-3-8B-Instruct-fp8 --activation-scheme dynamic --max-seq-len 2048 --num-samples 2048
量化腳本使用 “–save-dir” 指定量化模型的輸出路徑。由於是僅權重量化，整體速度非常快。你也可以直接下載 Meta 量化好的 FP8 版本：https://huggingface.co/meta-llama/Meta-Llama-3.1-405B-Instruct-FP8。下載命令如下：
huggingface-cli download meta-llama/Meta-Llama-3.1-405B-Instruct-FP8
與 FP8 量化類似，可以使用開源的 AutoAWQ 進行 INT4 版本量化。此量化方案的網址為：https://github.com/casper-hansen/AutoAWQ。量化方法如下：
git clone https://github.com/casper-hansen/AutoAWQ.git
cd AutoAWQ
pip install -e . ## 在本地編譯並安裝 AutoAWQ 工具
## 手動修改 examples/quantize.py
model_path = 'meta-llama/Meta-Llama-3.1-405B-Instruct'
quant_path = 'meta-llama/Meta-Llama-3.1-405B-Instruct-awq'
# 開始量化
python examples/quantize.py
建構推理框架
感謝開源社群的強大支援，vLLM 被公認為工業級高效率推理框架，對大型模型的支援非常豐富，且更新非常及時。從 v0.5.3.post1 開始，vLLM 支援 Llama3.1 系列模型的推理服務。下載 vLLM 原始碼並編譯的方法如下：
git clone https://github.com/vllm-project/vllm
cd vllm
git checkout -b v0.5.3.post1 v0.5.3.post1
pip install -e .
編譯成功後，即可啟動推理服務。除了在本地編譯 vLLM，也可以將 vLLM 編譯成 docker 映像，如下所示：
git clone https://github.com/vllm-project/vllm
cd vllm
git checkout -b v0.5.3.post1 v0.5.3.post1
docker build -t vllm_0.5.3.p1 .
你也可以直接下載官方 vLLM 映像：
docker pull vllm/vllm-openai:v0.5.3.post1
執行推理服務
完成 vLLM 推理框架的建構後，即可啟動 vLLM 並載入 Llama3.1-405B 模型以啟動推理服務。對於在本機編譯的 vLLM 推理框架，需切換到 vLLM 原始碼根目錄，然後執行以下命令啟動推理服務：
cd vllm
python3 -m vllm.entrypoints.openai.api_server --port 18001 --model meta-llama/Meta-Llama-3.1-405B-Instruct-FP8 --tensor-parallel-size 8 --pipeline-parallel-size 1 --swap-space 16 --gpu-memory-utilization 0.99 --dtype auto --served-model-name llama31-405b-fp8 --max-num-seqs 32 --max-model-len 32768 --max-num-batched-tokens 32768 --max-seq-len-to-capture 32768
如果在 docker 容器中執行推理服務，可參考以下命令執行：
docker run -d --gpus all --privileged --ipc=host --net=host vllm/vllm-openai:v0.5.3.post1 --port 18001 --model meta-llama/Meta-Llama-3.1-405B-Instruct-FP8 --tensor-parallel-size 8 --pipeline-parallel-size 1 --swap-space 16 --gpu-memory-utilization 0.99 --dtype auto --served-model-name llama31-405b-fp8 --max-num-seqs 32 --max-model-len 32768 --max-num-batched-tokens 32768 --max-seq-len-to-capture 32768
一旦 vLLM 推理框架成功執行，它將監聽在。
Novita AI 是全方位的雲端平台，賦能您的 AI 願景。整合 API、無伺服器、GPU 實例 - 經濟實惠的工具。無需基礎設施，免費開始，讓您的 AI 夢想成真。
推薦閱讀：
