掌握在 Windows Docker 上部署 vLLM 的方法，提升效率與效能。獲取專家見解，請參考我們的部落格。
重點摘要
- 在 AI 領域中，大型語言模型（LLM）在自然語言處理與文字生成等各種應用中扮演重要角色。
- 像 vLLM 這樣值得信賴的平台，以其普遍好評的安全與隱私政策提供 LLM 即服務。
- VLLM 是一個強大的分散式推論函式庫，專為處理大規模模型而設計。
- Docker 提供容器化應用程式的有效方式，讓在 Windows 上執行 vLLM 變得容易。
- 本指南簡化了在 Windows Docker 上執行 VLLM 的流程，讓新手開發者也能掌握 Docker 與機器學習。
簡介
在資料科學與機器學習的時代，LLM 的規模與複雜度日益增加，需要更仔細地部署才能有效運作。vLLM（Virtual Large Language Models 的縮寫）已成為先進 NLP 應用的關鍵。無論你是資料科學家、開發者或研究人員，有效執行 VLLM 都能為你的專案帶來顯著差異。本篇部落格提供逐步流程，說明如何在 Windows 上使用 Docker 設定與執行 VLLM。我們將涵蓋從前置需求到故障排除提示的所有內容，確保設定順利。
探索 VLLM 與 Docker
VLLM 基礎
在深入 Docker 細節前，先簡要說明 VLLM 是什麼。Virtual Large Language Models（vLLM）是一個高效能、開源的推論伺服器，專為大型語言模型設計，並配備了 PagedAttention。它旨在易於使用並透過演算法實現高吞吐量。vLLM 的速度比同類推論伺服器提供的解決方案快達 24 倍。它們在許多 NLP 任務中扮演關鍵角色。要有效執行這些模型，需要強大的運算資源以及適當配置的環境，而 Docker 在此處便能派上用場。
VLLM 的優點
- 輕鬆整合熱門模型
- 高吞吐量：每秒處理的請求數量比傳統方法更多
- 快取記憶體近乎零浪費，查詢回應時間更快
- 相容於 OpenAI 的 API 伺服器
為何使用 Docker？
Docker 是一個開放原始碼的容器服務平台，用於開發、交付、部署與執行容器化應用程式。Docker 透過容器化簡化軟體環境的配置與控制。這些容器將應用程式及其需求打包在一起，使其能在各種運算設定上一致地運作。vLLM 藉此可避免設定複雜性與版本差異，使模型部署與管理更容易。
如何在 Windows Docker 上執行 VLLM
此處我們將以 Llama3.1 70B 為例，示範如何在 Windows Docker 上執行 VLLM。Novita AI 也為此模型提供 LLM API 服務。你可以造訪 Model API（https://novita.ai/model-api/llm-api）查看我們精選的模型。
在 Windows Docker 上執行 VLLM 的前置需求
- Windows 10 或更新版本：Windows 版 Docker Desktop 相容於這些版本。
- Docker Desktop：從官方 Docker 網站安裝 Docker Desktop。
在 Windows Docker 上執行 VLLM 的逐步指南
步驟 1：安裝 Docker Desktop
- 下載 Docker Desktop：造訪 Docker 網站並下載 Windows 版本。
- 安裝 Docker：執行安裝程式並依照螢幕指示操作。如有提示，請啟用虛擬化功能。
步驟 2：為 Windows 設定 Docker
- 啟動 Docker Desktop：從開始功能表啟動 Docker Desktop。將它放在正確的目錄中。
- 調整資源：前往 Docker 設定 > 資源，並為 VLLM 分配至少 4 個 CPU 與 8GB RAM。
- 複製 VLLM 儲存庫：
git clone https://github.com/vllm-project/vllm.git
cd vllm
步驟 3：建立 VLLM 的 Dockerfile
- 建立 Dockerfile：在 vLLM 目錄中，建立一個 Dockerfile 來設定 VLLM 與 LLaMA 3.1 70B 的環境。
在 Windows Docker 上執行 VLLM 的提示
- 檢查 Docker 設定：確保 Docker Desktop 已正確安裝並執行。確認 Docker 已設定為使用 Linux 容器。
- 映像與相依性：確保 vLLM Docker 映像已正確下載。你可以使用
docker images檢查。如果映像有問題，請嘗試重新建置：docker build -t vllm。 - 自訂模型：修改 Dockerfile 與
requirements.txt，加入其他函式庫或自訂 VLLM 模型。 - 磁區掛載：使用 Docker 磁區來持久化資料，並有效管理大型資料集。
由於上述 vLLM 部署步驟較為複雜，你可以在 DockerHub 上找到打包好的映像，並上傳到 Novita AI 執行個體的模板中。 然後你就可以簡單地部署 vLLM。
結論
在 Windows 上使用 Docker 執行 vLLM 為 NLP 模型的開發與部署提供了可靠的環境。本指南協助你設定容器化環境，以簡化相依性管理與部署，減少軟體衝突與版本問題。如需支援，請查閱 Docker 官方文件與 vLLM 社群論壇。將 Docker 與 vLLM 整合，可簡化你的工作流程，並確保模型在不同平台上高效運作。
常見問題
vLLM 可以在本地執行嗎？
VLLM 會自動下載模型並儲存在你的 HuggingFace 快取目錄中。如果你在本地執行 vLLM，將會使用預設的 IP 位址與連接埠。
vLLM 需要 CUDA 嗎？
對於計算能力 9.0 的 GPU，需要 CUDA 11.8 或更高版本。
Docker 可以直接在 Windows 上執行嗎？
Docker 容器允許你執行 Windows 程式與可執行檔。Docker 平台相容於 Windows（x86–64）作業系統。
如何判斷 Docker 守護程式是否在 Windows 上執行？
若要檢查 Docker 守護程式是否在 Windows 上執行，請查看系統匣中的 Docker Desktop 圖示，或在 PowerShell / 命令提示字元視窗中執行 docker info，如果守護程式正在執行，將會顯示 Docker 環境資訊。
Docker for Windows 是免費的嗎？
Docker Desktop 對於小型企業（員工少於 250 人且年收入低於 1000 萬美元）、個人使用、教育用途及非商業開源專案是免費的。對於超出這些類別的專業用途，則需要付費訂閱。
Novita AI 是整合平台雲端服務，助力你的 AI 抱負。整合 API、無伺服器、GPU 執行個體——你所需的高成本效益工具。無須管理基礎設施，免費開始，實現你的 AI 願景。
推薦閱讀
