掌握在 Windows Docker 上部署 vLLM 的方法，提升效率与性能。今日访问我们的博客，获取专业见解。
关键亮点
- 在 AI 领域，大语言模型（LLM）在自然语言处理、文本生成等多种应用中扮演着关键角色。
- 像 vLLM 这样值得信赖的平台以 LLM 即服务的形式提供服务，其安全与隐私政策普遍受到好评。
- vLLM 是一个强大的分布式推理库，用于处理大规模模型。
- Docker 提供了一种高效的应用程序容器化方式，使得在 Windows 上运行 vLLM 变得简单。
- 通过简化在 Windows Docker 上运行 VLLM 的指南，新开发者可以掌握 Docker 和机器学习。
引言
在数据科学与机器学习的时代，大语言模型（LLM）规模庞大、复杂度高，需要更细致地关注才能有效部署。vLLM（Virtual Large Language Models 的缩写）已成为高级 NLP 应用的关键。无论你是数据科学家、开发者还是研究人员，高效运行 VLLM 都能为你的项目带来显著差异。这篇博客提供了在 Windows 上使用 Docker 设置并运行 VLLM 的逐步流程。我们将涵盖从前提条件到故障排除提示的所有内容，以确保顺利设置。
探索 VLLM 与 Docker
VLLM 基础
在深入 Docker 细节之前，我们先简要介绍 VLLM 是什么。虚拟大语言模型（vLLM）是一个高性能、开源的大语言模型推理服务器，配备了 PagedAttention。它旨在易于使用并具备高吞吐量的算法。vLLM 的速度比其他推理服务器提供的类似方案快 24 倍。它们在众多 NLP 任务中发挥着关键作用。高效运行这些模型需要强大的计算资源和正确配置的环境，而 Docker 正能派上用场。
VLLM 的优势
- 易于与主流模型集成
- 高吞吐量，每秒可处理比传统方法更多的请求
- 缓存内存几乎零浪费，查询响应时间更快
- 兼容 OpenAI 的 API 服务器
为什么要使用 Docker？
Docker 是一个开源容器服务平台，用于开发、交付、部署和运行容器化应用。Docker 通过容器化简化了软件环境的配置和控制。这些容器将应用程序及其依赖项打包在一起，使其能够在各种计算设置上一致运行。vLLM 因此避免了设置复杂性和版本不一致问题，使模型部署和管理更加轻松。
如何在 Windows Docker 上运行 VLLM
这里我们以 Llama3.1 70B 为例，展示如何在 Windows Docker 上运行 VLLM。Novita AI 也为该模型提供了 LLM API 服务。你可以访问 Model API 查看我们精选的模型。
在 Windows Docker 上运行 VLLM 的前提条件
- Windows 10 或更新版本：Docker Desktop for Windows 兼容这些版本。
- Docker Desktop：从 Docker 官方网站安装 Docker Desktop。
在 Windows Docker 上运行 VLLM 的逐步指南
步骤 1：安装 Docker Desktop
- 下载 Docker Desktop：访问 Docker 网站，下载 Windows 版本。
- 安装 Docker：运行安装程序，按照屏幕提示操作。如果提示，请启用虚拟化。
步骤 2：为 Windows 配置 Docker
- 启动 Docker Desktop：从开始菜单启动 Docker Desktop。请将其放在合适的目录中。
- 调整资源：进入 Docker 设置 > 资源，为 VLLM 分配至少 4 个 CPU 和 8GB 内存。
- 克隆 VLLM 仓库：
git clone https://github.com/vllm-project/vllm.git
cd vllm
步骤 3：为 VLLM 创建 Dockerfile
- 创建 Dockerfile：在 vLLM 目录中，创建一个 Dockerfile 来设置 VLLM 和 LLaMA 3.1 70B 的环境。
在 Windows Docker 上运行 VLLM 的提示
- 检查 Docker 设置：确保 Docker Desktop 已正确安装并运行。验证 Docker 已配置为使用 Linux 容器。
- 镜像与依赖：确保 vLLM Docker 镜像已正确下载。可以使用
docker images检查。如果镜像有问题，尝试重新构建：docker build -t vllm。 - 自定义模型：修改 Dockerfile 和
requirements.txt，加入额外的库或自定义 VLLM 模型。 - 卷挂载：使用 Docker 卷来持久化数据，并高效管理大型数据集。
由于上述 vLLM 部署步骤较为复杂，你可以从 DockerHub 找到打包好的镜像，并将其上传到 Novita AI 实例的模板中。 然后你就可以简单地部署 vLLM 了。
结论
在 Windows 上使用 Docker 运行 vLLM 为 NLP 模型开发和部署提供了可靠的环境。本指南帮助你设置容器化环境，简化依赖管理和部署，减少软件冲突和版本问题。如需支持，请查看 Docker 官方文档和 vLLM 社区论坛。将 Docker 与 vLLM 集成可以优化你的工作流程，并确保模型在不同平台上高效运行。
常见问题
vLLM 是否在本地运行？
vLLM 会自动下载模型并存储在你的 HuggingFace 缓存目录中。如果你在本地运行 vLLM，会有默认的 IP 地址和端口。
vLLM 是否需要 CUDA？
需要 CUDA 11.8 或更高版本，GPU 计算能力需达到 9.0。
Docker 可以直接在 Windows 上运行吗？
Docker 容器可以运行 Windows 程序和可执行文件。Docker 平台兼容 Windows (x86–64) 操作系统。
如何判断 Windows 上的 Docker 守护进程是否正在运行？
要检查 Docker 守护进程是否在 Windows 上运行，请在系统托盘中查找 Docker Desktop 图标，或在 PowerShell/命令提示符窗口中运行 docker info，如果守护进程激活，则会显示 Docker 环境信息。
Docker for Windows 免费吗？
Docker Desktop 对小企业（员工少于 250 名且年收入低于 1000 万美元）、个人使用、教育以及非商业开源项目免费。对于超出这些范畴的专业用途，需要付费订阅。
Novita AI 是全能云平台，助力你的 AI 雄心。集成 API、无服务器、GPU 实例——你所需的高性价比工具。无需基础设施，免费开始，让你的 AI 愿景变为现实。
推荐阅读
