Освойте развертывание vLLM на Windows Docker для повышения эффективности и производительности. Получите экспертные знания в нашем блоге уже сегодня.
Ключевые моменты
- В области ИИ большие языковые модели (LLM) играют важную роль в различных приложениях, таких как обработка естественного языка и генерация текста.
- Надёжные платформы, такие как vLLM, предлагают LLM как услугу — в соответствии с их, как правило, хорошо зарекомендовавшими себя политиками безопасности и конфиденциальности.
- VLLM — это мощная распределённая библиотека логического вывода для работы с крупномасштабными моделями.
- Docker предоставляет эффективный способ контейнеризации приложений, что упрощает запуск vLLM на Windows.
- С помощью руководства, упрощающего процесс запуска VLLM на Windows Docker, новые разработчики могут освоить Docker и машинное обучение.
Введение
В эпоху науки о данных и машинного обучения LLM огромны по размеру и сложности, требуя более тщательного подхода для эффективного развёртывания. vLLM (сокращение от Virtual Large Language Models) стал важным инструментом для современных приложений NLP. Будь вы специалистом по данным, разработчиком или исследователем, эффективный запуск VLLM может существенно повлиять на ваши проекты. Этот блог предоставляет пошаговый процесс настройки и запуска VLLM на Windows с использованием Docker. Мы рассмотрим всё: от предварительных требований до советов по устранению неполадок, чтобы обеспечить гладкую настройку.
Изучение VLLM и Docker
Основы VLLM
Прежде чем углубляться в особенности Docker, кратко рассмотрим, что такое VLLM. Virtual Large Language Models (vLLM) — это высокопроизводительный сервер логического вывода с открытым исходным кодом для больших языковых моделей, оснащённый PagedAttention. Он создан для простоты использования и высокой пропускной способности с помощью алгоритмов. vLLM работает до 24 раз быстрее аналогичных решений от других серверов логического вывода. Они играют ключевую роль во многих задачах NLP. Для эффективного запуска таких моделей требуются мощные вычислительные ресурсы и правильно настроенная среда, где Docker оказывается полезным.
Преимущества VLLM
- Простая интеграция с популярными моделями.
- Высокая пропускная способность — обслуживает больше запросов в секунду, чем традиционные методы.
- Почти нулевые потери кэш-памяти, более быстрое время ответа на запросы.
- API-сервер, совместимый с OpenAI.
Зачем использовать Docker?
Docker — это платформа контейнеризации с открытым исходным кодом для разработки, доставки, развёртывания и запуска контейнеризированных приложений. Docker упрощает настройку и управление программными средами с помощью контейнеризации. Контейнеры объединяют приложение с его зависимостями, обеспечивая одинаковую работу на различных вычислительных платформах. vLLM выигрывает от отсутствия сложностей настройки и несоответствий версий, что упрощает развёртывание и администрирование моделей.
Как запустить VLLM на Windows Docker
Здесь мы возьмём Llama3.1 70B в качестве примера, чтобы показать, как запустить VLLM на Windows Docker. Novita AI также предоставляет API-сервис LLM для этой модели. Вы можете посетить Model API, чтобы увидеть наши рекомендуемые модели.
Предварительные требования для запуска VLLM на Windows Docker
- Windows 10 или новее: Docker Desktop для Windows совместим с этими версиями.
- Docker Desktop: Установите Docker Desktop с официального сайта Docker.
Пошаговое руководство по запуску VLLM на Windows Docker
Шаг 1: Установка Docker Desktop
- Скачайте Docker Desktop: посетите сайт Docker и загрузите версию для Windows.
- Установите Docker: запустите установщик и следуйте инструкциям на экране. Включите виртуализацию, если будет предложено.
Шаг 2: Настройка Docker для Windows
- Запустите Docker Desktop: откройте Docker Desktop из меню «Пуск». Убедитесь, что он находится в нужной директории.
- Настройте ресурсы: перейдите в Docker Settings > Resources и выделите как минимум 4 ЦП и 8 ГБ ОЗУ для VLLM.
- Клонируйте репозиторий VLLM:
git clone https://github.com/vllm-project/vllm.git
cd vllm
Шаг 3: Создание Dockerfile для VLLM
- Создайте Dockerfile: в директории vLLM создайте Dockerfile для настройки среды для VLLM и LLaMA 3.1 70B.
Советы по запуску VLLM на Windows Docker
- Проверьте настройки Docker: убедитесь, что Docker Desktop правильно установлен и запущен. Проверьте, что Docker настроен на использование контейнеров Linux.
- Образ и зависимости: убедитесь, что образ Docker vLLM загружен правильно. Это можно проверить с помощью
docker images. Если с образом возникли проблемы, попробуйте пересобрать его:docker build -t vllm. - Пользовательские модели: измените Dockerfile и
requirements.txt, чтобы включить дополнительные библиотеки или пользовательские модели VLLM. - Монтирование томов: используйте тома Docker для сохранения данных и эффективного управления большими наборами данных.
Поскольку описанные выше шаги развёртывания vLLM могут быть сложными, вы можете найти готовый образ на DockerHub и загрузить его в шаблон экземпляра Novita AI. Затем вы сможете развернуть vLLM просто.
Заключение
Запуск vLLM на Windows с использованием Docker предоставляет надёжную среду для разработки и развёртывания NLP-моделей. Это руководство помогает настроить контейнеризированную среду для упрощённого управления зависимостями и развёртывания, минимизируя конфликты программного обеспечения и проблемы с версиями. Для получения поддержки обратитесь к официальной документации Docker и форумам сообщества vLLM. Интеграция Docker с vLLM оптимизирует ваш рабочий процесс и обеспечивает эффективную производительность модели на разных платформах.
Часто задаваемые вопросы
Запускается ли vLLM локально?
VLLM автоматически загрузит модель и сохранит её в вашем кэш-каталоге HuggingFace. Если вы запускаете vLLM локально, будут использоваться IP-адрес и порт по умолчанию.
Требуется ли для vLLM CUDA?
Для GPU с вычислительной способностью 9.0 требуется CUDA 11.8 или выше.
Может ли Docker работать напрямую на Windows?
Контейнеры Docker позволяют запускать программы и исполняемые файлы Windows. Платформа Docker совместима с операционными системами Windows (x86–64).
Как узнать, работает ли демон Docker на Windows?
Чтобы проверить, работает ли демон Docker на Windows, найдите значок Docker Desktop в системном трее или выполните команду docker info в окне PowerShell/командной строки — она отобразит информацию о среде Docker, если демон активен.
Бесплатен ли Docker для Windows?
Docker Desktop бесплатен для малого бизнеса (менее 250 сотрудников И менее 10 миллионов долларов годового дохода), личного использования, образования и некоммерческих проектов с открытым исходным кодом. Для профессионального использования, выходящего за рамки этих категорий, требуется платная подписка.
Novita AI — это универсальная облачная платформа, которая поддерживает ваши ИИ-амбиции. Интегрированные API, бессерверные вычисления, GPU-инстансы — экономически эффективные инструменты, которые вам нужны. Устраните инфраструктуру, начните бесплатно и воплотите ваше ИИ-видение в реальность.
Рекомендуемое чтение
