أتقن نشر vLLM على Windows Docker لتحسين الكفاءة والأداء. احصل على رؤى خبراء من مدونتنا اليوم.
النقاط الرئيسية
- في مجال الذكاء الاصطناعي، تلعب نماذج اللغة الكبيرة (LLMs) دورًا حيويًا في تطبيقات متنوعة، مثل معالجة اللغة الطبيعية وتوليد النصوص.
- توفر المنصات الموثوقة مثل vLLM نماذج اللغة الكبيرة كخدمة — وفق سياسات الأمان والخصوصية الجيدة عمومًا.
- VLLM هي مكتبة استدلال موزعة قوية للتعامل مع النماذج كبيرة الحجم.
- يوفر Docker طريقة فعالة لحاويات التطبيقات، مما يسهل تشغيل vLLM على Windows.
- من خلال دليل يبسط عملية تشغيل VLLM على Windows Docker، يمكن للمطورين الجدد إتقان Docker وتعلم الآلة.
مقدمة
في عصر علم البيانات وتعلم الآلة، تتميز نماذج اللغة الكبيرة بحجمها وتعقيدها الكبيرين، مما يتطلب عناية أكثر دقة لنشرها بفعالية. أصبح vLLM، وهو اختصار لـ Virtual Large Language Models، أمرًا بالغ الأهمية لتطبيقات NLP المتقدمة. سواء كنت عالم بيانات أو مطورًا أو باحثًا، فإن تشغيل VLLMs بكفاءة يمكن أن يحدث فرقًا كبيرًا في مشاريعك. تقدم هذه المدونة عملية خطوة بخطوة لإعداد وتشغيل VLLM على Windows باستخدام Docker. سنغطي كل شيء من المتطلبات الأساسية إلى نصائح استكشاف الأخطاء وإصلاحها لضمان إعداد سلس.
استكشاف VLLM و Docker
أساسيات VLLM
قبل الغوص في تفاصيل Docker، دعنا نغطي بإيجاز ما هو VLLM. Virtual Large Language Models (vLLM) هو خادم استدلال مفتوح المصدر وعالي الأداء لنماذج اللغة الكبيرة مزود بـ PagedAttention. تم إنشاؤه لسهولة الاستخدام والإنتاجية العالية مع الخوارزميات. vLLM أسرع بما يصل إلى 24 مرة من الحلول المماثلة التي تقدمها خوادم استدلال أخرى. تلعب هذه النماذج دورًا حاسمًا في العديد من مهام NLP. يتطلب تشغيل هذه النماذج بكفاءة موارد حاسوبية قوية وبيئة مهيأة بشكل صحيح، حيث يثبت Docker فائدته.
مزايا VLLM
- سهولة التكامل مع النماذج الشائعة
- إنتاجية عالية من خلال خدمة المزيد من الطلبات في الثانية مقارنة بالطرق التقليدية
- هدر شبه معدوم في ذاكرة التخزين المؤقت، مع أوقات استجابة أسرع للاستعلامات
- خادم API متوافق مع OpenAI
لماذا نستخدم Docker؟
Docker هو منصة خدمة حاويات مفتوحة المصدر لتطوير التطبيقات المحاوِزة وشحنها ونشرها وتشغيلها. يبسط Docker تكوين بيئات البرامج والتحكم فيها من خلال الحاويات. تقوم هذه الحاويات بتجميع التطبيق مع متطلباته، مما يمكنه من العمل بشكل موحد على إعدادات حاسوبية مختلفة. يستفيد vLLM من تجنب تعقيدات الإعداد وتضارب الإصدارات، مما يسهل نشر النماذج وإدارتها.
كيفية تشغيل VLLM على Windows Docker
هنا سنأخذ Llama3.1 70B كمثال لتوضيح كيفية تشغيل VLLM على Windows Docker. توفر Novita AI أيضًا خدمة API لنموذج LLM لهذا النموذج. يمكنك زيارة Model API للاطلاع على نماذجنا المميزة.
المتطلبات الأساسية لتشغيل VLLM على Windows Docker
- Windows 10 أو أحدث: Docker Desktop لنظام Windows متوافق مع هذه الإصدارات.
- Docker Desktop: قم بتثبيت Docker Desktop من موقع Docker الرسمي.
دليل خطوة بخطوة لتشغيل VLLM على Windows Docker
الخطوة 1: تثبيت Docker Desktop
- قم بتنزيل Docker Desktop: قم بزيارة موقع Docker وقم بتنزيله لنظام Windows.
- قم بتثبيت Docker: قم بتشغيل المثبّت واتبع التعليمات التي تظهر على الشاشة. قم بتمكين المحاكاة الافتراضية إذا طُلب منك ذلك.
الخطوة 2: تكوين Docker لـ Windows
- ابدأ تشغيل Docker Desktop: قم بتشغيل Docker Desktop من قائمة ابدأ. احتفظ به في الدليل الصحيح.
- ضبط الموارد: انتقل إلى إعدادات Docker > الموارد وخصص على الأقل 4 وحدات معالجة مركزية و8 جيجابايت من ذاكرة الوصول العشوائي لـ VLLM.
- استنساخ مستودع VLLM:
git clone https://github.com/vllm-project/vllm.git
cd vllm
الخطوة 3: إنشاء Dockerfile لـ VLLM
- إنشاء Dockerfile: في دليل vLLM، قم بإنشاء Dockerfile لإعداد البيئة لـ VLLM و LLaMA 3.1 70B.
نصائح لتشغيل VLLM على Windows Docker
- تحقق من إعدادات Docker: تأكد من تثبيت Docker Desktop بشكل صحيح وتشغيله. تحقق من تكوين Docker لاستخدام حاويات Linux.
- الصورة والتبعيات: تأكد من تنزيل صورة Docker الخاصة بـ vLLM بشكل صحيح. يمكنك التحقق باستخدام
docker images. إذا كانت هناك مشكلات في الصورة، حاول إعادة بنائها:docker build -t vllm. - نماذج مخصصة: قم بتعديل Dockerfile و
requirements.txtلتضمين مكتبات إضافية أو نماذج VLLM مخصصة. - تثبيت الحجم: استخدم وحدات تخزين Docker للاحتفاظ بالبيانات وإدارة مجموعات البيانات الكبيرة بكفاءة.
نظرًا لصعوبة تنفيذ خطوات نشر vLLM أعلاه، يمكنك العثور على الصورة المعبأة على DockerHub ورفعها إلى قالب Instance في Novita AI. ثم يمكنك نشر vLLM ببساطة.
الخلاصة
تشغيل vLLM على Windows باستخدام Docker يوفر بيئة موثوقة لتطوير ونشر نماذج NLP. يساعد هذا الدليل في إعداد بيئة محاوِزة لتبسيط إدارة التبعيات والنشر، مما يقلل من تعارضات البرامج ومشكلات الإصدارات. للحصول على الدعم، راجع الوثائق الرسمية لـ Docker ومنتديات مجتمع vLLM. دمج Docker مع vLLM يبسط سير عملك ويضمن أداء النموذج بكفاءة عبر المنصات.
الأسئلة الشائعة
هل يعمل vLLM محليًا؟
سيقوم VLLM بتنزيل النموذج تلقائيًا وتخزينه في دليل ذاكرة التخزين المؤقت لـ HuggingFace. إذا كنت تشغل vLLM محليًا، فسيكون هناك عنوان IP ومنفذ افتراضي.
هل يتطلب vLLM CUDA؟
مطلوب CUDA 11.8 أو أعلى لوحدات معالجة الرسومات ذات قدرة الحوسبة 9.0.
هل يمكن تشغيل Docker مباشرة على Windows؟
تسمح حاويات Docker بتشغيل برامج Windows والملفات القابلة للتنفيذ. منصة Docker متوافقة مع أنظمة تشغيل Windows (x86-64).
كيف يمكنني معرفة ما إذا كان خادم Docker قيد التشغيل على Windows؟
للتحقق مما إذا كان خادم Docker قيد التشغيل على Windows، ابحث عن أيقونة Docker Desktop في شريط النظام أو قم بتشغيل “docker info” في نافذة PowerShell/موجه الأوامر لعرض معلومات بيئة Docker إذا كان الخادم نشطًا.
هل Docker for Windows مجاني؟
Docker Desktop مجاني للشركات الصغيرة (التي لديها أقل من 250 موظفًا وأقل من 10 ملايين دولار من الإيرادات السنوية)، والاستخدام الشخصي، والتعليم، والمشاريع مفتوحة المصدر غير التجارية. للاستخدام المهني خارج هذه الفئات، يلزم اشتراك مدفوع.
Novita AI هي المنصة السحابية الشاملة التي تمكّن طموحاتك في الذكاء الاصطناعي. واجهات برمجة تطبيقات متكاملة، خوادم بدون خادم، Instance GPU — الأدوات الفعالة من حيث التكلفة التي تحتاجها. تخلص من البنية التحتية، ابدأ مجانًا، وحوّل رؤيتك الذكاء الاصطناعي إلى واقع.
قراءة موصى بها
