اليوم، بعد إطلاق FlashMLA، أطلقت DeepSeek مشروعها الثاني من OpenSourceWeek — DeepEP.
باعتبارها أول مكتبة اتصالات EP مفتوحة المصدر مصممة خصيصًا لتدريب واستدلال نماذج MoE (Mixture-of-Experts)، تمثل DeepEP خطوة مهمة إلى الأمام في مجال التوازي بين الخبراء (Expert Parallelism). تهدف إلى توفير قدرات اتصال منخفضة الكمون وعالية النطاق الترددي وعالية الإنتاجية لنماذج MoE عبر وحدات معالجة الرسوميات (GPUs) داخل العقدة الواحدة وبين العقد.
وفقًا لنتائج الاختبار، تحقق DeepEP أداءً قريبًا من أقصى نطاق ترددي للاتصال متعدد وحدات المعالجة داخل العقدة، مع تحسين كبير في كفاءة الاتصال بين العقد.
ما هو EP؟
قبل الغوص في DeepEP، من المهم أولاً فهم ما هو EP.
EP (Expert Parallelism) هو طريقة حوسبة موزعة مصممة خصيصًا لنماذج MoE (Mixture-of-Experts)، التي نشرتها DeepSeek في الأصل. MoE هي بنية نموذج قائمة على Transformer تستخدم استراتيجية تنشيط متفرقة، مما يجعلها أخف وزنًا أثناء التدريب مقارنة بالنماذج الكثيفة التقليدية. في الشبكة العصبية MoE، يتم تنشيط مجموعة فرعية فقط من مكونات النموذج (تسمى “الخبراء”) لمعالجة المدخلات في أي وقت.
تكمن أهمية EP (Expert Parallelism) في تسريع استدلال نماذج اللغة الكبيرة في قدرتها على تقسيم نماذج MoE بكفاءة. عندما يتبنى النموذج بنية MoE بمئات الخبراء (مثل 320 خبيرًا)، يمكن لـ EP تعيين خبراء مختلفين لعقد حوسبة مستقلة، مع توازي يتناسب طرديًا مع عدد الخبراء.
في المقابل، يعتمد TP (Tensor Parallelism) على تقسيم الحساب بناءً على آلية الرؤوس المتعددة في طبقات الانتباه. على سبيل المثال، في تكوين نموذجي مكون من 32 رأسًا، يواجه TP تحديات في التوسع إلى 64 أو أكثر من وحدات معالجة الرسوميات لأن بُعد التقسيم غير كافٍ (32 < 64)، مما يجعل من الصعب الاستفادة الكاملة من موارد الأجهزة. من ناحية أخرى، يقسم EP الحسابات على طول بُعد الخبراء.
من EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference
DP مقابل TP مقابل PP مقابل EP
| الطريقة | المنطق الداخلي | المشكلة الأساسية التي تم حلها |
|---|---|---|
| توازي البيانات (DP) | نسخ النماذج عبر الأجهزة، تقسيم بيانات الإدخال، مزامنة تحديثات التدرج. | بطء سرعة التدريب بسبب حجم مجموعة البيانات الكبير. |
| توازي الموترات (TP) | تقسيم مصفوفات المعلمات عبر الأجهزة، إجراء الحساب الموزع، وتجميع النتائج. | سعة ذاكرة الجهاز غير كافية لمعلمات الطبقة الواحدة. |
| توازي خط الأنابيب (PP) | تقسيم طبقات النموذج عبر الأجهزة، جدولة الدفعات الصغيرة من خلال الأنابيب. | ذاكرة غير كافية للنماذج ذات العمق الشديد. |
| توازي الخبراء (EP) | توجيه المدخلات ديناميكيًا إلى شبكات فرعية خبراء مع تنشيط متفرق للمعلمات. | عدم كفاءة الذاكرة والحساب على نطاق تريليونات المعلمات. |
تدمج النماذج الحديثة واسعة النطاق (مثل GPT-4 وDeepSeek-V3) عادةً استراتيجيات توازي متعددة في وقت واحد لتعظيم الكفاءة:
- توازي الموترات (TP): يقسم معلمات الطبقات الفردية عبر الأجهزة.
- توازي خط الأنابيب (PP): يوزع طبقات النموذج المختلفة عبر الأجهزة لمعالجتها بطريقة خط الأنابيب.
- توازي البيانات (DP): يقوم بمزامنة التدريب عبر أجهزة متعددة عن طريق نسخ النموذج وتقسيم مجموعة البيانات.
- توازي الخبراء (EP): يوسع المعلمات المتفرقة عن طريق توزيع الخبراء عبر الأجهزة لنماذج MoE.
من خلال الجمع بين هذه الاستراتيجيات، يمكن للنماذج الكبيرة استخدام موارد الأجهزة المتاحة بشكل فعال، والتوسع إلى أحجام نماذج ومجموعات بيانات أكبر مع الحفاظ على كفاءة التدريب والاستدلال.
ما هو DeepEP؟
DeepEP هي مكتبة اتصالات مصممة خصيصًا لـ MoE (Mixture-of-Experts) وEP (Expert Parallelism)، وتقدم المزايا الأساسية التالية:
- 1. اتصال All-to-All محسّن للغاية
توفر DeepEP نواة اتصال All-to-All فعالة تقلل بشكل كبير من اختناقات نقل البيانات، مما يضمن تبادلًا أكثر سلاسة للمعلومات بين الخبراء في البيئات الموزعة.
- 2. دعم NVLink وRDMA في الاتصال داخل العقدة وبين العقد
تدعم DeepEP كلاً من تقنيتي NVLink وRDMA، مما يتيح اتصالًا عالي الأداء داخل العقد وعبرها:
-
NVLink: يوفر نطاقًا تردديًا يصل إلى 160 جيجابايت/ثانية للاتصال داخل العقدة.
-
RDMA: يتيح نقل بيانات منخفض الكمون بين العقد، مما يلبي متطلبات التدريب الموزع واسع النطاق.
-
3. نواة حوسبة عالية الإنتاجية
بالنسبة لمراحل التدريب والتعبئة المسبقة للاستدلال (prefill)، توفر DeepEP نواة حوسبة عالية الإنتاجية، مما يضمن معالجة فعالة للبيانات واسعة النطاق.
- 4. نواة حوسبة منخفضة الكمون
توفر DeepEP نواة حوسبة منخفضة الكمون تعتمد على RDMA/Infiniband، مما يقلل من زمن استدلال الاستدلال. هذا مفيد بشكل خاص للتطبيقات الحساسة للكمون أثناء مرحلة فك التشفير في الاستدلال.
- 5. دعم أصلي لتوزيع بيانات FP8
تدعم DeepEP بشكل أصلي توزيع بيانات FP8، مما يقلل من حجم نقل البيانات مع الحفاظ على الدقة، مما يزيد من تحسين كفاءة الاتصال.
- 6. تحكم مرن في موارد وحدة معالجة الرسوميات
تتميز DeepEP بآلية جدولة مرنة لموارد وحدة معالجة الرسوميات، مما يسمح بالتداخل الفعال بين الحساب والاتصال. هذا يقلل من هدر الموارد ويحسن الأداء العام.
EP مقابل DeepEP
باختصار، EP يحدد “ماذا” (كيفية تقسيم الخبراء وتوزيع أعباء العمل)، بينما DeepEP يوفر “كيف” (آليات اتصال فعالة لجعل EP أسرع وأكثر قابلية للتوسع).
أداء DeepEP
تظهر DeepEP أداءً استثنائيًا في كل من الاتصال داخل العقدة وبين العقد، خاصة في البنى الهجينة التي تجمع بين NVLink وRDMA. فيما يلي نتائج الأداء في سيناريوهين نموذجيين:
أداء النواة العادية (NVLink و RDMA Forwarding)
-
بيئة الاختبار:
- GPU: H800 (NVLink بأقصى نطاق ترددي ~160 جيجابايت/ثانية)
- الشبكة: CX7 InfiniBand 400 Gb/s RDMA NIC (أقصى نطاق ترددي ~50 جيجابايت/ثانية)
- التكوين: إعداد ما قبل التدريب DeepSeek-V3/R1 (حجم الدفعة: 4096 رمزًا، الحجم المخفي: 7168، الطبقات الأربع الأولى، الخبراء الثمانية الأوائل، توزيع FP8، وتجميع BF16)
-
نتائج الأداء:
- يحقق الاتصال داخل العقدة نطاقًا تردديًا قريبًا من الحد الأقصى لـ NVLink (160 جيجابايت/ثانية)، مما يدل على كفاءة عالية جدًا في نقل البيانات.
- يحافظ الاتصال بين العقد على نطاق ترددي مستقر تحت RDMA، مما يلبي متطلبات التدريب الموزع واسع النطاق.
أداء النواة منخفضة الكمون (RDMA النقي)
-
بيئة الاختبار:
- GPU: H800
- الشبكة: CX7 InfiniBand 400 Gb/s RDMA NIC (أقصى نطاق ترددي ~50 جيجابايت/ثانية)
- التكوين: إعداد إنتاجي نموذجي لـ DeepSeek-V3/R1 (حجم الدفعة: 128 رمزًا، الحجم المخفي: 7168، الخبراء الثمانية الأوائل، توزيع FP8، وتجميع BF16)
-
نتائج الأداء:
- تحقق النواة منخفضة الكمون كمونًا على مستوى الميكروثانية في وضع RDMA النقي، مما يجعلها مناسبة لمهام فك تشفير الاستدلال الحساسة للكمون.
- حتى في حالة التوازي العالي (#EP=256)، يظل النطاق الترددي لـ RDMA مستقرًا، مما يضمن نقل بيانات فعال.
سيناريوهات تطبيق DeepEP
تعد DeepEP مناسبة تمامًا لسيناريوهات التدريب والاستدلال المختلفة لنماذج MoE، خاصة في التدريب الموزع واسع النطاق. تشمل سيناريوهات التطبيق الرئيسية:
-
تدريب نموذج MoE
- تعمل نواة الحوسبة عالية الإنتاجية وآلية اتصال All-to-All الفعالة في DeepEP على تسريع عملية التدريب بشكل كبير، خاصة في البيئات متعددة العقد ومتعددة وحدات معالجة الرسوميات.
-
مرحلة التعبئة المسبقة للاستدلال (Prefill)
- خلال مرحلة التعبئة المسبقة للاستدلال، تقوم نواة الحوسبة عالية الإنتاجية في DeepEP بمعالجة كميات كبيرة من البيانات بكفاءة، مما يضمن خط أنابيب استدلال فعال للغاية.
-
مرحلة فك تشفير الاستدلال (Decoding)
- بالنسبة لمرحلة فك التشفير، تعمل نواة الحوسبة منخفضة الكمون في DeepEP على تقليل تأخيرات الاستدلال، مما يجعلها مثالية للتطبيقات في الوقت الفعلي.
الخلاصة
وفقًا لنتائج التقييم، أظهرت DeepGEMM قدرات تحسين أداء كبيرة عبر وحدات معالجة رسوميات متعددة، بما في ذلك H100 وH200 وH800، مما يبرز تنوعها الممتاز.
بالنسبة لنماذج سلسلة MoE التي تعمل على بنية Hopper (مثل DeepSeek V3 وR1)، من خلال دمج التحسينات في وحدة MoE لإطار الاستدلال واستبدال إصدار CUTLASS الأصلي من مجموعات GEMM المجمعة بتنفيذ DeepGEMM، من المتوقع أن يحقق استدلال النموذج تسريعًا بنحو 1.2x، مما يعزز الأداء العام بشكل كبير.
Novita AI هي منصة سحابية للذكاء الاصطناعي تقدم للمطورين طريقة سهلة لنشر نماذج الذكاء الاصطناعي باستخدام واجهة برمجة التطبيقات البسيطة الخاصة بنا، مع توفير سحابة GPU ميسورة التكلفة وموثوقة للبناء والتوسع.
احصل على 20 دولارًا من الاعتمادات وجرب DeepSeek الآن!
