Heute, nach der Veröffentlichung von FlashMLA, hat DeepSeek sein zweites OpenSourceWeek-Projekt vorgestellt: DeepEP.
Als erste Open-Source-EP-Kommunikationsbibliothek, die speziell für das Training und die Inferenz von MoE-Modellen (Mixture-of-Experts) entwickelt wurde, stellt DeepEP einen bedeutenden Fortschritt im Bereich der Expertenparallelität (EP) dar. Ziel ist es, MoE-Modellen Kommunikationsfähigkeiten mit niedriger Latenz, hoher Bandbreite und hohem Durchsatz sowohl innerhalb eines Nodes als auch zwischen Nodes zu bieten. Laut Testergebnissen erreicht DeepEP nahezu die maximale Bandbreite für die Multi-GPU-Kommunikation innerhalb eines Nodes und verbessert gleichzeitig die Kommunikationseffizienz zwischen Nodes erheblich.
Was ist EP?
Bevor wir tiefer in DeepEP eintauchen, ist es wichtig, zunächst zu verstehen, was EP ist.
EP (Expert Parallelism) ist eine verteilte Rechenmethode, die speziell für MoE (Mixture-of-Experts)-Modelle entwickelt wurde und ursprünglich von DeepSeek veröffentlicht wurde. MoE ist eine Transformer-basierte Modellarchitektur, die eine spärliche Aktivierungsstrategie verwendet, was sie beim Training im Vergleich zu traditionellen dichten Modellen leichter macht. In einem MoE-Neuronalen Netzwerk wird jeweils nur eine Teilmenge der Modellkomponenten (sogenannte „Experten“) aktiviert, um die Eingabe zu verarbeiten.
Die Bedeutung von EP (Expert Parallelism) bei der Beschleunigung der Inferenz großer Sprachmodelle liegt in seiner Fähigkeit, MoE-Modelle effizient zu partitionieren. Wenn ein Modell die MoE-Architektur mit Hunderten von Experten (z. B. 320 Experten) verwendet, kann EP verschiedene Experten unabhängigen Rechenknoten zuweisen, wobei seine Parallelitätsgranularität direkt der Anzahl der Experten entspricht.
Im Gegensatz dazu basiert TP (Tensor Parallelism) auf der Aufteilung der Berechnung basierend auf dem Multi-Head-Mechanismus in Attention-Layern. In einer typischen 32-Head-Konfiguration hat TP beispielsweise Schwierigkeiten, auf 64 oder mehr GPUs zu skalieren, da die Aufteilungsdimension nicht ausreicht (32 < 64) und die Hardware-Ressourcen nicht vollständig genutzt werden können. EP hingegen teilt die Berechnungen entlang der Dimension der Experten auf.
von EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference
DP vs TP vs PP vs EP
| Methode | Interne Logik | Gelöstes Kernproblem |
|---|---|---|
| Datenparallelität (DP) | Modelle auf Geräte replizieren, Eingabedaten aufteilen, Gradientenaktualisierungen synchronisieren. | Langsame Trainingsgeschwindigkeit aufgrund großer Datensätze. |
| Tensorparallelität (TP) | Parametermatrizen auf Geräte aufteilen, verteilt berechnen und Ergebnisse zusammenführen. | Einzelschicht-Parameter überschreiten Gerätespeicherkapazität. |
| Pipelineparallelität (PP) | Modellschichten auf Geräte verteilen, Mikro-Batches durch Pipelining planen. | Unzureichender Speicher für Modelle mit extremer Tiefe. |
| Expertenparallelität (EP) | Eingaben dynamisch an Experten-Subnetze mit spärlicher Parameteraktivierung weiterleiten. | Speicher- und Rechenineffizienz bei Billionen-Parameter-Maßstab. |
Moderne große Modelle (z. B. GPT-4, DeepSeek-V3) integrieren typischerweise mehrere Parallelitätsstrategien gleichzeitig, um die Effizienz zu maximieren:
- Tensorparallelität (TP): Teilt die Parameter einzelner Schichten auf Geräte auf.
- Pipelineparallelität (PP): Verteilt verschiedene Modellschichten auf Geräte, um sie pipelineartig zu verarbeiten.
- Datenparallelität (DP): Synchronisiert das Training über mehrere Maschinen, indem das Modell repliziert und der Datensatz aufgeteilt wird.
- Expertenparallelität (EP): Erweitert spärliche Parameter, indem Experten auf Geräte für MoE-Modelle verteilt werden.
Durch die Kombination dieser Strategien können große Modelle verfügbare Hardware-Ressourcen effektiv nutzen, auf größere Modellgrößen und Datensätze skalieren und gleichzeitig Trainings- und Inferenzeffizienz beibehalten.
Was ist DeepEP?
DeepEP ist eine Kommunikationsbibliothek, die speziell für MoE (Mixture-of-Experts) und EP (Expert Parallelism) entwickelt wurde und die folgenden Kernvorteile bietet:
- 1. Hochoptimierte All-to-All-Kommunikation
DeepEP bietet einen effizienten All-to-All-Kommunikationskernel, der Datenübertragungsengpässe erheblich reduziert und einen reibungsloseren Informationsaustausch zwischen Experten in verteilten Umgebungen gewährleistet.
- 2. Unterstützung für NVLink und RDMA in Intra-Node/Inter-Node-Kommunikation
DeepEP unterstützt sowohl NVLink als auch RDMA-Technologien und ermöglicht so leistungsstarke Kommunikation innerhalb und zwischen Nodes:
-
NVLink: Liefert Bandbreite von bis zu 160 GB/s für die Kommunikation innerhalb eines Nodes.
-
RDMA: Ermöglicht latenzarme Datenübertragungen zwischen Nodes und erfüllt die Anforderungen des groß angelegten verteilten Trainings.
-
3. Hochdurchsatz-Rechenkern
Für das Training und die Prefill-Phase der Inferenz bietet DeepEP einen Hochdurchsatz-Rechenkern, der die effiziente Verarbeitung großer Datenmengen gewährleistet.
- 4. Latenzarmer Rechenkern
DeepEP bietet einen latenzarmen Rechenkern basierend auf RDMA/Infiniband, der die Inferenzlatenz minimiert. Dies ist besonders vorteilhaft für latenzsensitive Anwendungen während der Decoding-Phase der Inferenz.
- 5. Native Unterstützung für FP8-Datenverteilung
DeepEP unterstützt nativ die FP8-Datenverteilung, reduziert das Datenübertragungsvolumen bei gleichbleibender Genauigkeit und verbessert so die Kommunikationseffizienz weiter.
- 6. Flexible GPU-Ressourcensteuerung
DeepEP verfügt über einen flexiblen GPU-Ressourcen-Scheduling-Mechanismus, der eine effiziente Überlappung von Berechnung und Kommunikation ermöglicht. Dies minimiert Ressourcenverschwendung und verbessert die Gesamtleistung.
EP vs DeepEP
Im Wesentlichen definiert EP das „Was“ (wie man Experten aufteilt und Arbeitslasten verteilt), während DeepEP das „Wie“ bereitstellt (effiziente Kommunikationsmechanismen, um EP schneller und skalierbarer zu machen).
DeepEP-Leistung
DeepEP zeigt außergewöhnliche Leistung sowohl in der Intra-Node- als auch in der Inter-Node-Kommunikation, insbesondere in hybriden Architekturen, die NVLink und RDMA kombinieren. Nachfolgend sind die Leistungsergebnisse in zwei typischen Szenarien aufgeführt:
Reguläre Kernel-Leistung (NVLink- und RDMA-Weiterleitung)
-
Testumgebung:
- GPU: H800 (NVLink mit einer maximalen Bandbreite von ~160 GB/s)
- Netzwerk: CX7 InfiniBand 400 Gb/s RDMA NIC (maximale Bandbreite ~50 GB/s)
- Konfiguration: DeepSeek-V3/R1 Pre-Training-Setup (Batch-Größe: 4096 Token, Hidden Size: 7168, Top-4 Layer, Top-8 Experten, FP8-Verteilung und BF16-Aggregation)
-
Leistungsergebnisse:
- Die Intra-Node-Kommunikation erreicht eine Bandbreite nahe dem NVLink-Maximum (160 GB/s), was eine extrem hohe Datenübertragungseffizienz zeigt.
- Die Inter-Node-Kommunikation hält unter RDMA eine stabile Bandbreite und erfüllt die Anforderungen des groß angelegten verteilten Trainings.
Latenzarmer Kernel-Leistung (Reines RDMA)
-
Testumgebung:
- GPU: H800
- Netzwerk: CX7 InfiniBand 400 Gb/s RDMA NIC (maximale Bandbreite ~50 GB/s)
- Konfiguration: Typisches DeepSeek-V3/R1-Produktionssetup (Batch-Größe: 128 Token, Hidden Size: 7168, Top-8 Experten, FP8-Verteilung und BF16-Aggregation)
-
Leistungsergebnisse:
- Der latenzarme Kernel erreicht im reinen RDMA-Modus Latenzzeiten im Mikrosekundenbereich, was ihn für latenzsensitive Inferenz-Decoding-Aufgaben geeignet macht.
- Selbst bei hoher Parallelität (#EP=256) bleibt die RDMA-Bandbreite stabil und gewährleistet eine effiziente Datenübertragung.
DeepEP-Anwendungsszenarien
DeepEP eignet sich gut für verschiedene MoE-Modell-Trainings- und Inferenzszenarien, insbesondere beim groß angelegten verteilten Training. Zu den wichtigsten Anwendungsszenarien gehören:
-
MoE-Modell-Training
- Der Hochdurchsatz-Rechenkern und der effiziente All-to-All-Kommunikationsmechanismus von DeepEP beschleunigen den Trainingsprozess erheblich, insbesondere in Umgebungen mit mehreren Nodes und GPUs.
-
Inferenz-Prefill-Phase
- Während der Inferenz-Prefill-Phase verarbeitet der Hochdurchsatz-Rechenkern von DeepEP große Datenmengen effizient und gewährleistet so eine hocheffiziente Inferenz-Pipeline.
-
Inferenz-Decoding-Phase
- Für die Decoding-Phase minimiert der latenzarme Rechenkern von DeepEP die Inferenzverzögerungen und ist daher ideal für Echtzeitanwendungen.
Fazit
Laut den Bewertungsergebnissen hat DeepGEMM auf mehreren GPUs, einschließlich H100, H200 und H800, signifikante Leistungsoptimierungsfähigkeiten gezeigt, was seine hervorragende Vielseitigkeit unterstreicht.
Für MoE-Serien-Modelle, die auf der Hopper-Architektur laufen (wie DeepSeek V3 und R1), wird durch die Integration von Optimierungen in das MoE-Modul des Inferenz-Frameworks und den Austausch der ursprünglichen CUTLASS-Version von gruppierten GEMMs durch die DeepGEMM-Implementierung eine etwa 1,2-fache Beschleunigung der Modellinferenz erwartet, was die Gesamtleistung erheblich verbessert.
Novita AI ist eine KI-Cloud-Plattform, die Entwicklern eine einfache Möglichkeit bietet, KI-Modelle über unsere einfache API bereitzustellen, und gleichzeitig eine erschwingliche und zuverlässige GPU-Cloud zum Aufbau und zur Skalierung bereitstellt.
$20 Guthaben erhalten und DeepSeek jetzt ausprobieren!
