今天，繼 FlashMLA 發佈之後，DeepSeek 又推出了第二個 OpenSourceWeek 專案——DeepEP。
作為首個專門為 MoE（混合專家）模型訓練與推理所設計的開源 EP 通訊庫，DeepEP 標誌著專家並行（EP）領域的一大進展。它旨在為 MoE 模型在節點內及節點間的 GPU 通訊，提供低延遲、高頻寬、高通量的通訊能力。根據測試結果，DeepEP 在節點內多 GPU 通訊中實現了接近最大頻寬的效能，同時也顯著提升了節點間的通訊效率。
什麼是 EP？
在進一步探討 DeepEP 之前，首先需要了解 EP 是什麼。
EP（專家並行，Expert Parallelism） 是一種專門為 MoE（混合專家，Mixture-of-Experts） 模型設計的分散式計算方法，最初由 DeepSeek 提出。MoE 是一種基於 Transformer 的模型架構，採用稀疏啟動策略，使其在訓練時比傳統的密集模型更輕量。在 MoE 神經網路中，任何時刻只有模型的一部分元件（稱為「專家」）被啟動來處理輸入。
EP（專家並行） 在加速大型語言模型推理方面的重要性，在於它能有效地劃分 MoE 模型。當模型採用具有數百個專家的 MoE 架構（例如 320 個專家）時，EP 可以將不同的專家分配給獨立的計算節點，其平行粒度直接對應專家數量。
相比之下，TP（張量並行，Tensor Parallelism） 則是根據注意力層中的多頭機制來拆分計算。例如，在典型的 32 頭配置中，當需要擴展到 64 或更多 GPU 時，TP 會遇到困難，因為拆分維度不足（32 < 64），難以充分利用硬體資源。而 EP 則是沿著專家維度來劃分計算。
摘自 EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference
DP vs TP vs PP vs EP
| **方法 ** | ** 內部邏輯 ** | ** 解決的核心問題** |
|---|---|---|
| 數據並行（DP） | 在裝置間複製模型，分割輸入資料，同步梯度更新。 | 數據集過大導致訓練速度慢。 |
| 張量並行（TP） | 在裝置間拆分參數矩陣，進行分散式計算，匯總結果。 | 單層參數超過裝置記憶體容量。 |
| 管線並行（PP） | 將模型層分配到不同裝置，透過管線方式排程微批次。 | 模型層數過深導致記憶體不足。 |
| 專家並行（EP） | 動態將輸入路由到專家子網路，實現稀疏參數啟動。 | 萬億參數規模下的記憶體與計算效率問題。 |
現代大型模型（例如 GPT-4、DeepSeek-V3）通常同時整合多種並行策略，以最大化效率：
- 張量並行（TP）： 將單層的參數拆分到不同裝置上。
- 管線並行（PP）： 將模型的不同層分配到不同裝置，以管線方式處理。
- 數據並行（DP）： 透過複製模型並分割數據集，在多台機器上同步訓練。
- 專家並行（EP）： 對於 MoE 模型，透過將專家分佈在不同裝置上來擴展稀疏參數。
透過結合這些策略，大型模型可以有效地利用可用的硬體資源，擴展到更大的模型規模與數據集，同時維持訓練與推理效率。
什麼是 DeepEP？
DeepEP 是一個專門為 MoE（混合專家） 與 EP（專家並行） 設計的通訊庫，具備以下核心優勢：
- 1. 高度最佳化的全對全通訊
DeepEP 提供高效的全對全（All-to-All）通訊核心，顯著減少資料傳輸瓶頸，確保在分散式環境中專家之間的資訊交換更加順暢。
- 2. 支援節點內/節點間通訊的 NVLink 與 RDMA
DeepEP 同時支援 NVLink 與 RDMA 技術，實現節點內與節點間的高效能通訊：
-
NVLink： 節點內通訊頻寬可達 160 GB/s。
-
RDMA： 實現低延遲的節點間資料傳輸，滿足大規模分散式訓練的需求。
-
3. 高通量計算核心
DeepEP 為訓練與推理的 prefill 階段提供高通量計算核心，確保大規模數據的高效處理。
- 4. 低延遲計算核心
DeepEP 提供基於 RDMA/Infiniband 的低延遲計算核心，可最小化推理延遲，這對於推理解碼階段中對延遲敏感的應用尤為有利。
- 5. 原生支援 FP8 資料分發
DeepEP 原生支援 FP8 資料分發，在保持精度的同時減少資料傳輸量，進一步提升通訊效率。
- 6. 靈活的 GPU 資源控制
DeepEP 具有靈活的 GPU 資源排程機制，可有效重疊計算與通訊，最大限度減少資源浪費，提升整體效能。
EP vs DeepEP
本質上，EP 定義了「做什麼」（如何拆分專家與分配工作負載），而 DeepEP 則提供了「如何做」（高效的通訊機制，使 EP 更快、更具可擴展性）。
DeepEP 效能
DeepEP 在節點內與節點間通訊中展現了卓越的效能，特別是在結合 NVLink 與 RDMA 的混合架構下。以下是兩種典型場景下的效能結果：
常規核心效能（NVLink 與 RDMA 轉發）
-
測試環境：
- GPU： H800（NVLink，最大頻寬約 160 GB/s）
- 網路： CX7 InfiniBand 400 Gb/s RDMA NIC（最大頻寬約 50 GB/s）
- 配置： DeepSeek-V3/R1 預訓練設定（批次大小 4096 tokens，隱藏層大小 7168，top-4 層，top-8 專家，FP8 分發，BF16 聚合）
-
效能結果：
- 節點內通訊頻寬接近 NVLink 最大值（160 GB/s），展現極高的資料傳輸效率。
- 節點間通訊在 RDMA 下維持穩定頻寬，滿足大規模分散式訓練需求。
低延遲核心效能（純 RDMA）
-
測試環境：
- GPU： H800
- 網路： CX7 InfiniBand 400 Gb/s RDMA NIC（最大頻寬約 50 GB/s）
- 配置： 典型的 DeepSeek-V3/R1 生產設定（批次大小 128 tokens，隱藏層大小 7168，top-8 專家，FP8 分發，BF16 聚合）
-
效能結果：
- 低延遲核心在純 RDMA 模式下達到微秒級延遲，適合對延遲敏感的推理解碼任務。
- 即使在高並行度（#EP=256）下，RDMA 頻寬仍保持穩定，確保高效的資料傳輸。
DeepEP 應用場景
DeepEP 非常適合各種 MoE 模型的訓練與推理場景，特別是在大規模分散式訓練中。主要應用場景包括：
-
MoE 模型訓練
- DeepEP 的高通量計算核心與高效全對全通訊機制，可顯著加速訓練過程，特別是在多節點、多 GPU 環境中。
-
推理 Prefill 階段
- 在推理 prefill 階段，DeepEP 的高通量計算核心能高效處理大量數據，確保推理管線的高效率。
-
推理解碼階段
- 在解碼階段，DeepEP 的低延遲計算核心可最小化推理延遲，非常適合即時應用。
結論
根據評估結果，DeepGEMM 在多款 GPU（包括 H100、H200 與 H800）上展現了顯著的效能最佳化能力，凸顯了其出色的通用性。
對於基於 Hopper 架構的 MoE 系列模型（例如 DeepSeek V3 與 R1），透過將最佳化整合到推理框架的 MoE 模組中，並將原始 CUTLASS 版本的 grouped GEMM 替換為 DeepGEMM 的實現，預計模型推理可獲得約 1.2 倍的加速，顯著提升整體效能。
Novita AI 是一個 AI 雲端平台，為開發者提供簡單的 API 來部署 AI 模型，同時也提供價格合理且可靠的 GPU 雲端服務，用於建置與擴展。
