昨天是開源週的第三天，DeepSeek 正式釋出了 DeepGEMM 開源函式庫。
這是一個專為密集模型與 MoE 模型設計的 FP8 GEMM 運算函式庫，為 DeepSeek-V3/R1 這類 MoE FP8 量化模型的訓練與推理提供強大支援。
DeepGEMM 已針對 NVIDIA Hopper 架構 GPU（如 H100、H200、H800）進行深度優化。
主要特色包括程式碼精簡（核心部分僅約 300 行），卻能展現出色效能，在各種矩陣形狀下可媲美甚至超越專家調校過的函式庫。
作為致力於提供高效能 AI 運算服務的雲端平台，Novita AI 已部署大量 MoE FP8 量化模型（例如 DeepSeek FP8 版本）。
為了更善用 DeepGEMM 技術，提升這些模型的推論效率，Novita AI 在第一時間對 DeepGEMM 進行了全面的效能測試。
在深入探討具體測試數據之前，讓我們先熟悉一些相關的基本概念。
什麼是 GEMM？
GEMM（通用矩陣乘法，General Matrix Multiplication）是深度學習中最基本且最重要的運算算子，而 GEMM 優化正是高效能 AI 運算的核心。
DeepGEMM 是一個專為加速深度學習中關鍵 GEMM 運算而設計的開源函式庫，透過提升 GEMM 運算效率來增強整體 AI 系統效能。
DeepGEMM 的獨特優勢
相較於成熟的模板函式庫（如 CUTLASS 和 CuTe），DeepGEMM 採取輕量化設計方針：它不追求廣泛相容所有 GPU 與運算場景，而是專注於充分發揮 Hopper 架構的 FP8 運算能力，並針對 DeepSeek R1 與 V3 等大型模型常用的矩陣形狀進行精心優化。
DeepGEMM 的技術創新
DeepGEMM 透過以下四項核心技術創新實現效能突破：
- 即時編譯（JIT）
傳統方法需要在呼叫前預先編譯 CUDA 程式碼，而 DeepGEMM 的 JIT 技術將編譯過程隱藏在執行時期，無需手動編譯。
開發者無需建立複雜的 Python 介面，簡化了開發流程，僅需幾行程式碼即可實現功能。
- 運算與傳輸重疊優化
DeepGEMM 同時執行資料傳輸與運算作業，充分運用 Hopper 架構的張量記憶體加速器（TMA）功能，進一步優化資料傳輸效率。此外，DeepGEMM 使用低階 PTX 指令以達到極致效能。
- 支援任意矩陣大小
傳統 GEMM 實作要求矩陣大小為 2 的冪次（如 128、256），而 DeepGEMM 支援非對齊的矩陣區塊大小。這項功能可避免記憶體浪費，並提升整體運算效率。
- FFMA SASS 指令層級優化
透過修改 FFMA 指令的 yield 與 reuse 位元，創造更多 MMA 指令與提升 FFMA 指令重疊的機會，即使對底層架構瞭解有限，也能在某些場景中獲得超過 10% 的效能提升。
Novita AI 第一手評測：DeepGEMM 通用性
在 MoE 模型的推論場景中，Novita AI 在 H100 與 H200 GPU 上進行了詳細的 DeepGEMM 效能測試，並將結果與官方 H800 基準數據進行比較。
首先，我們彙整了 H100、H200 與 H800 GPU 中影響 DeepGEMM 效能的關鍵硬體參數：
| **指標 ** | H100 SXM | H200 SXM | H800 SXM |
|---|---|---|---|
| FP8 運算能力 | 3958 TFLOPS | 3958 TFLOPS | 3958 TFLOPS |
| 記憶體頻寬 | 3.35 TB/s | 4.8 TB/s | 3.35 TB/s |
MoE 模型：連續儲存佈局的群組 GEMM（訓練前向傳播、推論預填充）
在使用連續儲存佈局的 MoE 網路中，H100、H200 與 H800（官方）之間的效能差異極小。
下圖顯示記憶體頻寬利用率比較測試。由於運算瓶頸以及三款 GPU 的 FP8 運算能力相近，其效能表現無顯著差異。
下圖顯示運算效能比較。由於未達記憶體存取瓶頸，三款 GPU 的效能表現無明顯差異。
MoE 模型：遮罩儲存佈局的群組 GEMM（推論解碼）
在使用遮罩儲存佈局的 MoE 網路中，H200 表現最佳，而 H100 與 H800 之間的差異極小。
下圖顯示記憶體頻寬利用率比較測試。由於遮罩儲存佈局比連續儲存佈局消耗更多記憶體頻寬，部分場景已達記憶體存取瓶頸，導致三款 GPU 出現效能差異：
下圖為運算效能比較測試，凸顯了頻寬造成的差異：
DeepGEMM 與 SGLang Triton 效能比較
目前主流推論框架在 MoE 模組中採用基於 SGLang Triton 開發的群組 GEMM 算子。我們在 H200 硬體條件下進行了 DeepGEMM 與 SGLang Triton 的效能比較測試：
DeepGEMM 在連續儲存佈局中展現出一定優勢，但 SGLang Triton 在遮罩儲存佈局中表現更佳。目前 SGLang Triton 的部分算子主要應用於遮罩儲存場景。因此，DeepGEMM 需要進一步優化才能在推論框架中取代 SGLang Triton。
- 對於使用連續儲存佈局的 MoE 模型（訓練前向傳播、推論預填充），DeepGEMM 的優勢更為明顯。
- 對於使用遮罩儲存佈局的 MoE 模型（推論解碼），Triton 展現出更優越的效能：
結論
評測結果顯示，DeepGEMM 在 H100、H200 與 H800 等多款 GPU 上均展現出顯著的效能優化能力，凸顯其強大的通用性。
對於運行在 Hopper 架構上的 MoE 系列模型（如 DeepSeek V3 與 R1），透過將推論框架中的原始 CUTLASS 版本群組 GEMM 替換為 DeepGEMM，預計可為模型推論帶來約 1.2 倍的加速，提升整體效能。
目前 DeepGEMM 尚無法完全取代 SGLang Triton，需要進一步優化以擴大應用範圍。在推論解碼階段，SGLang Triton 仍然較為高效，而 DeepGEMM 在訓練前向傳播與推論預填充階段則展現出更大的優勢。
Novita AI 是一個 AI 雲端平台，為開發者提供透過簡單 API 輕鬆部署 AI 模型的方式，同時也提供平價且可靠的 GPU 雲端服務，適合用於建置與擴展。
