Ontem foi o terceiro dia da Open Source Week, e a DeepSeek lançou oficialmente a biblioteca open-source DeepGEMM.
Esta é uma biblioteca de computação GEMM FP8 projetada especificamente para modelos densos e MoE, fornecendo forte suporte para o treinamento e inferência de modelos quantizados MoE FP8 como o DeepSeek V3/R1.
DeepGEMM foi profundamente otimizado para GPUs da arquitetura NVIDIA Hopper (como H100, H200, H800).
As principais características incluem código conciso (a parte central tem apenas cerca de 300 linhas) e desempenho excepcional, que pode igualar ou até superar bibliotecas ajustadas por especialistas em várias formas de matriz.
Como plataforma em nuvem dedicada a fornecer serviços de computação de IA de alto desempenho, a Novita AI implantou um grande número de modelos quantizados MoE FP8 (como a versão FP8 do DeepSeek).
Para melhor aproveitar a tecnologia DeepGEMM e aumentar a eficiência de inferência desses modelos, a Novita AI realizou testes de desempenho abrangentes no DeepGEMM assim que ele foi disponibilizado.
Antes de mergulhar nos dados de teste específicos, vamos nos familiarizar com alguns conceitos básicos relevantes.
O que é GEMM?
GEMM (Multiplicação Geral de Matrizes) é o operador computacional mais fundamental e importante em aprendizado profundo, e a otimização de GEMM é o cerne da computação de IA de alto desempenho.
DeepGEMM é uma biblioteca open-source projetada especificamente para acelerar operações chave de GEMM em aprendizado profundo, melhorando o desempenho geral do sistema de IA ao aumentar a eficiência de computação GEMM.
Vantagens Únicas do DeepGEMM
Comparado a bibliotecas de template maduras como CUTLASS e CuTe, o DeepGEMM adota uma abordagem de design leve: não visa ampla compatibilidade com todas as GPUs e cenários computacionais, mas se concentra em aproveitar ao máximo as capacidades de computação FP8 da arquitetura Hopper, com otimização meticulosa para as formas de matriz comumente usadas em grandes modelos como DeepSeek R1 e V3.
Inovações Tecnológicas do DeepGEMM
DeepGEMM alcança avanços de desempenho através das seguintes quatro inovações tecnológicas principais:
- Compilação Just-In-Time (JIT)
Métodos tradicionais exigem pré-compilação do código CUDA antes de chamá-lo, enquanto a tecnologia JIT do DeepGEMM oculta o processo de compilação em tempo de execução, eliminando a necessidade de compilação manual.
Os desenvolvedores não precisam criar interfaces Python complexas, simplificando o processo de desenvolvimento e alcançando funcionalidade com apenas algumas linhas de código.
- Otimização de Sobreposição de Computação e Transferência
DeepGEMM realiza operações de transferência de dados e computação simultaneamente, utilizando totalmente o recurso Tensor Memory Accelerator (TMA) da arquitetura Hopper, otimizando ainda mais a eficiência de transferência de dados. Além disso, DeepGEMM usa instruções PTX de baixo nível para alcançar desempenho extremo.
- Suporte a Tamanhos Arbitrários de Matriz
Implementações tradicionais de GEMM exigem que os tamanhos da matriz sejam potências de 2 (como 128, 256), enquanto DeepGEMM suporta tamanhos de bloco não alinhados para matrizes. Esse recurso evita desperdício de memória e melhora a eficiência computacional geral.
- Otimização em Nível de Instrução FFMA SASS
Ao modificar os bits de yield e reuse das instruções FFMA, são criadas mais oportunidades para sobreposição de instruções MMA com instruções FFMA de promoção, resultando em melhorias de desempenho superiores a 10% em certos cenários, mesmo com compreensão limitada da arquitetura subjacente.
Avaliação em Primeira Mão da Novita AI: Universalidade do DeepGEMM
Nos cenários de inferência de modelos MoE, a Novita AI realizou testes de desempenho detalhados do DeepGEMM nas GPUs H100 e H200 e comparou os resultados com os dados de benchmark oficiais do H800.
Primeiro, resumimos os principais parâmetros de hardware das GPUs H100, H200 e H800 que impactam o desempenho do DeepGEMM:
| Métrica | H100 SXM | H200 SXM | H800 SXM |
|---|---|---|---|
| Potência de Computação FP8 | 3958 TFLOPS | 3958 TFLOPS | 3958 TFLOPS |
| Largura de Banda de Memória | 3.35 TB/s | 4.8 TB/s | 3.35 TB/s |
Modelo MoE: GEMM Agrupado com Layout de Armazenamento Contínuo (Passagem Direta de Treinamento, Preenchimento de Inferência)
Em redes MoE usando o layout de armazenamento contínuo, as diferenças de desempenho entre H100, H200 e H800 (oficial) são mínimas.
A figura abaixo mostra o teste de comparação de utilização de largura de banda de memória. Devido a gargalos computacionais e à potência de computação FP8 similar das três GPUs, seu desempenho não mostra diferenças significativas.
A figura abaixo ilustra a comparação de desempenho computacional. Como o gargalo de acesso à memória não foi alcançado, o desempenho das três GPUs não mostra diferenças notáveis.
Modelo MoE: GEMM Agrupado com Layout de Armazenamento Mascarado (Decodificação de Inferência)
Em redes MoE usando o layout de armazenamento mascarado, a H200 demonstra o melhor desempenho, enquanto as diferenças entre H100 e H800 são muito pequenas.
A figura abaixo mostra o teste de comparação de utilização de largura de banda de memória. Como o layout de armazenamento mascarado consome mais largura de banda de memória do que o layout contínuo, alguns cenários atingiram o gargalo de acesso à memória, resultando em diferenças de desempenho entre as três GPUs:
A figura abaixo é o teste de comparação de desempenho computacional, destacando as diferenças causadas pela largura de banda:
Comparação de Desempenho entre DeepGEMM e SGLang Triton
Atualmente, frameworks de inferência convencionais usam operadores GEMM agrupados desenvolvidos com base no SGLang Triton para o módulo MoE. Realizamos testes de comparação de desempenho entre DeepGEMM e SGLang Triton sob condições de hardware H200:
DeepGEMM apresenta certas vantagens no layout de armazenamento contínuo, mas o SGLang Triton tem melhor desempenho no layout de armazenamento mascarado. Atualmente, alguns operadores do SGLang Triton são aplicados principalmente a cenários de armazenamento mascarado. Portanto, o DeepGEMM requer otimização adicional para substituir o SGLang Triton em frameworks de inferência.
- Para modelos MoE que usam o layout de armazenamento contínuo (passagem direta de treinamento, preenchimento de inferência), o DeepGEMM mostra vantagens mais significativas.
- Para modelos MoE que usam o layout de armazenamento mascarado (decodificação de inferência), o Triton demonstra desempenho superior:
Conclusão
Os resultados da avaliação demonstram que o DeepGEMM exibe capacidades significativas de otimização de desempenho em várias GPUs, incluindo H100, H200 e H800, destacando sua forte versatilidade.
Para modelos da série MoE (como DeepSeek V3 e R1) executando na arquitetura Hopper, integrar o DeepGEMM ao framework de inferência substituindo a versão original CUTLASS de GEMMs agrupados deve proporcionar aproximadamente 1.2x de aceleração na inferência do modelo, melhorando o desempenho geral.
Atualmente, o DeepGEMM não pode substituir completamente o SGLang Triton e requer otimização adicional para expandir seu escopo de aplicação. Na decodificação de inferência, o SGLang Triton continua sendo mais eficiente, enquanto o DeepGEMM mostra maiores vantagens nas fases de passagem direta de treinamento e preenchimento de inferência.
Novita AI é uma plataforma de nuvem de IA que oferece aos desenvolvedores uma maneira fácil de implantar modelos de IA usando nossa API simples, além de fornecer a nuvem GPU acessível e confiável para construir e escalar.
Obtenha $20 em créditos e experimente o DeepSeek agora!
