Recherche

Mise à l'échelle de l'inférence Kimi avec le décodage spéculatif DSpark dans vLLM

Optimisation de GLM4-MoE pour la production : 65 % de TTFT plus rapide avec SGLang

Révolutionner l'inférence des grands modèles de langage : décodage spéculatif et quantification basse précision

Compression dynamique du cache KV basée sur le framework vLLM

Comment choisir le meilleur GPU pour l'inférence LLM : informations sur le benchmarking

Comment KV Sparsity permet une accélération de 1,5x pour vLLM

Allocation dynamique des ressources GPU pour les charges de travail Kubernetes

Ajout dynamique de mappages de ports à des conteneurs Docker en cours d’exécution

Le décodage spéculatif nuit-il à la précision de l'inférence des LLM ?

Méthodes de quantification pour un accélération 100X de l'inférence de grands modèles de langage