Масштабирование инференса Kimi с помощью спекулятивного декодирования DSpark в vLLM
Узнайте, как DSpark повышает пропускную способность Kimi-K2.6 и Kimi-K2.7-Code при увеличении окна спекулятивного декодирования с n=3 до n=7 в vLLM.
Фильтровать статьи по категории
Оптимизация GLM4-MoE для продакшена: TTFT на 65% быстрее с SGLang
Поскольку передовая модель GLM 4.7 продолжает лидировать по производительности в задачах генерации кода, Novita AI остается верной своей задаче предоставления надежного,...
Революция в инференсе больших языковых моделей: спекулятивное декодирование и низкоточная квантизация
Узнайте, как спекулятивное декодирование и низкоточная квантизация снижают затраты и ускоряют выполнение, предлагая практические решения для масштабируемого развёртывания ИИ.
Динамическое сжатие KV-кэша на основе фреймворка vLLM
Novita AI ускоряет загрузку Llama-70B с помощью разреженности KV, снижая потребление памяти, вычислительные и I/O накладные расходы для более быстрого вывода при минимальной...
Как выбрать лучший GPU для инференса LLM: результаты бенчмаркинга
Узнайте, как выбирать экономичные GPU для инференса больших моделей, с упором на показатели производительности и лучшие практики повышения эффективности.
Как KV Sparsity обеспечивает ускорение в 1,5 раза для vLLM
Ускорьте инференс AI с помощью KV sparsity. Поймите, как это работает, и оптимизируйте свои модели для реальных приложений.
Динамическое выделение GPU-ресурсов для рабочих нагрузок Kubernetes
В настоящее время для планирования GPU-подов в Kubernetes (k8s) используются различные решения-расширения, включая Device Plugin, Extended Resource, scheduler extender,...
Динамическое добавление привязок портов к работающим контейнерам Docker
Docker не может добавить опубликованный порт в работающий контейнер. Вот четыре действующих обходных пути с указанием особенностей платформы для каждого.
Стратегия привязки ядер GPU-контейнера на основе Affinity
Введение в оптимизацию производительности CPU и GPU. В высокопроизводительных вычислениях и крупномасштабной параллельной обработке задач GPU стали незаменимыми ускорителями....
Навредит ли спекулятивное декодирование точности инференса LLM?
Митчелл Стерн и др. в 2018 году представили прототип концепции спекулятивного декодирования. Этот метод впоследствии был развит и усовершенствован различными подходами, включая...
Методы квантизации для ускорения вывода больших языковых моделей в 100 раз
Узнайте, как выбор оптимальных типов данных и оптимизация поддержки GPU открывают новые возможности для ускорения квантизационного вывода.