Novita AI / Field notes

リサーチ

Novita AI 2026年1月21日

GLM4-MoEを本番環境に最適化：SGLangでTTFTを65%削減

Novita AI 2024年12月18日

大規模言語モデルの推論を革新する：投機的デコードと低精度量子化

Novita AI 2024年12月12日

vLLM フレームワークに基づく動的 KV Cache 圧縮

Novita AI 2024年11月5日

LLM推論に最適なGPUの選び方：ベンチマークの洞察

Novita AI 2024年10月25日

KV SparsityがvLLMで1.5倍の高速化を実現する方法

Novita AI 2024年10月24日

Kubernetesワークロード向けGPUリソースの動的割り当て

Novita AI 2024年10月21日

実行中のDockerコンテナに動的にポートマッピングを追加する

Novita AI 2024年2月2日

大規模言語モデル推論を100倍高速化する量子化手法