研究

利用 KV 稀疏性提升 AI 推論速度。了解其運作原理，並為真實世界應用最佳化您的模型。

目前，要在 Kubernetes (k8s) 中排程 GPU Pod，已實作多種擴充方案，包括 Device Plugin、Extended Resource、scheduler extender、scheduler fram

連接埠對應是開發和部署容器化應用程式的重要環節。通常，我們在建立容器時，會建立容器內部連接埠與主機機器上的一個連接埠之間的連線

探索如何選擇最佳資料型別並最佳化 GPU 硬體支援，為量化推論加速開闢新途徑。