Novita AI，作為全球領先的 AI 雲端平台，興奮地宣布與 vLLM（大型語言模型（LLM）的開創性開源推理引擎）建立策略合作夥伴關係。此次合作標誌著雙方共同使命——推動 AI 創新並促進開源社群成長——邁出了重要一步。
vLLM 以其突破性的 PagedAttention 演算法聞名，該演算法在推理過程中顯著提升大型語言模型的效能與效率。這項技術使 vLLM 成為開發者信賴的解決方案，在公有雲、模型供應商及 AI 驅動的應用程式中提供記憶體優化的推理能力。透過將其技術開源，vLLM 將尖端 AI 工具的使用權普及化，協助開發者簡化工作流程並降低營運成本。
「vLLM 的 PagedAttention 演算法凸顯了開源 AI 的變革潛力，」Novita AI 共同創辦人暨營運長 Junyu Huang 表示。「透過此次合作，我們希望幫助開發者與組織充分釋放這些進步所帶來的效率與機會，應用於 AI 部署。」
作為合作的一部分，Novita AI 支援 vLLM 的成長，提供高效能運算資源用於測試、基準測試、研究與開發。此合作使 vLLM 的能力得以持續改進，確保其工具針對廣泛應用進行最佳化，並為開發者提供部署大型語言模型的最有效方式。
使用 Novita AI 平台的開發者可以輕鬆部署 LLaMA 3.1 等開源 LLM，利用 vLLM 的先進推理能力。這簡化了開發流程，加速應用部署，並幫助組織輕鬆擴展其 AI 解決方案。
「此次合作標誌著一項長期努力的開端，旨在加速 AI 進步，並為開發者提供尖端工具以進行大規模創新，」Junyu Huang 評論道。
此合作夥伴關係反映了 Novita AI 與 vLLM 共同致力於賦能開發者並推動開源 AI 發展。透過結合 Novita AI 的可擴展 GPU 雲端基礎設施與 vLLM 最先進的推理引擎，雙方旨在為開發者提供打造影響力 AI 解決方案所需的工具與資源。此外，此舉也希望培育一個充滿活力的開源生態系統，鼓勵技術創新，最終推動各產業中突破性 AI 應用的發展。
Junyu Huang 強調：「這項合作不僅僅是夥伴關係，更是我們共同使命的體現——推動開源 AI 進步，為全球開發者創造新機會。」
關於 Novita AI
Novita AI 是一個 AI 雲端平台，為開發者提供使用簡單 API 輕鬆部署 AI 模型的途徑，同時提供經濟實惠且可靠的 GPU 雲端，用於建置與擴展。
透過支援 vLLM 等用於 LLM 推理與服務的開源函式庫（vLLM 是一個快速且易於使用的庫），Novita AI 正在協助塑造 AI 的未來，並推動整個產業的創新。
