作為一場全球 AI 社群的盛會，大會匯聚了世界各地的頂尖企業與行業領袖。在這場以創新與未來科技為主題的會議上，novita.ai 共同創辦人 Bill Yao 不僅發表了主題演講，還參與了一場名為「為大型語言模型創新基礎設施」的專題討論，與其他業界專家共同探討 AI 基礎設施的創新與發展。
Bill Yao 是一位連續創業家，曾創辦基於 P2P 串流技術的中國最大線上電視平台，也曾負責 BlueRun Ventures 的早期科技投資。在 GenAI 大會上，他分享了如何透過技術創新降低 AI 推論成本的見解，尤其是在大型語言模型（LLM）的應用方面。
舊金山市長 London Breed 以大會東道主身份發表了演說，強調舊金山作為創新城市的歷史與地位。她提到，舊金山不僅孕育了改變日常生活的重大發明（例如解決山坡運送貨物難題的纜車，以及改變人類娛樂方式的電視），同時也容納了 Forbes AI 50 榜單中的 21 家 AI 公司，這些公司吸引了高達 224 億美元的投資。
舊金山市長 London Breed 以大會東道主身份發表演說
在專題討論「為 LLM 創新基礎設施」（GPT 舞台 | 16:00-16:45）中，Yao 與其他專家深入探討瞭如何建構支援 LLM 的基礎設施。他強調透過模型壓縮來降低 GPU 資料中心成本並加速推論的重要性，並分享瞭 novita.ai 在這一領域的實踐經驗與技術成果。
Yao 也分享了 novita.ai 在模型優化方面的創新技術。他提到，透過實作智慧型國際加速網路（具備低延遲、高頻寬、低抖動特性），以及軟體層級的動態最優路徑選擇、UDP 可靠傳輸與協定優化，novita.ai 能顯著提升 AI 推論任務的效率。
此外，Yao 強調了無伺服器技術在成本降低中的作用。無伺服器架構讓開發者能快速建構與部署應用程式，同時減少營運開支與成本。透過無伺服器平台，novita.ai 幫助客戶縮短模型冷啟動時間、降低請求錯誤率、節省成本，並加快專案上線時間。
Yao 的演說不僅為與會者提供了可行的 AI 推論成本降低路徑，也為 AI 技術的進一步發展與應用提供了寶貴的思路與實際案例。
Novita AI 是一站式雲端平台，為您的 AI 雄心賦能。憑藉無縫整合的 API、無伺服器運算與 GPU 加速，我們提供極具成本效益的工具，助您快速建構並擴展 AI 驅動的業務。告別基礎設施煩惱，免費開始使用 — Novita AI 讓您的 AI 夢想成真。
推薦閱讀：
