Bill Yao 在 GenAI 大会上深入探讨 AI 推理成本降低策略

作为全球 AI 领域的一次盛会，本次活动汇聚了世界各地的顶尖企业和行业领袖。在以创新和未来技术为主题的会议上，novita.ai 联合创始人 Bill Yao 不仅发表了主题演讲，还参与了题为 “为大型语言模型创新基础设施” 的小组讨论，与其他行业专家共同探讨 AI 基础设施的创新与发展。

Bill Yao 是一位连续创业者，此前曾基于 P2P 流媒体技术创立了中国最大的在线电视平台，并曾在蓝驰创投负责早期技术投资。在 GenAI 大会上，他分享了如何通过技术创新降低 AI 推理成本，尤其是在大型语言模型（LLM）应用方面的见解。

作为大会主办方，旧金山市长 London Breed 发表了演讲，着重介绍了旧金山作为创新之城的历史与地位。她提到，旧金山不仅孕育了解决山坡货物运输难题的缆车、改变人类娱乐方式的电视等重要发明，在人工智能领域还拥有 21 家福布斯 AI 50 强企业，这些企业累计吸引了高达 224 亿美元的投资。

作为大会主办方，旧金山市长 London Breed 发表演讲

在 小组讨论 | 为大型语言模型创新基础设施（GPT Stage | 16:00 - 16:45）环节，Yao 与其他专家就如何构建支持 LLM 的基础设施进行了深度探讨。他强调通过模型压缩降低 GPU 数据中心成本并加速推理的重要性，并分享了 novita.ai 在该领域的实践经验与技术成果。

Yao 还介绍了 novita.ai 在模型优化方面的创新技术。他提到，通过实现低延迟、高带宽、低抖动的智能国际加速网络，以及软件层面的动态最优路径选择、UDP 可靠传输和协议优化，novita.ai 可以显著提升 AI 推理任务的效率。

此外，Yao 强调了无服务器技术在成本降低中的作用。无服务器允许开发者快速构建和部署应用，同时减少运维开销与成本。通过无服务器平台，novita.ai 帮助客户降低了模型冷启动时间、减少了请求错误率、节省了成本，并缩短了项目上线时间。

Yao 的演讲不仅为参会者提供了降低 AI 推理成本的可行路径，也为 AI 技术的进一步发展和应用提供了宝贵的思路与实践案例。