Конференция, объединившая глобальное AI-сообщество, приветствовала ведущие предприятия и лидеров отрасли со всего мира. На этом мероприятии, посвящённом инновациям и будущим технологиям, Билл Яо, сооснователь novita.ai, не только выступил с основным докладом, но и принял участие в панельной дискуссии под названием «Инновации в инфраструктуре для LLM», где вместе с другими экспертами отрасли обсуждал инновации и развитие AI-инфраструктуры.
Билл Яо — серийный предприниматель.
Билл Яо, серийный предприниматель, ранее основал крупнейшую в Китае онлайн-платформу телевидения на основе технологии P2P-стриминга и отвечал за инвестиции в технологии на ранних стадиях в BlueRun Ventures. На конференции GenAI он поделился мыслями о том, как снизить затраты на AI-инференс с помощью технологических инноваций, особенно в применении больших языковых моделей (LLM).
Мэр Сан-Франциско Лондон Брид, как хозяйка конференции, выступила с речью, в которой подчеркнула историю и статус Сан-Франциско как города инноваций. Она отметила, что Сан-Франциско не только породил важные изобретения, изменившие повседневную жизнь, такие как канатный трамвай, решающий проблему доставки товаров на холмах, и телевидение, изменившее способы развлечения людей, но и является домом для 21 компании из списка Forbes AI 50 в области искусственного интеллекта, которые привлекли инвестиции на сумму до 22,4 миллиарда долларов.
Мэр Сан-Франциско Лондон Брид, как хозяйка конференции, выступила с речью.
В панельной дискуссии «Инновации в инфраструктуре для LLM» (GPT Stage | 16:00–16:45) Яо вместе с другими экспертами провёл углублённое обсуждение того, как создать инфраструктуру, поддерживающую LLM. Он подчеркнул важность снижения затрат на центры обработки данных с GPU и ускорения инференса с помощью сжатия моделей, поделившись практическим опытом и техническими достижениями novita.ai в этой области. Яо также рассказал об инновационных технологиях novita.ai в оптимизации моделей. Он упомянул, что благодаря внедрению интеллектуальной международной сети ускорения с низкой задержкой, высокой пропускной способностью и низким джиттером, а также программному выбору динамического оптимального пути, надёжной передаче через UDP и оптимизации протоколов, novita.ai может значительно повысить эффективность задач AI-инференса.
Кроме того, Яо подчеркнул роль бессерверных технологий в снижении затрат. Бессерверные решения позволяют разработчикам быстро создавать и развёртывать приложения, одновременно снижая операционные расходы и издержки. С помощью бессерверной платформы novita.ai помогла клиентам сократить время холодного старта моделей, снизить процент ошибок запросов, сэкономить затраты и сократить время выхода проектов на рынок.
Выступление Яо не только предложило участникам реальные пути снижения затрат на AI-инференс, но и дало ценные идеи и практические примеры для дальнейшего развития и применения AI-технологий.
Novita AI — это универсальная облачная платформа, которая воплощает ваши AI-амбиции. Благодаря бесшовно интегрированным API, бессерверным вычислениям и ускорению GPU, мы предоставляем экономически эффективные инструменты, необходимые для быстрого создания и масштабирования вашего бизнеса на базе ИИ. Устраните проблемы с инфраструктурой и начните бесплатно — Novita AI делает ваши мечты об ИИ реальностью.
Рекомендуемое чтение:
