Un rassemblement de la communauté mondiale de l’IA, qui a accueilli les plus grandes entreprises et leaders de l’industrie du monde entier. Lors de cette conférence sur le thème de l’innovation et des technologies du futur, Bill Yao, co-fondateur de novita.ai, a non seulement prononcé un discours principal, mais a également participé à une table ronde intitulée « Innovating Infrastructure for LLM », explorant l’innovation et le développement de l’infrastructure IA avec d’autres experts du secteur.
Bill Yao, un entrepreneur en série,
Bill Yao, un entrepreneur en série, a précédemment fondé la plus grande plateforme télévisée en ligne de Chine basée sur la technologie de streaming P2P et a été responsable des investissements technologiques en phase précoce chez BlueRun Ventures. Lors de la conférence GenAI, il a partagé ses idées sur la manière de réduire les coûts d’inférence IA grâce à l’innovation technologique, en particulier dans l’application des grands modèles de langage (LLM).
La maire de San Francisco, London Breed, en tant qu’hôte de la conférence, a prononcé un discours soulignant l’histoire et le statut de San Francisco en tant que ville d’innovation. Elle a mentionné que San Francisco a non seulement donné naissance à des inventions importantes qui ont changé la vie quotidienne, comme le téléphérique qui résout le problème de livraison de marchandises sur les collines et la télévision qui a changé la manière dont les humains se divertissent, mais accueille également 21 des 50 entreprises de l’IA du Forbes AI 50 dans le domaine de l’intelligence artificielle, qui ont attiré jusqu’à 22,4 milliards de dollars d’investissements.
La maire de San Francisco, London Breed, en tant qu’hôte de la conférence, a prononcé un discours.
Lors de la table ronde | Innovating Infrastructure for LLM (GPT Stage | 16:00-16:45), Yao, aux côtés d’autres experts, a participé à une discussion approfondie sur la manière de construire une infrastructure qui soutient les LLM. Il a souligné l’importance de réduire les coûts des centres de données GPU et d’accélérer l’inférence par la compression de modèles, partageant l’expérience pratique et les réalisations techniques de novita.ai dans ce domaine.
Yao a également partagé les technologies innovantes de novita.ai en matière d’optimisation de modèles. Il a mentionné qu’en mettant en œuvre un réseau d’accélération international intelligent avec une faible latence, une large bande passante et une faible gigue, ainsi qu’une sélection dynamique de chemin optimal au niveau logiciel, une transmission fiable UDP et une optimisation de protocole, novita.ai peut améliorer considérablement l’efficacité des tâches d’inférence IA.
De plus, Yao a souligné le rôle de la technologie serverless dans la réduction des coûts. Le serverless permet aux développeurs de créer et de déployer rapidement des applications tout en réduisant les frais généraux et les coûts d’exploitation. Grâce à la plateforme serverless, novita.ai a aidé les clients à réduire le temps de démarrage à froid des modèles, à diminuer les taux d’erreur des requêtes, à économiser des coûts et à raccourcir les délais de lancement des projets.
Le discours de Yao a non seulement fourni aux participants des voies viables pour réduire les coûts d’inférence IA, mais a également offert des idées précieuses et des cas pratiques pour le développement et l’application ultérieurs de la technologie IA.
Novita AI est la plateforme cloud tout-en-un qui dynamise vos ambitions en matière d’IA. Avec des API intégrées de manière transparente, du calcul serverless et une accélération GPU, nous fournissons les outils rentables dont vous avez besoin pour construire et faire évoluer rapidement votre entreprise axée sur l’IA. Éliminez les problèmes d’infrastructure et commencez gratuitement — Novita AI concrétise vos rêves d’IA.
Lecture recommandée :
