Una reunión de la comunidad global de IA dio la bienvenida a las principales empresas y líderes de la industria de todo el mundo. En esta conferencia centrada en la innovación y las tecnologías futuras, Bill Yao, cofundador de novita.ai, no solo pronunció un discurso de apertura, sino que también participó en un panel de discusión titulado “Innovating Infrastructure for LLM”, explorando la innovación y el desarrollo de la infraestructura de IA con otros expertos de la industria.
Bill Yao, un emprendedor en serie, anteriormente fundó la plataforma de televisión en línea más grande de China basada en tecnología de streaming P2P y fue responsable de inversiones tecnológicas en etapas tempranas en BlueRun Ventures. En la conferencia GenAI, compartió ideas sobre cómo reducir los costos de inferencia de IA mediante la innovación tecnológica, especialmente en la aplicación de grandes modelos de lenguaje (LLM).
La alcaldesa de San Francisco, London Breed, como anfitriona de la conferencia, pronunció un discurso destacando la historia y el estatus de San Francisco como ciudad de innovación. Mencionó que San Francisco no solo ha dado lugar a inventos importantes que cambiaron la vida cotidiana, como el teleférico que resuelve el problema de entregar mercancías en colinas y la televisión que cambió la forma de entretenimiento humano, sino que también alberga 21 de las empresas Forbes AI 50 en el campo de la inteligencia artificial, que han atraído hasta 22.4 mil millones de dólares en inversiones.
La alcaldesa de San Francisco, London Breed, como anfitriona de la conferencia, pronunció un discurso
En el panel de discusión | Innovating Infrastructure for LLM (GPT Stage | 16:00-16:45), Yao, junto con otros expertos, participó en una discusión en profundidad sobre cómo construir infraestructura que respalde los LLM. Enfatizó la importancia de reducir los costos de los centros de datos GPU y acelerar la inferencia mediante la compresión de modelos, compartiendo la experiencia práctica y los logros técnicos de novita.ai en esta área.
Yao también compartió las tecnologías innovadoras de novita.ai en la optimización de modelos. Mencionó que mediante la implementación de una red de aceleración internacional inteligente con baja latencia, alto ancho de banda y baja fluctuación, así como selección dinámica de rutas óptimas a nivel de software, transmisión confiable UDP y optimización de protocolos, novita.ai puede mejorar significativamente la eficiencia de las tareas de inferencia de IA.
Además, Yao enfatizó el papel de la tecnología serverless en la reducción de costos. Serverless permite a los desarrolladores crear e implementar aplicaciones rápidamente mientras reducen los gastos operativos y los costos. A través de la plataforma serverless, novita.ai ha ayudado a los clientes a reducir el tiempo de inicio en frío de los modelos, disminuir las tasas de error de las solicitudes, ahorrar costos y acortar los tiempos de lanzamiento de proyectos.
El discurso de Yao no solo proporcionó a los asistentes caminos viables para reducir los costos de inferencia de IA, sino que también ofreció ideas valiosas y casos prácticos para el desarrollo y la aplicación futura de la tecnología de IA.
Novita AI es la plataforma en la nube integral que impulsa tus ambiciones de IA. Con API integradas sin problemas, computación serverless y aceleración GPU, proporcionamos las herramientas rentables que necesitas para construir y escalar rápidamente tu negocio impulsado por IA. Elimina los dolores de cabeza de la infraestructura y comienza gratis: Novita AI hace realidad tus sueños de IA.
Lectura recomendada:
