Um encontro da comunidade global de IA, que recebeu as principais empresas e líderes da indústria de todo o mundo. Nesta conferência com tema centrado em inovação e tecnologias futuras, Bill Yao, cofundador da novita.ai, não apenas fez um discurso principal, mas também participou de um painel intitulado “Inovando a Infraestrutura para LLM”, explorando a inovação e o desenvolvimento da infraestrutura de IA com outros especialistas do setor.
Bill Yao, um empreendedor serial,
Bill Yao, um empreendedor serial, fundou anteriormente a maior plataforma de TV online da China baseada em tecnologia de streaming P2P e foi responsável por investimentos em tecnologia em estágio inicial na BlueRun Ventures. Na Conferência GenAI, ele compartilhou insights sobre como reduzir os custos de inferência de IA por meio da inovação tecnológica, especialmente na aplicação de grandes modelos de linguagem (LLMs).
A prefeita de São Francisco, London Breed, como anfitriã da conferência, fez um discurso destacando a história e o status de São Francisco como uma cidade de inovação. Ela mencionou que São Francisco não apenas deu origem a invenções importantes que mudaram a vida cotidiana, como o teleférico que resolve o problema de entregar mercadorias em colinas e a televisão que mudou a forma como os humanos se divertem, mas também abriga 21 das empresas Forbes AI 50 no campo da inteligência artificial, que atraíram até 22,4 bilhões de dólares em investimentos.
A prefeita de São Francisco, London Breed, como anfitriã da conferência, fez um discurso
No Painel de Discussão | Inovando a Infraestrutura para LLM (GPT Stage | 16:00-16:45), Yao, junto com outros especialistas, participou de uma discussão aprofundada sobre como construir infraestrutura que suporte LLMs. Ele enfatizou a importância de reduzir os custos dos data centers de GPU e acelerar a inferência por meio da compressão de modelos, compartilhando a experiência prática e as conquistas técnicas da novita.ai nessa área.
Yao também compartilhou as tecnologias inovadoras da novita.ai na otimização de modelos. Ele mencionou que, ao implementar uma rede de aceleração internacional inteligente com baixa latência, alta largura de banda e baixa oscilação, bem como seleção dinâmica de caminhos ideais em nível de software, transmissão confiável UDP e otimização de protocolo, a novita.ai pode melhorar significativamente a eficiência das tarefas de inferência de IA.
Além disso, Yao enfatizou o papel da tecnologia serverless na redução de custos. Serverless permite que desenvolvedores criem e implantem aplicativos rapidamente, reduzindo a sobrecarga operacional e os custos. Por meio da plataforma serverless, a novita.ai ajudou clientes a reduzir o tempo de inicialização a frio dos modelos, diminuir as taxas de erro de solicitação, economizar custos e encurtar o tempo de lançamento dos projetos.
O discurso de Yao não apenas forneceu aos participantes caminhos viáveis para reduzir os custos de inferência de IA, mas também ofereceu ideias valiosas e casos práticos para o desenvolvimento e aplicação adicional da tecnologia de IA.
Novita AI é a plataforma completa em nuvem que potencializa suas ambições de IA. Com APIs integradas perfeitamente, computação serverless e aceleração de GPU, fornecemos as ferramentas econômicas necessárias para construir e escalar rapidamente seu negócio impulsionado por IA. Elimine as dores de cabeça de infraestrutura e comece gratuitamente — a Novita AI torna seus sonhos de IA realidade.
Leitura Recomendada:
