글로벌 AI 커뮤니티가 모인 이 행사에는 전 세계의 주요 기업과 업계 리더들이 참여했습니다. 혁신과 미래 기술을 주제로 한 이 컨퍼런스에서 novita.ai의 공동 창립자 Bill Yao는 기조 연설뿐만 아니라 “LLM을 위한 인프라 혁신” 이라는 제목의 패널 토론에도 참여하여 다른 업계 전문가들과 AI 인프라의 혁신과 발전에 대해 논의했습니다.
연쇄 창업가 Bill Yao,
연쇄 창업가인 Bill Yao는 이전에 P2P 스트리밍 기술을 기반으로 한 중국 최대의 온라인 TV 플랫폼을 설립했으며, BlueRun Ventures에서 초기 기술 투자를 담당했습니다. GenAI 컨퍼런스에서 그는 특히 대규모 언어 모델(LLM) 적용 분야에서 기술 혁신을 통해 AI 추론 비용을 절감하는 방법에 대한 통찰력을 공유했습니다.
샌프란시스코 시장 London Breed는 컨퍼런스의 호스트로서 연설을 통해 샌프란시스코의 혁신 도시로서의 역사와 위상을 강조했습니다. 그녀는 샌프란시스코가 언덕에서 상품을 배송하는 문제를 해결한 케이블카와 인간의 엔터테인먼트 방식을 바꾼 텔레비전 같은 일상을 변화시킨 중요한 발명을 탄생시켰을 뿐만 아니라, 인공지능 분야에서 Forbes AI 50 기업 중 21곳이 위치해 있으며 최대 224억 달러의 투자를 유치했다고 언급했습니다.
샌프란시스코 시장 London Breed가 컨퍼런스의 호스트로서 연설을 하고 있습니다.
패널 토론 | LLM을 위한 인프라 혁신 (GPT Stage | 16:00-16:45) 에서 Yao는 다른 전문가들과 함께 LLM을 지원하는 인프라를 구축하는 방법에 대해 심도 있는 논의를 진행했습니다. 그는 GPU 데이터 센터의 비용을 절감하고 모델 압축을 통해 추론을 가속화하는 것의 중요성을 강조하며, 이 분야에서 novita.ai의 실무 경험과 기술적 성과를 공유했습니다.
Yao는 또한 모델 최적화 분야에서 novita.ai의 혁신적인 기술을 소개했습니다. 그는 저지연, 고대역폭, 저지터를 갖춘 지능형 국제 가속 네트워크와 소프트웨어 수준의 동적 최적 경로 선택, UDP 신뢰성 전송, 프로토콜 최적화를 구현함으로써 novita.ai가 AI 추론 작업의 효율성을 크게 향상시킬 수 있다고 언급했습니다.
또한 Yao는 비용 절감에서 서버리스(Serverless) 기술의 역할을 강조했습니다. 서버리스를 통해 개발자는 애플리케이션을 빠르게 구축하고 배포하는 동시에 운영 오버헤드와 비용을 줄일 수 있습니다. 서버리스 플랫폼을 통해 novita.ai는 고객이 모델의 콜드 스타트 시간을 줄이고, 요청 오류율을 낮추며, 비용을 절감하고, 프로젝트 출시 시간을 단축할 수 있도록 지원했습니다.
Yao의 발언은 참석자들에게 AI 추론 비용을 줄일 수 있는 실현 가능한 경로를 제시했을 뿐만 아니라, AI 기술의 추가 개발 및 적용을 위한 귀중한 아이디어와 실제 사례를 제공했습니다.
Novita AI 는 AI 야망을 실현하는 올인원 클라우드 플랫폼입니다. 완벽하게 통합된 API, 서버리스 컴퓨팅, GPU 가속을 통해 AI 기반 비즈니스를 빠르게 구축하고 확장하는 데 필요한 비용 효율적인 도구를 제공합니다. 인프라 문제를 해결하고 무료로 시작하세요 — Novita AI가 여러분의 AI 꿈을 현실로 만듭니다.
추천 자료:
