NVIDIA B200이 베어메탈로 출시되었습니다 — 엄청나게 빠르며, 이제 Novita AI에서 사용할 수 있습니다.
차세대 Blackwell 아키텍처를 기반으로 한 NVIDIA B200으로 DeepSeek-R1에서 30,000 토큰/초 ** 이상을 경험하세요. LLM, 생성형 AI 및 엔터프라이즈 규모 추론을 위해 설계되었습니다. 하드웨어가 없으신가요? 문제없습니다. Novita AI는 비용의 일부만으로 ** 온디맨드 액세스를 제공합니다.
B200이란 무엇인가요?
NVIDIA B200은 Blackwell 아키텍처를 기반으로 구축된 차세대 GPU로, 학습을 위해 최대 72 petaFLOPS, 추론을 위해 144 petaFLOPS의 획기적인 AI 성능을 제공하여 대규모 언어 모델 및 생성형 AI 워크로드에 이상적입니다.
주요 성능 지표
| **구성 요소 ** | ** 세부 사항** |
| GPU | 8x NVIDIA Blackwell GPU |
| GPU 메모리 | 총 1,440GB, 64TB/s HBM3e 대역폭 |
| 성능 | FP8 학습 72 petaFLOPS 및 FP4 추론 144 petaFLOPS |
| NVIDIA NVSwitch | 2x |
| NVIDIA NVLink 대역폭 | 14.4 TB/s 집계 대역폭 |
| 시스템 전력 사용량 | 최대 ~14.3kW |
| CPU | 2x Intel Xeon Platinum 8570 프로세서, 총 112코어, 2.1GHz(기본), 4GHz(최대 부스트) |
| 시스템 메모리 | 2TB, 최대 4TB 구성 가능 |
| 네트워킹 | 4x OSFP 포트(8x 단일 포트 NVIDIA ConnectX-7 VPI), 최대 400Gb/s Infiniband/Ethernet; 2x 이중 포트 QSFP112 BlueField-3 DPU, 최대 400Gb/s Infiniband/Ethernet |
| 관리 네트워크 | RJ45 포함 10Gb/s 온보드 NIC; 100Gb/s 이중 포트 이더넷 NIC; RJ45 포함 BMC |
| 스토리지 | OS: 2x 1.9TB NVMe M.2, 내부: 8x 3.84TB NVMe U.2 |
| 소프트웨어 | NVIDIA AI Enterprise, NVIDIA Mission Control, NVIDIA Runai Technology, NVIDIA DGX OS / Ubuntu |
| 랙 유닛(RU) | 10 RU |
| 시스템 치수 | 높이: 17.5인치(444mm), 너비: 19.0인치(482.2mm), 길이: 35.3인치(897.1mm) |
| 작동 온도 | 5–30°C (41–86°F) |
| 엔터프라이즈 지원 | 3년 하드웨어/소프트웨어 표준 지원; 연중무휴 지원 포털 액세스; 업무 시간 중 라이브 에이전트 |
이것은 본질적으로 AI 슈퍼컴퓨터 로, 다음을 수행할 수 있습니다.
- 고급 AI 모델(예: ChatGPT, Claude) 학습
- 수천 개의 AI 추론 요청을 동시에 처리
- 연구 또는 비즈니스 인텔리전스를 위한 대규모 데이터 세트 처리
- 전체 조직을 위한 AI 애플리케이션 구동
B200의 비용 효율성
이 가격은 단일 GPU에 대한 것이 아닙니다. 일반적으로 다음을 포함하는 전체 DGX 시스템을 포함합니다.
- 8x Blackwell B200 GPU
- 듀얼 Xeon CPU
- 고속 NVLink 및 NVSwitch 상호 연결
- 1.44TB HBM3e GPU 메모리
- 2TB+ 시스템 RAM
- 엔터프라이즈급 네트워킹, SSD 및 소프트웨어 스택(NVIDIA AI Enterprise, Run:ai 등)
B200의 응용 분야
1. AI 학습 및 추론
B200은 대규모 AI 모델, 특히 대규모 언어 모델(LLM) 및 생성형 AI 애플리케이션의 학습과 추론 모두에서 뛰어납니다.
- 학습: 2세대 Transformer Engine과 FP4 정밀도 지원을 통해 B200은 대규모 모델의 학습 과정을 가속화하여 시간과 계산 리소스를 절약합니다.
- 추론: B200은 Meta의 Llama 4 Maverick과 같은 모델 벤치마크에서 사용자당 초당 1,000토큰 이상을 달성하는 뛰어난 추론 성능을 제공합니다.
2. 그래픽 및 시각화
주로 AI 워크로드를 위해 설계되었지만, B200은 고급 그래픽 및 시각화 작업도 지원합니다.
- 레이 트레이싱: 4세대 RT 코어를 탑재한 B200은 실시간 레이 트레이싱을 수행하여 복잡한 장면에 대한 고품질 렌더링을 가능하게 합니다.
- 셰이더 기술: GPU 아키텍처에는 Shader Execution Reordering(SER) 2.0과 같은 개선 사항이 포함되어 복잡한 셰이더 프로그램 및 컴퓨트 커널의 실행을 최적화합니다.
3. 정밀 워크로드
B200은 다양한 과학 및 산업 분야에서 정밀 집약적 작업을 처리하는 데 능숙합니다.
- Blackwell 아키텍처 기반의 NVIDIA B200 GPU는 5세대 Tensor 코어를 통해 부동 소수점(FP) 연산을 지원합니다. 이 Tensor 코어는 FP4, FP6, FP8, FP16 및 TF32를 포함한 다양한 FP 정밀도를 처리하도록 설계되어 AI 워크로드의 효율적인 가속을 가능하게 합니다.
B200 + DeepSeek R1 = 세계 기록
| **GPU 설정 ** | ** 총 처리량 ** | ** 비고** |
|---|---|---|
| 8x NVIDIA B200 (DGX B200) | 30,000 토큰/초 이상 | TensorRT-LLM 및 FP4 정밀도 사용 |
| 8x NVIDIA H200 (HGX H200) | 최대 3,872 토큰/초 | NVIDIA NIM 마이크로서비스 사용 |
| 8x NVIDIA H100 (4비트 양자화) | 약 2,500 토큰/초 | vLLM 0.7.3 배포 |
| 4x NVIDIA H100 | 25 토큰/초 | Lambda Cloud 실제 테스트 |
| 단일 NVIDIA RTX 4090 (24GB) | 3–33 토큰/초 | 양자화 및 구성에 따라 성능 변동 |
요약하면, NVIDIA B200 GPU는 DeepSeek-R1 추론을 위한 최고 성능 제품으로, 엔터프라이즈 환경에서 대규모 언어 모델의 효율적인 배포를 가능하게 하는 비교할 수 없는 처리량을 제공합니다.
B200을 매우 비용 효율적인 가격에 실행하는 방법
Novita AI는 간단한 API를 사용하여 AI 모델을 쉽게 배포할 수 있는 기능을 제공하는 AI 클라우드 플랫폼이며, 구축 및 확장을 위한 저렴하고 안정적인 GPU 클라우드도 제공합니다.
1단계: 로그인 및 GPU 베어메탈 액세스
계정에 로그인하고 GPU 베어메탈 버튼을 클릭하세요.
2단계: GPU 선택
장치 선택
- **장치 이름 **: H100 SXM 또는 B200 SXM 을 선택하세요.
- 지역: 미국.
- 구성(H100 SXM):
- 8 GPU
- 2048 GB 메모리
- 104vCPU/노드
- 15.36 TB 스토리지
- 시간당 $1.7.
- 구성(B200 SXM):
- 8 GPU
- 2304 GB 메모리
- 144vCPU/노드
- 30.8 TB 스토리지
- 시간당 $4.77.
수량 및 대여 기간 설정
-
**GPU 수량 ** 필드를 필요에 맞게 조정하세요. 예를 들어 8 GPU 를 선택합니다.
-
대여 기간을 선택합니다. 예를 들어 1개월 로 설정합니다.
Blackwell 아키텍처를 기반으로 구축된 NVIDIA B200 GPU는 학습, 추론, 그래픽 및 정밀 워크로드 전반에 걸쳐 극한의 성능을 위해 설계된 최첨단 AI 슈퍼컴퓨터입니다. DeepSeek-R1에 대한 세계 기록 처리량과 최적화된 FP4/FP8 Transformer Engine을 통해 대규모 생성형 AI에 비할 데 없는 효율성을 제공합니다. 초기 시스템 비용은 높지만, Novita AI와 같은 플랫폼은 B200 하드웨어에 대한 유연하고 비용 효율적인 클라우드 액세스를 제공하여 인프라 오버헤드 없이 최고 수준의 AI를 이용할 수 있게 합니다.
[지금 데모 요청하기
Novita AI 베어메탈 바로가기](https://meet.brevo.com/novita-ai/contact-sales)
자주 묻는 질문
NVIDIA B200이란 무엇인가요?
B200은 Blackwell 아키텍처를 기반으로 한 NVIDIA의 최신 GPU로, 학습용 72 petaFLOPS(FP8) 및 추론용 144 petaFLOPS(FP4)를 제공하여 LLM, 생성형 AI 및 과학 컴퓨팅에 이상적입니다.
B200에서 가장 잘 실행되는 모델은 무엇인가요?
B200은 높은 처리량과 메모리 덕분에 DeepSeek-R1, Llama 4 Maverick 및 기타 수십억 개의 매개변수를 가진 LLM과 같은 대규모 모델에서 뛰어난 성능을 발휘합니다.
B200에서 DeepSeek-R1 추론 성능은 어떤가요?
8x B200 GPU를 사용하면 DeepSeek-R1이 초당 30,000 토큰 이상을 달성하여 H100 및 H200 설정을 크게 능가합니다.
Novita AI 는 간단한 API를 사용하여 AI 모델을 쉽게 배포할 수 있는 기능을 제공하는 AI 클라우드 플랫폼이며, 구축 및 확장을 위한 저렴하고 안정적인 GPU 클라우드도 제공합니다.
