왜 “단” 800억 개의 파라미터를 가진 모델이 거대한 235B 모델과 어깨를 나란히 할 수 있을까요? 통념적으로는 모델이 클수록 더 강력하고, 정확도가 높으며, 추론 능력이 더 좋다고 알려져 있습니다. 하지만 Qwen3-Next-80B-A3B은 이러한 가정에 도전합니다.
이 글에서는 핵심 질문을 탐구합니다: 규모가 작은 모델이 어떻게 거의 세 배나 큰 시스템을 VRAM도 훨씬 적게 사용하면서 대적할 수 있는 걸까요? 우리는 이를 가능하게 하는 아키텍처 선택, 효율화 기법, 성능 트레이드오프를 살펴보고, 속도, 비용, 성능 사이의 적절한 균형을 찾고자 하는 개발자와 조직에게 이것이 무엇을 의미하는지 알아볼 것입니다.
Qwen3-Next-80B-A3B가 훨씬 적은 VRAM으로 235B 모델을 대적할 수 있는 이유
800억 개의 파라미터를 가진 Qwen3-Next-80B-A3B이 거대한 2350억 개의 파라미터를 가진 모델과 경쟁할 수 있는 능력은 매우 효율적인 아키텍처에서 비롯되며, 특히 고스파서스 혼합 전문가(MoE, Mixture-of-Experts) 설계를 사용하기 때문입니다.
Qwen3-Next-80B-A3B은 Qwen3-Next 시리즈의 첫 번째 모델로, 긴 컨텍스트 효율성과 처리량을 극대화하는 아키텍처 혁신으로 두각을 나타냅니다.
이 모델은 **하이브리드 어텐션(Hybrid Attention)**을 도입했는데, 게이트 델타넷(Gated DeltaNet)과 게이트 어텐션(Gated Attention)을 결합해 표준 어텐션을 대체함으로써 초장 시퀀스 길이에서 효율적인 컨텍스트 모델링을 가능하게 합니다.
고스파서스 혼합 전문가(MoE) 설계는 활성화 비율을 획기적으로 낮춰 토큰당 FLOPs(부동소수점 연산 수)를 줄이면서도 모델 용량을 유지합니다.
견고성을 확보하기 위해 이 모델은 제로 센터링(Zero-Centered) 및 가중치 감쇠(Weight-Decayed) 레이어 정규화와 같은 안정성 최적화(Stability Optimizations) 기능을 통합했습니다.
마지막으로 **멀티 토큰 예측(Multi-Token Prediction, MTP)**은 사전 학습 효율성을 높이고 추론 속도를 가속화합니다. 이러한 개선 사항들이 합쳐져 Qwen3-Next-80B-A3B은 대규모 장문 컨텍스트 워크로드를 효율성과 안정성 모두로 처리하는 데 독보적으로 적합하게 만들었습니다.
Qwen3-Next-80B-A3B 추론을 위한 VRAM 요구 사항
이해해야 할 중요한 점은 추론 중에 파라미터의 일부만 활성화되더라도 전체 800억 개의 파라미터가 여전히 GPU의 비디오 VRAM에 로드되어야 한다는 것입니다.
추론에 필요한 VRAM은 주로 모델의 크기와 가중치의 정밀도에 따라 결정됩니다. 다음은 모델 가중치를 로드하기 위한 기본 계산식입니다:
FP16/BF16 (16비트 정밀도): 이는 추론에 일반적으로 사용되는 정밀도로, 파라미터당 2바이트를 사용합니다. 800억 개의 파라미터 × 2바이트/파라미터 = 160GB의 VRAM
이 160GB는 모델 가중치를 위한 것에 불과합니다. 컨텍스트에 대한 어텐션 정보를 저장하는 KV 캐시, 활성화 값, 기타 운영 오버헤드에 추가적인 VRAM이 필요합니다. 따라서 실제로 양자화되지 않은 모델을 실행하려면 특히 긴 컨텍스트 길이를 사용할 경우 160GB 이상의 VRAM이 필요합니다.
작업별 VRAM 요구 사항
모델 로딩을 위한 기본 VRAM은 정적이지만, 동적 VRAM 사용량은 수행 중인 작업의 세부 사항에 따라 변동됩니다. 이는 주로 KV 캐시, 컨텍스트 길이, 배치 크기에 기인합니다. KV 캐시는 입력 시퀀스의 각 토큰에 대한 어텐션 키와 값을 저장하는데, 그 크기가 동적 VRAM 소비의 주요 원인입니다.
텍스트 생성 (예: 챗봇, 요약, 창작 글쓰기)
- 일반적인 컨텍스트 길이: 대화형 AI나 짧은 문서를 요약하는 경우 컨텍스트 길이가 상대적으로 짧을 수 있습니다(예: 수천 개의 토큰). 이로 인해 KV 캐시가 작아져 동적 VRAM 사용량이 낮아집니다.
- 장문 생성: 긴 글을 쓰거나 매우 긴 대화 기록을 유지하는 등의 작업의 경우 컨텍스트가 길어지고 KV 캐시도 함께 커집니다. Qwen3-Next 모델은 최대 256,000토큰의 매우 긴 컨텍스트를 지원하는데, 이 전체 용량을 사용하면 VRAM 요구 사항이 크게 증가합니다.
예를 들어, 2개의 H20 GPU(각 96GB)를 장착한 강력한 설정에서도 256k 입력은 메모리 문제를 야기할 수 있습니다.
Hugging Face에서
코드 생성
- 저장소 수준 컨텍스트: 고급 코드 생성 모델의 주요 활용 사례 중 하나는 새로운 기능을 추가하거나 복잡한 문제를 디버깅하는 등의 작업을 위해 전체 코드베이스를 이해하는 것입니다. 이러한 시나리오에서는 입력 컨텍스트가 여러 파일과 수만 줄의 코드로 구성되어 매우 클 수 있습니다. 이로 인해 KV 캐시에 필요한 VRAM이 상당히 증가합니다.
- 간단한 코드 스니펫: 반대로 작은 독립형 함수를 생성하거나 한 줄의 코드를 완성하는 것은 단문 텍스트 생성과 마찬가지로 동적 VRAM에 미치는 영향이 최소화됩니다.
모델 변형 (Instruct vs. Thinking)
Qwen3-Next-80B-A3B의 “Instruct” 버전과 “Thinking” 버전의 핵심 아키텍처는 동일하며, 총 80B의 파라미터 중 활성화되는 파라미터는 3B입니다. 따라서 모델 로딩을 위한 기본 VRAM 요구 사항은 동일합니다. 다만 “Thinking” 모델은 더 긴 중간 추론 단계를 생성할 수 있어 복잡한 문제 해결 작업 중 동적 VRAM 사용량이 약간 더 높을 수 있습니다.
요약하자면, "텍스트 생성"과 “코드 생성” 간에 본질적으로 VRAM 요구 사항이 다른 것은 아니며, 주어진 작업의 입력 및 출력 규모에 따라 달라집니다. 복잡한 다중 파일 코드 생성 작업은 간단한 단락 텍스트 요약보다 더 많은 동적 VRAM이 필요하며, 그 반대의 경우도 마찬가지입니다.
Qwen3-Next-80B-A3B을 원활하게 실행하기 위한 GPU 권장 사항
CPU 성능
네, Qwen3-Next 80B 모델은 CPU에서 실행할 수 있습니다. 데모에서 발표자는 이 모델이 800억 개의 파라미터를 가지고 있지만 추론 중에 약 30억 개만 활성화된다고 설명했습니다. 이로 인해 몇 주 전만 해도 불가능해 보였던 CPU 실행이 가능해졌습니다.
단점은 속도입니다. 예를 들어 “세계에서 가장 작은 나라는 어디인가요?” 라고 질문했을 때 이 모델은 답변(바티칸 시국)을 내는 데 55분이 걸렸습니다.
https://www.youtube.com/watch?v=F0dBClZ33R4
GPU 성능
Qwen3-Next 80B 모델은 단일 GPU에서도 실행할 수 있습니다. 4개 이상의 GPU를 사용하면 특히 긴 컨텍스트에서의 속도가 매우 빨라져 blazing 수준에 가까워집니다. 메모리 측면에서, 모델을 전체 정밀도로 실행하려면 68GB 이상의 VRAM이 필요합니다.
| Feature | NVIDIA A100 SXM | NVIDIA H100 SXM | NVIDIA H200 SXM | NVIDIA B200 |
|---|---|---|---|---|
| GPU 아키텍처 | Ampere | Hopper | Hopper | Blackwell |
| 출시 연도 | 2020 | 2022 | 2023 | 2024 |
| 메모리 (VRAM) | 40GB 또는 80GB HBM2e | 80GB HBM3 | 141GB HBM3e | 192GB HBM3e |
| 메모리 대역폭 | 2.0 TB/s (80GB 모델 기준) | 3.35 TB/s | 4.8 TB/s | 8.0 TB/s |
| 인터커넥트 | NVLink 3.0 (총 대역폭 600 GB/s) | NVLink 4.0 (총 대역폭 900 GB/s) | NVLink 4.0 (총 대역폭 900 GB/s) | NVLink 5.0 (총 대역폭 1.8 TB/s) |
| 최대 FP16/BF16 성능 | 312 TFLOPS (스파스: 624 TFLOPS) | 989 TFLOPS (스파스: 1,979 TFLOPS) | 989 TFLOPS (스파스: 1,979 TFLOPS) | 2,250 TFLOPS (스파스: 4,500 TFLOPS) |
| 새로운 정밀도 지원 | TF32 | FP8 | FP8 | FP4, FP6 |
| 주요 혁신 | 멀티 인스턴스 GPU(MIG), TF32 | 트랜스포머 엔진(FP8 지원), DPX | 향상된 HBM3e 메모리 및 대역폭 | 2세대 트랜스포머 엔진(FP4/FP6), Blackwell 칩렛 설계 |
| 일반 최대 전력 (TDP) | 최대 400W | 최대 700W | 최대 1000W | 최대 1200W |
- A100 SXM: 더 나은 성능과 자원 활용을 위해 **TF32 정밀도와 멀티 인스턴스 GPU(MIG)**를 도입해 AI 혁신을 이룬 Ampere 기반 GPU입니다.
- H100 SXM: Hopper 아키텍처로 업그레이드되었으며, 주요 업데이트는 FP8를 지원하는 트랜스포머 엔진으로, 트랜스포머 모델의 AI 학습을 획기적으로 가속화했습니다.
- H200 SXM: H100의 진화형으로, 주요 업데이트는 **더 빠르고 용량이 큰 HBM3e 메모리(141GB)**를 채택해 대형 모델 추론을 위한 메모리 대역폭을 크게 향상시켰습니다.
- B200: Blackwell 아키텍처로의 major 도약으로, 듀얼 칩렛 설계와 새로운 FP4/FP6 정밀도를 지원하는 2세대 트랜스포머 엔진을 도입해 trillion-parameter AI 모델에 막대한 성능 향상을 제공합니다.
로컬 배포를 통해 이 모델을 경험해보고 싶다면, Novita AI는 저렴하고 안정적인 GPU 인스턴스 서비스를 제공합니다. 또한 스팟 프라이싱 옵션을 통해 비용을 추가로 절감할 수 있어 모델의 성능을 테스트하는 데 도움이 됩니다.
성능을 유지하면서 VRAM 사용량 최소화하기
여러 기법을 통해 Qwen3-Next-80B-A3B의 VRAM 사용량을 줄여 더 다양한 하드웨어에서 모델을 실행하기 쉽게 만들 수 있습니다.
**양자화(Quantization)**는 가장 효과적인 접근 방식입니다. 모델의 가중치를 고정밀도 형식(예: FP16)에서 저정밀도 형식으로 변환함으로써 메모리 사용량을 크게 줄일 수 있습니다.
- INT8 (8비트): FP16과 비교해 가중치에 필요한 VRAM을 약 절반으로 줄입니다. 80B 모델의 경우 이로 인해 요구 사항이 약 80GB로 낮아집니다.
- INT4 (4비트): FP16과 비교해 가중치에 필요한 VRAM을 약 75% 줄여 요구 사항을 약 40GB로 낮춥니다.
GGUF 형식은 CPU와 Mac에서 모델을 실행하는 데 널리 사용되지만 GPU에서도 활용됩니다. Qwen3-Next와 같은 혼합 전문가 모델의 주요 이점은 GGUF가 일부 전문가 레이어를 시스템 RAM으로 오프로드할 수 있어 해당 레이어가 활성화될 때 성능이 느려지는 대신 VRAM 요구 사항을 낮출 수 있다는 점입니다.
CPU 오프로딩은 이를 더 발전시킨 개념으로, 모델의 일부, 특히 거의 사용되지 않는 전문가 레이어를 시스템 RAM에 상주시켜 필요할 때만 VRAM으로 이동시킬 수 있습니다. 이로 인해 VRAM 요구량이 크게 줄어들지만 RAM과 GPU 메모리 간의 전송 속도가 느려 지연이 발생할 수 있습니다.
vLLM이나 SGLang과 같은 전용 추론 엔진 사용을 strongly 권장합니다. 이러한 프레임워크는 대형 언어 모델을 위해 구축되었으며 효율적인 KV 캐시 관리와 같은 최적화를 사용해 메모리 오버헤드를 줄입니다.
**플래시 어텐션(Flash Attention)**은 또 다른 방법으로, GPU 고속 SRAM을 더 효과적으로 활용해 메모리 효율성이 높고 더 빠른 버전의 어텐션 알고리즘을 제공합니다.
마지막으로 컨텍스트 길이 줄이기는 실용적인 해결책이 될 수 있습니다. 애플리케이션에 매우 긴 컨텍스트가 필요하지 않은 경우, 최대 컨텍스트 길이를 낮추면 KV 캐시 크기가 직접적으로 줄어 VRAM을 절약할 수 있습니다.
Qwen3-Next-80B-A3B을 간편하게 테스트하는 방법: API 사용하기
Novita AI는 개발자가 간단한 API를 사용해 AI 모델을 쉽게 배포할 수 있도록 지원하는 AI 클라우드 플랫폼입니다.
Qwen3-Next-80B-A3B Instruct는 입력 1M 토큰당 $0.15, 출력 1M 토큰당 $1.5의 비용으로 65,536토큰의 컨텍스트를 제공합니다.
Qwen3-Next-80B-A3B Thinking 역시 입력 1M 토큰당 $0.15, 출력 1M 토큰당 $1.5의 비용으로 동일한 65,536토큰 컨텍스트를 제공합니다.
1단계: 로그인 후 모델 라이브러리 접근하기
계정에 로그인한 후 모델 라이브러리 버튼을 클릭하세요.
2단계: 모델 선택하기
사용 가능한 옵션을 둘러보고 자신의 필요에 맞는 모델을 선택하세요.
3단계: 무료 체험 시작하기
선택한 모델의 성능을 탐색하기 위해 무료 체험을 시작하세요.
4단계: API 키 발급받기
API 인증을 위해 새로운 API 키를 발급해드립니다. “설정” 페이지에 들어가면 이미지에 표시된 대로 API 키를 복사할 수 있습니다.
5단계: API 설치하기
사용 중인 프로그래밍 언어에 맞는 패키지 매니저를 사용해 API를 설치하세요.
설치 후 필요한 라이브러리를 개발 환경에 임포트하세요. API 키로 API를 초기화하면 Novita AI LLM과 상호작용을 시작할 수 있습니다. 다음은 Python 사용자를 위한 채팅 완성 API 사용 예시입니다.
#Chat API
from openai import OpenAI
client = OpenAI(
api_key="<Your API Key>",
base_url="https://api.novita.ai/openai"
)
response = client.chat.completions.create(
model="qwen/qwen3-next-80b-a3b-instruct",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Hello, how are you?"}
],
max_tokens=65536,
temperature=0.7
)
print(response.choices[0].message.content)
#Completion API
from openai import OpenAI
client = OpenAI(
api_key="<Your API Key>",
base_url="https://api.novita.ai/openai"
)
response = client.completions.create(
model="qwen/qwen3-next-80b-a3b-instruct",
prompt="The following is a conversation with an AI assistant.",
max_tokens=65536,
temperature=0.7
)
print(response.choices[0].text)
Trae, Claude Code, Qwen Code 등 CLI 사용하기
로컬 환경이나 IDE에서 AI 코딩 지원을 위해 Novita AI의 최고 모델(Qwen3-Coder, Kimi K2, DeepSeek R1 등)을 사용하려면 과정이 간단합니다: API 키를 발급받고, 도구를 설치한 후 환경 변수를 설정하고 코딩을 시작하세요.
자세한 설정 명령어와 예시는 공식 튜토리얼을 확인하세요:
- Trae: IDE에서 AI 모델에 접근하는 단계별 가이드
- Claude Code: Windows, Mac, Linux에서 Claude Code로 Kimi-K2 사용하는 방법
- Qwen Code: Qwen Code에서 OpenAI 호환 API 사용하는 방법 (60초 설정!)
OpenAI Agents SDK를 활용한 멀티 에이전트 워크플로우
Novita AI를 OpenAI Agents SDK와 통합해 고급 멀티 에이전트 시스템을 구축하세요:
- 플러그 앤 플레이: 모든 OpenAI Agents 워크플로우에서 Novita AI의 LLM을 사용하세요.
- 핸드오프, 라우팅, 도구 사용 지원: 위임, 분류, 함수 실행이 가능한 에이전트를 설계하세요. 모든 기능이 Novita AI의 모델로 구동됩니다.
- Python 통합: SDK 엔드포인트를
https://api.novita.ai/v3/openai로 설정하고 API 키를 사용하기만 하면 됩니다.
타사 플랫폼에서 API 연결하기
OpenAI 호환 API: Cline 및 Cursor 등 OpenAI API 표준을 준수하는 도구와 번거로움 없이 마이그레이션하고 통합할 수 있습니다.
Hugging Face: Novita AI 엔드포인트를 통해 Spaces, 파이프라인, 또는 Transformers 라이브러리에서 모델을 사용하세요.
에이전트 및 오케스트레이션 프레임워크: 공식 커넥터와 단계별 통합 가이드를 통해 Continue, AnythingLLM,LangChain, Dify 및 Langflow와 같은 파트너 플랫폼과 Novita AI를 쉽게 연결할 수 있습니다.
Qwen3-Next-80B-A3B은 아키텍처 혁신이 무차별 대입식 파라미터 스케일링을 앞지를 수 있다는 증거입니다. 어텐션과 전문가의 활성화 방식을 재고려함으로써, 이 모델은 훨씬 더 적은 메모리가 필요하면서도 훨씬 더 큰 모델과 동등하거나 그 이상의 성능을 제공합니다.
실무자들에게 이는 더 접근하기 쉬운 실험, 더 낮은 인프라 비용, 더 빠른 반복을 의미하며, 성능을 희생하지 않고도 이를 달성할 수 있습니다. 80B 시대는 모델 크기만이 아니라 더 스마트한 설계가 AI의 리더십을 결정하는 전환점을 나타냅니다.
자주 묻는 질문
어떻게 80B가 어려운 벤치마크에서 235B와 경쟁할 수 있나요? Qwen3-Next-80B-A3B이 하이브리드 어텐션과 스파스 MoE를 사용해 표현 용량을 잃지 않으면서 계산 비용을 낮추기 때문입니다. 이를 통해 AIME25, LiveBench, LiveCodeBench 등의 작업에서 235B 모델과 동등하거나 심지어 그 이상의 성능을 낼 수 있습니다.
긴 문서나 확장된 대화 기록에는 어떤 모델이 더 적합한가요? 235B 변형은 기본적으로 262K부터 1M 토큰까지의 컨텍스트를 지원하지만, Qwen3-Next-80B-A3B도 최대 256K 토큰을 효율적으로 처리할 수 있습니다. 대부분의 실제 사용 사례에서 80B는 더 빠른 응답 속도와 더 낮은 비용으로 충분한 컨텍스트 처리 기능을 제공합니다.
Qwen3-Next-80B-A3B이 인간의 선호도와 더 잘 정렬되어 있나요? 네. Arena-Hard v2 등의 벤치마크에서 Qwen3-Next-80B-A3B의 Instruct 버전이 235B 모델보다 높은 점수를 기록해, 더 작은 규모에서도 더 강한 정렬과 신뢰성을 보여주었습니다.
Novita AI는 개발자가 간단한 API를 사용해 AI 모델을 쉽게 배포할 수 있도록 지원하는 동시에, 구축 및 확장을 위한 저렴하고 신뢰할 수 있는 GPU 클라우드를 제공하는 AI 클라우드 플랫폼입니다.
