최고의 전문가 혼합(MoE) 모델: 비교 관점

전문가 혼합(Mixture-of-Experts, MoE) 간략 소개
MoE의 주요 장점
2025년 최첨단 MoE 모델
최고의 MoE 모델을 사용하는 방법은?

전문가 혼합(Mixture of Experts, MoE)은 오늘날 대규모 언어 모델을 확장하는 데 있어 가장 중요한 설계 선택지 중 하나로 빠르게 자리 잡았습니다. MoE는 각 토큰마다 모든 매개변수를 활성화하는 대신 소수의 전문가를 통해 입력을 선택적으로 라우팅하여 효율성과 거대한 모델 용량 사이의 균형을 맞춥니다. 이러한 아키텍처 변화로 개발자는 추론 비용을 관리 가능한 수준으로 유지하면서 수백억 개의 매개변수를 가진 모델을 구축할 수 있게 되었습니다.

이 글에서는 MoE의 기본 개념을 소개하고, 상위 MoE 모델 간의 아키텍처 차이를 살펴본 뒤 실제로 이 모델들을 사용하는 방법을 안내해 드립니다.

전문가 혼합(Mixture-of-Experts, MoE) 간략 소개

전문가 혼합(Mixture of Experts, MoE)은 AI 모델을 여러 개의 서브 네트워크, 즉 '전문가’로 분해하는 기계 학습 방법으로, 각 전문가는 입력 데이터의 특정 부분을 처리하도록 학습된 뒤 함께 작업을 완수합니다. MoE는 게이팅 메커니즘과 함께 특화된 모델 세트를 사용하여 각 입력을 처리할 가장 적합한 '전문가 네트워크’를 동적으로 선택합니다.

MoE의 작동 원리

1. 게이팅 네트워크(라우터)
MoE의 핵심에는 각 입력 토큰을 처리할 전문가를 결정하는 게이팅 네트워크가 있습니다. 라우터는 모든 토큰을 모든 전문가에 전송하는 대신 가장 관련성 높은 전문가만 선택적으로 활성화하여 효율성과 전문성을 모두 보장합니다.

2. MoE vs Dense 모델

**MoE(전문가 혼합)**는 게이트가 선택한 소수의 전문가를 통해 각 토큰을 라우팅하는 방식으로 작동합니다. 이 접근법은 실제 계산 비용을 낮게 유지하면서 모델의 전체 용량을 크게 확장할 수 있게 합니다. 각 전문가가 서로 다른 입력 패턴에 특화되어 있어 계산 리소스를 선형적으로 늘리지 않고도 복잡한 작업에서 더 높은 성능을 발휘할 수 있습니다.

반면 Dense(밀집) 모델은 모든 토큰을 모든 전문가나 레이어에 전송하기 때문에 설계는 간단하지만 계산 비용이 매우 높습니다. 핵심 차이는 MoE가 선택적 활성화를 통해 효율성을 확보하는 반면, Dense 모델은 모든 입력에 대해 전체 활성화에 의존한다는 점입니다.

MoE

Dense

참고: 대규모 언어 모델의 전문가 혼합(Mixture of Experts)에 대한 서베이. (출처: https://arxiv.org/abs/2407.06204)

MoE의 주요 장점

MoE는 독특한 장점으로 인해 최첨단 AI 시스템의 지배적인 설계 선택지가 되었습니다:

거대한 용량과 제어된 계산 리소스: 희소 MoE는 매개변수를 계산 수요 증가 없이 대폭 확장할 수 있게 합니다. 이 설계는 필요할 때만 리소스를 할당하는 조건부 계산 원칙을 따르므로, 동일한 계산 비용으로 밀집 모델보다 훨씬 큰 용량의 모델을 학습할 수 있습니다.
전문가 특화: 서로 다른 전문가가 자연스럽게 고유한 패턴이나 작업에 특화되어, 광범위한 입력에 걸쳐 성능을 높이고 대규모 LLM의 더 풍부한 기능을 가능하게 합니다.
학습 및 추론 효율성: 희소 MoE는 토큰당 소수의 전문가만 활성화하여 밀집 모델의 무거운 오버헤드를 줄이고 대규모 학습 클러스터의 리소스 활용도를 개선합니다.
실제 배포 시나리오: 희소 MoE는 다수의 머신을 활용할 수 있는 고처리량 환경에서 특히 효과적이며, 고정된 계산 예산 하에서 더 최적의 결과를 제공합니다. 밀집 모델은 단순성으로 인해 소규모 배포에 더 실용적이므로, 저처리량 환경이나 VRAM이 매우 제한된 환경에 여전히 적합할 수 있습니다.
라우팅 유연성: top-1 또는 top-2 게이팅과 같은 라우팅 전략을 통해 희소 MoE는 계산 효율성과 표현력 사이의 균형을 달성하며, 다양한 워크로드와 확장 요구사항에 적응합니다.

이러한 장점으로 인해 MoE가 최첨단 대규모 언어 모델에 널리 채택된 것은 놀라운 일이 아닙니다. 다음 섹션에서는 2025년 가장 영향력 있는 MoE 기반 모델들을 살펴보고, 이 모델들이 이 아키텍처를 어떻게 구현하고 이점을 얻는지 탐구해 보겠습니다.

2025년 최첨단 MoE 모델

오픈소스 MoE 모델 개요: 아키텍처 심층 분석


모델	총 매개변수 수	활성화 매개변수 수	전문가 풀 크기	토큰당 활성화 전문가 수
GPT OSS 120B	116.8B (36 레이어)	5.1B	128	4
GPT OSS 20B	20.9B (24 레이어)	3.6B	32	4
DeepSeek V3.1	671B	37B	256 Routed + 1 Shared	8
GLM 4.5	335B	32B	160	8
Kimi K2 0905	1T (61 레이어)	32B	384 Routed + 1 Shared	8
Qwen3 Coder	480B (62 레이어)	35B	160	8
Llama 4 Scout	109B	17B	16	미지정

각 모델은 아키텍처 설계를 통해 서로 다른 우선순위를 보여줍니다.

DeepSeek V3.1과 Kimi K2 0905는 토큰당 여러 개의 활성화 전문가를 사용하는 매우 큰 전문가 풀에 의존하여, 특화를 극대화하고 복잡한 추론 및 다단계 작업에서 뛰어난 성능을 제공합니다.
반면 GPT-OSS 120B는 중간 규모의 전문가 풀과 적절한 활성화를 결합한 더 균형 잡힌 접근법을 채택하여, 안정성과 규모가 공존해야 하는 엔터프라이즈 애플리케이션에 적합합니다.
GPT-OSS 20B는 적은 수의 전문가로 더 가벼운 구성을 채택하여, 실시간 챗봇이나 리소스가 제한된 배포 환경과 같이 지연 시간과 비용 효율성이 가장 중요한 시나리오에 최적화되어 있습니다.
Qwen3 Coder는 균형 잡힌 MoE 구성으로 코드 관련 작업을 강조하여, 강력한 추론 능력과 효율적인 활성화를 결합하여 개발자 애플리케이션을 위한 안정적인 성능을 제공합니다.
Llama 4 Scout는 소규모 전문가 풀과 감소된 활성화 부하로 소형 MoE 설계를 보여주며, 저지연 또는 엣지 수준 애플리케이션을 위한 실용적인 옵션으로 자리 잡고 있습니다.

이러한 차이는 MoE 구성이 연구 규모 탐색 및 고급 에이전트 시스템부터 경량화된 프로덕션용 추론까지 다양한 배포 목표에 맞춰 조정될 수 있음을 보여줍니다.

하지만 변하지 않는 것은 신뢰할 수 있는 계산 인프라에 대한 수요입니다. 수백억 개, 심지어 수조 개의 매개변수를 가진 모델을 실행하려면 강력한 GPU뿐만 아니라 고대역폭 인터커넥트와 최적화된 파이프라인도 필요합니다. 대부분의 팀에게 이는 로컬 클러스터 유지 관리의 부담을 없애면서도 최첨단 MoE 기능에 액세스할 수 있는 클라우드 GPU 인스턴스와 관리형 API 서비스를 활용해야 하는 강력한 동기가 됩니다.

최고의 MoE 모델을 사용하는 방법은?

로컬 배포


모델	VRAM (약값)	양자화	권장 하드웨어
GPT OSS 120B	80 GB	MXFP4	H100 x1
GPT OSS 20B	16 GB	MXFP4	RTX 4090 x1
DeepSeek V3.1	1.34 TB	16-bit	H200 8카드 클러스터
GLM 4.5	717 GB	16-bit	H100 x 16 / H200 x 8
Kimi K2 0905	2.05 TB	16-bit	H100/A100 80GB (x32)
Qwen3 Coder	290 GB	Q4_K_M	A6000 x2
Llama 4 Scout 17B	216 GB	Int4	H100 x1