2026년 프로젝트에 가장 적합한 오픈 소스 LLM은 벤치마크 헤드라인이 아니라 작업에 따라 결정됩니다. DeepSeek V4 Pro, Qwen 3.5, Kimi K2, GLM-5와 같은 모델은 이제 특정 벤치마크에서 폐쇄형 API와 같거나 더 나은 성능을 보이지만, 실질적인 질문은 더 간단합니다. 즉, 모델을 직접 실행해야 합니까, 아니면 GPU 운영 팀 없이 프로덕션에서 안정적으로 작동해야 합니까? 이 가이드는 주요 오픈 소스 LLM, 자체 호스팅과 호스팅 API 접근 중 선택하는 방법, 그리고 Novita AI를 사용하여 오픈 소스 모델을 코딩 에이전트에 연결하는 방법을 다룹니다.
오픈 소스 LLM이란 무엇인가요?
실제로 "오픈 소스"는 다양한 범위를 포괄합니다. 운영상 가장 중요한 차이점은 학습 코드가 공개되었는지 여부가 아니라 모델 가중치를 직접 실행할 수 있는지 여부입니다. 일반적인 경우는 다음과 같습니다.
- 완전 오픈 가중치 및 허용적 라이선스(Apache 2.0, MIT): 제한 없이 상업적으로 모델을 사용, 수정 및 서비스할 수 있습니다. 예: Qwen 3.5(Apache 2.0), DeepSeek R1(MIT), GLM-5(MIT).
- 커스텀 라이선스가 있는 오픈 가중치: 가중치는 다운로드 가능하지만 상업적 사용, 재배포 또는 파인튜닝에 제한이 있을 수 있습니다. Meta의 Llama 4는 월간 사용자 7억 명 이상에 대한 사용자 수 제한이 있는 커스텀 라이선스를 사용합니다.
- 연구 전용 또는 게이트 가중치: 가중치는 사용 가능하지만 비상업적 용도로 제한되거나 승인이 필요합니다. 프로덕션 팀에게는 덜 관련 있습니다.
대부분의 프로덕션 결정에서 실질적인 필터는 다음과 같습니다. 이 모델을 사용자에게 합법적으로 서비스할 수 있으며, 라이선스가 필요한 상업적 사용 사례를 허용합니까?
2026년 최고의 오픈 소스 LLM
오픈 가중치 계층은 상당히 압축되었습니다. 2026년 4월에만 7개의 주요 오픈 소스 모델 릴리스가 있었습니다. 평가할 가치가 있는 모델은 다음과 같습니다.
일반 목적 및 추론
DeepSeek V4 Pro(685B, MIT 유사)는 현재 에이전틱 코딩 분야의 벤치마크 리더입니다. SWE-Bench 및 함수 호출 벤치마크에서 폐쇄형 프론티어 모델과 동률을 이루거나 능가하므로, 대규모 코드베이스를 읽고 다단계 도구 호출을 실행해야 하는 코딩 에이전트에게 실용적인 선택입니다. 685B 모델을 직접 실행할 인프라가 없다면 호스팅 API로 사용할 수 있습니다.
Qwen 3.5(397B MoE, Apache 2.0)는 현재 사용 가능한 가장 강력한 완전 허용 라이선스 모델입니다. 총 397B에 활성 매개변수 17B로 경쟁력 있는 추론 및 코딩 점수를 달성하면서 토큰당 비용 효율성을 유지합니다. Apache 2.0 라이선스는 라이선스 호환성이 중요할 때 기본 선택입니다.
Kimi K2(약 1T MoE)는 Moonshot AI의 모델로, 오픈 모델 중 Artificial Analysis Index에서 최상위권이며 도구 사용 및 긴 컨텍스트 작업에 특히 강력합니다. 조 단위 MoE를 직접 호스팅하고 싶지 않다면 호스팅 API를 통해 사용할 수 있습니다.
DeepSeek R1(685B, MIT)은 수학 및 형식적 추론(AIME 79.8%)에서 가장 강력한 선택입니다. 애플리케이션에 코드 검증, 형식 증명 또는 구조화된 추론 체인이 포함된 경우 R1이 벤치마크 기준점입니다.
GLM-5(744B, MIT)는 Zhipu AI의 모델로, AI Intelligence Index에서 50점에 도달한 최초의 오픈 가중치 모델이며 BenchLM의 오픈 가중치 리더보드에서 85점을 기록했습니다. 자율 버그 수정 워크플로에 강력합니다.
코딩 특화
Qwen 2.5 Coder 32B(Apache 2.0)는 HumanEval에서 92%를 기록하며 단일 RTX 4090에서 실행됩니다. 소비자 하드웨어에서 직접 호스팅할 수 있는 코딩 모델이 필요하다면 실용적인 선택입니다.
Kimi K2 Code 는 Kimi K2의 API 액세스 가능한 코딩 변형으로, 코드 생성 및 에이전틱 코딩 작업에 최적화되었습니다. Novita AI에서 262K 컨텍스트로 사용할 수 있습니다.
소형 및 효율적
Phi-4 14B(Microsoft)는 8GB VRAM에서 실행되며 명령 수행, 코드 및 가벼운 추론을 잘 처리합니다. 지연 시간과 하드웨어 제약이 최고 품질보다 중요할 때 사용하세요.
Llama 4 Scout(Meta)는 최대 1,000만 토큰 컨텍스트를 지원하며 16GB VRAM에 맞습니다. 긴 문서 처리가 포함된 워크로드에 적합한 선택입니다.
한눈에 보는 모델 비교
| 모델 | 크기 | 라이선스 | 최적 사용 | 컨텍스트 |
|---|---|---|---|---|
| DeepSeek V4 Pro | 685B | MIT 유사 | 에이전틱 코딩, SWE-Bench | 1M |
| Qwen 3.5 | 397B MoE | Apache 2.0 | 추론, 상업적 사용 | 128K |
| Kimi K2 | ~1T MoE | 커스텀 | 도구 사용, 긴 컨텍스트 | 128K |
| DeepSeek R1 | 685B | MIT | 수학, 형식적 추론 | 163K |
| GLM-5 | 744B | MIT | 버그 수정, 일반 | 128K |
| Qwen 2.5 Coder 32B | 32B | Apache 2.0 | 코드, 자체 호스팅 | 128K |
| Phi-4 14B | 14B | MIT | 낮은 VRAM, 개발용 | 128K |
| Llama 4 Scout | ~109B | 커스텀 | 긴 컨텍스트 문서 | 10M |
자체 호스팅 vs. 호스팅 API 추론
이것이 실제 비용과 시간 투자를 결정하는 운영상의 결정입니다. 간단히 말하면: 하루에 약 200만~500만 토큰을 초과하고 12개월 동안 지속적인 트래픽이 있는 경우가 아니라면 호스팅 API 추론이 운영 비용이 더 저렴하고 빠릅니다.
호스팅 API 추론이 유리한 경우
- 팀에 GPU 운영 경험이 없는 경우
- 여전히 프로토타이핑 중이거나 모델 선택을 반복하는 경우
- 토큰 볼륨이 자체 호스팅 손익분기점보다 낮은 경우
- 새 릴리스가 나올 때마다 모델을 빠르게 교체해야 하는 경우
- 비용 최적화보다 안정성과 자동 확장이 더 중요한 경우
호스팅 LLM API, 특히 OpenAI 호환 API를 사용하면 기본 URL과 모델 ID를 한 줄만 변경하면 새 모델을 추가할 수 있습니다. 콜드 스타트 관리, 양자화 트레이드오프, 배칭 구성, 서빙 프레임워크 업그레이드를 피할 수 있습니다.
자체 호스팅이 유리한 경우
- 데이터가 인프라를 벗어날 수 없는 경우(의료, 금융, 법률, 규제 산업)
- 하루에 500만 토큰 이상을 예측 가능한 트래픽으로 처리하는 경우
- 호스팅 제공업체가 제공하지 않는 파인튜닝 또는 조정된 체크포인트를 서비스해야 하는 경우
- 사용 가능한 용량이 있는 기존 GPU 클러스터가 있는 경우
H100에서 SGLang 또는 vLLM을 사용한 자체 호스팅은 규모에서 진정으로 비용 효율적입니다. 최근 벤치마크에 따르면 SGLang은 표준 워크로드에서 vLLM보다 29% 높은 처리량을 보였으며, RadixAttention을 통한 프리픽스가 많은 RAG 파이프라인에서는 최대 6배 더 빠릅니다. 그러나 이러한 이점은 모델 업데이트, 하드웨어 장애, 트래픽 급증을 통해 서빙 스택을 유지 관리할 운영 능력이 있을 때만 의미가 있습니다.
하이브리드 경로
대부분의 팀은 하이브리드 방식으로 마무리됩니다. 프로토타이핑과 유연한 모델 액세스를 위한 호스팅 API, 전용 용량을 정당화하는 워크로드를 위한 GPU 인스턴스입니다. 단일 AI 클라우드 플랫폼을 유지하는 실질적인 이점은 서버리스 API에서 전용 엔드포인트, 커스텀 GPU 인스턴스로 이동할 때 인증, 결제, 관찰 가능성 및 배포 파이프라인을 다시 구축할 필요가 없다는 것입니다.
API를 통해 오픈 소스 LLM에 액세스하는 방법
Novita AI는 DeepSeek V4 Pro, DeepSeek V4 Flash, Kimi K2, Qwen 3.5, GLM-5, MiniMax M3 등을 포함한 오픈 소스 모델 카탈로그에 대한 OpenAI 호환 API 액세스를 제공합니다. 엔드포인트 구조는 OpenAI와 동일하므로 openai SDK를 사용하는 기존 코드를 최소한의 변경으로 Novita 모델에 연결할 수 있습니다.
기본 API 호출
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="YOUR_NOVITA_API_KEY",
)
response = client.chat.completions.create(
model="deepseek/deepseek-v4-pro",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Explain the difference between DeepSeek R1 and V4 Pro."},
],
)
print(response.choices[0].message.content)
모델을 전환하려면 model 매개변수를 변경하세요. 다른 변경은 필요 없습니다. 지원되는 모델 ID의 전체 목록은 novita.ai/docs/model-api/reference/llm/models.html에서 확인할 수 있습니다.
TypeScript
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.novita.ai/v3/openai",
apiKey: process.env.NOVITA_API_KEY,
});
const response = await client.chat.completions.create({
model: "qwen/qwen3.5-397b-a17b",
messages: [{ role: "user", content: "Write a Python function to parse JSON." }],
});
console.log(response.choices[0].message.content);
가격 참고
가격은 모델에 따라 다르며 백만 토큰당 청구됩니다. DeepSeek V4 Flash는 입력 $0.14/Mt, 출력 $0.28/Mt로 가장 비용 효율적인 범용 옵션입니다. DeepSeek V4 Pro는 입력 $1.60/Mt, 출력 $3.20/Mt로, 모델 품질이 작업 완료율에 직접적인 영향을 미치는 에이전틱 코딩 워크플로에 적합한 프리미엄 선택입니다. 새 모델 추가에 따라 가격이 변경되므로 현재 가격은 novita.ai/models/llm을 확인하세요.
코딩 에이전트를 위한 오픈 소스 LLM
2026년 가장 효과적인 코딩 에이전트 설정은 추론 및 코드 생성을 위한 오픈 소스 LLM과 코드 실행을 위한 샌드박스 실행 환경을 결합합니다. 이는 단순한 API 호출과 다른 아키텍처입니다. 에이전트는 파일을 읽고, 코드를 작성하고, 명령을 실행하고, 출력을 검사하고, 반복해야 합니다.
피해야 할 두 가지 실패 모드는 다음과 같습니다.
- 에이전트가 생성한 코드를 개발 머신이나 프로덕션 서버에서 실행하는 것 — 모델이 파괴적이거나 예상치 못한 것을 생성하는 경우 실수입니다.
- 에이전트 세션당 전체 VM을 직접 설정하는 것 — 빠르게 확장을 넘어서고, 확장 속도가 느립니다.
Novita Agent Sandbox
Novita의 Agent Sandbox는 200ms 미만으로 시작되는 격리된 Linux 환경을 제공합니다. 각 샌드박스에는 에이전트가 읽고 쓸 수 있는 파일 시스템, 에이전트가 명령을 실행할 수 있는 셸, 그리고 모델이 생성한 것이 다른 샌드박스나 인프라에 영향을 미치지 않도록 하는 격리가 있습니다. 세션은 요청 간에 지속되므로 에이전트가 다단계 작업에서 상태를 유지할 수 있습니다.
Python SDK는 간단합니다.
from novita_sandbox.code_interpreter import Sandbox
sandbox = Sandbox.create()
# Agent writes a file
sandbox.files.write("/workspace/app.py", code_content)
# Agent runs it
result = sandbox.commands.run("python /workspace/app.py")
print(result.stdout)
# Clean up
sandbox.kill()
이것을 Novita의 LLM API에 있는 OpenAI 호환 모델과 결합하면 API 키 외에는 인프라 없이 코드를 생성, 실행, 검사 및 수정할 수 있는 코딩 에이전트를 갖게 됩니다.
오픈 소스 에이전트 프레임워크
Novita의 Agent Sandbox에서 드롭인 런타임으로 사용할 수 있는 여러 오픈 소스 코딩 에이전트가 있습니다.
- Novita의 OpenClaw — 세션 제한 없이 Novita 샌드박스를 통해 지속적인 OpenClaw 에이전트를 배포합니다. Novita의 LLM API 및 샌드박스에 자동으로 연결되므로 장기 실행 자동화 작업에 실용적입니다.
- Hermes Agent — Nous Research의 자율 에이전트로 지속적인 메모리를 제공합니다. 단일 세션이 아닌 장기 실행 프로세스로 실행됩니다.
- Goose — 단일 자격 증명 뒤에 200개 이상의 모델에 액세스할 수 있는 Novita를 기본 제공자로 사용하는 오픈 소스 코딩 에이전트(GitHub 별 45,000개 이상).
기존 프레임워크를 배포하는 대신 커스텀 코딩 에이전트를 구축하는 팀을 위해 Novita Agent Runtime은 샌드박스 수명 주기, 도구 호출 라우팅 및 세션 지속성을 처리하는 가벼운 스캐폴딩 레이어를 제공합니다.
어떤 오픈 소스 LLM을 사용해야 하나요?
의사 결정 트리는 짧습니다.
코딩 및 에이전틱 작업: API를 통해 DeepSeek V4 Pro로 시작하세요. 현재 SWE-Bench 및 다단계 도구 사용에서 성능 리더입니다. 비용이 제약이라면 DeepSeek V4 Flash가 훨씬 저렴한 가격으로 간단한 코드 작업을 처리합니다.
추론 및 수학: DeepSeek R1은 여전히 AIME 및 형식적 추론에 대한 벤치마크 기준입니다. 코드 실행보다는 구조화된 문제 해결이 포함된 작업에 사용하세요.
오픈 라이선스를 사용한 상업적 사용: Apache 2.0 라이선스의 Qwen 3.5는 법무팀이 깨끗한 라이선스를 필요로 할 때 가장 안전한 선택입니다. 397B MoE 아키텍처는 큰 매개변수 수에도 불구하고 토큰당 비용을 낮게 유지합니다.
소비자 GPU에서 자체 호스팅 코딩: Qwen 2.5 Coder 32B는 단일 RTX 4090에서 실행되며 HumanEval에서 92%를 기록합니다. 고급 GPU 인프라 없이 코딩 모델을 자체 호스팅해야 한다면 실용적인 선택입니다.
긴 문서: 1,000만 토큰 컨텍스트 윈도우를 가진 Llama 4 Scout는 다른 모델에서는 청킹이 필요한 워크로드를 처리합니다.
소형 환경: Phi-4 14B는 8GB VRAM에 맞고 명령 수행, 코드 생성 및 가벼운 추론을 잘 처리합니다.
이 모든 선택의 패턴: 호스팅 API 액세스는 운영 오버헤드를 제거하고 환경이 발전함에 따라 모델을 전환할 수 있게 합니다. 자체 호스팅은 데이터 주권 또는 규모의 토큰 경제성이 GPU 운영 투자를 정당화할 때 의미가 있습니다. 대부분의 프로덕션 팀은 결국 둘 다 수행합니다.
결론
2026년의 오픈 소스 LLM 환경은 2년 전과 근본적으로 다릅니다. DeepSeek V4 Pro, Qwen 3.5, Kimi K2와 같은 모델은 더 이상 “대부분의 작업에 충분히 좋은” 것이 아닙니다. 에이전틱 코딩, 형식적 추론, 긴 컨텍스트 문서 처리와 같은 특정 워크로드에 대한 첫 번째 선택입니다.
실질적인 결정은 리더보드에서 어떤 모델이 가장 좋은지가 아닙니다. 운영 모델에 맞는 모델을 선택하는 것입니다. 빠르게 움직이고 GPU 운영을 피해야 한다면 호스팅 API, 데이터가 인프라를 벗어날 수 없거나 토큰 경제성이 투자를 정당화한다면 자체 호스팅, 모델이 코드를 생성하는 것뿐만 아니라 코드에 대해 행동해야 한다면 샌드박스 실행 레이어입니다.
Novita AI의 LLM API는 OpenAI 호환 엔드포인트 뒤에 주요 오픈 소스 모델을 제공하므로 각 모델 릴리스에 대해 스택을 다시 구축하지 않고 DeepSeek, Qwen, Kimi 또는 GLM에 대해 동일한 통합 코드를 실행할 수 있습니다. 코드 실행이 필요한 작업에는 Agent Sandbox와 결합하면 기본 인프라를 직접 관리하지 않고도 프로덕션 준비 코딩 에이전트의 핵심을 가질 수 있습니다.
FAQ
2026년 최고의 오픈 소스 LLM은 무엇인가요?
DeepSeek V4 Pro와 Kimi K2가 일반 벤치마크에서 선두를 달리고 있으며, 특히 DeepSeek V4 Pro는 에이전틱 코딩 및 SWE-Bench에서 앞서 있습니다. Qwen 3.5는 가장 강력한 허용 라이선스 옵션(Apache 2.0)입니다. 올바른 답변은 작업(코딩, 추론, 긴 컨텍스트, 낮은 VRAM)에 따라 다릅니다.
로컬 사용에 가장 적합한 오픈 소스 LLM은 무엇인가요?
Qwen 2.5 Coder 32B(단일 RTX 4090), Phi-4 14B(8GB VRAM), Llama 4 Scout(16GB VRAM, 10M 컨텍스트)가 로컬 추론에 실용적인 선택입니다. 70B 이상의 모델은 일반적으로 멀티 GPU 설정이 필요합니다.
오픈 소스 대규모 언어 모델이 폐쇄형 모델만큼 좋은가요?
특정 작업에서는 그렇습니다. DeepSeek V4 Pro는 SWE-Bench 및 코딩 벤치마크에서 GPT-4.1과 같거나 더 나은 성능을 보입니다. 일반 개방형 작업의 경우 최고 폐쇄형 모델이 여전히 우위를 점합니다. 차이는 특정 작업과 벤치마크에 크게 의존합니다.
오늘의 오픈 소스 LLM 뉴스는 무엇인가요?
2026년 오픈 소스 LLM 릴리스 주기는 대략 한 달에 한 번입니다. 최근 주요 릴리스로는 GLM-5, Kimi K2, DeepSeek V4 Pro, Qwen 3.5가 있습니다. 최신 뉴스를 보려면 Novita AI 블로그를 팔로우하고 업데이트된 순위를 위해 Artificial Analysis 리더보드를 확인하세요.
자체 호스팅 없이 오픈 소스 LLM 모델에 어떻게 액세스하나요?
호스팅 추론 API를 사용하세요. Novita AI는 DeepSeek, Qwen, Kimi, GLM, MiniMax 및 기타 오픈 소스 모델에 대한 OpenAI 호환 액세스를 제공합니다. 기본 URL을 https://api.novita.ai/v3/openai로 변경하고 모델 ID를 원하는 것으로 변경하면 기존 코드에 다른 변경이 필요 없습니다.
오픈 소스 LLM과 오픈 소스 언어 모델의 차이는 무엇인가요?
대부분의 맥락에서 이 용어는 같은 의미로 사용됩니다. 기술적으로 "대규모 언어 모델"은 대규모로 학습된 트랜스포머 기반 언어 모델을 구체적으로 지칭합니다. "오픈 소스 언어 모델"은 더 작은 모델이나 트랜스포머 아키텍처 외부의 모델을 지칭할 수도 있지만, 현재 사용에서는 두 용어 모두 동일한 모델 범주를 설명합니다.
