2026년 7월 현재 프로젝트에 가장 적합한 오픈소스 LLM은 벤치마크 헤드라인이 아닌 작업에 따라 달라집니다. 현재 선택 가능한 옵션으로는 DeepSeek V4 Pro, Qwen3.6, Kimi K2.6, GLM-5.1 등이 있으며, 각각 추론, 코딩, 긴 컨텍스트 작업, 라이선스 측면에서 다른 강점을 가지고 있습니다. 실질적인 질문은 다운로드 가능한 가중치가 필요한지, 아니면 GPU 운영팀 없이도 작동하는 호스팅 API가 필요한지입니다. 이 가이드는 현재 분야를 비교하고, 자체 호스팅과 API 액세스의 차이점을 설명하며, Novita AI로 코딩 에이전트에서 오픈 가중치 모델을 사용하는 방법을 보여줍니다.
오픈소스 LLM이란 무엇인가?
"오픈소스"는 실제로 다양한 범위를 포괄합니다. 운영상 가장 중요한 차이는 훈련 코드가 공개되었는지 여부가 아니라, 모델 가중치를 직접 실행할 수 있는지 여부입니다. 일반적인 경우는 다음과 같습니다.
- 허용적 라이선스(Apache 2.0, MIT)를 갖춘 완전 오픈 가중치: 라이선스 조건에 따라 모델을 상업적으로 사용, 수정 및 제공할 수 있습니다. 예: Qwen3.6(Apache 2.0), DeepSeek R1(MIT), GLM-5.1(MIT).
- 사용자 정의 라이선스가 있는 오픈 가중치: 가중치는 다운로드할 수 있지만 상업적 사용, 재배포 또는 미세 조정에 제한이 있을 수 있습니다. Meta의 Llama 4는 월간 사용자 7억 명 이상에 대한 사용자 수 임계값이 있는 사용자 정의 라이선스를 사용합니다.
- 연구 전용 또는 게이트 가중치: 가중치는 사용 가능하지만 비상업적 용도로 제한되거나 승인이 필요합니다. 프로덕션 팀에게는 덜 관련이 있습니다.
대부분의 프로덕션 결정에서 실질적인 필터는 다음과 같습니다. 이 모델을 사용자에게 합법적으로 제공할 수 있으며, 라이선스가 필요한 상업적 사용 사례를 허용하는가?
2026년 최고의 오픈소스 LLM
오픈 가중치 계층은 상당히 압축되었습니다. 이 목록은 2026년 7월 22일에 업데이트되어 최신 Qwen, Kimi 및 GLM 릴리스를 포함합니다. 중요한 경계 중 하나는 Moonshot이 7월 16일에 Kimi K3를 발표했지만, 전체 가중치는 7월 27일에 공개될 예정입니다. 해당 가중치가 실제로 게시될 때까지 Kimi K2.6이 여기서 다루는 가장 최신의 다운로드 가능한 Kimi 모델로 남아 있습니다.
범용 및 추론
DeepSeek V4 Pro(685B, MIT 유사)는 현재 에이전트 코딩의 벤치마크 리더입니다. SWE-Bench 및 함수 호출 벤치마크에서 폐쇄형 최첨단 모델과 동등하거나 이를 능가하므로, 대규모 코드베이스를 읽고 다단계 도구 호출을 실행해야 하는 코딩 에이전트에게 실용적인 선택입니다. 685B 모델을 직접 실행할 인프라가 없다면 호스팅 API로 사용할 수 있습니다.
Qwen3.6 은 밀집 및 희소 MoE 변형, 멀티모달 입력, 262K 기본 컨텍스트 윈도우로 오픈 가중치 Qwen 제품군을 확장합니다. Apache 2.0 라이선스는 상업적 배포에 실용적이며, 다양한 모델 크기는 팀이 서비스 비용 대비 품질을 절충할 수 있는 더 많은 여유를 제공합니다.
Kimi K2.6 은 Moonshot AI의 오픈 가중치 1T 파라미터 MoE 모델로, 32B 활성 파라미터와 256K 컨텍스트 윈도우를 갖추고 있습니다. 장기적 에이전트 코딩, 도구 사용 및 다중 에이전트 조정을 위해 설계되었으며, 전체 모델을 직접 운영하고 싶지 않다면 호스팅 API 액세스를 통해 사용할 수 있습니다.
DeepSeek R1(685B, MIT)은 수학 및 형식적 추론(AIME 79.8%)에서 여전히 가장 강력한 선택입니다. 애플리케이션에 코드 검증, 형식 증명 또는 구조화된 추론 체인이 포함된 경우 R1이 벤치마크 기준점입니다.
GLM-5.1 은 Z.ai의 MIT 라이선스 GLM-5 업데이트로, 40B 활성 파라미터와 204.8K 컨텍스트 윈도우를 갖추고 있습니다. 주요 용도는 모델이 짧은 코딩 패스 후에 멈추는 대신 계속 반복하고, 결과를 검사하고, 전략을 변경해야 하는 장기적 에이전트 작업입니다.
코딩 특화
Qwen 2.5 Coder 32B(Apache 2.0)는 HumanEval에서 92%를 기록하며 단일 RTX 4090에서 실행됩니다. 소비자 하드웨어에서 자체 호스팅할 수 있는 코딩 모델이 필요하다면 실용적인 선택입니다.
Kimi K2.6 은 현재 코딩에 초점을 맞춘 Kimi 선택이기도 합니다. 긴 컨텍스트와 장기적 설계로 인해 지속적인 저장소 작업, 도구 중심 워크플로 및 자율 디버깅에 있어 이전 Kimi K2 Code 변형보다 더 적합합니다.
소형 및 효율적
Microsoft의 Phi-4 14B 는 8GB VRAM에서 실행되며 명령 수행, 코드 및 간단한 추론을 잘 처리합니다. 지연 시간과 하드웨어 제약이 최고 품질보다 더 중요할 때 사용하세요.
Meta의 Llama 4 Scout 는 최대 1천만 토큰 컨텍스트를 지원하며 16GB VRAM에 적합합니다. 워크로드에 긴 문서 처리가 포함된 경우 올바른 선택입니다.
모델 비교 한눈에 보기
| 모델 | 크기 | 라이선스 | 최적 용도 | 컨텍스트 |
|---|---|---|---|---|
| DeepSeek V4 Pro | 685B | MIT 유사 | 에이전트 코딩, SWE-Bench | 1M |
| Qwen3.6 | 밀집 및 MoE 변형 | Apache 2.0 | 멀티모달 추론, 상업적 사용 | 262K |
| Kimi K2.6 | 1T MoE, 32B 활성 | 수정된 MIT | 에이전트 코딩, 도구 사용 | 256K |
| DeepSeek R1 | 685B | MIT | 수학, 형식적 추론 | 163K |
| GLM-5.1 | MoE, 40B 활성 | MIT | 장기적 에이전트 작업 | 204.8K |
| Qwen 2.5 Coder 32B | 32B | Apache 2.0 | 코드, 자체 호스팅 | 128K |
| Phi-4 14B | 14B | MIT | 낮은 VRAM, 개발용 | 128K |
| Llama 4 Scout | ~109B | 사용자 정의 | 긴 컨텍스트 문서 | 10M |
자체 호스팅 vs. 호스팅 API 추론
이는 실제 비용과 시간 투자를 결정하는 운영상의 결정입니다. 요약하자면, 하루에 약 200만~500만 토큰을 초과하고 12개월 동안 지속적인 트래픽이 있는 경우가 아니라면, 호스팅 API 추론이 운영 비용이 더 저렴하고 빠릅니다.
호스팅 API 추론이 유리한 경우
- 팀에 GPU 운영 경험이 없는 경우
- 아직 프로토타이핑 중이거나 모델 선택을 반복하는 경우
- 토큰 볼륨이 자체 호스팅 손익분기점 미만인 경우
- 새 릴리스가 나올 때마다 모델을 빠르게 교체해야 하는 경우
- 비용 최적화보다 안정성과 자동 확장이 더 중요한 경우
호스팅 LLM API, 특히 OpenAI 호환 API를 사용하면 기본 URL과 모델 ID를 한 줄만 변경하여 새 모델을 추가할 수 있습니다. 콜드 스타트 관리, 양자화 절충, 배치 구성 및 서빙 프레임워크 업그레이드 문제를 피할 수 있습니다.
자체 호스팅이 유리한 경우
- 데이터가 인프라를 벗어날 수 없는 경우(헬스케어, 금융, 법률, 규제 산업)
- 예측 가능한 트래픽으로 하루에 500만 토큰 이상을 처리하는 경우
- 호스팅 제공업체가 제공하지 않는 미세 조정 또는 조정된 체크포인트를 제공해야 하는 경우
- 사용 가능한 용량이 있는 기존 GPU 클러스터가 있는 경우
SGLang 또는 vLLM과 함께 H100에서 자체 호스팅하는 것은 대규모에서 진정으로 비용 효율적입니다. 최근 벤치마크에 따르면 SGLang은 표준 워크로드에서 vLLM보다 29% 더 높은 처리량을 제공하고, RadixAttention을 통한 프리픽스 중심 RAG 파이프라인에서는 최대 6배 더 빠릅니다. 그러나 이러한 이점은 모델 업데이트, 하드웨어 장애 및 트래픽 급증을 통해 서빙 스택을 유지 관리할 수 있는 운영 능력이 있는 경우에만 의미가 있습니다.
하이브리드 경로
대부분의 팀은 하이브리드 방식으로 끝납니다. 프로토타이핑 및 유연한 모델 액세스를 위한 호스팅 API, 전용 용량을 정당화하는 워크로드를 위한 GPU 인스턴스입니다. 단일 AI 클라우드 플랫폼을 유지하는 실질적인 이점은 서버리스 API에서 전용 엔드포인트, 사용자 정의 GPU 인스턴스로 이동할 때 인증, 결제, 관찰 가능성 및 배포 파이프라인을 다시 구축할 필요가 없다는 것입니다.
API를 통해 오픈소스 LLM에 액세스하는 방법
Novita AI는 DeepSeek V4 Pro, DeepSeek V4 Flash, Kimi K2.6, Qwen3.6, GLM-5.1, MiniMax M3 등을 포함한 오픈소스 모델 카탈로그에 대한 OpenAI 호환 API 액세스를 제공합니다. 엔드포인트 구조는 OpenAI와 동일하므로 openai SDK를 사용하는 기존 코드는 최소한의 변경으로 Novita 모델에 연결할 수 있습니다.
기본 API 호출
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="YOUR_NOVITA_API_KEY",
)
response = client.chat.completions.create(
model="deepseek/deepseek-v4-pro",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Explain the difference between DeepSeek R1 and V4 Pro."},
],
)
print(response.choices[0].message.content)
모델을 전환하려면 model 매개변수를 변경하세요. 다른 변경은 필요 없습니다. 지원되는 모델 ID의 전체 목록은 novita.ai/docs/model-api/reference/llm/models.html에서 확인할 수 있습니다.
TypeScript
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.novita.ai/v3/openai",
apiKey: process.env.NOVITA_API_KEY,
});
const response = await client.chat.completions.create({
model: "qwen/qwen3.5-397b-a17b",
messages: [{ role: "user", content: "Write a Python function to parse JSON." }],
});
console.log(response.choices[0].message.content);
가격 참조
가격은 모델에 따라 다르며 백만 토큰당 청구됩니다. DeepSeek V4 Flash는 입력 $0.14/Mt, 출력 $0.28/Mt로 가장 비용 효율적인 범용 옵션입니다. DeepSeek V4 Pro는 입력 $1.60/Mt, 출력 $3.20/Mt로 모델 품질이 작업 완료율에 직접적인 영향을 미치는 에이전트 및 코딩 워크플로우를 위한 프리미엄 선택입니다. 새 모델이 추가됨에 따라 가격이 변경되므로 novita.ai/models/llm에서 현재 가격을 확인하세요.
코딩 에이전트를 위한 오픈소스 LLM
2026년 가장 효과적인 코딩 에이전트 설정은 추론 및 코드 생성을 위한 오픈소스 LLM과 코드 실행을 위한 샌드박스 실행 환경을 결합합니다. 이는 단순한 API 호출과는 다른 아키텍처입니다. 에이전트는 파일을 읽고, 코드를 작성하고, 명령을 실행하고, 출력을 검사하고, 반복해야 합니다.
피해야 할 두 가지 실패 모드는 다음과 같습니다.
- 에이전트가 생성한 코드를 개발 머신이나 프로덕션 서버에서 실행하는 것 — 모델이 파괴적이거나 예상치 못한 것을 생성하는 경우 실수입니다.
- 에이전트 세션당 전체 VM을 직접 설정하는 것 — 빠르게 확장하기 어렵고, 확장 속도가 느립니다.
Novita 에이전트 샌드박스
Novita의 Agent Sandbox는 200ms 이내에 시작되는 격리된 Linux 환경을 제공합니다. 각 샌드박스에는 에이전트가 읽고 쓸 수 있는 파일 시스템, 에이전트가 명령을 실행할 수 있는 셸, 그리고 모델이 생성하는 모든 것이 다른 샌드박스나 인프라에 영향을 미칠 수 없도록 격리되어 있습니다. 세션은 요청 간에 지속되므로 에이전트는 다단계 작업에서 상태를 유지할 수 있습니다.
Python SDK는 간단합니다.
from novita_sandbox.code_interpreter import Sandbox
sandbox = Sandbox.create()
# Agent writes a file
sandbox.files.write("/workspace/app.py", code_content)
# Agent runs it
result = sandbox.commands.run("python /workspace/app.py")
print(result.stdout)
# Clean up
sandbox.kill()
이를 Novita의 LLM API에 있는 모든 OpenAI 호환 모델과 결합하면 API 키 외에는 인프라 없이 코드를 생성, 실행, 검사 및 수정할 수 있는 코딩 에이전트를 갖게 됩니다.
오픈소스 에이전트 프레임워크
Novita의 Agent Sandbox에서 드롭인 런타임으로 사용할 수 있는 여러 오픈소스 코딩 에이전트가 있습니다.
- Novita의 OpenClaw — 세션 제한 없이 Novita 샌드박스를 통해 지속적인 OpenClaw 에이전트를 배포합니다. Novita의 LLM API 및 샌드박스에 자동으로 연결되어 장기 실행 자동화 작업에 실용적입니다.
- Hermes Agent — 지속적인 메모리를 갖춘 Nous Research의 자율 에이전트입니다. 단일 세션이 아닌 장기 실행 프로세스로 실행됩니다.
- Goose — Novita를 기본 제공업체로 하는 오픈소스 코딩 에이전트(GitHub 별 45,000개 이상)로, 단일 자격 증명 뒤에 있는 200개 이상의 모델에 액세스할 수 있습니다.
기존 프레임워크를 배포하는 대신 사용자 정의 코딩 에이전트를 구축하는 팀의 경우 Novita Agent Runtime은 샌드박스 수명 주기, 도구 호출 라우팅 및 세션 지속성을 처리하는 경량 스캐폴딩 계층을 제공합니다.
어떤 오픈소스 LLM을 사용해야 할까?
의사 결정 트리는 간단합니다.
코딩 및 에이전트 작업: API를 통해 DeepSeek V4 Pro로 시작하세요. SWE-Bench 및 다단계 도구 사용을 위한 현재 성능 리더입니다. 비용이 제약이라면 DeepSeek V4 Flash는 훨씬 저렴한 가격으로 간단한 코드 작업을 처리합니다.
추론 및 수학: DeepSeek R1은 AIME 및 형식적 추론을 위한 벤치마크 기준입니다. 코드 실행보다는 구조화된 문제 해결이 포함된 작업에 사용하세요.
개방형 라이선스를 사용한 상업적 사용: Apache 2.0의 Qwen3.6은 법무팀에 친숙한 허용적 라이선스가 필요할 때 실용적인 시작점입니다. 서빙 예산 및 작업 품질 테스트에 따라 밀집 및 MoE 변형 중에서 선택하세요.
소비자 GPU에서 자체 호스팅 코딩: Qwen 2.5 Coder 32B는 단일 RTX 4090에서 실행되며 HumanEval에서 92%를 기록합니다. 고급 GPU 인프라 없이 코딩 모델을 자체 호스팅해야 하는 경우 실용적인 선택입니다.
긴 문서: 1천만 토큰 컨텍스트 윈도우를 갖춘 Llama 4 Scout는 다른 모델에서는 청킹이 필요한 워크로드를 처리합니다.
소규모 환경: Phi-4 14B는 8GB VRAM에 적합하며 명령 수행, 코드 생성 및 간단한 추론을 잘 처리합니다.
이 모든 선택의 패턴은 다음과 같습니다. 호스팅 API 액세스는 운영 오버헤드를 제거하고 환경이 발전함에 따라 모델을 전환할 수 있게 해줍니다. 자체 호스팅은 데이터 주권 또는 대규모 토큰 경제성이 GPU 운영 투자를 정당화할 때 의미가 있습니다. 대부분의 프로덕션 팀은 결국 둘 다 수행하게 됩니다.
결론
2026년의 오픈소스 LLM 환경은 2년 전과 근본적으로 다릅니다. DeepSeek V4 Pro, Qwen3.6, Kimi K2.6, GLM-5.1과 같은 모델은 에이전트 코딩, 형식적 추론, 멀티모달 분석 및 긴 컨텍스트 처리와 같은 특정 워크로드에 대한 최우선 선택입니다.
실질적인 결정은 리더보드에서 어떤 모델이 가장 좋은지가 아닙니다. 어떤 모델이 운영 모델에 적합한지입니다. 빠르게 움직이고 GPU 운영을 피해야 하는 경우 호스팅 API, 데이터가 인프라를 벗어날 수 없거나 토큰 경제성이 투자를 정당화하는 경우 자체 호스팅, 모델이 코드를 생성할 뿐만 아니라 코드에 대해 조치를 취해야 하는 경우 샌드박스 실행 계층입니다.
Novita AI의 LLM API는 OpenAI 호환 엔드포인트 뒤에 있는 주요 오픈소스 모델을 다루므로, 각 모델 릴리스마다 스택을 다시 빌드하지 않고도 DeepSeek, Qwen, Kimi 또는 GLM에 대해 동일한 통합 코드를 실행할 수 있습니다. 작업에 코드 실행이 필요한 경우 Agent Sandbox와 결합하면 기본 인프라를 직접 관리하지 않고도 프로덕션 준비가 완료된 코딩 에이전트의 핵심을 갖게 됩니다.
FAQ
2026년 최고의 오픈소스 LLM은 무엇인가요?
DeepSeek V4 Pro는 에이전트 코딩에 강력한 후보이고, Kimi K2.6은 장기적 도구 사용을 목표로 하며, Qwen3.6은 여러 크기에 걸쳐 Apache 2.0 옵션을 제공하고, GLM-5.1은 지속적인 에이전트 실행을 목표로 합니다. 정답은 작업, 라이선스 요구 사항, 하드웨어 및 자체 호스팅 여부에 따라 다릅니다.
로컬 사용에 가장 적합한 오픈소스 LLM은 무엇인가요?
Qwen 2.5 Coder 32B(단일 RTX 4090), Phi-4 14B(8GB VRAM), Llama 4 Scout(16GB VRAM, 1천만 컨텍스트)는 로컬 추론을 위한 실용적인 선택입니다. 70B 이상의 모델은 일반적으로 다중 GPU 설정이 필요합니다.
오픈소스 대규모 언어 모델이 폐쇄형 모델만큼 좋은가요?
특정 작업의 경우 그렇습니다. DeepSeek V4 Pro는 SWE-Bench 및 코딩 벤치마크에서 GPT-4.1과 동등하거나 이를 능가합니다. 일반적인 개방형 작업의 경우 최고의 폐쇄형 모델이 여전히 우위를 점하고 있습니다. 격차는 특정 작업과 벤치마크에 크게 의존합니다.
오늘의 오픈소스 LLM 뉴스는 무엇인가요?
2026년 7월 22일 기준, 최근 오픈 가중치 릴리스로는 Qwen3.6, Kimi K2.6, GLM-5.1 및 DeepSeek V4 Pro가 있습니다. Kimi K3가 발표되었지만 전체 가중치는 7월 27일로 예정되어 있으므로 아직 다운로드 가능한 오픈 가중치 옵션으로 취급해서는 안 됩니다.
자체 호스팅 없이 오픈소스 LLM 모델에 어떻게 액세스하나요?
호스팅 추론 API를 사용하세요. Novita AI는 DeepSeek, Qwen, Kimi, GLM, MiniMax 및 기타 오픈소스 모델에 대한 OpenAI 호환 액세스를 제공합니다. 기본 URL을 https://api.novita.ai/v3/openai로 변경하고 모델 ID를 원하는 것으로 변경하세요. 기존 코드에 대한 다른 변경은 필요 없습니다.
오픈소스 LLM과 오픈소스 언어 모델의 차이점은 무엇인가요?
이 두 용어는 대부분의 맥락에서 같은 의미로 사용됩니다. 기술적으로 "대규모 언어 모델"은 대규모로 훈련된 트랜스포머 기반 언어 모델을 특별히 지칭합니다. "오픈소스 언어 모델"은 더 작은 모델이나 트랜스포머 아키텍처 외부의 모델을 지칭할 수도 있지만, 현재 사용법에서는 두 용어 모두 동일한 모델 범주를 설명합니다.
