Moonshot AI가 개발한 Kimi‑K2‑Instruct은 Novita AI를 통해 이용할 수 있는 차세대 희소 MoE 모델입니다. 총 1조 개의 파라미터, 320억 개의 활성 파라미터, 128,000토큰 컨텍스트 창을 갖추고 있어 에이전트 행동, 도구 사용, 긴 컨텍스트 추론에 최적화되어 있습니다.
다음은 Novita AI에서의 Kimi‑K2‑Instruct 현재 가격입니다: 입력 토큰 100만 개당 $0.57, 출력 토큰 100만 개당 $2.3
Kimi K2란 무엇인가요?
Moonshot AI(베이징 소재, 2023년 설립)는 Kimi 브랜드(K1.5, K2 및 멀티모달 Kimi‑VL 모델 포함)를 개발하고 있습니다. 이들의 오픈 사이언스 미션은 강력하고 에이전트적인 지능을 민주화하는 것을 목표로 합니다.
Moonshot AI가 개발한 Kimi K2는 320억 개의 활성 파라미터와 총 1조 개의 파라미터를 갖춘 최첨단 혼합 전문가(MoE) 언어 모델입니다. Muon 옵티마이저로 학습된 Kimi K2는 최첨단 지식, 추론 및 코딩 작업에서 뛰어난 성능을 제공하며, 고급 에이전트 기능에 맞게 세밀하게 조정되었습니다.
주요 특징
- 대규모 학습: 15.5T 토큰으로 1T 파라미터 MoE 모델을 사전 학습하였으며, 학습 불안정성이 전혀 없었습니다.
- MuonClip 옵티마이저: Muon 옵티마이저를 전례 없는 규모에 적용하고, 확장 과정에서 불안정성을 해결하기 위한 새로운 최적화 기술을 개발했습니다.
- 에이전트 지능: 도구 사용, 추론 및 자율 문제 해결에 특별히 설계되었습니다.
모델 변종
- Kimi-K2-Base: 기초 모델로, 미세 조정 및 맞춤 솔루션에 대한 완전한 제어를 원하는 연구자와 개발자에게 적합한 강력한 출발점입니다.
- Kimi-K2-Instruct: 사후 학습된 모델로, 바로 사용 가능한 일반 채팅 및 에이전트 경험에 가장 적합합니다. 긴 사고 없이 반사 수준의 모델입니다.
명령 모델 평가 결과
|벤치마크|메트릭|Kimi K2 Instruct|DeepSeek-V3-0324|Qwen3-235B-A22B
(비사고)|Claude Sonnet 4
(확장 사고 미사용)|Claude Opus 4
(확장 사고 미사용)|GPT-4.1|Gemini 2.5 Flash
Preview (05-20)|
|—|—|—|—|—|—|—|—|—|
|코딩 작업|
|LiveCodeBench v6
(2024년 8월 - 2025년 5월)|Pass@1|53.7|46.9|37.0|48.5|47.4|44.7|44.7|
|OJBench|Pass@1|27.1|24.0|11.3|15.3|19.6|19.5|19.5|
|MultiPL-E|Pass@1|85.7|83.1|78.2|88.6|89.6|86.7|85.6|
|SWE-bench Verified
(에이전트리스 코딩)|단일 패치, 테스트 없음 (Acc)|51.8|36.6|39.4|50.2|53.0|40.8|32.6|
|SWE-bench Verified
(에이전트 코딩)|단일 시도 (Acc)|65.8|38.8|34.4|72.7*|72.5*|54.6|—|
|복수 시도 (Acc)|71.6|—|—|80.2|79.4*|—|—|
|SWE-bench Multilingual
(에이전트 코딩)|단일 시도 (Acc)|47.3|25.8|20.9|51.0|—|31.5|—|
|TerminalBench|사내 프레임워크 (Acc)|30.0|—|—|35.5|43.2|8.3|—|
|Terminus (Acc)|25.0|16.3|6.6|—|—|30.3|16.8|
|Aider-Polyglot|Acc|60.0|55.1|61.8|56.4|70.7|52.4|44.0|
|도구 사용 작업|
|Tau2 retail|Avg@4|70.6|69.1|57.0|75.0|81.8|74.8|64.3|
|Tau2 airline|Avg@4|56.5|39.0|26.5|55.5|60.0|54.5|42.5|
|Tau2 telecom|Avg@4|65.8|32.5|22.1|45.2|57.0|38.6|16.9|
|AceBench|Acc|76.5|72.7|70.5|76.2|75.6|80.1|74.5|
|수학 및 STEM 작업|
|AIME 2024|Avg@64|69.6|59.4*|40.1*|43.4|48.2|46.5|61.3|
|AIME 2025|Avg@64|49.5|46.7|24.7*|33.1*|33.9*|37.0|46.6|
|MATH-500|Acc|97.4|94.0*|91.2*|94.0|94.4|92.4|95.4|
|HMMT 2025|Avg@32|38.8|27.5|11.9|15.9|15.9|19.4|34.7|
|CNMO 2024|Avg@16|74.3|74.7|48.6|60.4|57.6|56.6|75.0|
|PolyMath-en|Avg@4|65.1|59.5|51.9|52.8|49.8|54.0|49.9|
|ZebraLogic|Acc|89.0|84.0|37.7*|73.7|59.3|58.5|57.9|
|AutoLogi|Acc|89.5|88.9|83.3|89.8|86.1|88.2|84.1|
|GPQA-Diamond|Avg@8|75.1|68.4*|62.9*|70.0*|74.9*|66.3|68.2|
|SuperGPQA|Acc|57.2|53.7|50.2|55.7|56.5|50.8|49.6|
|Humanity’s Last Exam
(텍스트 전용)|-|4.7|5.2|5.7|5.8|7.1|3.7|5.6|
|일반 작업|
|MMLU|EM|89.5|89.4|87.0|91.5|92.9|90.4|90.1|
|MMLU-Redux|EM|92.7|90.5|89.2|93.6|94.2|92.4|90.6|
|MMLU-Pro|EM|81.1|81.2*|77.3|83.7|86.6|81.8|79.4|
|IFEval|Prompt Strict|89.8|81.1|83.2*|87.6|87.4|88.0|84.3|
|Multi-Challenge|Acc|54.1|31.4|34.0|46.8|49.0|36.4|39.5|
|SimpleQA|Correct|31.0|27.7|13.2|15.9|22.8|42.3|23.3|
|Livebench|Pass@1|76.4|72.4|67.6|74.8|74.6|69.8|67.8|
Kimi-K2 지원 엔진 및 최소 하드웨어
지원 엔진
- vLLM
- SGLang
- TensorRT-LLM
- KTransformers
최소 하드웨어
| 하드웨어 | 최소 요구 사항 |
|---|---|
| GPU 유형 | H200 |
| 클러스터 크기 | 16 GPU (최소) |
| 병렬 처리 모드 | 텐서 병렬 처리 (TP-16) 또는 데이터 병렬 + 전문가 병렬 처리 |
| 가중치 형식 | 128k seqlen의 FP8 가중치 |
vLLM 및 SGLang의 배포 예제는 모델 배포 가이드에서 확인할 수 있습니다.
Novita AI에서 Kimi‑K2‑Instruct에 액세스하는 방법
Novita AI에서 Kimi‑K2‑Instruct를 시작하는 것은 빠르고 간단하며 저렴합니다.
플레이그라운드 사용하기 (코딩 불필요)
즉시 액세스: 가입하고 몇 초 안에 Kimi‑K2‑Instruct 및 다른 최고 모델을 실험해 보세요.
대화형 UI: 직관적인 인터페이스를 통해 모델을 경험해 보세요.
모델 비교: Kimi‑K2‑Instruct와 다른 최고 모델 간에 쉽게 전환하여 필요에 가장 적합한 모델을 찾으세요.
API를 통한 통합 (개발자용)
Novita AI의 통합 REST API를 사용하여 Kimi‑K2‑Instruct를 애플리케이션, 워크플로 또는 챗봇에 원활하게 연결하세요. 모델 가중치나 인프라를 관리할 필요가 없습니다.
옵션 1: 직접 API 통합 (Python 예제)
시작하려면 아래 코드 스니펫을 사용하세요.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="",
)
model = "moonshotai/kimi-k2-instruct"
stream = True # or False
max_tokens = 65536
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
주요 기능:
- 통합 엔드포인트:
/v3/openai는 OpenAI의 Chat Completions API 형식을 지원합니다. - 유연한 제어: temperature, top-p, 페널티 등을 조정하여 맞춤 결과를 얻을 수 있습니다.
- 스트리밍 및 배치: 원하는 응답 모드를 선택할 수 있습니다.
옵션 2: OpenAI Agents SDK를 사용한 멀티 에이전트 워크플로
Novita AI를 OpenAI Agents SDK와 통합하여 고급 멀티모달 에이전트 시스템을 구축하세요.
플러그 앤 플레이: 모든 OpenAI Agents 워크플로에서 Kimi‑K2‑Instruct를 사용하세요.
핸드오프, 라우팅 및 도구 사용 지원: 시각적 콘텐츠를 분석하거나, 작업을 위임하거나, 함수를 실행할 수 있는 에이전트를 설계하세요.
Python 통합: SDK를 Novita의 엔드포인트(https://api.novita.ai/v3/openai)로 지정하고 API 키를 사용하여 원활한 에이전트 워크플로를 진행하세요.
옵션 3: 타사 플랫폼에서 Kimi‑K2‑Instruct API 연결
Hugging Face: Novita AI 엔드포인트를 통해 Spaces, 파이프라인 또는 Transformers 라이브러리에서 Kimi‑K2‑Instruct를 사용하세요.
에이전트 및 오케스트레이션 프레임워크: 공식 커넥터와 단계별 통합 가이드를 통해 Continue, AnythingLLM, LangChain, Dify 및 Langflow와 같은 파트너 플랫폼에 Novita AI를 쉽게 연결하세요.
OpenAI 호환 API: Cline, Trae, Cursor 등 OpenAI API 표준용으로 설계된 도구와 함께 번거로움 없는 마이그레이션 및 통합을 경험하세요.
결론
Kimi-K2-Instruct는 코딩, 추론 및 에이전트 AI 분야에서 새로운 지평을 열어가는 강력하고 개방형 액세스 가능한 1T 파라미터 MoE 모델입니다.
이제 Novita AI 에서 제공되며, 방대한 규모, 도구 사용 지능, 긴 컨텍스트 처리를 결합하여 효율적인 추론 인프라로 배포할 수 있습니다. 차세대 AI 어시스턴트, 에이전트 및 추론 엔진을 구축하는 개발자와 연구자에게 Kimi-K2-Instruct는 강력하고 유연하며 프로덕션에 바로 사용할 수 있는 최첨단 기반을 제공합니다.
Novita AI에서 Kimi-K2-Instruct 데모를 사용해 보세요!
Novita AI는 개발자가 간단한 API를 사용해 AI 모델을 쉽게 배포할 수 있도록 하고, 구축 및 확장을 위한 저렴하고 안정적인 GPU 클라우드를 제공하는 AI 클라우드 플랫폼입니다.
