Novita AI의 GLM-5.1 API: 장기 자율 에이전트 모델

GLM-5.1의 실제 새로운 점
GLM-5.1 벤치마크 결과: 코딩 및 에이전트 작업
장기 자율 에이전트 실행의 실제 모습
GLM-5.1이 만들어진 이유
Novita AI의 GLM-5.1 API 가격
시작하기: OpenAI 및 Anthropic SDK 호환
개발자를 위한 사용 사례
결론

대부분의 코딩 모델은 수십 번의 도구 호출 후에 한계에 부딪힙니다. 명백한 접근 방식을 시도하고, 아이디어가 고갈되며, 정체됩니다. 시간을 더 투자해도 소용없습니다. 모델이 이미 시도할 수 있는 모든 방법을 소진했기 때문입니다.

Z.ai의 최신 플래그십 모델인 GLM-5.1은 다른 가정을 기반으로 구축되었습니다: 유용한 최적화는 시간이 지남에 따라 감소하지 않고 축적되어야 한다는 것입니다. Z.ai 자체 벤치마크에서, GLM-5.1은 벡터 검색 문제에 대해 655번의 반복을 실행하여 21.5k QPS에 도달했습니다. 이는 표준 세션에서 최고 모델이 달성하는 성능의 약 6배입니다. 또한 8시간 동안 처음부터 Linux 데스크톱을 구축하며, 다음에 무엇을 추가할지 스스로 결정했습니다.

GLM-5.1은 이제 Novita AI에서 OpenAI 및 Anthropic 호환 API를 통해 사용 가능하며, 토큰당 요금을 지불합니다.

지금 GLM-5.1 사용해보기

GLM-5.1의 실제 새로운 점

GLM-5.1은 754B 파라미터의 Mixture-of-Experts 모델로, 추론 패스당 40B가 활성화되며 204,800 토큰의 컨텍스트 윈도우를 제공합니다.

실제 변화는 장기 작업(long-horizon tasks)에서의 동작 방식에 있습니다. Z.ai는 이를 계단 패턴(staircase pattern)이라고 부릅니다. 모델이 고정된 전략 내에서 개선을 거듭하다가 한계에 도달하면, 구조적으로 다른 접근 방식으로 전환하여 다시 성능을 끌어올립니다. 단일 VectorDBBench 실행에서 이러한 전환은 6번 발생했습니다. 각 전환은 모델이 자신의 벤치마크 로그를 분석하고 현재 진행을 막는 요인이 무엇인지 식별한 후 스스로 시작했습니다.

이는 단순히 더 긴 컨텍스트 윈도우를 갖는 것과는 다릅니다. 모델이 자체 전략을 능동적으로 관리하는 것입니다.

GLM-5.1 벤치마크 결과: 코딩 및 에이전트 작업

GLM-5.1은 코딩 및 에이전트 벤치마크에서 선두를 기록했습니다. 추론 부문에서는 Gemini 3.1 Pro와 GPT-5.4가 앞서 있습니다.

추론

벤치마크	GLM-5.1	GLM-5	Qwen3.6-Plus	MiniMax M2.7	DeepSeek-V3.2	Kimi K2.5	Claude Opus 4.6	Gemini 3.1 Pro	GPT-5.4
HLE	31.0	30.5	28.8	28.0	25.1	31.5	36.7	45.0	39.8
HLE (도구 사용)	52.3	50.4	50.6	—	40.8	51.8	53.1	51.4	52.1
AIME 2026	95.3	95.4	95.1	89.8	95.1	94.5	95.6	98.2	98.7
HMMT 2025년 11월	94.0	96.9	94.6	81.0	90.2	91.1	96.3	94.8	95.8
HMMT 2026년 2월	82.6	82.8	87.8	72.7	79.9	81.3	84.3	87.3	91.8
IMOAnswerBench	83.8	82.5	83.8	66.3	78.3	81.8	75.3	81.0	91.4
GPQA-Diamond	86.2	86.0	90.4	87.0	82.4	87.6	91.3	94.3	92.0

코딩

벤치마크	GLM-5.1	GLM-5	Qwen3.6-Plus	MiniMax M2.7	DeepSeek-V3.2	Kimi K2.5	Claude Opus 4.6	Gemini 3.1 Pro	GPT-5.4
SWE-Bench Pro	58.4	55.1	56.6	56.2	—	53.8	57.3	54.2	57.7
NL2Repo	42.7	35.9	37.9	39.8	—	32.0	49.8	33.4	41.3
Terminal-Bench 2.0 (Terminus-2)	63.5	56.2	61.6	—	39.3	50.8	65.4	68.5	—
Terminal-Bench 2.0 (최적 환경)	69.0 (Claude Code)	56.2 (Claude Code)	—	57.0 (Claude Code)	46.4 (Claude Code)	—	—	—	75.1 (Codex)
CyberGym	68.7	48.3	—	—	17.3	41.3	66.6	—	—

에이전트

벤치마크	GLM-5.1	GLM-5	Qwen3.6-Plus	MiniMax M2.7	DeepSeek-V3.2	Kimi K2.5	Claude Opus 4.6	Gemini 3.1 Pro	GPT-5.4
BrowseComp	68.0	62.0	—	—	51.4	60.6	—	—	—
BrowseComp (컨텍스트 관리 포함)	79.3	75.9	—	—	67.6	74.9	84.0	85.9	82.7
τ³-Bench	70.6	69.2	70.7	67.6	69.2	66.0	72.4	67.1	72.9
MCP-Atlas (공개 세트)	71.8	69.2	74.1	48.8	62.2	63.8	73.8	69.2	67.2
Tool-Decathlon	40.7	38.0	39.8	46.3	35.2	27.8	47.2	48.8	54.6
Vending Bench 2	$5,634	$4,432	$5,115	—	$1,034	$1,198	$8,018	$911	$6,144

SWE-Bench Pro (58.4)가 핵심 지표입니다. 이 비교에 포함된 9개 모델(오픈소스 및 독점 모델 모두) 중 가장 높은 점수입니다. CyberGym은 세대 간 가장 큰 폭의 점프를 보여줍니다: GLM-5의 48.3에서 68.7로 상승했습니다. Terminal-Bench 2.0에서 주목할 점: ‘최적 환경’ 행은 각 팀이 선호하는 실행 환경을 사용하여 자체 보고한 결과를 반영합니다. GLM-5.1은 Claude Code와 함께 69.0을 기록했고, GPT-5.4는 Codex와 함께 75.1을 기록했습니다.

장기 자율 에이전트 실행의 실제 모습

단일 패스 벤치마크 수치는 모델을 몇 시간 동안 실행했을 때 어떤 일이 일어나는지 포착하지 못합니다. Z.ai는 점진적으로 덜 구조화된 피드백을 제공하는 세 가지 시나리오를 실행하여 GLM-5.1이 어떻게 다른지 보여주었습니다.

시나리오 1: 벡터 데이터베이스 최적화, 600회 이상 반복

VectorDBBench는 모델에 HTTP 엔드포인트와 빈 구현 스텁이 있는 Rust 스켈레톤을 제공합니다. 도구 호출 기반 에이전트를 사용하여 파일을 읽고 쓰고, 컴파일하고, 테스트하고, 프로파일링합니다. 일반적으로 50회의 턴 제한 내에서 수행됩니다. 해당 제약 조건에서 최고 결과는 Claude Opus 4.6이 달성한 3,547 QPS였습니다.

Z.ai는 제한을 제거했습니다. 각 반복에서 GLM-5.1은 필요한 만큼 도구 호출을 사용한 후 새 버전을 제출하여 벤치마크를 실행할 수 있었습니다. 655회의 반복과 6,000회 이상의 도구 호출을 실행하여 21.5k QPS에 도달했습니다. 이는 단일 세션 최고 기록의 약 6배입니다.

두 가지 전환 과정이 이를 어떻게 달성했는지 보여줍니다. 약 90번째 반복 즈음, 전체 코퍼스 스캔에서 f16 벡터 압축을 사용한 IVF 클러스터 프로빙으로 전환하여 6.4k QPS로 도약했습니다. 약 240번째 반복 즈음에는 u8 사전 점수 계산 후 f16 재순위화의 2단계 파이프라인을 도입하여 13.4k QPS에 도달했습니다. 전체 실행 과정에서 이러한 구조적 전환이 6번 발생했으며, 각 전환은 모델이 자체 벤치마크 로그를 분석하고 현재 병목 현상을 식별한 후 시작되었습니다.

시나리오 2: GPU 커널 최적화, 1,000회 이상 턴

KernelBench는 모델에게 참조 PyTorch 구현을 가져와 동일한 출력을 생성하는 더 빠른 GPU 커널을 생성하도록 요청합니다. 레벨 3은 50개의 전체 모델 문제(MobileNet, VGG, MiniGPT, Mamba)를 다룹니다. 기준 성능: torch.compile 1.15배, max-autotune 1.49배.

Z.ai는 레벨 3에서 네 가지 모델을 실행하고, 도구 사용 턴에 따른 기하 평균 속도 향상을 추적했습니다:

GLM-5는 초기에 빠르게 개선되다가 정체됨
Claude Opus 4.5는 더 오래 지속되다가 역시 감소
GLM-5.1은 3.6배로 마무리되며 실행 후반에도 계속 진행
Claude Opus 4.6은 4.2배로 가장 강력하며, 끝에서도 여전히 개선 여지 보임

GLM-5.1은 여기서 Claude Opus 4.6을 따라잡지 못했습니다. 그러나 GLM-5를 넘어 유용한 실행 시간을 확실히 연장하며, 이것이 핵심입니다.

시나리오 3: Linux 데스크톱 구축, 8시간 자율 작업

처음 두 시나리오에는 최적화할 숫자가 있었습니다. 이번 시나리오에는 없습니다. 프롬프트: 웹 애플리케이션으로 Linux 스타일 데스크톱 환경을 구축하세요. 시작 코드 없음, 디자인 목업 없음, 중간 피드백 없음.

대부분의 모델은 기본적인 스켈레톤(정적 작업 표시줄, 플레이스홀더 창)을 생성한 후 완료되었다고 선언합니다.

GLM-5.1은 간단한 하네스 내에서 실행되었습니다: 각 실행 라운드 후 모델이 자체 출력을 검토하고, 누락되거나 잘못된 부분을 식별한 후 계속 진행합니다. 8시간 동안 파일 브라우저, 터미널, 텍스트 편집기, 시스템 모니터, 계산기, 기능적인 게임을 구축했으며, 각각 일관된 UI에 통합되었습니다. 스타일링은 각 패스마다 더욱 정교해졌습니다. 엣지 케이스가 처리되었습니다. 모델이 전체 로드맵을 스스로 결정했습니다.

GLM-5.1이 만들어진 이유

GLM-5.1은 추가 실행 시간이 실제로 더 나은 결과를 생성하는 작업에 가장 적합합니다:

장기 실행 코딩 에이전트 — 다중 파일 리팩터링, 마이그레이션, 전체 시스템 구축
에이전트 코딩 도구 — Claude Code, OpenClaw, Trae, Cursor, Codex, Cline과 함께 작동
터미널 자동화 — Terminal-Bench 2.0 (Terminus-2)에서 63.5점 (GLM-5의 56.2에서 상승)
사이버 보안 — CyberGym에서 68.7점, 이 벤치마크 세트 중 최고
웹 리서치 — BrowseComp에서 68.0점, 역시 최고

Novita AI의 GLM-5.1 API 가격

|가격| |—|—| |입력|$1.40 / M 토큰| |캐시 읽기|$0.26 / M 토큰| |출력|$4.40 / M 토큰|

토큰당 요금 지불, 월 약정 없음. 전체 가격은 novita.ai/pricing에서 확인하세요.

시작하기: OpenAI 및 Anthropic SDK 호환

Novita AI의 API는 OpenAI 및 Anthropic SDK 모두와 호환됩니다. 모델 ID를 입력하면 기존 설정이 그대로 실행됩니다. GLM-5.1은 Claude Code, OpenClaw, Trae, Cursor, Codex 및 OpenAI 또는 Anthropic 호환 엔드포인트를 수락하는 모든 플랫폼에서 직접 호출할 수 있습니다.

Playground에서 GLM-5.1 사용해보기 | API 문서 보기

Python (OpenAI SDK):

from openai import OpenAI

client = OpenAI(
    api_key="<Your Novita API Key>",
    base_url="https://api.novita.ai/openai"
)

response = client.chat.completions.create(
    model="zai-org/glm-5.1",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Refactor this module to use async/await throughout."}
    ],
    max_tokens=131072,
    temperature=0.7
)

print(response.choices[0].message.content)

TypeScript (OpenAI SDK):

import OpenAI from "openai";

const client = new OpenAI({
  apiKey: "<Your Novita API Key>",
  baseURL: "https://api.novita.ai/openai",
});

const response = await client.chat.completions.create({
  model: "zai-org/glm-5.1",
  messages: [
    { role: "system", content: "You are a helpful assistant." },
    { role: "user", content: "Build a CLI tool for parsing JSON logs." }
  ],
  max_tokens: 131072,
});

console.log(response.choices[0].message.content);

개발자를 위한 사용 사례

GLM-5.1은 단일 패스로 해결할 수 없고 반복적인 개선이 필요한 작업에 가장 유용합니다:

자율 코딩 에이전트 — 저장소 수준의 작업을 할당하고 모델이 체크인 없이 계획, 구현, 테스트, 반복하도록 함
CI/CD 파이프라인 자동화 — 함수 호출을 통해 GLM-5.1을 빌드/테스트/디버그 루프에 쉽게 연결 가능
장문 기술 문서 생성 — 204K 컨텍스트와 131K 출력으로 단일 호출에서 크고 일관된 문서 처리
GPU 커널 및 ML 성능 최적화 — KernelBench에서 3.6배 속도 향상은 ML 인프라 작업에 직접 적용 가능
웹 애플리케이션 스캐폴딩 — GLM-5.1은 단일 자연어 프롬프트로 전체 데스크톱 UI를 구축했습니다. 동일한 루프가 모든 복잡한 프론트엔드 또는 백엔드 작업에 적용 가능
보안 엔지니어링 — CyberGym에서 68.7점으로 자율 보안 작업에 사용 가능한 가장 강력한 모델 중 하나

결론

오픈소스 모델은 추론 벤치마크에서 격차를 좁혔습니다. 남은 격차는 장기 실행(long-horizon execution) — 수백 번의 도구 호출과 몇 시간의 자율 작업 동안 일관되고 생산적으로 유지되는 능력 — 에 있습니다. GLM-5.1은 이 격차가 좁혀질 수 있다는 가장 명확한 증거입니다.

심각한 에이전트 작업을 실행 중이고 독점 소프트웨어에 종속되는 것을 피하려는 경우, 현재 코딩 및 에이전트 작업에 가장 유능한 오픈소스 옵션입니다. Novita AI에서는 OpenAI 및 Anthropic SDK 호환성, 토큰당 요금제, 인프라 오버헤드 없이 사용할 수 있습니다.

Playground에서 GLM-5.1 사용해보기 | API 문서 보기

Novita AI는 개발자와 스타트업이 높은 성능, 안정성 및 비용 효율성으로 모델과 에이전트 애플리케이션을 구축, 배포 및 확장할 수 있도록 지원하는 AI 및 에이전트 클라우드 플랫폼입니다.

자주 묻는 질문

GLM-5와 GLM-5.1 사이에 무엇이 변경되었나요?u003c/strongu003e

가장 큰 변화는 장기 실행(long-horizon execution)입니다. GLM-5는 수십 번의 반복 후에 정체되지만, GLM-5.1은 수백 라운드에 걸쳐 새로운 전략을 계속 찾습니다. 자기 분석에 의해 촉발된 구조적 전환인 계단 패턴이 차이를 만듭니다. 코딩 벤치마크 점수도 전반적으로 향상되었습니다.

GLM-5.1은 오픈소스인가요?u003c/strongu003e

네, MIT 라이선스입니다. 가중치는 Hugging Face에 있습니다. 상업적으로 사용하고, 미세 조정하고, 자체 호스팅할 수 있습니다.

GLM-5.1과 Claude Opus 4.6을 비교하면 어떻습니까?u003c/strongu003e

SWE-Bench Pro에서 GLM-5.1은 58.4점, Claude Opus 4.6은 57.3점입니다. KernelBench 장기 GPU 최적화에서 Claude Opus 4.6이 4.2배로 GLM-5.1의 3.6배보다 앞서 있습니다. 대부분의 에이전트 코딩 작업에서 두 모델은 비슷하게 일치합니다. GLM-5.1은 오픈 가중치와 비용 측면에서 이점이 있습니다.

Novita AI의 GLM-5.1 API: 장기 자율 에이전트 모델

GLM-5.1의 실제 새로운 점

GLM-5.1 벤치마크 결과: 코딩 및 에이전트 작업