GLM-4.1V-9B-Thinking은 혁신적인 90억 파라미터 비전-언어 모델로, 멀티모달 AI에 최초로 추론 중심 접근 방식을 도입했습니다. THUDM이 개발한 이 모델은 독특한 "사고 패러다임(thinking paradigm)"을 구현하여 투명하고 단계적인 추론 과정을 가능하게 함으로써 최고 수준의 성능을 달성합니다.
작은 크기에도 불구하고, GLM-4.1V-9B-Thinking은 18개 벤치마크 작업에서 훨씬 더 큰 720억 파라미터 모델과 동등하거나 이를 능가하는 성능을 보여주며, 멀티모달 추론에서 탁월한 효율성과 역량을 입증했습니다.
한정된 기간 동안 신규 사용자는 $10 상당의 무료 크레딧 을 받아 GLM-4.1V-9B-Thinking을 탐색하고 구축할 수 있습니다.
다음은 Novita AI에서 제공하는 GLM-4.1V-9B-Thinking API의 현재 가격입니다: 입력 토큰 100만 개당 $0.035, 출력 토큰 100만 개당 $0.138
GLM-4.1V-9B-Thinking이란 무엇인가?
비전-언어 모델(VLM)은 지능형 시스템의 핵심 구성 요소가 되었습니다. 실제 AI 작업이 점점 더 복잡해짐에 따라, VLM은 기본적인 멀티모달 인식을 넘어 고급 추론 능력을 입증할 수 있도록 발전해야 합니다. 이러한 진화는 정확성, 포괄성, 전반적인 지능 향상에 초점을 맞추며, 복잡한 문제 해결, 긴 맥락 이해, 멀티모달 에이전트와 같은 애플리케이션의 길을 열어줍니다.
GLM-4.1V-9B-Thinking은 다목적 멀티모달 이해 및 추론을 발전시켜 이러한 요구를 충족하도록 설계된 차세대 비전-언어 모델(VLM)입니다. GLM-4-9B-0414 기반 모델 위에 구축되어, 차별화된 혁신적인 "사고 패러다임"을 도입했습니다.
이 새로운 패러다임을 통해 모델은 최종 출력을 제공하기 전에 명시적이고 단계적인 추론을 수행할 수 있습니다. 직접적인 응답을 생성하는 기존 모델과 달리, GLM-4.1V-9B-Thinking은 추론 과정을 외부화하여 투명하고, 해석 가능하며, 검증 가능하게 만듭니다—이는 더 신뢰할 수 있고 유능한 AI 시스템을 위한 길을 닦습니다.
주요 기능 및 혁신
유연한 입력 처리: 모델은 임의의 이미지 해상도와 종횡비를 지원합니다. 2D-RoPE를 통합하여 극단적인 종횡비(200:1 초과) 또는 고해상도(4K 이상)의 이미지를 효과적으로 처리할 수 있습니다.
위치 임베딩 적응: 사전 훈련된 ViT의 기본 기능을 보존하기 위해 모델은 원래의 학습 가능한 절대 위치 임베딩을 유지합니다. 훈련 중에 이러한 임베딩은 쌍삼차 보간법(bicubic interpolation)을 통해 가변 해상도 입력에 동적으로 적응됩니다.
시간적 이해: 비디오 콘텐츠의 경우, 모델은 각 프레임 토큰 뒤에 시간 인덱스 토큰을 삽입합니다. 시간 인덱스는 각 프레임의 타임스탬프를 문자열로 인코딩하여 구현됩니다. 이 설계는 모델에게 실제 타임스탬프와 프레임 간 시간적 거리를 명시적으로 알려줍니다.
확장된 컨텍스트 지원: 모델은 64K 컨텍스트 길이를 지원하며 중국어와 영어의 이중 언어 기능을 제공하여 장문 문서 이해 및 교차 문화 애플리케이션에 강력합니다.
이전 모델 대비 주요 개선 사항:
- 다양한 하위 도메인에서 세계 최고 수준의 성능을 달성하는 시리즈 최초의 추론 중심 모델
- 64K 컨텍스트 길이 지원
- 임의의 종횡비 및 최대 4K 이미지 해상도 처리
- 중국어 및 영어 이중 언어 사용을 지원하는 오픈소스 버전 제공
혁신적인 훈련 프레임워크
GLM-4.1V-9B-Thinking은 커리큘럼 샘플링을 통한 강화 학습(RLCS, Reinforcement Learning with Curriculum Sampling)을 특징으로 하는 혁신적인 훈련 방식을 사용하여 여러 도메인에서 추론 능력을 체계적으로 향상시킵니다.
1단계: 사전 훈련 기반
모델은 정확한 사실 지식을 포함한 대규모 이미지-텍스트 쌍, 자체 선별된 이미지와 텍스트가 혼합된 학술 말뭉치(academic corpus), 주석이 달린 문서 및 다이어그램을 포함한 강력한 기본 기능을 갖추기 위해 대규모 사전 훈련을 거칩니다.
2단계: 지도 미세 조정
이 단계는 강화 학습으로의 브릿지 역할을 하여, 기본 VLM을 긴 사고 사슬(CoT, chain-of-thought) 추론이 가능한 모델로 변환합니다. 각 응답은 thinking 및 <answer> 섹션이 있는 표준화된 구조를 따릅니다.
3단계: 강화 학습 혁신
팀은 커리큘럼 샘플링을 통한 강화 학습(RLCS)을 도입하여 대규모의 교차 도메인 추론 능력을 추진합니다. RLCS는 커리큘럼 학습과 난이도 인식 샘플링을 결합하여 훈련 효율성을 향상시킵니다.
출처: THUDM
다른 고급 VLM과의 비교
출처: THUDM
탁월한 효율성: 상대적으로 작은 크기임에도 불구하고, GLM-4.1V-9B-Thinking은 28개 벤치마크 중 18개에서 훨씬 더 큰 Qwen2.5-VL-72B 모델보다 뛰어난 성능을 보입니다. 여기에는 특히 까다로운 작업인 MMStar(72.9 대 70.8), MUIRBENCH(74.7 대 62.9), MMMU-Pro(57.1 대 51.1), ChartMuseum(48.8 대 39.6)이 포함되어 모델의 뛰어난 효율성과 역량을 보여줍니다.
독점 모델과의 경쟁력: 독점 모델인 GPT-4o와 비교하여 GLM-4.1V-9B-Thinking은 MMStar(72.9 대 66.2), MUIRBENCH(74.7 대 69.7), AI2D(87.9 대 84.8), MMMU-Pro(57.1 대 54.6), MathVista(80.7 대 64.0), MotionBench(59.0 대 58.0)를 포함한 대부분의 작업에서 우수한 결과를 달성합니다. 이는 GPT-4o의 훨씬 더 큰 규모와 폐쇄 소스라는 장점에도 불구하고 달성된 성능입니다.
전문 작업에서의 우위: 모델은 GUI 에이전트 작업에서 탁월한 성능을 보여 WebQuest-SingleQA에서 72.1(Qwen2.5-VL-72B는 60.5, GPT-4o는 57.0), WebVoyageSom에서 69.0(Qwen2.5-VL-72B는 40.4, GPT-4o는 59.4)을 기록했습니다. 코딩 작업에서는 Flame-VLM-Code에서 72.5를 달성하여 72B 모델(46.3)을 크게 능가하고 GPT-4o(75.0)와 경쟁력을 유지합니다.
최적의 리소스 효율성: 이러한 결과는 GLM-4.1V-9B-Thinking이 성능과 효율성 사이에 탁월한 균형을 제공한다는 점을 강조합니다. 이는 컴퓨팅 리소스가 제한된 실제 배포에서 매력적인 선택이 되며, 리소스 제약 하에서 실용적이고 강력한 솔루션을 제공하면서도 훨씬 더 큰 시스템과 경쟁력 있는 성능을 유지합니다.
지금 GLM-4.1V-9B-Thinking 데모 살펴보기
런타임 요구 사항
모델의 효율적인 아키텍처는 공식 사양을 기반으로 다양한 하드웨어 구성에서 유연한 배포 옵션을 가능하게 합니다.
추론(Inference)
장치 (단일 GPU) |
프레임워크 | 최소 메모리 | 속도 | 정밀도 |
|---|---|---|---|---|
| NVIDIA A100 | transformers | 22GB | 14 - 22 Tokens / s | BF16 |
| NVIDIA A100 | vLLM | 22GB | 60 - 70 Tokens / s | BF16 |
미세 조정(Fine-tuning)
다음 결과는 LLaMA-Factory 도구 키트를 사용한 이미지 미세 조정을 기반으로 합니다.
| 장치 (클러스터) | 전략 | 최소 메모리 / # of GPUs | 배치 크기 (GPU당) | 고정(Freezing) |
|---|---|---|---|---|
| NVIDIA A100 | LORA | 21GB / 1 GPU | 1 | VIT 고정 |
| NVIDIA A100 | FULL ZERO2 | 280GB / 4 GPUs | 1 | VIT 고정 |
| NVIDIA A100 | FULL ZERO3 | 192GB / 4 GPUs | 1 | VIT 고정 |
| NVIDIA A100 | FULL ZERO2 | 304GB / 4 GPUs | 1 | 고정 안함 |
| NVIDIA A100 | FULL ZERO3 | 210GB / 4 GPUs | 1 | 고정 안함 |
참고: Zero2로 미세 조정하면 손실이 0이 될 수 있습니다. 안정적인 훈련을 위해 Zero3를 권장합니다.
Novita AI에서 GLM-4.1V-9B-Thinking에 액세스하는 방법
Novita AI에서 GLM-4.1V-9B-Thinking을 시작하는 것은 빠르고 간단하며 위험이 없습니다. 추천 프로그램 덕분에 $10의 무료 크레딧 을 받아 GLM-4.1V-9B-Thinking의 멀티모달 추론 성능을 충분히 탐색하고, 프로토타입을 구축하며, 선불 비용 없이 첫 번째 사용 사례를 시작할 수 있습니다.
플레이그라운드 사용하기 (코딩 불필요)
즉시 액세스: 가입하고, 무료 크레딧을 받고, 즉시 GLM-4.1V-9B-Thinking 및 기타 최고 멀티모달 모델을 실험해 보세요.
대화형 UI: 실시간으로 이미지 이해, 차트 분석, 투명한 추론 워크플로우를 테스트하세요. 직관적인 인터페이스를 통해 모델의 독특한 사고 패러다임을 경험하세요.
모델 비교: GLM-4.1V-9B-Thinking, 다른 비전-언어 모델, 텍스트 전용 모델 간에 쉽게 전환하여 멀티모달 요구 사항에 가장 적합한 모델을 찾으세요.
API를 통한 통합 (개발자용)
Novita AI의 통합 REST API를 사용하여 모델 가중치나 인프라를 관리할 필요 없이 GLM-4.1V-9B-Thinking을 애플리케이션, 워크플로우 또는 챗봇에 원활하게 연결하세요.
옵션 1: 직접 API 통합 (Python 예제)
멀티모달 입력을 시작하려면 아래 코드 스니펫을 사용하세요:
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="",
)
model = "thudm/glm-4.1v-9b-thinking"
stream = True # or False
max_tokens = 4000
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
주요 특징:
- 통합 엔드포인트:
/v3/openai는 OpenAI의 Chat Completions API 형식을 지원합니다. - 유연한 제어: temperature, top-p, 패널티 등을 조정하여 맞춤형 결과를 얻을 수 있습니다.
- 스트리밍 및 배치: 원하는 응답 모드를 선택하세요.
옵션 2: OpenAI Agents SDK를 사용한 멀티 에이전트 워크플로우
Novita AI를 OpenAI Agents SDK와 통합하여 고급 멀티모달 에이전트 시스템을 구축하세요:
플러그 앤 플레이: 비전-언어 작업을 위해 모든 OpenAI Agents 워크플로우에서 GLM-4.1V-9B-Thinking을 사용하세요.
핸드오프, 라우팅 및 도구 사용 지원: 시각적 콘텐츠를 분석하고, 작업을 위임하거나, 함수를 실행할 수 있는 에이전트를 설계하세요. 이 모든 것은 GLM-4.1V-9B-Thinking의 추론 기능으로 구동됩니다.
Python 통합: SDK를 Novita의 엔드포인트(https://api.novita.ai/v3/openai)로 지정하고 API 키를 사용하여 원활한 멀티모달 에이전트 워크플로우를 구현하세요.
타사 플랫폼에서 GLM-4.1V-9B-Thinking API 연결
Hugging Face: 멀티모달 애플리케이션을 위해 Novita AI 엔드포인트를 통해 Spaces, 파이프라인 또는 Transformers 라이브러리에서 GLM-4.1V-9B-Thinking을 사용하세요.
에이전트 및 오케스트레이션 프레임워크: 공식 커넥터와 단계별 통합 가이드를 통해 Continue, AnythingLLM, LangChain, Dify 및 Langflow와 같은 파트너 플랫폼에 Novita AI를 쉽게 연결하세요.
OpenAI 호환 API: OpenAI API 표준을 위해 설계된 Cline 및 Cursor와 같은 도구와 번거로움 없는 마이그레이션 및 통합을 제공합니다.
결론
GLM-4.1V-9B-Thinking은 멀티모달 AI의 획기적인 이정표를 나타내며, 고급 추론 능력이 90억 파라미터 모델에서 효율적으로 달성될 수 있음을 보여줍니다. 혁신적인 RLCS 훈련 프레임워크와 독특한 사고 패러다임을 통해 다양한 벤치마크에서 훨씬 더 큰 720억 파라미터 시스템과 동등하거나 능가합니다.
지금 Novita AI에서 GLM-4.1V-9B-Thinking 데모를 사용해보고 무료 크레딧을 받으세요!
Novita AI는 간단한 API를 통해 개발자가 AI 모델을 쉽게 배포할 수 있도록 지원하는 AI 클라우드 플랫폼이며, 구축 및 확장을 위한 합리적이고 안정적인 GPU 클라우드도 제공합니다.
