Novita AI가 ‘Build Month’ 캠페인을 시작하며, 개발자에게 모든 주요 제품에 대해 최대 20% 할인이라는 독점 혜택을 제공합니다!
멀티모달 에이전트와 복잡한 워크플로우를 구축하는 사용자들은 단일 모델이 이미지, 문서, UI 상태를 안정적으로 해석하고, 시각적 제약 조건에 대해 추론하며, 도구를 조정하고, 긴 컨텍스트에서 안정성을 유지하는 방법을 이해하는 데 어려움을 겪는 경우가 많습니다. GLM-4.6V는 통합된 비전-언어 아키텍처, 네이티브 멀티모달 도구 사용, 강력한 에이전트 추론 능력을 제공함으로써 이러한 문제를 직접 해결합니다. 이 글에서는 GLM-4.6V가 어떻게 아키텍처링 되었는지, 벤치마크를 통해 그 효과성이 어떻게 검증되었는지, 실제 워크플로우 내에서 어떻게 기능하는지, 그리고 개발자가 API를 통해 GLM-4.6V에 효율적으로 접근하는 방법을 설명합니다.
GLM-4.6V의 아키텍처는 무엇인가요?
네이티브 멀티모달 도구 사용
GLM-4.6V는 기본적인 멀티모달 도구 호출 기능을 갖추고 있습니다.
- 멀티모달 입력: 이미지, 스크린샷, 문서 페이지를 텍스트 설명으로 변환하지 않고 직접 도구 매개변수로 전달할 수 있어 신호 손실을 최소화합니다.
- 멀티모달 출력: 모델은 도구가 반환한 결과(검색 결과, 통계 차트, 렌더링된 웹 스크린샷, 검색된 제품 이미지 등)를 시각적으로 이해하고 후속 추론 체인에 통합할 수 있습니다.
핵심 아키텍처 속성
-
통합 비전-언어 표현
- 시각적 특징과 텍스트 의미가 공유 공간으로 정렬되어 공동 추론이 가능합니다.
-
긴 컨텍스트 상호작용
- 대화 기록, 문서 조각, 도구 출력을 혼합한 워크플로우를 지원합니다.
-
구조화된 출력 친화성
- 설명 전용 VLM 사용보다 함수 호출, JSON 스키마 준수, 제약 조건 따르기에 더 적합합니다.
벤치마크 결과에 따르면 GLM-4.6V는 실제 워크플로우에서 얼마나 효과적인가요?
1. 시각 기반 작업 이해
다이어그램, 스크린샷, 시각적 사양에서 추상적인 작업을 기반화
GLM-4.6V는 원시 시각적 입력을 구조화된 의미 이해로 변환하는 데 강력한 능력을 보여주며, 이는 에이전트 워크플로우를 초기화하는 데 필수적입니다.
| 벤치마크 | 측정된 능력 | GLM-4.6V |
|---|---|---|
| MMBench v1.1 | 일반 시각 질문 답변 | 88.8 |
| MMBench v1.1 (CN) | 교차 언어 시각 이해 | 88.2 |
| MMStar | 세밀한 멀티모달 인식 | 75.9 |
| BLINK (val) | 시각적 기반 및 정렬 | 65.5 |
2. 시각적 제약 조건에 대한 멀티모달 추론
논리 및 수학적 추론에서 변수로 이미지 사용
지각을 넘어, GLM-4.6V는 경쟁력 있는 멀티모달 추론 성능을 보여주며, 이는 결정이 시각적 증거에 의존하는 워크플로우에 중요합니다.
| 벤치마크 | 추론 초점 | GLM-4.6V |
|---|---|---|
| MMMU (val) | 일반 멀티모달 추론 | 76.0 |
| MMMU-Pro | 고급 멀티모달 추론 | 66.0 |
| MathVista | 시각-수학 추론 | 85.2 |
| AI2D | 다이어그램 기반 추론 | 88.8 |
3. 스크린샷 기반 상태 진단
시각적 증거로부터 UI 상태 및 런타임 조건 해석
GLM-4.6V는 스크린샷과 시각적 아티팩트로부터 시스템 상태를 추론할 수 있어 디버깅 및 에이전트 모니터링에 특히 유용합니다.
| 벤치마크 | 측정된 능력 | GLM-4.6V |
|---|---|---|
| VideoMMMU | 시간적 및 상태 추론 | 74.7 |
| DynaMath | 동적 시각 추론 | 54.5 |
| WeMath | 응용 시각 추론 | 69.8 |
4. 에이전트 계획 및 도구 조정
단계별 도구 사용 계획, 스케줄링 및 검증
GLM-4.6V의 에이전트 벤치마크는 수동적인 응답자가 아닌 중앙 제어기로서의 적합성을 나타냅니다.
| 벤치마크 | 에이전트 행동 | GLM-4.6V |
|---|---|---|
| Design2Code | 시각-행동 계획 | 88.6 |
| Flame-React-Eval | 다단계 반응 추론 | 86.3 |
| OSWorld | 도구 기반 환경 상호작용 | 37.2 |
| AndroidWorld | 모바일 에이전트 추론 | 57.0 |
| WebVoyager | 웹 탐색 및 계획 | 81.0 |
5. 긴 컨텍스트 멀티모달 정렬
문서, 이미지, 도구 출력 전반에서 일관성 유지
긴 컨텍스트 벤치마크는 확장된 상호작용에서 모델이 제약 조건을 얼마나 잘 유지하는지 보여줍니다.
| 벤치마크 | 컨텍스트 능력 | GLM-4.6V |
|---|---|---|
| MMLongBench-Doc | 문서 수준 추론 | 54.9 |
| MMLongBench-128K | 초장기 컨텍스트 | 64.1 |
| LVBench | 긴 시각 추론 | 59.5 |
6. OCR, 차트 및 공간 기반
문서 및 공간 레이아웃에서 구조 추출
이러한 기능은 워크플로우가 보고서, 대시보드 또는 스캔된 문서의 스크린샷에 의존할 때 중요합니다.
| 벤치마크 | 능력 | GLM-4.6V |
|---|---|---|
| OCRBench | 텍스트 추출 | 86.5 |
| OCR-Bench v2 (EN) | 영어 OCR | 65.1 |
| ChartQAPro | 차트 이해 | 65.5 |
| OmniSpatial | 공간 추론 | 52.0 |
| RefCOCO-avg (val) | 참조 표현 기반 | 88.6 |
GLM-4.6V는 엔드투엔드 워크플로우 내에서 어떤 역할을 하나요?
GLM-4.6V는 단일 응답 생성기가 아닌 추론 및 조정 계층으로 가장 효과적입니다. 멀티모달 입력을 해석하고, 제약 조건을 추출하며, 도구 사용을 계획하고, 중간 결과를 검증합니다.
| 워크플로우 역할 | 일반적인 입력 | 다운스트림 사용 |
|---|---|---|
| 추론 + 조정 계층 (전체 역할) | 이미지, 문서, UI 스크린샷, 도구 출력, 작업 목표 | 오류 전파가 줄어든 안정적인 도구 증강 워크플로우 |
| 시각 기반 작업 이해 | 아키텍처 다이어그램, 시퀀스 다이어그램, 배포 스크린샷 | 좁은 저장소 검색; 코드 경로 우선순위 지정; 타겟 테스트 계획 생성 |
| 스크린샷 기반 상태 추론 | 오류 대화상자, 깨진 레이아웃, 대시보드 이상 징후 | 자동화된 로그 검색; 타겟 추적; 인시던트 런북 |
| 문서 정렬 추론 | API 문서 페이지, SDK 코드 조각, 매개변수 테이블 | 문서에 맞춰진 코드 생성; 계약 테스트; 스키마 검증 |
| 다단계 계획 및 검증 | 상위 수준 작업 목표; 이미지; 문서; 중간 도구 출력 | 신뢰할 수 있는 에이전트 루프; 컨텍스트 드리프트 감소; 더 안전한 다중 도구 실행 |
https://www.youtube.com/watch?v=5gqJKZWYOB4
API를 통해 GLM-4.6V에 접근하는 방법은?
Novita AI는 131K 컨텍스트 윈도우를 갖춘 ERNIE-4.5-VL-28B-A3B-Thinking API를 입력 $0.3, 출력 $0.9의 가격으로 제공하며, 구조화된 출력과 함수 호출을 지원합니다.
Cache Read: $0.055 / M Token — 캐시 적중 시 캐시된 토큰을 읽는 비용을 나타냅니다. 이 토큰들은 이전에 계산되어 저장되었으므로 추가 모델 추론이 필요하지 않습니다. 많은 요청이 동일한 프롬프트 접두사를 공유하는 시스템, 대화 기록, 도구 지침 또는 고정 규칙 텍스트를 재사용하는 시스템, 또는 RAG 검색 결과가 매우 반복적인 시스템에서 높은 캐시 적중률을 달성하여 전체 추론 비용을 크게 줄일 수 있습니다.
1단계: 로그인 및 모델 라이브러리 접근
계정에 로그인하고 Model Library 버튼을 클릭하세요.
2단계: 모델 선택
사용 가능한 옵션을 탐색하여 필요에 맞는 모델을 선택하세요.
3단계: 무료 체험 시작
선택한 모델의 기능을 탐색하려면 무료 체험을 시작하세요.
4단계: API 키 받기
API 인증을 위해 새 API 키를 제공합니다. “Settings” 페이지에 들어가서 이미지에 표시된 대로 API 키를 복사할 수 있습니다.
from openai import OpenAI
client = OpenAI(
api_key="<Your API Key>",
base_url="https://api.novita.ai/openai"
)
response = client.chat.completions.create(
model="zai-org/glm-4.6v",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Hello, how are you?"}
],
max_tokens=32768,
temperature=0.7
)
print(response.choices[0].message.content)
OpenAIAgentsSDK로 GLM 4.6V에 접근하는 방법
Novita AI를 OpenAI Agents SDK와 통합하여 고급 멀티 에이전트 시스템을 구축하세요.
- 플러그 앤 플레이: OpenAI Agents 워크플로우에서 Novita AI의 LLM을 사용하세요.
- 핸드오프, 라우팅, 도구 사용 지원: 위임, 분류 또는 함수 실행이 가능한 에이전트를 설계하세요. 모두 Novita AI의 모델로 구동됩니다.
- Python 통합: SDK를 Novita의 엔드포인트(
https://api.novita.ai/v3/openai)로 지정하고 API 키를 사용하기만 하면 됩니다.
타사 플랫폼에서 GLM 4.6V에 접근하는 방법
- Hugging Face: Novita AI 엔드포인트를 통해 Spaces, 파이프라인 또는 Transformers 라이브러리에서 GLM 4.6V를 사용하세요.
- 에이전트 및 오케스트레이션 프레임워크: 공식 커넥터 및 단계별 통합 가이드를 통해 Continue, AnythingLLM, LangChain, Dify, Langflow와 같은 파트너 플랫폼에 Novita AI를 쉽게 연결하세요.
- OpenAI 호환 API: OpenAI API 표준에 맞춰 설계된 Cline 및 Cursor와 같은 도구와 번거로움 없는 마이그레이션 및 통합을 누리세요.
GLM-4.6V는 단순한 시각 질문 답변 모델보다는 멀티모달 워크플로우를 위한 추론 및 조정 계층으로 가장 적합합니다. 통합된 비전-언어 표현, 긴 컨텍스트 정렬 및 강력한 도구 계획 능력을 통해 GLM-4.6V는 더 신뢰할 수 있고 확장 가능하며 비용 효율적인 멀티모달 에이전트 시스템을 가능하게 합니다.
자주 묻는 질문
GLM-4.6V의 아키텍처가 멀티모달 워크플로우에 적합한 이유는 무엇인가요?
GLM-4.6V는 통합된 비전-언어 표현과 네이티브 멀티모달 도구 호출을 사용하므로, 이미지, 문서 및 도구 출력을 GLM-4.6V가 공동으로 추론할 수 있습니다.
엔드투엔드 에이전트 워크플로우 내에서 GLM-4.6V는 어떤 역할을 하나요?
GLM-4.6V는 추론 및 조정 계층으로 작동하여 멀티모달 입력을 해석하고, 도구 사용을 계획하며, 중간 결과를 검증합니다.
개발자가 API를 통해 GLM-4.6V를 사용할 때 비용을 어떻게 절감할 수 있나요?
GLM-4.6V의 Cache Read 가격 책정을 활용하면 반복되는 프롬프트, 공유 접두사 및 반복적인 RAG 출력을 재사용하여 추론 비용을 크게 낮출 수 있습니다.
Novita AI는 AI 야망을 실현하는 올인원 클라우드 플랫폼입니다. 통합 API, 서버리스, GPU 인스턴스 — 비용 효율적인 도구를 제공합니다. 인프라를 제거하고, 무료로 시작하여 AI 비전을 현실로 만드세요.
추천 읽을거리
