GLM 4.1V 9B Thinking — это прорывная модель ИИ, поскольку она может одновременно видеть изображения и объяснять свои рассуждения шаг за шагом. Это называется цепочкой рассуждений (CoT), и GLM делает это лучше любой другой визуально-языковой модели такого размера. Вы увидите, как она сравнивается с более крупными моделями и как можете попробовать её сами, даже если у вас нет дорогого GPU.
Какие изменения привнесла GLM 4.1V 9B Thinking в VLM-модели?
Будучи первой в мире VLM-моделью с цепочкой рассуждений (CoT), GLM не только впечатлила своими мощными возможностями, но и получила признание за производительность, сравнимую с Qwen 2.5 72B, несмотря на то, что это гораздо меньшая модель с 9B параметров. Далее давайте подробнее рассмотрим характеристики и результаты бенчмарков GLM.
Характеристики GLM 4.1V 9B Thinking
Вы можете начать бесплатную пробную версию прямо на Hugging Face!
Как GLM 4.1V 9B Thinking добилась таких улучшений?
- Обучение с SFT:
Обучающие примеры содержат явные аннотации цепочки рассуждений (CoT), поэтому модель учится «сначала думать, потом отвечать». Это отличается от традиционных моделей, которые выдают только ответ без показа этапов рассуждения. - Усиление с помощью RLCS:
Вознаграждение модели основывается не только на правильности — оно также оценивает качество процесса рассуждения и объяснений, поощряя более связное и глубокое внутреннее мышление. - Архитектурная поддержка:
Визуальный энкодер ViT передаёт данные через MLP-проектор в декодер LLM, позволяя модели бесшовно генерировать явные пути рассуждений на основе визуального ввода, а не просто извлекать или сопоставлять шаблоны. - Прочная основа для рассуждений:
Ещё один ключевой фактор: базовая модель — GLM‑4‑9B 0414 — уже обладает надёжными способностями к рассуждению. Например:- Она демонстрирует отличные математические рассуждения и общую производительность, занимая верхние строчки среди open-source моделей своего масштаба.
- С архитектурной и обучающей точек зрения GLM‑4‑9B выигрывает от авторегрессионного предобучения с заполнением пропусков и последующей тонкой настройки, что усиливает логические и многошаговые навыки рассуждения.
Более подробную информацию можно получить из статьи: GLM-4.1V-Thinking: Towards Versatile Multimodal Reasoning with Scalable Reinforcement Learning.
GLM 4.1V 9B Thinking против Qwen 2.5 VL 72B
| Бенчмарк | GLM 4.1V 9B Thinking | Qwen 2.5 VL 72B | Победитель |
|---|---|---|---|
| MMMU (изображение) | 68.0 | 70.2 | Qwen 2.5 VL |
| MMMU‑Pro | 57.1 | 51.1 | GLM |
| VideoMMMU | 61.0 | 60.2 | GLM |
| mvBench (видео) | 70.4 | 64.6 | GLM |
| AITZ_EM (агент) | 83.2 | 35.3* | GLM |
| Агент (OSWorld) | 14.9 | 8.8 | GLM |
| Агент (AndroidWorld) | 41.7 | 35.0 | GLM |
| Агент (WebVoyageSom) | 69.0 | 40.4 | GLM |
| Агент (Webquest‑SingleQA) | 72.1 | 60.5 | GLM |
| Агент (Webquest‑MultiQA) | 54.7 | 52.1 | GLM |
| Программирование (Design2Code) | 64.7 | 41.9 | GLM |
| Программирование (Flame‑VLM‑Code) | 72.5 | 46.3 | GLM |
| OCRBench | 84.2 | 85.1 | Qwen 2.5 VL |
| VideoMME (без текста) | 68.2 | 73.3 | Qwen 2.5 VL |
| VideoMME (с текстом) | 73.6 | 79.1 | Qwen 2.5 VL |
| MMVU | 59.4 | 62.9 | Qwen 2.5 VL |
Выбирайте GLM 4.1V 9B Thinking, если ваш приоритет — мультимодальные рассуждения, возможности агента, решение задач STEM или программирование.
Выбирайте Qwen 2.5 VL 72B, если вы сосредоточены на понимании документов/изображений/видео — особенно OCR, структурированное извлечение и визуальное восприятие.
Если хотите узнать больше деталей, можете прочитать эту статью: GLM 4.1V 9B Thinking vs Qwen2.5 VL 72B: Что подходит для чего?
Там также представлено сравнение с другими ведущими моделями.
Из THUDM
Как получить доступ к GLM 4.1V 9B Thinking?
1. Локальный доступ
Что ещё более впечатляет, GLM 4.1V 9B Thinking имеет всего 9 миллиардов параметров, что позволяет запускать её на GPU, таких как RTX 4090 или даже 3090. По сравнению с другими моделями, имеющими в несколько раз больше параметров, GLM достигает выдающейся производительности при гораздо меньшем размере — достижение, которое, несомненно, подчёркивает силу обучения с подкреплением.
Из THUDM
Руководство по установке
Установка:
pip install git+https://github.com/huggingface/transformers.git
Базовое использование:
from transformers import AutoProcessor, Glm4vForConditionalGeneration
import torch
MODEL_PATH = "THUDM/GLM-4.1V-9B-Thinking"
messages = [
{
"role": "user",
"content": [
{
"type": "image",
"url": "https://upload.wikimedia.org/wikipedia/commons/f/fa/Grayscale_8bits_palette_sample_image.png"
},
{
"type": "text",
"text": "describe this image"
}
],
}
]
processor = AutoProcessor.from_pretrained(MODEL_PATH, use_fast=True)
model = Glm4vForConditionalGeneration.from_pretrained(
pretrained_model_name_or_path=MODEL_PATH,
torch_dtype=torch.bfloat16,
device_map="auto",
)
inputs = processor.apply_chat_template(
messages,
tokenize=True,
add_generation_prompt=True,
return_dict=True,
return_tensors="pt"
).to(model.device)
generated_ids = model.generate(**inputs, max_new_tokens=8192)
output_text = processor.decode(generated_ids[0][inputs["input_ids"].shape[1]:], skip_special_tokens=False)
print(output_text)
Если покупка GPU кажется слишком дорогой, вы можете воспользоваться экономичными и надёжными облачными GPU от Novita AI — например, RTX 4090 всего за $0.69 в час или RTX 3090 всего за $0.21 в час!
2. Прямая интеграция через API
Шаг 1: Войдите в систему и перейдите в библиотеку моделей
Войдите в свою учётную запись и нажмите кнопку Model Library.
Попробуйте GLM 4.1V 9B сейчас!
Шаг 2: Выберите модель
Просмотрите доступные варианты и выберите модель, которая подходит для ваших задач.
Шаг 3: Начните бесплатную пробную версию
Начните бесплатную пробную версию, чтобы изучить возможности выбранной модели.
Шаг 4: Получите API-ключ
Для аутентификации в API мы предоставим вам новый API-ключ. Перейдя на страницу «Settings», вы можете скопировать API-ключ, как показано на изображении.
Шаг 5: Установите API
Установите API с помощью менеджера пакетов, соответствующего вашему языку программирования.
После установки импортируйте необходимые библиотеки в вашу среду разработки. Инициализируйте API с вашим API-ключом, чтобы начать взаимодействие с Novita AI LLM. Это пример использования chat completions API для пользователей Python.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="session_kgNdXtDPt2zYc95i-nDWPaW4Zl_e7nf4VDpukuIVBKpko1-LE8xCasG4YK7c-3c1xnPzGYRuocFk_DhkPUUQyQ==",
)
model = "thudm/glm-4.1v-9b-thinking"
stream = True # or False
max_tokens = 4000
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Создайте простой инструмент распознавания изображений с помощью MCP и GLM.
Если вы хотите использовать возможности GLM, например, создать простой инструмент распознавания изображений, демонстрирующий интеграцию визуального распознавания и рассуждения, вы можете воспользоваться функциональностью MCP, поддерживаемой Novita AI. Ниже приведён пример кода:
import os
import sys
from mcp.server.fastmcp import FastMCP
import requests
import uvicorn
from starlette.applications import Starlette
from starlette.routing import Mount
base_url = "https://api.novita.ai/v3"
headers = {
"Content-Type": "application/json",
"Authorization": f"Bearer {os.environ['NOVITA_API_KEY']}"
}
mcp = FastMCP("Novita_API")
@mcp.tool()
def list_models() -> str:
"""
List all available models from the Novita API.
"""
url = base_url + "/openai/models"
response = requests.request("GET", url, headers=headers)
data = response.json()["data"]
text = ""
for i, model in enumerate(data, start=1):
text += f"Model id: {model['id']}\
"
text += f"Model description: {model['description']}\
"
text += f"Model type: {model['model_type']}\
\
"
return text
@mcp.tool()
def get_model(model_id: str, message) -> str:
"""
Provide a model ID and a message to get a response from the Novita API.
"""
url = base_url + "/openai/chat/completions"
payload = {
"model": model_id,
"messages": [
{
"content": message,
"role": "user",
}
],
"max_tokens": 200,
"response_format": {
"type": "text",
},
}
response = requests.request("POST", url, json=payload, headers=headers)
content = response.json()["choices"][0]["message"]["content"]
return content
@mcp.tool()
def vision_chat(model_id: str, image_url: str, question: str) -> str:
"""
Use GLM-4.1V-9B-Thinking to answer a question about an image.
"""
url = base_url + "/openai/chat/completions"
payload = {
"model": model_id,
"messages": [
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {
"url": image_url,
}
},
{
"type": "text",
"text": question,
}
]
}
],
"max_tokens": 500
}
response = requests.post(url, json=payload, headers=headers)
return response.json()["choices"][0]["message"]["content"]
if __name__ == "__main__":
# Run using stdio transport
mcp.run(transport="stdio")
Если вы хотите получить подробную информацию, можете ознакомиться с этой статьёй: Как создать свой первый MCP-сервер с Novita AI!
GLM 4.1V 9B Thinking проста в использовании, очень умна и не требует дорогого оборудования. Вы можете проверить её способности к распознаванию изображений и рассуждению всего несколькими строками кода — как на своём компьютере, так и в облаке. Если хотите увидеть, как далеко продвинулся мультимодальный ИИ, попробуйте GLM!
Что особенного в GLM 4.1V 9B Thinking?
Это первая модель, которая может одновременно «видеть» и показывать свои шаги рассуждения, а не просто давать ответы.
Могу ли я попробовать GLM 4.1V 9B, если у меня нет мощного GPU?
Да! Вы можете использовать доступные облачные GPU или попробовать её бесплатно в Novita AI Playground.
Как я могу интегрировать GLM 4.1V 9B Thinking в свои проекты?
Вы можете запускать её локально с помощью Python и Hugging Face, получить доступ через API Novita AI или даже создать собственные инструменты распознавания изображений с помощью MCP, как показано в примерах кода.
Novita AI — это универсальная облачная платформа, которая расширяет ваши AI-амбиции. Интегрированные API, serverless, GPU-инстансы — экономически эффективные инструменты, которые вам нужны. Устраните инфраструктурные сложности, начните бесплатно и воплотите своё AI-видение в реальность.
