- Особенности GLM 4.5V, отсутствующие в GLM 4.1V
- Сравнение архитектур GLM 4.5V и GLM 4.1V
- Сравнение бенчмарков GLM 4.5V и GLM 4.1V
- Сравнение аппаратных требований GLM 4.5V и GLM 4.1V
- Сравнение областей применения GLM 4.5V и GLM 4.1V
- Преимущества GLM 4.5V по стоимости
- Novita AI: более экономичный и стабильный провайдер API GLM 4.5V
- Создайте простой инструмент распознавания изображений с использованием MCP и GLM.
GLM-4.5V представляет собой значительный скачок вперед по сравнению с GLM-4.1V, обеспечивая повышенную масштабируемость, мультимодальные возможности и экономическую эффективность. Благодаря интеграции доменно-специализированных экспертов, продвинутых модулей компьютерного зрения и архитектуры Mixture-of-Experts (MoE), GLM-4.5V превосходно справляется с такими задачами, как понимание документов, распознавание текста в реальном времени из видео и генерация мультимодального контента, что делает его универсальным и удобным для разработчиков решением.
Особенности GLM 4.5V, отсутствующие в GLM 4.1V
GLM-4.5V демонстрирует значительно более высокую универсальность и интеграцию с инструментами по сравнению с GLM-4.1V. Он упрощает выполнение задач, для которых ранее требовалось несколько специализированных моделей, обрабатывая всё — от базового распознавания изображений до сложного анализа видео и обработки документов в рамках одной системы. Например, GLM-4.5V может генерировать фронтенд-код по скриншоту веб-страницы или анализировать изображение карты для определения геолокационных подсказок. Его способность интегрировать рассуждения с внешними инструментами и производить структурированные выводы выделяет его среди GLM-4.1V, делая 4.5V более удобной для разработчиков и масштабируемой мультимодальной ИИ-платформой.
Сравнение архитектур GLM 4.5V и GLM 4.1V
| Аспект | GLM-4.1V | GLM-4.5V |
|---|---|---|
| Масштаб | 9 млрд параметров, плотный трансформер. | 106 млрд всего, 12 млрд активных через архитектуру Mixture-of-Experts (MoE). |
| Специализация | Универсальная модель. | Доменно-специализированные эксперты через MoE для лучшей производительности на задачах. |
| Модули компьютерного зрения | Обработка только 2D-изображений. | Добавлена 3D-свертка для распознавания видео и интерфейсов GUI. |
| Кодирование контекста | 2D RoPE для ~64k токенов. | 3D RoPE для 64k токенов + многомерный ввод |
| Базовая модель | Основана на GLM-4 (9 млрд). | Построена на GLM-4.5-Air с улучшенными языковыми и мультимодальными возможностями. |
Сравнение бенчмарков GLM 4.5V и GLM 4.1V
Источник: Hugging Face
Достижения GLM-4.1V:
- Обогнал более крупные модели, такие как Qwen-2.5-VL (7B), и сравнялся с Qwen-72B, несмотря на свой меньший размер.
- Определил передовое состояние для моделей небольшого масштаба до 2025 года.
Улучшения GLM-4.5V:
- Обогнал открытые модели в своем диапазоне параметров и превзошел некоторые более крупные модели.
- Обогнал Step-3 (321 млрд параметров) по нескольким ключевым бенчмаркам, продемонстрировав свою эффективность и точность.
Ключевые преимущества GLM-4.5V:
- Превосходно справляется с общими визуальными вопросами, рассуждениями в области STEM и распознаванием текста (OCR) в длинных документах.
- Использует архитектуру MoE и продвинутые обучающие оптимизации для достижения превосходной производительности.
Сравнение аппаратных требований GLM 4.5V и GLM 4.1V
| Аспект | GLM-4.1V | GLM-4.5V |
|---|---|---|
| Требования к оперативной памяти видеокарты (VRAM) | 24 ГБ (например, NVIDIA A100 40GB, RTX 4090) | 80 ГБ на одну GPU; для полного развертывания обычно требуется 8 GPU по 80 ГБ каждая. |
| Конфигурация GPU | Достаточно одной высокопроизводительной видеокарты. | Требуется мульти-GPU конфигурация (например, 8 GPU) или облачные кластеры GPU. |
| Совместимость с CPU | Может работать на CPU (в нережиме реального времени) с оптимизациями. | Не предназначена для работы на CPU; требует продвинутого оборудования или облачных решений. |
| Опции квантования | Поддерживает 16-битное, 8-битное и даже 4-битное квантование для снижения потребления памяти. | Предлагает версии с оптимизированным потреблением памяти (например, квантование FP8) для снижения требований к оборудованию. |
Благодаря гибкому режиму рассуждений и эффективной настройке соотношения скорости и точности, GLM-4.5V минимизирует требования к оборудованию, что делает его подходящим как для высокопроизводительных, так и для легковесных сценариев использования в реальном времени.
Сравнение областей применения GLM 4.5V и GLM 4.1V
GLM 4.5V
-
Понимание документов
- Распознает и анализирует текст в сложных документах.
- Обрабатывает рукописный текст, печати, водяные знаки и искажения.
- Извлекает ключевую информацию и генерирует структурированные краткие обзоры.
-
Распознавание и реконструкция таблиц
- Обрабатывает сложные таблицы с объединенными ячейками и вложенными структурами.
- Делает выводы о пропущенных данных и обеспечивает согласованность.
- Преобразует таблицы в изображениях в форматы Excel, CSV и т.д.
-
Генерация мультимодального контента
- Генерирует отчеты и краткие обзоры на основе распознанного текста, диаграмм или изображений.
- Предоставляет анализ трендов и практические рекомендации.
- Поддерживает создание контента на основе рукописных заметок или форм.
-
Распознавание текста в видео в реальном времени
- Извлекает субтитры и текст на экране из видеопотоков.
- Отслеживает движущийся текст динамически и адаптируется к изменениям сцены.
- Распознает несколько языков в реальном времени.
GLM 4.1V
- Обучающие инструменты
- Идеально подходит для пошагового обучения ИИ-рассуждениям с анализом изображений.
- Выводит как ответы, так и ход рассуждений, помогая понять логику принятия решений ИИ.
- Чувствительные приложения
- Полезен в таких областях, как анализ медицинских изображений, где критически важны прозрачность и объяснения хода рассуждений.
- Легковесные системы
- Может быть развернут в простых веб-приложениях или на устройствах с минимальными ресурсами бэкенда.
- Эксперименты и исследования
- Компактный размер модели делает его доступным для исследователей и разработчиков с ограниченными вычислительными мощностями.
- Системы репетиторства
- Обеспечивает визуально-языковые возможности для интерактивных сред обучения.
Попробуйте GLM4.5V and GLM 4.1V уже сейчас!
Преимущества GLM 4.5V по стоимости
Высокая производительность по данным теста LLMOCR
- Общая точность: 98,7% на 1000 документах смешанных типов.
- Ключевые преимущества:
- Распознавание китайского языка: 99,3%.
- Распознавание английского языка: 98,9%.
- Восстановление таблиц: 97,5%.
- Распознавание рукописного текста: 96,8%.
- Эффективность: Обрабатывает документы со скоростью 0,42 секунды на страницу с показателем успешности вызовов API 99,95%.
Экономическая эффективность
- Средняя стоимость: ¥0,015 за страницу.
- Экономия:
- Снижение стоимости на 73% по сравнению с GPT-4V.
- Снижение стоимости на 65% по сравнению с Claude-3.
Novita AI: более экономичный и стабильный провайдер API GLM 4.5V
API GLM-4.5V от Novita AI предлагает контекст длиной 65,5K токенов: стоимость входных данных составляет $0,60 за 1K токенов, выходных — $1,80 за 1K токенов. Поддерживаются вызовы функций и структурированные выводы.
Шаг 1: Войдите в аккаунт и откройте библиотеку моделей
Войдите в свой аккаунт и нажмите кнопку Библиотека моделей.
Попробуйте GLM4.5V and GLM 4.1V уже сейчас!
Шаг 2: Выберите модель
Просмотрите доступные варианты и выберите модель, подходящую для ваших задач.
Шаг 3: Начните бесплатный пробный период
Начните бесплатный пробный период, чтобы изучить возможности выбранной модели.
Шаг 4: Получите API-ключ
Для аутентификации через API мы предоставим вам новый API-ключ. Перейдите на страницу «Настройки», где вы можете скопировать API-ключ, как показано на изображении.
Шаг 5: Установите API
Установите API с помощью менеджера пакетов, соответствующего вашему языку программирования. После установки импортируйте необходимые библиотеки в вашу среду разработки. Инициализируйте API с вашим ключом, чтобы начать взаимодействие с Novita AI LLM. Ниже приведен пример использования API завершений чата для пользователей Python.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/openai",
api_key="session_rDfpD7GWNXFvnoIbmYNFkVlStqevDItFJac__3tAuw3ZiENHe3wm498Kv9rZEc5JhZgEJ7c9To5Y3EmZZewMbw==",
)
model = "zai-org/glm-4.5v"
stream = True # or False
max_tokens = 32768
system_content = "Be a helpful assistant"
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Создайте простой инструмент распознавания изображений с использованием MCP и GLM.
Если вы хотите использовать возможности GLM — например, создать простой инструмент распознавания изображений, чтобы продемонстрировать интеграцию визуального распознавания и рассуждений, — вы можете использовать функциональность MCP, поддерживаемую Novita AI. Ниже приведен пример кода:
import os
import sys
from mcp.server.fastmcp import FastMCP
import requests
import uvicorn
from starlette.applications import Starlette
from starlette.routing import Mount
base_url = "https://api.novita.ai/v3"
headers = {
"Content-Type": "application/json",
"Authorization": f"Bearer {os.environ['NOVITA_API_KEY']}"
}
mcp = FastMCP("Novita_API")
@mcp.tool()
def list_models() -> str:
"""
List all available models from the Novita API.
"""
url = base_url + "/openai/models"
response = requests.request("GET", url, headers=headers)
data = response.json()["data"]
text = ""
for i, model in enumerate(data, start=1):
text += f"Model id: {model['id']}\
"
text += f"Model description: {model['description']}\
"
text += f"Model type: {model['model_type']}\
\
"
return text
@mcp.tool()
def get_model(model_id: str, message) -> str:
"""
Provide a model ID and a message to get a response from the Novita API.
"""
url = base_url + "/openai/chat/completions"
payload = {
"model": model_id,
"messages": [
{
"content": message,
"role": "user",
}
],
"max_tokens": 200,
"response_format": {
"type": "text",
},
}
response = requests.request("POST", url, json=payload, headers=headers)
content = response.json()["choices"][0]["message"]["content"]
return content
@mcp.tool()
def vision_chat(model_id: str, image_url: str, question: str) -> str:
"""
Use GLM-4.1V-9B-Thinking to answer a question about an image.
"""
url = base_url + "/openai/chat/completions"
payload = {
"model": model_id,
"messages": [
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {
"url": image_url,
}
},
{
"type": "text",
"text": question,
}
]
}
],
"max_tokens": 500
}
response = requests.post(url, json=payload, headers=headers)
return response.json()["choices"][0]["message"]["content"]
if __name__ == "__main__":
# Run using stdio transport
mcp.run(transport="stdio")
Если вы хотите получить более подробную информацию, вы можете ознакомиться с этой статьей: Как создать свой первый MCP-сервер с Novita AI!
GLM-4.5V превосходит своего предшественника GLM-4.1V во всех аспектах: от возможности обрабатывать сложные визуальные данные и длинные документы до экономии затрат и превосходной аппаратной оптимизации. Благодаря улучшенной архитектуре и широкому спектру применений, это является революционным решением для разработчиков и предприятий, ищущих универсальное ИИ-решение.
Какие ключевые архитектурные улучшения присутствуют в GLM-4.5V?
GLM-4.5V использует архитектуру Mixture-of-Experts (MoE) с 106 млрд параметров (12 млрд активных), 3D-кодирование RoPE и 3D-свертку для распознавания видео и интерфейсов GUI, превосходя плотную трансформерную архитектуру GLM-4.1V. Он предоставляет пошаговые рассуждения, а не только готовые ответы.
Как GLM-4.5V обрабатывает мультимодальные задачи?
GLM-4.5V интегрирует продвинутые модули компьютерного зрения для 3D-распознавания видео и интерфейсов GUI, что позволяет выполнять такие задачи, как распознавание текста в видео в реальном времени, анализ геолокации и генерация мультимодального контента.
Какие задачи лучше решаются с помощью GLM-4.5V по сравнению с GLM-4.1V?
GLM-4.5V превосходно справляется с пониманием документов (включая рукописный текст и водяные знаки), реконструкцией таблиц, распознаванием текста в видео в реальном времени и генерацией мультимодального контента — областях, где возможности GLM-4.1V были ограничены.
Novita AI — это универсальная облачная платформа, которая позволяет воплотить ваши ИИ-амбиции. Интегрированные API, бессерверные решения, GPU-инстансы — это экономичные инструменты, которые вам нужны. Избавьтесь от заботы о инфраструктуре, начните бесплатно и воплотите вашу ИИ-мечту в реальность.
