Ключевые моменты
Мультимодальность + понимание длинных видео
Поддерживает изображения, документы и длинные видео
Подходит для образования, медиа, наблюдения
Точная локализация + структурированный вывод
Точно определяет объекты
Извлекает структурированные данные из счетов, форм, диаграмм
Полезно в финансах, юриспруденции, логистике
Вы можете начать бесплатный пробный период на Novita AI API очень удобным способом!
Qwen2.5-VL-72B-Instruct — это мощная 72B-параметрическая большая языково-зрительная модель (LVLM), доработанная для задач следования инструкциям. Она поддерживает как текстовые, так и визуальные входные данные (изображения и видео), что делает её идеальной для мультимодального рассуждения, понимания документов, анализа видео и агентного взаимодействия.
Что такое Qwen2.5-VL-72B?
Пример, демонстрирующий возможности Qwen2.5-VL-72B
**Входные данные:**Дайте запрос: ‘пользователь использует функцию генерации изображений’, когда в видео происходит описанное содержимое? Используйте секунды для формата времени.
Выходные данные: Описанное содержимое происходит с 28-й по 50-ю секунду видео. В этом сегменте пользователь взаимодействует с функцией генерации изображений, запрашивая и получая художественное двойное изображение горы днём и ночью. Затем пользователь добавляет птицу на сгенерированное изображение, демонстрируя функциональность инструмента генерации изображений.
Обзор Qwen2.5-VL-72B
| Категория | Пункт | Подробности |
|---|---|---|
| Основная информация | Дата выпуска | 28 января 2025 года |
| Размер модели | 73.4B параметров | |
| Открытый исходный код | Да (выпущено Qwen) | |
| Архитектура | Основные компоненты | Динамическое разрешение и обучение с переменной частотой кадров\SwiGLU + RMSNorm + Window Attention\Динамическая выборка FPS |
| Языковая поддержка | Поддерживаемые языки | Отлично работает с многоязычными документами и распознаванием текста на сценах |
| Мультимодальность | Возможности | Визуальные (изображения и видео) и текстовые входные данные |
| Контекст | Контекстное окно | Настраивается до 64K токенов для длинных видео |
| Точность | Тип тензора | BF16 |
| Бенчмарки | MMMU (Изображение) | 70.2 (Qwen2.5-VL-72B) против 70.3 (GPT-4o) |
| MVBench (Видео) | 70.4 (Qwen2.5-VL-72B) против 64.6 (GPT-4o) | |
| AITZ_EM (Агент) | 83.2 (Qwen2.5-VL-72B) против 35.3 (GPT-4o) |
Как получить доступ к Qwen2.5-VL-72B локально?
Требования к оборудованию для Qwen2.5-VL-72B
| Категория | Пункт | Подробности |
|---|---|---|
| Оборудование | Nvidia A100 (80 ГБ) | 8 GPU × 80 ГБ = 640 ГБ общей видеопамяти |
| Nvidia H100 (80 ГБ) | 8 GPU × 80 ГБ = 640 ГБ общей видеопамяти | |
| RTX 4090 (24 ГБ) | 24 GPU × 24 ГБ = 576 ГБ общей видеопамяти | |
| Nvidia L40S (48 ГБ) | 8 GPU × 48 ГБ = 384 ГБ общей видеопамяти |
Установка Qwen2.5-VL-72B локально
1.Установка зависимостей
bashCopyEdit<code># Установите последнюю версию Hugging Face Transformers из исходного кода (требуется для Qwen2.5-VL)<br>pip install git+https://github.com/huggingface/transformers accelerate<br><br># Установите утилиту для работы с изображениями (рекомендуется с decord для быстрой загрузки видео)<br>pip install 'qwen-vl-utils[decord]==0.0.8'</code>
2.Использование Qwen2.5-VL для ответа на вопросы по изображениям
import torch
from transformers import AutoTokenizer, AutoModelForVision2Seq
from qwen_vl_utils import load_image, load_video, build_multimodal_inputs
# 🔧 Название модели (можно также указать локальный путь)
model_name = "Qwen/Qwen2.5-VL-7B-Instruct"
# Загрузка токенизатора и модели
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForVision2Seq.from_pretrained(model_name, trust_remote_code=True).eval()
#Загрузка изображения (может быть локальный путь, URL или base64)
image = load_image("https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg")
#Определение запроса
query = "Что происходит на изображении?"
#Построение входных данных для модели
inputs = build_multimodal_inputs(tokenizer, query=query, images=[image])
#Инференс
with torch.no_grad():
outputs = model.generate(**inputs, max_new_tokens=128)
#Декодирование и вывод ответа
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("Ответ:", response)
3.Пример работы с видео
video = load_video("path_or_url_to_video.mp4")
query = "Обобщите содержимое видео."
inputs = build_multimodal_inputs(tokenizer, query=query, videos=[video])
with torch.no_grad():
outputs = model.generate(**inputs, max_new_tokens=128)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("Ответ:", response)
Как получить доступ к Qwen2.5-VL-72B через Novita API?
Шаг 1: Войдите в систему и откройте библиотеку моделей
Войдите в свою учётную запись и нажмите кнопку Библиотека моделей.
Попробовать демо Qwen2-VL-72B-Instruct сейчас!
Шаг 2: Начните бесплатный пробный период
Начните бесплатный пробный период, чтобы изучить возможности выбранной модели.
Шаг 3: Получите ваш API-ключ
Для аутентификации в API мы предоставим вам новый API-ключ. Перейдите на страницу “Настройки“, скопируйте API-ключ, как указано на изображении.
Шаг 4: Установите API
Установите API с помощью менеджера пакетов, подходящего для вашего языка программирования.
После установки импортируйте необходимые библиотеки в вашу среду разработки. Инициализируйте API с вашим API-ключом, чтобы начать взаимодействие с LLM от Novita AI. Это пример использования API chat completions для пользователей Python.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<ВАШ API-ключ Novita AI>",
)
model = "qwen/qwen2.5-vl-72b-instruct"
stream = True # или False
max_tokens = 2048
system_content = """Будьте полезным ассистентом"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Привет!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Использование Qwen2.5-VL-72B через облачный GPU
Шаг 1: Зарегистрируйте аккаунт
Если вы новичок в Novita AI, начните с создания аккаунта на нашем сайте. После регистрации перейдите на вкладку «GPU», чтобы изучить доступные ресурсы и начать работу.
Шаг 2: Изучение шаблонов и GPU-серверов
Начните с выбора шаблона, который соответствует вашим потребностям, например PyTorch, TensorFlow или CUDA. Выберите версию, подходящую для ваших задач, например PyTorch 2.2.1 или CUDA 11.8.0. Затем выберите конфигурацию сервера GPU A100, который обеспечивает высокую производительность для ресурсоёмких задач с достаточным объёмом видеопамяти, оперативной памяти и дискового пространства.
Попробуйте высокопроизводительные GPU от Novita AI
Шаг 3: Настройте ваше развёртывание
После выбора шаблона и GPU настройте параметры развёртывания, отрегулировав такие параметры, как версия операционной системы (например, CUDA 11.8). Вы также можете изменить другие конфигурации, чтобы адаптировать среду под конкретные требования вашего проекта.
Шаг 4: Запустите экземпляр
После завершения настройки шаблона и параметров развёртывания нажмите «Запустить экземпляр» для создания GPU-экземпляра. Это запустит процесс настройки среды, позволяя вам начать использование GPU-ресурсов для ваших AI-задач.
Qwen2.5-VL-72B-Instruct обеспечивает передовую производительность в широком спектре задач языково-зрительного взаимодействия. Независимо от того, автоматизируете ли вы рабочие процессы в финансах или анализируете видео в реальном времени, эта модель сочетает глубину, масштаб и гибкость. Благодаря открытому исходному коду и множеству путей развёртывания — локальный GPU, облачные экземпляры или API — Qwen2.5-VL позволяет разработчикам и предприятиям создавать более умные и мощные AI-системы.
Часто задаваемые вопросы
Могу ли я развернуть Qwen2.5-VL-72B-Instruct локально?
Да. Вы можете запускать его на машинах с достаточным объёмом видеопамяти (например, 8×A100 или 24×4090 GPU).
Как использовать Qwen2.5-VL-72B-Instruct через API?
Вы можете получить доступ к Qwen2.5-VL-72B-Instruct через Библиотеку моделей Novita AI, начать бесплатный пробный период и получить API-ключ для быстрой интеграции.
В чём разница между Qwen2.5-VL-72B и Qwen2.5-VL-72B-Instruct?
Базовая модель обрабатывает общие задачи языка и зрения; версия «Instruct» дополнительно доработана для более точного следования инструкциям пользователя.
Novita AI — это облачная платформа AI, которая предоставляет разработчикам лёгкий способ развёртывания AI-моделей с помощью простого API, а также предлагает доступный и надёжный облачный GPU для создания и масштабирования решений.
Рекомендуемое чтение
- Qwen2.5-VL: Мощная, но требовательная к памяти языково-зрительная модель
- Qwen 2.5 72b против Llama 3.3 70b: Какая модель подходит вашим задачам?
- Qwen 2.5 против Llama 3.2 90B: Сравнительный анализ возможностей кодирования и анализа изображений
Простые API и масштабируемые GPU
Novita AI — это облачная платформа AI, которая предлагает разработчикам простой способ развёртывания AI-моделей с помощью простого API, а также предоставляет доступный и надёжный облачный GPU для создания и масштабирования.
