English Arabic 简体中文 繁體中文 Français Deutsch 日本語 한국어 Português Русский Español

教程：如何本地部署、通过API及云GPU访问Qwen2.5-VL-72B

作者 / / Image / 5 分钟阅读
教程：如何本地部署、通过API及云GPU访问Qwen2.5-VL-72B
目录
  1. Qwen2.5-VL-72B 是什么？
  2. 如何本地部署 Qwen2.5-VL-72B？
  3. 如何通过 Novita API 访问 Qwen2.5-VL-72B？
  4. 通过云 GPU 使用 Qwen2.5-VL-72B
  5. 常见问题
  6. 简单 API 与可扩展 GPU

关键亮点

多模态 + 长视频理解
支持图像、文档和长视频
适用于教育、媒体、监控

精确定位 + 结构化输出
精确检测物体
从发票、表单、图表中提取结构化数据
在金融、法律、物流领域非常实用

你可以通过 Novita AI API 非常方便地开始免费试用！

Qwen2.5-VL-72B-Instruct 是一个强大的 72B 参数大型视觉语言模型（LVLM），经过指令微调，适用于遵循指令的任务。它支持文本和视觉输入（图像和视频），非常适合多模态推理、文档理解、视频分析和智能体交互。

Qwen2.5-VL-72B 是什么？

展示 Qwen2.5-VL-72B 能力的示例

输入： 给出查询：‘用户正在体验图像生成功能’，描述的内容在视频中何时出现？使用秒作为时间格式。

https://videopress.com/v/jVcvFOlu?resizeToParent=true&cover=true&preloadContent=metadata&useAverageColor=true

输出： 描述的内容出现在视频的 28 秒到 50 秒之间。在这一段中，用户与图像生成功能进行交互，请求并接收了一幅关于山景白天和夜晚的艺术双场景画作。然后用户向生成的图像中添加了一只小鸟，展示了图像生成工具的功能。

Qwen2.5-VL-72B 概览

**类别 ** ** 项目 ** ** 详情**
基本信息 发布日期 2025年1月28日
模型大小 73.4B 参数
开源 是（由 Qwen 发布）
架构 核心组件 动态分辨率与帧率训练\SwiGLU + RMSNorm + 窗口注意力\动态FPS采样
语言支持 支持的语言 在多语言文档和场景文本识别方面表现优异
多模态 能力 视觉（图像与视频）和文本输入
**上下文 ** 上下文窗口 可配置，支持长视频最多 64K tokens
精度 张量类型 BF16
基准测试 MMMU（图像） 70.2（Qwen2.5-VL-72B）vs 70.3（GPT-4o）
MVBench（视频） 70.4（Qwen2.5-VL-72B）vs 64.6（GPT-4o）
AITZ_EM（代理） 83.2（Qwen2.5-VL-72B）vs 35.3（GPT-4o）

如何本地部署 Qwen2.5-VL-72B？

Qwen2.5-VL-72B 硬件要求

**类别 ** ** 项目 ** ** 详情**
硬件 Nvidia A100（80 GB） 8 张 GPU × 80 GB = 640 GB 总显存
Nvidia H100（80 GB） 8 张 GPU × 80 GB = 640 GB 总显存
RTX 4090（24 GB） 24 张 GPU × 24 GB = 576 GB 总显存
Nvidia L40S（48 GB） 8 张 GPU × 48 GB = 384 GB 总显存

在本地安装 Qwen2.5-VL-72B

1. 安装依赖

bashCopyEdit<code># 从源代码安装最新的 Hugging Face Transformers（Qwen2.5-VL 需要）<br>pip install git+https://github.com/huggingface/transformers accelerate<br><br># 安装视觉工具包（推荐使用 decord 实现快速视频加载）<br>pip install 'qwen-vl-utils[decord]==0.0.8'</code>

2. 使用 Qwen2.5-VL 进行视觉问答

import torch
from transformers import AutoTokenizer, AutoModelForVision2Seq
from qwen_vl_utils import load_image, load_video, build_multimodal_inputs

# 🔧 模型名称（也可以使用本地路径）
model_name = "Qwen/Qwen2.5-VL-7B-Instruct"

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForVision2Seq.from_pretrained(model_name, trust_remote_code=True).eval()

# 加载一张图片（可以是本地路径、URL 或 base64）
image = load_image("https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg")

# 定义查询
query = "图片中发生了什么？"

# 构建模型输入
inputs = build_multimodal_inputs(tokenizer, query=query, images=[image])

# 推理
with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=128)

# 解码并打印回复
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("答案:", response)

3. 视频输入示例

video = load_video("path_or_url_to_video.mp4")
query = "总结视频内容。"

inputs = build_multimodal_inputs(tokenizer, query=query, videos=[video])

with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=128)

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("答案:", response)

如何通过 Novita API 访问 Qwen2.5-VL-72B？

步骤 1：登录并访问模型库

登录你的账户，点击 模型库 按钮。

登录并访问模型库

立即试用 Qwen2-VL-72B-Instruct 演示！

步骤 2：开始免费试用

开始免费试用，探索所选模型的能力。

步骤 3：获取 API 密钥

为了通过 API 进行身份验证，我们将为你提供一个新的 API 密钥。进入“设置”页面，你可以按照图示复制 API 密钥。

获取 API 密钥

步骤 4：安装 API

根据你的编程语言使用相应的包管理器安装 API。

安装完成后，将必要的库导入到你的开发环境中。使用你的 API 密钥初始化客户端，开始与 Novita AI 大语言模型交互。以下是 Python 用户使用聊天补全 API 的示例。

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="<你的 Novita AI API 密钥>",
)

model = "qwen/qwen2.5-vl-72b-instruct"
stream = True # 或 False
max_tokens = 2048
system_content = """成为一个有帮助的助手"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "你好！",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

通过云 GPU 使用 Qwen2.5-VL-72B

步骤1：注册账户

如果你是 Novita AI 的新用户，请先在网站上创建账户。注册完成后，前往“GPUs”选项卡浏览可用资源，开始你的使用之旅。

Novita AI 网站截图

步骤2：探索模板与 GPU 服务器

首先选择一个与你的项目需求匹配的模板，例如 PyTorch、TensorFlow 或 CUDA。选择合适的版本，如 PyTorch 2.2.1 或 CUDA 11.8.0。然后选择 A100 GPU 服务器配置，该配置提供强大的性能，能够处理要求苛刻的工作负载，具有充足的显存、内存和磁盘容量。

novita ai 网站截图 使用云 GPU

试用 Novita AI 的高性能 GPU

步骤3：定制部署

选择模板和 GPU 后，通过调整操作系统版本（如 CUDA 11.8）等参数来自定义部署设置。你还可以调整其他配置，使环境符合项目的特定需求。

novita ai 网站截图 使用云 GPU

步骤4：启动实例

完成模板和部署设置后，点击“启动实例”来配置你的 GPU 实例。这将开始环境设置，使你能够开始使用 GPU 资源进行 AI 任务。

novita ai 网站截图 使用云 GPU

Qwen2.5-VL-72B-Instruct 在广泛的视觉语言任务中提供了一流的性能。无论你是自动化金融领域的工作流，还是实时分析视频，它兼顾了深度、规模和灵活性。通过开源访问和多种部署路径——本地 GPU、云实例或 API——Qwen2.5-VL 赋能开发者和企业构建更智能、更强大的 AI 系统。

常见问题

我可以在本地部署 Qwen2.5-VL-72B-Instruct 吗？

可以。你可以在拥有足够显存的机器上运行它（例如 8×A100 或 24×4090 GPU）。

如何通过 API 使用 Qwen2.5-VL-72B-Instruct？

你可以通过 Novita AI 的模型库 访问 Qwen2.5-VL-72B-Instruct，开始免费试用，并获取 API 密钥以便快速集成。

Qwen2.5-VL-72B 与 Qwen2.5-VL-72B-Instruct 的区别是什么？

基础模型处理通用视觉语言任务；而“Instruct”版本经过微调，能够更准确地遵循用户指令。

Novita AI 是一个 AI 云平台，为开发者提供简单易用的 API 来部署 AI 模型，同时提供经济实惠且可靠的 GPU 云，用于构建和扩展应用。

推荐阅读

简单 API 与可扩展 GPU

Novita AI 是一个 AI 云平台，为开发者提供简单易用的 API 来部署 AI 模型，同时提供经济实惠且可靠的 GPU 云，用于构建和扩展应用。

注册/登录

相关文章