重點摘要
文字轉圖像分析：Qwen2.5-VL 擅長從圖像中提取並分析文字、圖表、圖示和版面。
代理能力：可作為視覺代理，支援管理智慧型手機和電腦等任務。
影片理解：處理長影片（1 小時以上），並精確定位事件時間點。
經濟高效的使用方式：Novita AI 提供負擔得起的 API 選項，避免高昂的硬體成本。
Qwen2.5-VL 是 Qwen 系列最新旗艦級視覺語言模型，較前一代 Qwen2-VL 有顯著躍進。Qwen2.5-VL-72B-Instruct 是指令調校版本，擁有 720 億個參數，旨在根據開發者的寶貴回饋，成為更高效、更實用的視覺語言模型。
Qwen2.5-VL-72B-Instruct 是什麼？
Qwen2.5-VL-72B-Instruct 是一個擁有 720 億個參數的 大型視覺語言模型 (LVLM)，針對指令型任務進行微調。它能夠理解和分析視覺（圖像/影片）與文字輸入，執行各種任務。與 Qwen2-VL 相比，主要增強功能包括：
- 強化視覺理解：擅長辨識常見物體，分析圖像中的文字、圖表、圖示、圖形和版面。
來源：Qwen
- 代理能力：可作為視覺代理，進行推理並動態引導工具操作電腦及手機。
來源：Qwen
- 改進的影片理解 ：能理解超過一小時的影片，精確定位相關影片段落，並支援 動態 FPS 訓練 與 絕對時間編碼，以獲得更好的時間理解能力。
來源：Qwen
- 精確物體定位：使用邊界框/點準確檢測圖像中的物體，並提供穩定的 JSON 輸出，包含座標與屬性。
- 結構化輸出生成：支援掃描發票和表格的結構化輸出，有利於金融與商業應用。
來源：Qwen
Qwen2-VL-72B-Instruct 基準測試
來源：Qwen
Qwen2.5-VL-72B-Instruct 在許多基準測試中展現出具有競爭力或優異的表現，在圖像任務（如 MMMUval、MathVista_MINI、DocVQA_VAL）、影片任務（如 VideoMME、MVBench、EgoSchema）以及代理任務（如 ScreenSpot、Android Control、MobileMiniWob++_SR）中表現出色。它通常超越 Qwen2-VL-72B，並可與 GPT4o、Claude3.5 Sonnet 和 Gemini 2.0 等領先模型匹敵。此外，Qwen2.5-VL-7B 在多項任務中表現優於 GPT-4o-mini，而 Qwen2.5-VL-3B 則優於 Qwen2-VL 的 7B 版本。
Qwen2-VL-72B-Instruct 硬體需求
| **GPU 型號 ** | ** 每顆 GPU VRAM** | ** 使用 GPU 數量 ** | ** 總 VRAM** | ** 預估成本** |
|---|---|---|---|---|
| Nvidia A100 (80 GB) | 80 GB | 8 顆 | 640 GB | 約 $205,496 |
| Nvidia H100 (80 GB) | 80 GB | 8 顆 | 640 GB | 約 $200,000 - $320,000 |
| Nvidia RTX 4090 | 24 GB | 24 顆 | 576 GB | 約 $57,600 - $66,120 |
| Nvidia L40S | 48 GB | 8 顆 | 384 GB | 約 $46,799.60 - $83,712.80 |
若要運行 Qwen2-VL-72B-Instruct，Nvidia A100 (80 GB) 是最全面的選擇，在成本、VRAM 與效能之間取得平衡。H100 (80 GB) 適合注重效能的組織，而 RTX 4090 與 L40S 則適合預算有限的配置，但需要在複雜性與 VRAM 方面做出取捨。
Qwen2-VL-72B-Instruct 測試
輸入： 給定查詢：「使用者正在體驗圖像生成功能」，這段描述在影片中何時出現？請以秒為時間格式作答。
輸出： 該描述在影片中出現於第 28 秒至第 50 秒。在此片段中，使用者與圖像生成功能互動，請求並接收了一幅白天與夜晚山景的藝術雙景畫。接著，使用者將一隻小鳥加入生成的圖像中，展示了圖像生成工具的功能。
如何存取 Qwen2-VL-72B-Instruct？
Novita AI 是一個 AI 雲端平台，為開發者提供透過簡單 API 部署 AI 模型的簡便方式，同時也提供價格合理且可靠的 GPU 雲端服務，用於建置和擴展。
步驟 1：登入並進入模型庫
登入您的帳號，點選 Model Library 按鈕。
立即體驗 Qwen2-VL-72B-Instruct 示範！
步驟 2：開始免費試用
開始免費試用，探索所選模型的功能。
步驟 3：取得 API 金鑰
為了驗證 API，我們將提供一組新的 API 金鑰。進入「Settings」頁面，即可如圖所示複製 API 金鑰。
步驟 4：安裝 API
使用您程式語言專用的套件管理器安裝 API。
安裝完成後，在開發環境中匯入必要的函式庫。使用您的 API 金鑰初始化 API，開始與 Novita AI LLM 互動。以下是針對 Python 使用者使用聊天完成 API 的範例。
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "qwen/qwen2.5-vl-72b-instruct"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Qwen2.5-VL-72B-Instruct 代表了視覺語言模型的一大進步，強化了視覺理解、影片理解、代理能力、定位功能與結構化輸出生成。透過動態解析度訓練與高效的視覺編碼器，它在圖像、影片和代理任務上均達到優異的基準測試表現。
常見問題
Qwen2.5-VL-instruct 如何改善視覺理解？
它能分析文字（多語言、垂直）、圖表、圖示和版面，同時提取關鍵資訊並將文件轉換為結構化格式（如 HTML）。
Qwen2.5-VL-instruct 有哪些新的影片功能？
可處理超過 1 小時的影片，精確定位事件至秒，進行時間定位，生成結構化字幕，並總結內容。
運行 Qwen2.5-VL-instruct 建議使用什麼硬體？
若要在本地使用，建議配備 至少 384GB VRAM 的 GPU。或者，您可以選擇像 Novita AI 這樣有效的 API 來使用！
NovitaAI 是一個 AI 雲端平台，為開發者提供透過簡單 API 部署 AI 模型的簡便方式，同時也提供價格合理且可靠的 GPU 雲端服務，用於建置和擴展。
