주요 하이라이트
멀티모달 + 긴 영상 이해
이미지, 문서, 긴 영상을 지원
교육, 미디어, 감시 분야에 적합
정확한 위치 파악 + 구조화된 출력
객체를 정밀하게 탐지
송장, 서식, 차트에서 구조화된 데이터 추출
금융, 법률, 물류 분야에서 유용
Novita AI API에서 매우 편리하게 무료 체험을 시작할 수 있습니다!
Qwen2.5-VL-72B-Instruct 는 명령 수행 작업에 특화된 강력한 720억 파라미터 대규모 시각-언어 모델(LVLM)입니다. 텍스트와 시각적 입력(이미지 및 영상)을 모두 지원하여 멀티모달 추론, 문서 이해, 영상 분석, 에이전트 상호작용에 이상적입니다.
Qwen2.5-VL-72B란?
Qwen2.5-VL-72B의 능력을 보여주는 예시
입력: 다음 질문을 제시합니다: ‘사용자가 이미지 생성 기능을 사용하고 있습니다’, 설명된 내용이 영상에서 언제 발생하나요? 시간 형식은 초를 사용하세요.
출력: 설명된 내용은 영상의 28초부터 50초까지 발생합니다. 이 구간에서 사용자는 이미지 생성 기능과 상호작용하며, 낮과 밤의 산을 주제로 한 예술적인 이중 장면 그림을 요청하고 받습니다. 그런 다음 사용자는 생성된 이미지에 새를 추가하여 이미지 생성 도구의 기능을 보여줍니다.
Qwen2.5-VL-72B 개요
| **분류 ** | ** 항목 ** | ** 세부 사항** |
|---|---|---|
| 기본 정보 | 출시일 | 2025년 1월 28일 |
| 모델 크기 | 734억 파라미터 | |
| 오픈소스 | 예 (Qwen에서 공개) | |
| 아키텍처 | 핵심 구성 요소 | 동적 해상도 및 프레임 속도 학습 SwiGLU + RMSNorm + Window Attention 동적 FPS 샘플링 |
| 언어 지원 | 지원 언어 | 다국어 문서 및 장면 텍스트 인식에 탁월 |
| 멀티모달 | 기능 | 시각(이미지 및 영상) 및 텍스트 입력 |
| **컨텍스트 ** | 컨텍스트 윈도우 | 긴 영상의 경우 최대 64K 토큰 까지 설정 가능 |
| 정밀도 | 텐서 타입 | BF16 |
| 벤치마크 | MMMU (이미지) | 70.2 (Qwen2.5-VL-72B) vs 70.3 (GPT-4o) |
| MVBench (영상) | 70.4 (Qwen2.5-VL-72B) vs 64.6 (GPT-4o) | |
| AITZ_EM (에이전트) | 83.2 (Qwen2.5-VL-72B) vs 35.3 (GPT-4o) |
Qwen2.5-VL-72B를 로컬에서 사용하는 방법?
Qwen2.5-VL-72B 하드웨어 요구 사항
| **분류 ** | ** 항목 ** | ** 세부 사항** |
|---|---|---|
| 하드웨어 | Nvidia A100 (80 GB) | 8 GPU × 80 GB = 640 GB 총 VRAM |
| Nvidia H100 (80 GB) | 8 GPU × 80 GB = 640 GB 총 VRAM | |
| RTX 4090 (24 GB) | 24 GPU × 24 GB = 576 GB 총 VRAM | |
| Nvidia L40S (48 GB) | 8 GPU × 48 GB = 384 GB 총 VRAM |
Qwen2.5-VL-72B 로컬 설치
1. 의존성 설치
bashCopyEdit<code># Install the latest Hugging Face Transformers from source (required for Qwen2.5-VL)<br>pip install git+https://github.com/huggingface/transformers accelerate<br><br># Install the vision utility toolkit (recommended with decord for fast video loading)<br>pip install 'qwen-vl-utils[decord]==0.0.8'</code>
2. Qwen2.5-VL을 사용한 시각적 질문 응답
import torch
from transformers import AutoTokenizer, AutoModelForVision2Seq
from qwen_vl_utils import load_image, load_video, build_multimodal_inputs
# 🔧 모델 이름 (로컬 경로도 가능)
model_name = "Qwen/Qwen2.5-VL-7B-Instruct"
# 토크나이저와 모델 로드
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForVision2Seq.from_pretrained(model_name, trust_remote_code=True).eval()
# 이미지 로드 (로컬 경로, URL, base64 가능)
image = load_image("https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg")
# 질문 정의
query = "이미지에서 무엇이 일어나고 있나요?"
# 모델 입력 생성
inputs = build_multimodal_inputs(tokenizer, query=query, images=[image])
# 추론
with torch.no_grad():
outputs = model.generate(**inputs, max_new_tokens=128)
# 응답 디코딩 및 출력
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("답변:", response)
3. 영상 입력 예시
video = load_video("path_or_url_to_video.mp4")
query = "영상 내용을 요약해 주세요."
inputs = build_multimodal_inputs(tokenizer, query=query, videos=[video])
with torch.no_grad():
outputs = model.generate(**inputs, max_new_tokens=128)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("답변:", response)
Novita API를 통해 Qwen2.5-VL-72B에 접근하는 방법?
1단계: 로그인 및 모델 라이브러리 접근
계정에 로그인하고 Model Library 버튼을 클릭하세요.
지금 Qwen2-VL-72B-Instruct 데모 사용해보기!
2단계: 무료 체험 시작
선택한 모델의 기능을 살펴보기 위해 무료 체험을 시작하세요.
3단계: API 키 받기
API 인증을 위해 새로운 API 키를 제공해 드립니다. “설정” 페이지로 이동하여 이미지에 표시된 대로 API 키를 복사하세요.
4단계: API 설치
사용하는 프로그래밍 언어에 맞는 패키지 관리자를 사용하여 API를 설치하세요.
설치 후, 개발 환경에 필요한 라이브러리를 임포트하세요. API 키로 API를 초기화하여 Novita AI LLM과 상호작용을 시작하세요. 다음은 Python 사용자를 위한 채팅 완성 API 사용 예시입니다.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "qwen/qwen2.5-vl-72b-instruct"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
클라우드 GPU를 통해 Qwen2.5-VL-72B 사용하기
1단계: 계정 등록
Novita AI를 처음 사용하시는 경우, 웹사이트에서 계정을 만드세요. 등록 후, “GPUs” 탭으로 이동하여 사용 가능한 리소스를 살펴보고 여정을 시작하세요.
2단계: 템플릿 및 GPU 서버 살펴보기
프로젝트 요구 사항에 맞는 템플릿(예: PyTorch, TensorFlow, CUDA)을 선택하세요. 필요에 맞는 버전(예: PyTorch 2.2.1 또는 CUDA 11.8.0)을 선택합니다. 그런 다음, 강력한 성능을 제공하며 충분한 VRAM, RAM, 디스크 용량을 갖춘 A100 GPU 서버 구성을 선택하세요.
3단계: 배포 맞춤 설정
템플릿과 GPU를 선택한 후, 운영 체제 버전(예: CUDA 11.8)과 같은 매개변수를 조정하여 배포 설정을 사용자 지정하세요. 다른 구성을 조정하여 프로젝트의 특정 요구 사항에 맞는 환경을 만들 수 있습니다.
4단계: 인스턴스 시작
템플릿 및 배포 설정을 완료한 후 "Launch Instance"를 클릭하여 GPU 인스턴스를 설정하세요. 이렇게 하면 환경 설정이 시작되어 AI 작업에 GPU 리소스를 사용할 수 있습니다.
Qwen2.5-VL-72B-Instruct는 광범위한 시각-언어 작업에서 최첨단 성능을 제공합니다. 금융 워크플로 자동화에서 실시간 영상 분석까지, 깊이, 규모, 유연성을 결합합니다. 오픈소스 접근성과 다양한 배포 경로(로컬 GPU, 클라우드 인스턴스 또는 API)를 통해 Qwen2.5-VL은 개발자와 기업이 더 스마트하고 더 강력한 AI 시스템을 구축할 수 있도록 지원합니다.
자주 묻는 질문
Qwen2.5-VL-72B-Instruct를 로컬에 배포할 수 있나요?
네. 충분한 VRAM(예: 8×A100 또는 24×4090 GPU)이 장착된 머신에서 실행할 수 있습니다.
API를 통해 Qwen2.5-VL-72B-Instruct를 어떻게 사용하나요?
Novita AI의 모델 라이브러리를 통해 Qwen2.5-VL-72B-Instruct에 접근하고, 무료 체험을 시작한 후 API 키를 받아 빠르게 통합할 수 있습니다.
Qwen2.5-VL-72B와 Qwen2.5-VL-72B-Instruct의 차이는 무엇인가요?
기본 모델은 일반적인 시각-언어 작업을 처리하고, “Instruct” 버전은 사용자 지시를 더 정확히 따르도록 미세 조정되었습니다.
Novita AI는 개발자가 간단한 API를 사용하여 AI 모델을 쉽게 배포할 수 있는 AI 클라우드 플랫폼이며, 구축 및 확장을 위한 저렴하고 안정적인 GPU 클라우드도 제공합니다.
추천 읽을거리
- Qwen2.5-VL: 강력하지만 RAM을 많이 사용하는 시각-언어 모델
- Qwen 2.5 72b vs Llama 3.3 70b: 어떤 모델이 당신의 요구에 적합할까요?
- Qwen 2.5 vs Llama 3.2 90B: 코딩 및 이미지 추론 능력 비교 분석
간단한 API와 확장 가능한 GPU
Novita AI는 개발자가 간단한 API를 사용하여 AI 모델을 쉽게 배포할 수 있는 AI 클라우드 플랫폼이며, 구축 및 확장을 위한 저렴하고 안정적인 GPU 클라우드도 제공합니다.
