نماذج لغة الرؤية (VLMs) هي أنظمة ذكاء اصطناعي متقدمة متعددة الوسائط تدمج الفهم البصري والنصي، مما يمكنها من تفسير الصور والنصوص في وقت واحد. المشهد الحالي لنماذج VLM يشمل خيارات مغلقة المصدر مثل GPT-4o و Gemini 2.5 Pro و Claude 3.7 Vision، ونماذج مفتوحة المصدر مثل Qwen 2.5-VL-72B و Llama 4 Scout. غالبًا ما تتفوق النماذج مغلقة المصدر في مهام محددة ولكنها مقصورة على المنصات الرسمية، بينما توفر النماذج مفتوحة المصدر المرونة وقابلية النقل والفعالية من حيث التكلفة عبر واجهات برمجة التطبيقات مثل Novita AI.
قم بإحالة أصدقائك إلى Novita AI وستحصلان معًا على 10 دولارات من أرصدة واجهة برمجة التطبيقات LLM — حتى 500 دولار من المكافآت الإجمالية.
لدعم مجتمع المطورين، يتوفر Qwen2.5 7B و Qwen 3 4B مجانًا حاليًا على Novita AI.
ما هي نماذج لغة الرؤية (VLMs)؟
نموذج لغة الرؤية (VLM) هو نموذج ذكاء اصطناعي قوي متعدد الوسائط يفهم كلًا من الصور والنصوص — ويولد مخرجات نصية طبيعية. الأمر أشبه بإعطاء البصر لنماذج اللغة.
ماذا يمكن أن تفعل نماذج VLM؟
نماذج VLM مرنة بشكل لا يصدق وتدعم مجموعة واسعة من المهام، مثل:
- الإجابة على أسئلة المستندات البصرية – الإجابة على الأسئلة بناءً على صور المستندات
- التعليق على الصور – كتابة تعليقات وصفية للصور
- تصنيف الصور – التعرف على الأشياء وتسميتها في الصور
- كشف الكائنات – العثور على مواقع الكائنات في الصورة
كيف تعمل نماذج VLM؟
يجمع نموذج VLM النموذجي بين مكونين رئيسيين:
- مستخرج مميزات الصورة
عادةً ما يكون نموذج رؤية مدرب مسبقًا (مثل ViT أو CLIP) يستخرج ميزات ذات معنى من الصورة. - وحدة فك ترميز النص
نموذج لغة كبير (LLM) مثل LLaMA أو Qwen يحول تلك الميزات البصرية إلى نص يشبه الإنسان.
من Clarifai
مقارنة أفضل 5 نماذج رؤية كبيرة من حيث البنية
| النموذج | تاريخ الإصدار | المزايا | نافذة السياق النصي | الانفتاح / الترخيص |
|---|---|---|---|---|
| GPT 4o | مارس 2025 | دمج أكثر كفاءة عبر الوسائط | 128 ألف رمز | مغلق المصدر |
| Gemini 2.5 Pro | 6 مايو 2025 | مهام بصرية عامة | 1 مليون رمز اليوم؛ 2 مليون معلن عنه | يُقدم عبر Google AI Studio |
| Claude 3.7 Vision | 27 فبراير 2025 | مركز على التعرف البصري على الحروف والمخططات | 200 ألف رمز | مغلق المصدر |
| Qwen 2.5-VL-72B | 22 أبريل 2025 | دقة عشوائية، مهام فيديو طويلة | 128 ألف رمز | مفتوح المصدر |
| Llama 4 (Scout / Maverick) | 5 أبريل 2025 | مهام متعددة الوسائط واسعة | 1 – 10 ملايين رمز (Scout يعلن عن 10 ملايين) | مفتوح المصدر |
Open AI GPT 4o
يعتمد GPT-4 على بنية Transformer متعددة الوسائط موحدة بالكامل، حيث يتم ترميز أجزاء الصورة وإطارات الصوت والنص في نفس التسلسل، مما يلغي الحاجة إلى برج رؤية منفصل.
المزايا
- بنية مبسطة: بدون برج رؤية منفصل، يكون النموذج أكثر انسيابية وتوحيدًا، مما يقلل التعقيد.
- دمج أكثر كفاءة عبر الوسائط: معالجة الصور والنص في نفس التسلسل يسمح بدمج معلومات أكثر طبيعية، مما يحسن الفهم والتوليد.
- قدرة أقوى على توليد الصور: هذا التصميم الموحد يمكن النموذج من تحويل الأوصاف النصية إلى صور عالية الجودة ومتنوعة بدقة وثراء أسلوبي أكبر.
Gemini 2.5 Pro
تستخدم بنية Gemini 2.5 Pro برج SigLIP-ViT المجمد كمشفر رؤية. يتم ترميز الإدخال البصري مسبقًا بشكل مستقل، وإسقاطه خطيًا في Transformer المشترك، ودمجه مع النص والوسائط الأخرى من خلال الانتباه المتقاطع.
المزايا
- مرونة التصميم المعياري:
من خلال فصل عملية الترميز المسبق للصورة (Frozen SigLIP-ViT)، يمكن تحسين نموذج الرؤية بشكل مستقل أو استبداله. هذا يسمح لـ Transformer بالتركيز فقط على دمج الوسائط، مما يجعل البنية المعيارية مثالية للتكرار أو التوسع المرن. - كفاءة حسابية أعلى:
تجميد أوزان مشفر الرؤية يلغي الحاجة إلى إعادة تحسين مكون الرؤية أثناء التدريب متعدد الوسائط، مما يقلل التكاليف الحسابية بشكل كبير، خاصة عند التعامل مع بيانات بصرية واسعة النطاق. - محسّن للمهام البصرية المركزة:
يمكن تدريب مكون الرؤية مسبقًا على مجموعات بيانات صور كبيرة ثم دمجه مع الوسائط الأخرى عبر الانتباه المتقاطع خفيف الوزن، مما يضمن قدرات فهم بصري قوية.
Claude 3.7 Vision
على الرغم من عدم الإعلان رسميًا عن البنية التفصيلية للوحدة البصرية، بناءً على فلسفة تصميم سلسلة Claude 3 والمعلومات المتاحة، يمكننا استنتاج أن معالجة الرؤية تعتمد على بنية مشابهة لما يلي: تستخدم بنية Claude 3 Vision Resampler ViT مع محول خفيف الوزن لمعالجة المدخلات البصرية. يتم دمج رموز الرؤية عبر بوابة مباشرة في العمود الفقري لنموذج كلود اللغوي، مما يجعله محسنًا لمهام مثل التعرف البصري على الحروف عالي الدقة و تفسير المخططات.
المزايا
- تصميم معياري ومرن:
يعمل SigLIP-ViT المجمد كوحدة رؤية مستقلة، مما يسمح بالتحسين أو الاستبدال المنفصل. هذه المرونة تجعله مثاليًا للتكيف مع المهام الجديدة. في المقابل، Resampler ViT مدمج بإحكام، مما يحد من قدرته على التكيف. - كفاءة للمهام البصرية واسعة النطاق:
تجميد مشفر الرؤية يلغي الحاجة إلى إعادة التدريب أثناء التعلم متعدد الوسائط، مما يقلل التكاليف الحسابية، خاصة للبيانات البصرية واسعة النطاق. Resampler ViT، رغم كونه خفيف الوزن، يعالج رموز الرؤية ديناميكيًا، مما قد يزيد من الحمل للمهام البصرية الثقيلة. - محسّن للمهام البصرية العامة:
مدرب مسبقًا على مجموعات بيانات كبيرة، يتفوق SigLIP-ViT المجمد في المهام البصرية الواسعة (مثل التصنيف والاكتشاف). يضمن دمجه عبر الانتباه المتقاطع مخرجات عالية الجودة. على العكس، Resampler ViT أكثر تخصصًا للمهام خفيفة الوزن مثل التعرف البصري على الحروف وتحليل المخططات.
Qwen 2.5-VL-72B
يُمكّن ViT مع الانتباه النافذ و MRoPE من معالجة فعالة للصور ذات الدقة العشوائية والفيديوهات الطويلة، مدمجًا رمزًا برمز مع نواة لغة MoE بحجم 72 مليار معلمة للمهام متعددة الوسائط المعقدة.
المزايا
- SigLIP-ViT المجمد:
تصميم معياري ومرن يسمح بالتحسين أو الاستبدال المستقل لمشفر الرؤية، مثالي للمهام البصرية العامة. - Resampler ViT:
خفيف الوزن وفعال، متخصص في التعرف البصري على الحروف عالي الدقة وتفسير المخططات، مع حمل حسابي ضئيل. - ViT مع الانتباه النافذ + MRoPE:
محسّن للدقة العشوائية ومعالجة الفيديو الطويل، مع دمج دقيق رمزًا برمز للمهام متعددة الوسائط المعقدة.
Llama 4 (Scout / Maverick)
يُغذي تضمين أجزاء ViT في Transformer متعدد الوسائط Mixture-of-Experts، مما ينشط بشكل ديناميكي 16–128 خبيرًا لكل تمرير أمامي من أجل معالجة قابلة للتوسع وفعالة.
المزايا
- قابلية التوسع:
يتيح تصميم MoE للنموذج التوسع بكفاءة لتناسب مجموعات البيانات والمهام الكبيرة، حيث ينشط فقط الخبراء الضروريين، مما يقلل الحسابات غير الضرورية. هذا يجعله فعالًا جدًا للأنظمة متعددة الوسائط واسعة النطاق. - قابلية التكيف مع المهام:
من خلال الاختيار الديناميكي بين 16–128 خبيرًا، تتكيف هذه البنية مع مهام ذات تعقيد متفاوت، مما يضمن أداءً أمثلًا دون إثقال الحسابات. - كفاءة للبيانات المتنوعة:
على عكس ViT مع الانتباه النافذ المتخصص في البيانات عالية الدقة أو الفيديو، تتفوق بنية MoE في أعباء العمل متعددة الوسائط العامة، مما يوازن الموارد بكفاءة عبر أنواع مختلفة من البيانات (مثل النصوص والصور ومجموعاتها).
مقارنة أفضل 5 نماذج رؤية كبيرة من حيث الأداء
| النموذج | MMBench | MMMU | OCRBench | MATHVista | HallusionBench | ScienceQA-TEST |
|---|---|---|---|---|---|---|
| GPT 4o | 82.2 | 69.2 | 815 | 61.8 | 55 | 90.7 |
| Gemini 2.5 Pro | 88.3 | 74.7 | 862 | 80.9 | 64.1 | - |
| Claude 3.7 Sonnet | 79.7 | 71 | 701 | 66.8 | 55.4 | 90.9 |
| Qwen 2.5 VL 72B | 87.8 | 68.2 | 882 | 74.2 | 54.6 | 91.4 |
| Llama 4 Scout | 69.4 | 66.5 | - | 70.7 | - | - |
Gemini 2.5 Pro هو الخيار الأفضل للمهام متعددة الوسائط العامة. يتفوق Qwen 2.5-VL-72B في التعرف البصري على الحروف والاستدلال العلمي. GPT-4o و Claude 3 Sonnet قويان في المهام العلمية لكنهما أضعف في الرياضيات ومقاومة الهلوسة. Llama 4 Scout له قدرات محدودة وتقييمات غير مكتملة.
مقارنة أفضل 5 نماذج رؤية كبيرة من حيث التطبيق
| إذا كنت تهتم أكثر بـ … | القائمة المختصرة |
|---|---|
| التعرف البصري على الحروف دون الثانية والدردشة البصرية العامة | GPT 4o |
| الاستدلال متعدد الوسائط على المستوى الجامعي / الإجابة عن أسئلة لحظة الفيديو | Gemini 2.5 Pro |
| ملفات PDF ضخمة + صور بدقة قانونية عالية | Claude 3.7 Vision |
| التحكم الكامل والتكلفة الإجمالية المنخفضة للملكية للتأريض / الإجابة عن أسئلة الفيديو | Qwen 2.5-VL-72B |
| تحليل المخططات أو المستندات المنظمة على GPU واحد | Llama 4 Scout |
مقارنة أفضل 5 نماذج رؤية كبيرة من حيث النشر
نظرًا لأن GPT و Gemini و Claude هي نماذج مغلقة المصدر ولا يمكن الوصول إليها إلا عبر منصاتها الرسمية، فإن Qwen و Llama، كونها نماذج مفتوحة المصدر، توفر ميزة قابلية النقل والفعالية من حيث التكلفة من خلال واجهات برمجة التطبيقات مثل Novita AI.
الخطوة 1: تسجيل الدخول والوصول إلى مكتبة النماذج
سجل الدخول إلى حسابك وانقر على زر مكتبة النماذج.
الخطوة 2: اختر نموذجك
تصفح الخيارات المتاحة واختر النموذج الذي يناسب احتياجاتك.
الخطوة 3: ابدأ نسختك التجريبية المجانية
ابدأ نسختك التجريبية المجانية لاستكشاف قدرات النموذج المحدد.
جرب Qwen 2.5 VL 72B و Llama 4 ديمو الآن!
الخطوة 4: احصل على مفتاح API الخاص بك
للمصادقة مع واجهة برمجة التطبيقات، سنقدم لك مفتاح API جديدًا. بالدخول إلى صفحة “الإعدادات“، يمكنك نسخ مفتاح API كما هو موضح في الصورة.
الخطوة 5: تثبيت واجهة برمجة التطبيقات
قم بتثبيت واجهة برمجة التطبيقات باستخدام مدير الحزم الخاص بلغة البرمجة الخاصة بك.
بعد التثبيت، قم باستيراد المكتبات اللازمة إلى بيئة التطوير الخاصة بك. قم بتهيئة واجهة برمجة التطبيقات باستخدام مفتاح API الخاص بك لبدء التفاعل مع Novita AI LLM. هذا مثال على استخدام واجهة برمجة تطبيقات إكمال الدردشة لمستخدمي Python.
from openai import OpenAI
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<مفتاح API الخاص بك لـ Novita AI>",
)
model = "qwen/qwen2.5-vl-72b-instruct"
stream = True # أو False
max_tokens = 2048
system_content = """كن مساعدًا مفيدًا"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "مرحبًا!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
تمثل نماذج لغة الرؤية (VLMs) حافة الذكاء الاصطناعي متعدد الوسائط، حيث تجمع بين فهم الصور والنصوص لتشغيل مجموعة واسعة من المهام مثل الإجابة البصرية عن الأسئلة، والتعليق على الصور، وكشف الكائنات. من بين النماذج الرائدة:
- Gemini 2.5 Pro هو الخيار الأفضل للمهام متعددة الوسائط العامة، ويتفوق في حالات الاستخدام المتنوعة بكفاءة وقابلية توسع عالية.
- Qwen 2.5-VL-72B يتميز في التعرف البصري على الحروف والاستدلال العلمي، ويوفر المرونة والفعالية من حيث التكلفة كحل مفتوح المصدر.
- GPT-4o و Claude 3 Vision قويان في الاستدلال العلمي والتعرف البصري على الحروف لكنهما مغلقا المصدر بقدرة تكيف محدودة.
- Llama 4 Scout يوفر خيارًا مفتوح المصدر وقابلًا للتوسع، على الرغم من أن قدراته أقل دقة مقارنة بالمنافسين.
توفر النماذج مفتوحة المصدر مثل Qwen و Llama ميزة قابلية النقل وكفاءة التكلفة، ويمكن الوصول إليها من خلال واجهات برمجة التطبيقات مثل Novita AI.
الأسئلة المتكررة
ما هي نماذج لغة الرؤية (VLMs)؟
VLMs هي نماذج ذكاء اصطناعي مصممة لمعالجة كل من الصور والنصوص، وتوليد مخرجات نصية طبيعية. تؤدي مهام مثل الإجابة البصرية عن الأسئلة، والتعليق على الصور، وكشف الكائنات.
كيف تعمل نماذج VLM؟
تجمع نماذج VLM بين مستخرج مميزات الصورة (مثل ViT أو CLIP) و وحدة فك ترميز النص (مثل LLaMA أو Qwen). يتيح هذا التكامل فهمًا سلسًا متعدد الوسائط.
لماذا تختار نماذج VLM مفتوحة المصدر مثل Qwen و Llama؟
تسمح النماذج مفتوحة المصدر بالتحكم الكامل والتخصيص والنشر الفعال من حيث التكلفة. يمكن الوصول إليها عبر واجهات برمجة التطبيقات مثل Novita AI، مما يوفر المرونة وسهولة التكامل.
Novita AI هي منصة سحابية للذكاء الاصطناعي تقدم للمطورين طريقة سهلة لنشر نماذج الذكاء الاصطناعي باستخدام واجهة برمجة التطبيقات البسيطة الخاصة بنا، مع توفير GPU سحابي موثوق وبأسعار معقولة للبناء والتوسع.**
