GLM-4.1V-9B-Thinking هو نموذج رؤية ولغة ثوري بـ 9 مليارات معلمة، يقدم أول نهج يركز على الاستدلال للذكاء الاصطناعي متعدد الوسائط. تم تطويره بواسطة THUDM، ويحقق هذا النموذج أداءً متطورًا من خلال تنفيذ “نموذج تفكير” فريد يمكّن من عمليات استدلال شفافة وخطوة بخطوة.
على الرغم من حجمه الصغير نسبيًا، إلا أن GLM-4.1V-9B-ThThinking يضاهي أو يتفوق على نماذج أكبر بكثير تحتوي على 72 مليار معلمة عبر 18 مهمة مرجعية، مما يدل على كفاءة وقدرة استثنائية في الاستدلال متعدد الوسائط.
لفترة محدودة، يمكن للمستخدمين الجدد الحصول على [10 دولارات من الاعتمادات المجانية](https://novita.ai/referral?invited_code=5W10UA) لاستكشاف وبناء مع GLM-4.1V-9B-Thinking.
فيما يلي التسعير الحالي لـ GLM-4.1V-9B-Thinking API على Novita AI: $0.035 / مليون رمز إدخال، $0.138 / مليون رمز إخراج
ما هو GLM-4.1V-9B-Thinking؟
أصبحت نماذج الرؤية واللغة (VLMs) مكونات أساسية للأنظمة الذكية. نظرًا لأن مهام الذكاء الاصطناعي الواقعية تزداد تعقيدًا، يجب أن تتطور نماذج VLMs لما يتجاوز الإدراك متعدد الوسائط الأساسي لإظهار قدرات استدلال متقدمة. يركز هذا التطور على تحسين الدقة والشمولية والذكاء العام، مما يمهد الطريق لتطبيقات مثل حل المشكلات المعقدة وفهم السياق الطويل والعملاء متعددي الوسائط.
GLM-4.1V-9B-Thinking هو نموذج رؤية ولغة من الجيل التالي (VLM) مصمم لتلبية هذه المتطلبات من خلال تطوير الفهم والاستدلال متعدد الوسائط للأغراض العامة. مبني على نموذج الأساس GLM-4-9B-0414، يقدم “نموذج تفكير” رائد يميزه عن غيره.
يسمح هذا النموذج الجديد للنموذج بالانخراط في استدلال صريح خطوة بخطوة قبل تقديم المخرجات النهائية. على عكس النماذج التقليدية التي تنتج ردودًا مباشرة، يقوم GLM-4.1V-9B-ThThinking بإظهار عملية الاستدلال الخاصة به، مما يجعلها شفافة وقابلة للتفسير والتحقق، مما يمهد الطريق لأنظمة ذكاء اصطناعي أكثر موثوقية وقدرة.
الميزات والابتكارات الرئيسية
معالجة المدخلات المرنة: يدعم النموذج دقة الصور وأبعادها التعسفية. يدمج 2D-RoPE، مما يتيح معالجة فعالة للصور ذات نسب الأبعاد القصوى (أكثر من 200:1) أو الدقة العالية (أكثر من 4K).
تكييف تضمين الموضع: للحفاظ على القدرات الأساسية لـ ViT المدربة مسبقًا، يحتفظ النموذج بتضمينات الموضع المطلقة القابلة للتعلم الأصلية. أثناء التدريب، يتم تكييف هذه التضمينات ديناميكيًا مع مدخلات الدقة المتغيرة عبر الاستيفاء الثنائي التكعيبي.
الفهم الزمني: لمحتوى الفيديو، يقوم النموذج بإدراج رموز فهرس الوقت بعد كل رمز إطار، حيث يتم تنفيذ فهرس الوقت عن طريق ترميز الطابع الزمني لكل إطار كسلسلة. يُعلم هذا التصميم النموذج صراحةً بالطوابع الزمنية الحقيقية والمسافات الزمنية بين الإطارات.
دعم السياق الممتد: يدعم النموذج طول سياق 64 ألف رمز ويوفر قدرات ثنائية اللغة باللغتين الصينية والإنجليزية، مما يجعله قويًا لفهم المستندات الطويلة والتطبيقات عبر الثقافات.
التحسينات الرئيسية مقارنة بالنماذج السابقة:
- أول نموذج يركز على الاستدلال في السلسلة يحقق أداءً رائدًا عالميًا عبر مجالات فرعية مختلفة
- يدعم طول سياق 64 ألف رمز
- يعالج نسب الأبعاد التعسفية ودقة صور تصل إلى 4K
- يوفر إصدارًا مفتوح المصدر يدعم الاستخدام ثنائي اللغة باللغتين الصينية والإنجليزية
إطار التدريب الثوري
يستخدم GLM-4.1V-9B-Thinking نهج تدريب مبتكر يتميز بالتعلم المعزز مع أخذ العينات المنهجي (RLCS)، والذي يعزز بشكل منهجي قدرات الاستدلال عبر مجالات متعددة.
المرحلة 1: أساس ما قبل التدريب يخضع النموذج للتدريب المسبق على نطاق واسع لتزويده بقدرات أساسية قوية، بما في ذلك أزواج الصور والنصوص الضخمة ذات المعرفة الواقعية الدقيقة، والمجموعة الأكاديمية المنسقة ذاتيًا مع الصور والنصوص المتداخلة، والمستندات والرسوم البيانية المشروحة.
المرحلة 2: الضبط الدقيق الخاضع للإشراف
تعمل هذه المرحلة كجسر إلى التعلم المعزز، وتحويل نموذج الرؤية واللغة الأساسي إلى نموذج قادر على استدلال سلسلة الأفكار الطويلة (CoT). يتبع كل استجابة هيكلًا موحدًا مع أقسام التفكير والإجابة.
المرحلة 3: ابتكار التعلم المعزز يقدم الفريق التعلم المعزز مع أخذ العينات المنهجي (RLCS) لدفع قدرات الاستدلال على نطاق واسع عبر المجالات. يجمع RLCS بين التعلم المنهجي وأخذ العينات المراعية للصعوبة لتحسين كفاءة التدريب.
المصدر من: THUDM
مقارنة مع نماذج VLM المتقدمة الأخرى
المصدر من: THUDM
كفاءة استثنائية: على الرغم من حجمه الصغير نسبيًا، يتفوق GLM-4.1V-9B-Thinking على النموذج الأكبر بكثير Qwen2.5-VL-72B في 18 من أصل 28 معيارًا. يشمل ذلك المهام الصعبة بشكل خاص مثل MMStar (72.9 مقابل 70.8)، MUIRBENCH (74.7 مقابل 62.9)، MMMU-Pro (57.1 مقابل 51.1)، و ChartMuseum (48.8 مقابل 39.6)، مما يوضح الكفاءة والقدرة الفائقة للنموذج.
تنافسي مقابل النماذج الملكية: بالمقارنة مع GPT-4o الملكي، يحقق GLM-4.1V-9B-Thinking نتائج متفوقة في معظم المهام بما في ذلك MMStar (72.9 مقابل 66.2)، MUIRBENCH (74.7 مقابل 69.7)، AI2D (87.9 مقابل 84.8)، MMMU-Pro (57.1 مقابل 54.6)، MathVista (80.7 مقابل 64.0)، و MotionBench (59.0 مقابل 58.0). يتحقق هذا الأداء على الرغم من حجم GPT-4o الأكبر بكثير وميزته مفتوحة المصدر غير المتاحة.
الهيمنة في المهام المتخصصة: يُظهر النموذج أداءً استثنائيًا في مهام العامل الرسومي (GUI)، محققًا 72.1 في WebQuest-SingleQA (مقابل 60.5 لـ Qwen2.5-VL-72B و 57.0 لـ GPT-4o)، و 69.0 في WebVoyageSom (مقابل 40.4 لـ Qwen2.5-VL-72B و 59.4 لـ GPT-4o). في مهام البرمجة، يحقق 72.5 في Flame-VLM-Code، متجاوزًا بشكل كبير النموذج الذي يبلغ 72 مليار معلمة (46.3) مع بقائه منافسًا لـ GPT-4o (75.0).
كفاءة الموارد المثلى: تؤكد هذه النتائج أن GLM-4.1V-9B-Thinking يقدم مقايضة ممتازة بين الأداء والكفاءة. وهذا يجعله خيارًا جذابًا للنشر في العالم الحقيقي حيث تكون الموارد الحاسوبية محدودة، مما يوفر حلًا عمليًا وقويًا تحت قيود الموارد مع الحفاظ على أداء تنافسي مقابل الأنظمة الأكبر بكثير.
استكشف عرض GLM-4.1V-9B-Thinking الآن
متطلبات التشغيل
تمكن البنية الفعالة للنموذج من خيارات نشر مرنة عبر مختلف تكوينات الأجهزة بناءً على المواصفات الرسمية.
الاستدلال
الجهاز (GPU واحد) |
الإطار | الذاكرة الدنيا | السرعة | الدقة |
|---|---|---|---|---|
| NVIDIA A100 | transformers | 22GB | 14 - 22 رمز / ثانية | BF16 |
| NVIDIA A100 | vLLM | 22GB | 60 - 70 رمز / ثانية | BF16 |
الضبط الدقيق
النتائج التالية مبنية على ضبط دقيق للصور باستخدام مجموعة أدوات LLaMA-Factory.
| الجهاز (مجموعة) | الاستراتيجية | الذاكرة الدنيا / عدد GPUs | حجم الدفعة (لكل GPU) | التجميد |
|---|---|---|---|---|
| NVIDIA A100 | LORA | 21GB / 1 GPU | 1 | تجميد VIT |
| NVIDIA A100 | FULL ZERO2 | 280GB / 4 GPUs | 1 | تجميد VIT |
| NVIDIA A100 | FULL ZERO3 | 192GB / 4 GPUs | 1 | تجميد VIT |
| NVIDIA A100 | FULL ZERO2 | 304GB / 4 GPUs | 1 | بدون تجميد |
| NVIDIA A100 | FULL ZERO3 | 210GB / 4 GPUs | 1 | بدون تجميد |
ملاحظة: قد يؤدي الضبط الدقيق مع Zero2 إلى خسارة صفرية؛ يُوصى باستخدام Zero3 لتدريب مستقر.
كيفية الوصول إلى GLM-4.1V-9B-Thinking على Novita AI
البدء مع GLM-4.1V-9B-Thinking سريع وبسيط وخالٍ من المخاطر على Novita AI. بفضل برنامج الإحالة، ستحصل على 10 دولارات من الاعتمادات المجانية—كافية لاستكشاف قوة الاستدلال متعدد الوسائط لـ GLM-4.1V-9B-Thinking بشكل كامل، وبناء نماذج أولية، وحتى إطلاق حالة الاستخدام الأولى الخاصة بك دون أي تكلفة مسبقة.
استخدام الملعب (لا حاجة للبرمجة)
وصول فوري: سجل، احصل على اعتماداتك المجانية، وابدأ في تجربة GLM-4.1V-9B-Thinking وغيره من النماذج متعددة الوسائط الرائدة في ثوانٍ.
واجهة مستخدم تفاعلية: اختبر فهم الصور، وتحليل المخططات، وسير عمل الاستدلال الشفاف في الوقت الفعلي. جرب نموذج التفكير الفريد للنموذج من خلال الواجهة البديهية.
مقارنة النماذج: انتقل بسهولة بين GLM-4.1V-9B-Thinking، نماذج الرؤية واللغة الأخرى، والنماذج النصية فقط للعثور على الأنسب لاحتياجاتك متعددة الوسائط.
التكامل عبر API (للمطورين)
اتصل بسلاسة بـ GLM-4.1V-9B-Thinking مع تطبيقاتك أو سير عملك أو روبوتات الدردشة باستخدام REST API الموحد لـ Novita AI—دون الحاجة لإدارة أوزان النموذج أو البنية التحتية.
الخيار 1: التكامل المباشر لـ API (مثال بلغة Python)
للبدء مع المدخلات متعددة الوسائط، استخدم مقتطف الشيفرة التالي:
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="",
)
model = "thudm/glm-4.1v-9b-thinking"
stream = True # or False
max_tokens = 4000
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
الميزات الرئيسية:
- نقطة نهاية موحدة:
/v3/openaiتدعم تنسيق Chat Completions API الخاص بـ OpenAI. - تحكمات مرنة: ضبط درجة الحرارة، top-p، العقوبات، والمزيد للحصول على نتائج مخصصة.
- البث والتجميع: اختر وضع الاستجابة المفضل لديك.
الخيار 2: سير عمل العوامل المتعددة باستخدام OpenAI Agents SDK
قم ببناء أنظمة عوامل متعددة الوسائط متقدمة من خلال دمج Novita AI مع OpenAI Agents SDK:
التوصيل والتشغيل: استخدم GLM-4.1V-9B-Thinking في أي سير عمل OpenAI Agents لمهام الرؤية واللغة.
يدعم التسليم والتوجيه واستخدام الأدوات: صمم عوامل يمكنها تحليل المحتوى المرئي، تفويض المهام، أو تشغيل الوظائف، كل ذلك مدعوم بقدرات الاستدلال لـ GLM-4.1V-9B-Thinking.
التكامل مع Python: ببساطة وجه SDK إلى نقطة نهاية Novita (https://api.novita.ai/v3/openai) واستخدم مفتاح API الخاص بك لسير عمل العوامل متعددة الوسائط بسلاسة.
توصيل GLM-4.1V-9B-Thinking API على منصات الطرف الثالث
Hugging Face: استخدم GLM-4.1V-9B-Thinking في Spaces أو pipelines أو مع مكتبة Transformers عبر نقاط نهاية Novita AI للتطبيقات متعددة الوسائط.
أطر العوامل والتنسيق: اتصل بسهولة بـ Novita AI مع منصات الشركاء مثل Continue، AnythingLLM، LangChain، Dify و Langflow من خلال الموصلات الرسمية وأدلة التكامل خطوة بخطوة.
API متوافق مع OpenAI: استمتع بالهجرة والتكامل الخاليين من المتاعب مع أدوات مثل Cline و Cursor، المصممة لمعيار API الخاص بـ OpenAI.
الخاتمة
يمثل GLM-4.1V-9B-Thinking معلماً تحويلياً في الذكاء الاصطناعي متعدد الوسائط، مما يثبت أنه يمكن تحقيق قدرات استدلال متقدمة بكفاءة في نموذج ب9 مليارات معلمة. من خلال إطار التدريب RLCS المبتكر ونموذج التفكير الفريد، يضاهي أو يتفوق على أنظمة أكبر بكثير ب72 مليار معلمة عبر معايير متنوعة.
جرب عرض GLM-4.1V-9B-Thinking على Novita AI الآن و احصل على اعتماداتك المجانية!
Novita AI هي منصة سحابية للذكاء الاصطناعي تقدم للمطورين طريقة سهلة لنشر نماذج الذكاء الاصطناعي باستخدام API بسيط، مع توفير GPU سحابي ميسور وموثوق للبناء والتوسع.
