ذاكرة VRAM لـ ERNIE: التشغيل المحلي يتطلب كثيراً، Novita AI لا تحتاج شيئاً

ذاكرة VRAM لـ ERNIE: التشغيل المحلي يتطلب كثيراً، Novita AI لا تحتاج شيئاً

تم إطلاق ERNIE 4.5 300B A47B Base رسمياً على منصة Novita AI، مما يتيح للمستخدمين الوصول إلى نموذج يتفوق على DeepSeek V3 671B في 22 من أصل 28 معياراً. حتى عند المقارنة مع التطبيقات الراقية مثل DeepSeek R1، يُظهر ERNIE 4.5 أداءً متميزاً. والأكثر إثارة، أن الأسعار تنافسية للغاية!

اسم النموذج طول السياق سعر الإدخال سعر الإخراج
ERNIE 4.5 VL 28B A3B 30k مجاني مجاني
ERNIE 4.5 VL 424B A47B 123k $0.42 / 1M رمز $1.25 / 1M رمز
ERNIE 4.5 0.3B 120k مجاني مجاني
ERNIE 4.5 21B A3B 120k مجاني مجاني
ERNIE 4.5 300B A47B Paddle 123k $0.30 / 1M رمز $1.00 / 1M رمز
DeepSeek R1 0528 163k $0.70 / 1M رمز $2.50 / 1M رمز
DeepSeek V3 0324 163k $0.28 / 1M رمز $1.14 / 1M رمز

ولكن هل يعني هذا الانخفاض في السعر أن متطلبات الأجهزة - خاصة VRAM - قد انخفضت أيضاً؟ أم أن تشغيل مثل هذا النموذج القوي لا يزال يتطلب موارد كبيرة؟ في الأقسام التالية، سنحلل بالضبط مقدار VRAM الذي يحتاجه ERNIE 4.5 محلياً.

عائلة نماذج ERNIE

اسم النموذج المعلمات الأساسية المعلمات النشطة نوع النموذج الوسائط نوع التدريب
ERNIE 4.5 VL 424B A47B 424B 47B MoE نص ورؤية PT
ERNIE 4.5 VL 424B A47B Base 424B 47B MoE نص ورؤية Base
ERNIE 4.5 VL 28B A3B 28B 3B MoE نص ورؤية PT
ERNIE 4.5 VL 28B A3B Base 28B 3B MoE نص ورؤية Base
ERNIE 4.5 300B A47B 300B 47B MoE نص PT
ERNIE 4.5 300B A47B Base 300B 47B MoE نص Base
ERNIE 4.5 21B A3B 21B 3B MoE نص PT
ERNIE 4.5 21B A3B Base 21B 3B MoE نص Base
ERNIE 4.5 0.3B 0.3B - Dense نص PT
ERNIE 4.5 0.3B Base 0.3B - Dense نص Base

ابتكارات عائلة ERNIE

ابتكارات عائلة ERNIE

الأداء الممتاز لعائلة ERNIE

أداء نماذج ERNIE-4.5 المُدرّبة مسبقاً

أداء نماذج ERNIE 4.5 المُدرّبة مسبقاً

  • عام: يتفوق ERNIE 4.5 21B A3B Base و 300B A7B Base في بعض معايير C-Eval، CMMU، إلخ. Qwen3 30B A3B Base قوي في معايير أخرى.
  • الاستدلال: يتصدر Qwen3 30B A3B Base في سلسلة ARC؛ ERNIE 4.5 21B A3B Base جيد في BBH، Drop.
  • الرياضيات: يتميز ERNIE 4.5 21B A3B Base و 300B A7B Base في أجزاء مثل GSM8K، CMATH؛ Qwen3 30B A3B Base له نقاط قوة أيضاً.
  • المعرفة: يؤدي ERNIE 4.5 21B A3B Base بشكل جيد في SimpleQA، ChineseSimpleQA.
  • البرمجة: يتنافس ERNIE 4.5 21B A3B Base و 300B A7B Base بقوة في HumanEval+، MultiPLE.

أداء النماذج متعددة الوسائط المُدرّبة بعدياً في وضع عدم التفكير

أداء النماذج متعددة الوسائط المُدرّبة بعدياً في وضع عدم التفكير

Qwen2.5

  • نقاط القوة: تتفوق في الأسئلة البصرية الأساسية، بعض الاستدلال متعدد الوسائط، والمهام البصرية الخفيفة. قوية في MMBench cn/en.
  • نقاط الضعف: تعاني في مهام المستندات/الرسوم البيانية المعقدة، الاستدلال متعدد الوسائط العميق، والإدراك البصري التفصيلي. أقل كفاءة في فهم الفيديو المعتمد على الترجمة.

ERNIE 4.5

  • نقاط القوة: يهيمن على مهام المستندات/الرسوم البيانية المعقدة، الاستدلال متعدد الوسائط العميق، الإدراك البصري الدقيق وفهم الفيديو بالترجمة. قوي بشكل عام في التعقيد متعدد الوسائط.
  • نقاط الضعف: أقل تنافسية في الأسئلة البصرية الأساسية ومهام الفيديو البسيطة.

إذن، ما مقدار VRAM الذي يحتاجه ERNIE؟

🚀 دقة FP16

النموذج المعلمات (النشطة) VRAM المطلوب GPU(es) المثالية
ERNIE 4.5 VL 424B 424B (47B نشط) ~945 GB NVIDIA H100 (80GB) × 12
ERNIE 4.5 300B 300B (47B نشط) ~668 GB NVIDIA H100 (80GB) × 9
ERNIE 4.5 VL 28B 28B (3B نشط) ~64 GB NVIDIA A100/H100 (80GB)
ERNIE 4.5 21B 21B (3B نشط) ~48 GB NVIDIA RTX 6000 Ada (48GB)
ERNIE 4.5 0.3B 300M ~2.5 GB NVIDIA RTX 4060 (8GB) / RTX 3060 (12GB)
Gemma 3 27B 27B ~65.2 GB NVIDIA A100/H100 (80GB)

دقة INT4

النموذج المعلمات (النشطة) VRAM المطلوب GPU(es) المثالية
ERNIE 4.5 VL 424B 424B (47B نشط) ~237 GB NVIDIA H100 (80GB) × 3
ERNIE 4.5 300B 300B (47B نشط) ~168 GB NVIDIA H100 (80GB) × 3
ERNIE 4.5 VL 28B 28B (3B نشط) ~17 GB NVIDIA RTX 4090 (24GB) / A10G (24GB)
ERNIE 4.5 21B 21B (3B نشط) ~13 GB NVIDIA RTX 4080 (16GB) / A10G (24GB)
ERNIE 4.5 0.3B 300M ~1.8 GB معظم GPUs بسعة VRAM >4GB
Gemma 3 27B 27B ~14.1 GB أي GPU عالي المستوى بسعة VRAM ≥16GB

الجوانب السلبية لمتطلبات VRAM العالية ونصائح عملية

تشكل متطلبات VRAM العالية عدة تحديات للمستخدمين. أولاً، يمكن أن ترتفع تكاليف الأجهزة بشكل كبير—فـ GPUs الراقية مثل NVIDIA H100 باهظة الثمن وتتطلب غالباً مجموعات متعددة من GPUs لتشغيل النماذج الأكبر، مما يجعلها غير ميسورة للأفراد أو المؤسسات الصغيرة. ثانياً، يزيد استهلاك الطاقة وتوليد الحرارة مع زيادة عدد GPUs، مما يؤدي إلى ارتفاع التكاليف التشغيلية والحاجة إلى حلول تبريد أكثر تعقيداً. ثالثاً، قد يكون من الصعب صيانة هذه الإعدادات، حيث تتطلب خبرة فنية في الأجهزة والحوسبة الموزعة وتكوين البرامج.

يمكن لهذه التحديات أيضاً أن تحد من الوصول: فالعديد من الباحثين والمطورين والمتحمسين ببساطة لا يملكون إمكانية الوصول إلى البنية التحتية اللازمة، مما قد يبطئ الابتكار والتجريب.

نصائح للتغلب على متطلبات VRAM العالية:

  • استخدم النماذج المكممة: اختر إصدارات INT4 أو إصدارات مضغوطة/مكممة أخرى لتقليل احتياجات VRAM بشكل كبير، غالباً مع تأثير ضئيل على الأداء في العديد من المهام.
  • الحلول السحابية: فكر في استخدام منصات سحابية تتيح لك استئجار GPUs عالية الأداء فقط عند الحاجة، بدلاً من الاستثمار في أجهزة باهظة الثمن.
  • تفريغ النموذج وتدفقه: استخدم أدوات أو منصات تدعم تفريغ النموذج أو تقسيمه أو تدفقه، بحيث لا تحتاج جميع البيانات إلى الإقامة في VRAM GPU في وقت واحد.

Novita AI: الوصول إلى ERNIE مع 0 VRAM مطلوب

البدء مع ERNIE 4.5 على Novita AI سلس وخالٍ من المخاطر.

يحصل المستخدمون الجدد على رصيد مجاني بقيمة 10 دولارات—كافٍ لاستكشاف ERNIE 4.5 دون تكاليف مسبقة.

جرب Novita AI اليوم!

استخدم Playground (بدون حاجة لبرمجة)

  • وصول فوري: سجل، واحصل على رصيدك المجاني، وابدأ بتجربة ERNIE 4.5 ونماذج أخرى رائدة في ثوانٍ.
  • واجهة تفاعلية: اختبر المطالبات، والاستدلال بسلسلة الأفكار، وتصور النتائج في الوقت الفعلي.
  • مقارنة النماذج: بدّل بسهولة بين ERNIE 4.5 و Qwen 3 و Llama 4 و DeepSeek والمزيد للعثور على الأنسب لاحتياجاتك.

ابدأ تجربة مجانية على ERNIE 4.5

التكامل عبر API (للمطورين)

اربط ERNIE 4.5 بسلاسة مع التطبيقات وسير العمل وروبوتات الدردشة باستخدام REST API الموحد من Novita AI. لا حاجة لإدارة أوزان النموذج أو القلق بشأن البنية التحتية—توفر Novita AI SDKs متعددة اللغات وأدوات تحكم معلمة متقدمة.

1.التكامل المباشر مع API (مثال بايثون)

curl "https://api.novita.ai/v3/openai/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer " \
  -d @- << 'EOF'
{
    "model": "baidu/ernie-4.5-300b-a47b-paddle",
    "messages": [
        {
            "role": "system",
            "content": كن مساعداً مفيداً
        },
        {
            "role": "user",
            "content": "مرحباً!"
        }
from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="",
)

model = "baidu/ernie-4.5-300b-a47b-paddle"
stream = True # or False
max_tokens = 6000
system_content = "كن مساعداً مفيداً"
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "مرحباً!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  
      "response_format": { "type": "text" },
    "max_tokens": 32768,
    "temperature": 1,
    "top_p": 1,
    "min_p": 0,
    "top_k": 50,
    "presence_penalty": 0,
    "frequency_penalty": 0,
    "repetition_penalty": 1
}
EOF
  
 

2.سير عمل الوكلاء المتعددين باستخدام OpenAI Agents SDK

قم ببناء أنظمة وكيلة متقدمة متعددة العوامل من خلال دمج Novita AI مع OpenAI Agents SDK:

  • التوصيل والتشغيل: استخدم ERNIE 4.5 من Novita AI في أي سير عمل لـ OpenAI Agents
  • يدعم التسليم والتوجيه واستخدام الأدوات: صمم وكلاء يمكنهم التفويض أو الفرز أو تشغيل الوظائف، وكلها مدعومة بقدرات ERNIE 4.5
  • التكامل مع بايثون: ببساطة قم بتوجيه SDK إلى نقطة نهاية Novita (https://api.novita.ai/v3/openai) واستخدم مفتاح API الخاص بك

ربط API ERNIE 4.5 على منصات الطرف الثالث

  • Hugging Face: استخدم ERNIE 4.5 في Spaces أو pipelines أو مع مكتبة Transformers عبر نقاط نهاية Novita AI.

  • منصات الوكلاء والتنسيق: قم بتوصيل Novita AI بسهولة مع منصات شريكة مثل Continue و AnythingLLM و LangChain و Dify و Langflow من خلال موصلات رسمية وأدلة تكامل خطوة بخطوة.

  • API متوافق مع OpenAI: استمتع بالترحيل والتكامل الخالي من المتاعب مع أدوات مثل Cline و Cursor، المصممة لمعيار API OpenAI.

على الرغم من أن تشغيل ERNIE 4.5 على أجهزتك الخاصة سيتطلب GPUs قوية جداً (وباهظة الثمن)، فإن Novita AI يتيح لك استخدام هذه النماذج الكبيرة بسهولة، مع صفر VRAM مطلوب من جانبك. هذا يجعل الذكاء الاصطناعي المتقدم في متناول الجميع، من المبتدئين إلى المطورين.

الأسئلة الشائعة

هل ERNIE 4.5 أفضل حقاً من نماذج الذكاء الاصطناعي الكبيرة الأخرى؟

نعم، ERNIE 4.5 يسجل درجات أعلى من DeepSeek V3 671B في معظم المعايير وينافس بقوة النماذج الرائدة الأخرى.

هل يمكن استخدام ERNIE 4.5 في مهام البرمجة والرياضيات؟

نعم، نماذج ERNIE 4.5 تؤدي أداءً جيداً في مهام البرمجة (مثل HumanEval+) والرياضيات (مثل GSM8K، CMATH).

ما مقدار VRAM الذي أحتاجه لتشغيل ERNIE 4.5؟

تشغيل أكبر إصدارات ERNIE 4.5 (مثل 424B أو 300B) يتطلب VRAM عالياً جداً—مئات GBs وعدة GPUs عالية الأداء. الإصدارات الأصغر أو المكممة تحتاج VRAM أقل بكثير.

Novita AI هي منصة سحابية شاملة تمكن طموحاتك في الذكاء الاصطناعي. APIs مدمجة، بدون خادم، GPU Instance — الأدوات الفعالة من حيث التكلفة التي تحتاجها. تخلص من البنية التحتية، ابدأ مجاناً، وحوّل رؤيتك للذكاء الاصطناعي إلى واقع.

قراءة موصى بها