النقاط الرئيسية
LlaMA 3.3، الذي طورته Meta، هو نموذج لغوي قوي يتمتع بقدرات مذهلة.
يسجل 92.1 في IFEval لاتباع التعليمات بشكل ممتاز، و88.4% في HumanEval لتوليد الكود القوي، و91.1 في MGSM لحل المشكلات الرياضية متعددة اللغات.
بفضل الاستخدام الفعال للموارد (40 جيجابايت من ذاكرة GPU VRAM) وانخفاض تكلفة التوكن (0.39 دولار لكل مليون توكن من Novita AI)، فهو مثالي للشركات الناشئة والصغيرة.
يمكن للمطورين الوصول بسهولة إلى LLaMA 3.3 عبر Novita AI. ببساطة سجل للحصول على نسخة تجريبية مجانية، واحصل على مفتاح API، وادمج النموذج في التطبيقات، مما يطلق العنان لإمكانياته الكاملة لمهام اللغة.
LLaMA 3.3 هو أحدث إنجاز من Meta في نماذج اللغة الكبيرة، حيث يقدم تحسينات كبيرة في الأداء والكفاءة مقارنة بالإصدارات السابقة. على الرغم من احتوائه على عدد أقل من المعلمات، إلا أن نموذج LLaMA 3.3 70B يتفوق على العديد من النماذج التقليدية واسعة النطاق، بما في ذلك LLaMA 3.1 405B، في عدة معايير رئيسية. يحقق هذا التحسين توازنًا مثاليًا بين الكفاءة الحسابية وقوة المعالجة، مما يقلل من متطلبات الأجهزة مع الحفاظ على الأداء العالي. تقدم هذه المقالة تحليلاً متعمقًا لأداء LLaMA 3.3 في المعايير عبر عدة أبعاد حاسمة.
نظرة عامة على مقاييس معايير نماذج اللغة الكبيرة (LLMs)
عند تقييم نماذج اللغة الكبيرة (LLMs)، تُستخدم أربعة معايير حاسمة لتقييم أدائها العام: الأداء الكلي، جودة التوليد، الكفاءة، والتطبيق العملي. توفر هذه المعايير معًا نظرة شاملة على فعالية النموذج وسهولة استخدامه.
البعد الكلي
يمكن القول إن MMLU هو معيار شامل نسبيًا لوصف قدرات النموذج مقارنة بمعايير الاختبار الأخرى. ومع ذلك، من المهم ملاحظة أنه لا يمكن لأي معيار واحد أن يغطي جميع جوانب أداء النموذج. غالبًا ما يُستخدم بالتزامن مع معايير أخرى للحصول على تقييم أكثر اكتمالاً.
ما هو MMLU؟
MMLU (فهم المهام اللغوية المتعددة الضخم) هو معيار شامل مصمم لتقييم أداء نماذج اللغة الذكية عبر مجموعة واسعة من الموضوعات والمهام. يقيس قدرات النموذج في تعدد المهام والمعرفة العامة ومهارات حل المشكلات في مجالات متنوعة.
محتوى الكشف:
- المعرفة متعددة المجالات: يغطي MMLU 57 مجالًا موضوعيًا مختلفًا، بما في ذلك العلوم والتكنولوجيا والهندسة والرياضيات، والعلوم الإنسانية، والعلوم الاجتماعية، والمجالات المهنية.
- القدرة على التفكير: يقيم مهارات النموذج في التفكير وحل المشكلات من خلال أنواع متنوعة من الأسئلة.
- فهم اللغة: يختبر قدرة النموذج على فهم ومعالجة اللغة في سياقات مختلفة.
- المعالجة متعددة المهام: يقيم قدرة النموذج على التبديل بين مهام متعددة وتعميم المعرفة.
طرق الكشف:
يقيم MMLU نماذج اللغة من خلال سير عمل منظم يبدأ بتقديم أسئلة متعددة الخيارات عبر 57 موضوعًا متنوعًا. يتم اختبار النماذج في إعدادات الصفرية (zero-shot) والقليلة (few-shot)، لمحاكاة السيناريوهات الواقعية. يُقاس أدائهم من خلال تسجيل الدقة، الذي يقيم نسبة الإجابات الصحيحة. وأخيرًا، يتم حساب درجة شاملة عن طريق حساب متوسط الدقة عبر جميع المجالات، مما ينتج درجة بين 0 و1 تلخص القدرات الكلية للنموذج.
جودة التوليد
تشمل جودة التوليد التماسك والأهمية والطلاقة للنص الذي يولده النموذج. تعد جودة التوليد العالية أمرًا بالغ الأهمية للتطبيقات التي تتضمن إنشاء المحتوى وأنظمة الحوار وغيرها.
هناك معياران رئيسيان في هذا المجال هما IFEval و GPQA.
ما هو IFEval؟
IFEval، أو تقييم اتباع التعليمات، هو معيار مصمم لتقييم قدرة نموذج اللغة على فهم التعليمات واتباعها بدقة. يركز IFEval على تقييم مدى قدرة نموذج اللغة على فهم وتنفيذ التعليمات المقدمة باللغة الطبيعية. هذا المعيار ضروري لضمان أن النماذج يمكنها مساعدة المستخدمين بفعالية في السيناريوهات الواقعية حيث يكون اتباع التعليمات أمرًا أساسيًا.
مثال لسير العمل
- توليد التعليمات: إنشاء مطالبات تتضمن تعليمة أو أكثر قابلة للتحقق من مجموعة من 25 نوعًا محددًا مسبقًا، مثل “اكتب أكثر من 400 كلمة” أو “اذكر الكلمة المفتاحية AI ثلاث مرات على الأقل”.
- استجابة النموذج: يولد نموذج اللغة استجابة بناءً على التعليمات المعطاة.
- مقاييس التقييم:
- المقياس الصارم: التحقق مما إذا كان مخرج النموذج يتبع التعليمات بدقة باستخدام مطابقة السلسلة النصية بالضبط.
- المقياس المرن: تقييم المخرج بعد تطبيق تحويلات مختلفة للسماح بالمرونة في التنسيق والصياغة، مما يقلل من النتائج السلبية الخاطئة.
- التسجيل: حساب الدقة بناءً على النسبة المئوية للتعليمات التي تم اتباعها بشكل صحيح، على مستوى المطالبة ومستوى التعليمات.
- بيانات المخرجات: تجميع النتائج لتقديم رؤى حول قدرات النموذج في اتباع التعليمات، وإبراز نقاط القوة والضعف.
ما هو GPQA؟
GPQA، أو معيار الإجابة على الأسئلة للأغراض العامة. هذا المعيار مفيد بشكل خاص لتقييم قدرة النموذج على فهم وتوليد ردود دقيقة لمختلف أنواع الاستفسارات، مما يجعله مقياسًا حاسمًا لتطبيقات مثل المساعدين الافتراضيين وروبوتات الدردشة وأنظمة استرجاع المعلومات.
مثال لسير العمل مثل IFEval، ولكن مع بعض الاختلافات
- التركيز على الصعوبة:
- IFEval: يركز على قدرة النموذج على اتباع تعليمات اللغة الطبيعية المختلفة.
- GPQA: يستهدف الأسئلة عالية الصعوبة التي تمثل تحديًا حتى للخبراء، مما يضمن عدم إمكانية الإجابة عليها بسهولة من خلال البحث عبر الإنترنت.
- تطوير الأسئلة:
- IFEval: يقيم بشكل أساسي مدى تنفيذ النماذج للتعليمات المعطاة دون تحقق موسع.
- GPQA: يشمل قيام الخبراء بإنشاء والتحقق من الأسئلة المعقدة.
الكفاءة
تشمل الكفاءة في سياق نماذج اللغة الكبيرة كلاً من توافق التشغيل وتكلفة الإدخال. الحد الأدنى لذاكرة GPU VRAM وتكلفة الإدخال يلعبان دورًا حاسمًا في تحديد مدى كفاءة عمل نموذج اللغة الكبير مثل LLaMA 3.3. إليك شرح مفصل لكل مقياس والمعايير المستخدمة لحسابه:
ما هو الحد الأدنى لذاكرة GPU VRAM؟
الحد الأدنى لذاكرة GPU VRAM يشير إلى الحد الأدنى من ذاكرة الفيديو (VRAM) المطلوبة لتشغيل النموذج بفعالية. ذاكرة VRAM ضرورية لتخزين معلمات النموذج وكذلك العمليات الحسابية الوسيطة أثناء الاستدلال والتدريب. يعني انخفاض الحد الأدنى لذاكرة GPU VRAM زيادة في إمكانية الوصول. بالنسبة للمطورين والمؤسسات التي تتطلع إلى الاستفادة من قوة الذكاء الاصطناعي دون تكبد تكاليف باهظة.
ما هي تكلفة الإدخال؟ (مثل Novita AI)
تكلفة الإدخال تشير إلى النفقات المرتبطة بمعالجة المدخلات، مقاسة من حيث الموارد الحسابية المستخدمة. تُحسب تكاليف الإدخال عادةً بناءً على سيناريوهات الاستخدام الفعلية ويمكن أن تختلف اعتمادًا على مزود الخدمة. على سبيل المثال، يمكن اشتقاق التكاليف من استخدام API.
التطبيق العملي
تقيس مقاييس التطبيق العملي مدى أداء النموذج في المهام الواقعية. تشمل المعايير الرئيسية في هذا المجال:
| المعيار | المعنى |
|---|---|
| HumanEval | معيار لتقييم قدرات إنشاء الكود لنماذج اللغة. |
| MATH | معيار يركز على تقييم قدرات حل المشكلات الرياضية لنماذج اللغة. |
| BFCL v2 | معيار لتقييم قدرات استدعاء الدوال (function-calling) لنماذج اللغة الكبيرة. |
| MGSM | معيار يهدف إلى تقييم حل المشكلات متعدد اللغات في الرياضيات الابتدائية. |
الآن بعد أن استكشفنا إطار عمل معياري شامل وعالمي لنماذج اللغة الكبيرة، دعنا نتعمق في أداء LLaMA 3.3 عبر هذه الأبعاد!
نظرة عامة على معيار Llama 3.3 مقارنة مع Llama 3.1 70b instruct و GPT-4o
بشكل عام، توفر هذه المعايير رؤى قيمة حول كيفية أداء كل نموذج عبر أبعاد مختلفة من فهم اللغة وتوليدها، مما يساعد في تحديد النموذج الأكثر ملاءمة لتطبيقات محددة.
النقاط البارزة حيث يتفوق LLaMA 3.3
| الميزة | الوصف | مجالات التطبيق |
|---|---|---|
| اتباع التعليمات | يسجل 92.1 في IFEval، مما يعرض قدرته على اتباع التعليمات المعقدة بفعالية. | المساعدون الذكيون، دعم العملاء الآلي، التطبيقات التفاعلية. |
| أداء عالٍ في البرمجة | يحقق نسبة نجاح 88.4% في معيار البرمجة HumanEval، مما يشير إلى قدرات قوية في إنشاء الكود. | أدوات البرمجة المدعومة بالذكاء الاصطناعي، بيئات تطوير البرمجيات. |
| دعم متعدد اللغات | يدعم عدة لغات بدرجة 91.1 في MGSM، مما يسهل التواصل عبر الأسواق المتنوعة. | التطبيقات العالمية، خدمات الترجمة، روبوتات المحادثة متعددة اللغات. |
| استخدام فعال للموارد | يتطلب حوالي 40 جيجابايت فقط من ذاكرة GPU VRAM، مما يسمح بتشغيله على أجهزة متوسطة المدى. | تطوير للمستخدمين ذوي الموارد الحاسوبية المحدودة أو الأجهزة الاستهلاكية. |
| فعالية من حيث التكلفة | تكاليف توكن منخفضة (مثل 0.10 دولار لكل مليون توكن إدخال)، مما يجعله ميسور التكلفة للنشر. | الشركات الناشئة، الشركات الصغيرة، المشاريع محدودة الميزانية. |
بناءً على مزايا نموذج Llama 3.3، فهو مناسب بشكل خاص للشركات الصغيرة والمطورين. لذا، سنقدم بعد ذلك Novita AI كمثال لتقديم كيفية تجربة Llama 3.3 من خلال طريقة API البسيطة.
كيف تجرب LLaMA 3.3 بسرعة عبر Novita AI؟
الخطوة 1: تسجيل الدخول الوصول إلى مكتبة النماذج
سجل الدخول إلى حسابك وانقر على زر مكتبة النماذج.
الخطوة 2: اختر نموذجك
تصفح الخيارات المتاحة وحدد النموذج الذي يناسب احتياجاتك.
الخطوة 3: ابدأ نسختك التجريبية المجانية
ابدأ نسختك التجريبية المجانية لاستكشاف إمكانيات النموذج المحدد.
الخطوة 4: احصل على مفتاح API الخاص بك
للمصادقة مع API، سنزودك بمفتاح API جديد. ادخل إلى صفحة الإعدادات، يمكنك نسخ مفتاح API كما هو موضح في الصورة.
الخطوة 5: قم بتثبيت API
قم بتثبيت API باستخدام مدير الحزم الخاص بلغة البرمجة التي تستخدمها.
بعد التثبيت، قم باستيراد المكتبات الضرورية إلى بيئة التطوير الخاصة بك. قم بتهيئة API باستخدام مفتاح API الخاص بك لبدء التفاعل مع Novita AI LLM. هذا مثال على استخدام API chat completions لمستخدمي Python.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
# احصل على مفتاح Novita AI API Key بالرجوع إلى: https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key.
api_key="<مفتاح Novita AI API Key الخاص بك>",
)
model = "meta-llama/llama-3.3-70b-instruct"
stream = True # أو False
max_tokens = 512
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": "تصرف وكأنك مساعد مفيد.",
},
{
"role": "user",
"content": "مرحبًا!",
}
],
stream=stream,
max_tokens=max_tokens,
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "")
else:
print(chat_completion_res.choices[0].message.content)
عند التسجيل، تقدم Novita AI رصيدًا بقيمة 0.5 دولار لتبدأ!
إذا تم استهلاك الرصيد المجاني، يمكنك الدفع لمواصلة الاستخدام.
الخاتمة
Llama 3.3، الذي طورته Meta، هو نموذج لغوي قوي بـ 70 مليار معلمة، يتفوق في اتباع التعليمات، البرمجة، والدعم متعدد اللغات. يقدم فعالية من حيث التكلفة، مما يقلل النفقات التشغيلية مع تقديم نتائج عالية الجودة. توفر Novita AI وصولاً سهلاً إلى Llama 3.3 عبر API، مما يسمح للمطورين بدمجه في التطبيقات للمهام.
الأسئلة المتكررة
Novita AI هي المنصة السحابية المتكاملة التي تمكن طموحاتك في الذكاء الاصطناعي. واجهات برمجة تطبيقات متكاملة، حوسبة بدون خادم، مثيلات GPU — الأدوات الفعالة من حيث التكلفة التي تحتاجها. تخلص من البنية التحتية، ابدأ مجانًا، وحقق رؤيتك في الذكاء الاصطناعي.
