مقدمة
مع تعدد نماذج اللغة الكبيرة (LLMs) المتاحة، قد يبدو تحديد النموذج الذي يتوافق مع متطلباتك المحددة أمرًا مربكًا. فالمشهد يتغير باستمرار، مع ظهور نماذج جديدة وإصدارات محسّنة بشكل أسبوعي تقريبًا. وبالتالي، فإن أي محاولة لفهرسة نماذج LLM وخصائصها ستصبح قديمة بسرعة.
بدلاً من محاولة سرد أفضل نماذج LLM وتحديد نقاط القوة والضعف لكل منها، تهدف هذه المقالة إلى تقديم مجموعة من المعايير لتقييم النماذج. من خلال تقديم إطار عمل للتحليل، يمكن للقراء تقييم النماذج الصادرة حديثًا مقابل الخصائص الأساسية ومقارنتها بفعالية. السمات الرئيسية التي يجب مراعاتها عند تقييم نموذج LLM تشمل:
- الحجم
- نوع البنية
- أداء المعايير
- عمليات التدريب والتحيزات
- الترخيص/التوفر
ما هو حجم نموذج LLM؟
اعتبارك الأساسي عند اختيار نموذج LLM هو قيود ميزانيتك. قد يؤدي تشغيل نماذج LLM إلى تكاليف كبيرة، مما يؤكد أهمية اختيار نموذج يبقى ضمن الحدود الميزانية. أحد العوامل الدالة على التكلفة هو عدد المعلمات داخل نموذج LLM.
ما هو عدد معلمات النموذج؟
تتوافق كمية المعلمات مع عدد الأوزان والتحيزات التي يضبطها النموذج أثناء التدريب ويستخدمها في حساب مخرجاته. لماذا هذه الكمية مهمة؟ إنها تقدم تقديرًا تقريبيًا للتكاليف الإضافية للأداء وسرعة الاستدلال للنموذج. بشكل عام، ترتبط هذه العوامل ارتباطًا مباشرًا: مع زيادة عدد المعلمات، تزيد التكلفة المرتبطة بتوليد المخرجات.
ما هي سرعة الاستدلال للنموذج؟
تشير سرعة الاستدلال لنموذج اللغة إلى المدة التي يستغرقها معالجة الإدخال، وهي في الأساس تقيس سرعة مخرجاته. من المهم الاعتراف بأن سرعة الاستدلال والأداء العام للنموذج معقدة ومتعددة الجوانب، ولا يحددها عدد المعلمات فقط. ومع ذلك، ولغرض هذه المقالة، يوفر عدد المعلمات تقديرًا تقريبيًا للأداء المحتمل للنموذج. لحسن الحظ، هناك عدة طرق ثابتة لتخفيف وقت استدلال نماذج التعلم الآلي.
عدد المعلمات لكل نموذج LLM.
يحتوي النموذج متوسط الحجم عادةً على أقل من 10 مليارات معلمة، بينما قد تحتوي النماذج الأقل تكلفة على أقل من مليار معلمة. ومع ذلك، فإن النماذج التي تحتوي على أقل من مليار معلمة غالبًا ما تكون قديمة أو غير مخصصة خصيصًا لمهام توليد النص. على الطرف الآخر من الطيف، تمتلك النماذج باهظة الثمن أكثر من 100 مليار معلمة، ويتمثل مثال ذلك في GPT-4 الذي يضم 1.76 تريليون معلمة مذهلة. تقدم العديد من سلاسل النماذج، بما في ذلك LLaMa 2 وMistral وFalcon وGPT، إصدارات أصغر تحتوي على أقل من 10 مليارات معلمة، وإصدارات أكبر تتراوح من 10 إلى 100 مليار معلمة.
ما هي الأنواع المختلفة لنماذج LLM؟
بشكل عام، يمكن تصنيف نماذج LLM القائمة على المحولات (Transformer) إلى ثلاث مجموعات بناءً على بنيتها: الترميز فقط (encoder-only)، والترميز-فك الترميز (encoder-decoder)، وفك الترميز فقط (decoder-only). يساعد هذا التصنيف في فهم الغرض المقصود من النموذج وأدائه في مهام توليد النص.
ما هو نموذج الترميز فقط؟
تستخدم نماذج الترميز فقط مكون ترميز فقط، يُكلف بترميز نص الإدخال وتصنيفه. هذه النماذج مفيدة لتعيين النص إلى فئات محددة. BERT، النموذج السائد من نوع الترميز فقط، تم تدريبه كنموذج لغة مقنّع (MLM) وللتنبؤ بالجملة التالية (NSP). كلا هدفي التدريب يتضمنان تمييز العناصر الأساسية داخل الجملة.
ما هو نموذج الترميز-فك الترميز؟
تقوم نماذج الترميز-فك الترميز أولاً بترميز النص المُدخل، على غرار نماذج الترميز فقط، ثم تشرع في توليد أو فك ترميز استجابة بناءً على المدخلات المُرمّزة. مثال على بنية نموذج الترميز-فك الترميز هو BART. هذه النماذج متعددة الاستخدامات، ومناسبة لكل من مهام توليد النص وفهمه، مما يجعلها ذات قيمة خاصة لأغراض الترجمة. على سبيل المثال، يتفوق BART في تلخيص النصوص الطويلة، مثل المقالات، إلى مخرجات متماسكة. على سبيل المثال، BART-Large-CNN هو متغير مضبوط بدقة متخصص في توليد ملخصات للنص، بعد تدريبه على مجموعة متنوعة من المقالات الإخبارية. بشكل عام، تخدم نماذج الترميز-فك الترميز غرضًا مزدوجًا، يلبي مهام فهم النص وتوليده على حد سواء.
ما هو نموذج فك الترميز فقط؟
تتخصص نماذج فك الترميز فقط في توليد الكلمة أو الرمز التالي بناءً على موجه معين، مع التركيز حصريًا على مهام توليد النص. إنها توفر البساطة في التدريب وفعالة بشكل خاص لأغراض توليد النص الخالص. سلاسل النماذج مثل GPT وMistral وLLaMa تقع ضمن فئة فك الترميز فقط. إذا كان مطلبك الأساسي يدور حول توليد النص، فإن نماذج فك الترميز فقط هي الخيار المفضل.
ومع ذلك، تجدر الإشارة إلى أن نموذج Mistral 8x7B (المعروف أيضًا باسم Mixtral) يستخدم بنية فريدة تُسمى “مزيج من الخبراء” (mixtral of experts)، مما يميزه عن نماذج فك الترميز فقط التقليدية. وبالمثل، هناك مؤشرات على أن GPT-4 قد يستخدم تقنية مماثلة. لذلك، قد لا تتناسب هذه النماذج تمامًا مع فئة فك الترميز فقط. بالإضافة إلى ذلك، فإن تقنيات البنية الناشئة مثل التوليد المعزز بالاسترجاع (RAG) تتحدى التصنيف ضمن هذه الفئات المحددة.
يمكنك التعمق أكثر في مدونتنا حول تقنية RAG: ما هو RAG: مقدمة شاملة للتوليد المعزز بالاسترجاع
كيفية قياس جودة أداء نموذج LLM
تُستخدم مقاييس متنوعة لتقييم قدرة نموذج اللغة على فهم وتفسير وتقديم استجابات دقيقة لمختلف المُوجّهات. تختلف طرق التقييم هذه اعتمادًا على الاستخدام المقصود لنموذج اللغة. على سبيل المثال، BERT، وهو نموذج ترميز فقط مصمم أساسًا لمهام مثل التصنيف، لا يتم تقييمه باستخدام نفس معايير GPT-3، وهو نموذج فك ترميز فقط مُصمم لتوليد النص. في الأقسام التالية، سنوضح بعض المنهجيات المستخدمة لتقييم نماذج LLM لتوليد النص.
قياس جودة نموذج LLM باستخدام الامتحانات الأكاديمية
إحدى الطرق الشائعة لتقييم فعالية نموذج اللغة التوليدي هي إخضاعه للامتحانات. على سبيل المثال، تم تقييم GPT-4 مقابل GPT-3.5 عبر مجموعة من الاختبارات الأكاديمية. من خلال هذه العملية، تتم مقارنة أداء النموذج مقابل كل من درجات البشر وتلك الخاصة بالنماذج السابقة، مما يوفر رؤى حول قدراته الاستدلالية في سياق أكاديمي. فيما يلي تجميع موجز لبعض الامتحانات التي أجريت على GPT-4، إلى جانب درجاته المقارنة مقابل GPT-3.5 ومتوسط أداء البشر:
أداء GPT-4 وGPT-3.5 في الامتحانات الموحدة مقارنة بمتوسط البشر.
مقياس أداء آخر مشابه للامتحانات الأكاديمية يتضمن تقديم مجموعات بيانات متنوعة من الأسئلة والأجوبة (QnA) للنموذج. يتم استخدام هذا النهج في لوحة صدارة نماذج LLM مفتوحة المصدر من Hugging Face، مما يوفر موردًا قيمًا لمقارنة نماذج LLM المختلفة بناءً على أدائها في مجموعات بيانات QnA. توفر مجموعات البيانات هذه وسيلة مباشرة لوضع معايير مقارنة لنموذج LLM، مما يسمح بتقييم ذكائه العام وقدراته المنطقية.
جدول مقارنة الجودة بين نماذج LLM
من المهم ملاحظة أن مقارنة درجة 0-shot بدرجة 25-shot لا تعطي قيمة كبيرة. من الناحية المثالية، لمقارنات الجودة، يجب أن تحافظ على اتساق في نوع التوجيه المستخدم. حتى عند مقارنة نقطتي بيانات بنفس طريقة التوجيه، قد تؤدي الاختلافات في إجراءات الاختبار إلى عدم دقة. ومع ذلك، يجب أن يقدم ما يلي مقارنة تقريبية للجودة:
جدول مقارنة الجودة بين نماذج LLM عبر اختبارات ARC وMMLU وWinoGrande باستخدام التوجيه القليل والعديم من الأمثلة (few-shot و zero-shot).
ما هو أفضل نموذج LLM حاليًا لاستخدامه كروبوت محادثة؟
بالنظر إلى هذا الجدول، مع مراعاة التحذيرات المذكورة سابقًا، من الواضح أن GPT-4 يبرز كأفضل نموذج LLM أداءً من حيث الجودة الشاملة. ومع ذلك، للحصول على أفضل قيمة، تقدم نماذج Mistral الخيار الأفضل. على وجه الخصوص، يستخدم إصدار Mistral 8x7B تقنية فريدة تدمج نماذج Mistral 7b متعددة، مما يؤدي إلى مخرجات عالية الجودة. يخلق هذا النهج نموذجًا فعالاً للغاية يتفوق أيضًا في تقييمات المعايير.
كيف يمكن أن تؤثر بيانات التدريب على نماذج LLM
يثير اختيار مجموعات بيانات التدريب للنموذج اعتبارات مهمة. ما نوع البيانات التي تم استخدامها؟ هل مجموعة البيانات مُصممة خصيصًا لتطبيقات معينة؟ هل هناك أي تحيزات متأصلة داخل مجموعة البيانات قد تؤثر على النموذج؟
كيف تظهر تحيزات النموذج، مع أخذ BERT كمثال
بالنسبة لمعظم نماذج LLM، عادة ما تكون بيانات التدريب واسعة النطاق، بهدف تزويد النموذج بفهم أساسي للغة. على سبيل المثال، خضع BERT للتدريب المسبق باستخدام ويكيبيديا (2500 مليون كلمة) و BookCorpus (800 مليون كلمة). ومع ذلك، في بعض الحالات، مثل نماذج Mistral، تظل مجموعة بيانات التدريب غير متاحة للجمهور.
يمكن أن يقدم فحص مجموعات البيانات هذه رؤى حول التحيزات المحتملة الكامنة في النموذج. تأمل BERT، الذي يعتمد بشكل كبير على مجموعة بيانات ويكيبيديا الإنجليزية للتدريب. بينما تعتبر ويكيبيديا غالبًا مصدرًا محايدًا وغير متحيز، قد لا يكون هذا صحيحًا دائمًا. على سبيل المثال، ذكرت صحيفة الغارديان أن 16% فقط من محرري ويكيبيديا هم من الإناث، و 17% فقط من المقالات حول الشخصيات البارزة تتعلق بالنساء. بالإضافة إلى ذلك، فإن المحتوى حول أفريقيا جنوب الصحراء الكبرى يؤلفه بشكل أساسي أفراد من خارج المنطقة. نظرًا لاعتماد BERT على ويكيبيديا الإنجليزية، فمن المعقول أن التحيزات الموجودة في المنصة قد تكون موروثة من قبل النموذج. في الواقع، تشير الأدلة إلى أن BERT يُظهر تحيزات جنسية وعنصرية في مخرجاته. باختصار، يمكن أن تؤثر التحيزات في مجموعات بيانات التدريب للنماذج المُدرّبة مسبقًا على قدراتها في توليد النص. لذلك، من الضروري النظر في مثل هذه التحيزات لأنها تؤثر على تجربة المستخدم النهائي.
ما هو النموذج المضبوط بدقة (fine-tuned model)؟
يتضمن الضبط الدقيق إعادة تدريب نموذج مُدرب بالفعل على بيانات جديدة، مما يؤدي غالبًا إلى إنشاء نماذج فرعية متخصصة مُصممة لأغراض محددة. يعد اختيار البيانات المستخدمة للضبط الدقيق أمرًا بالغ الأهمية عند تقييم التطبيقات المحتملة للنموذج. على سبيل المثال، FinBERT، وهو فرع من BERT، تم ضبطه بدقة على مجموعة بيانات كبيرة من اللغة المالية، مما يجعله مفيدًا بشكل خاص لتحليل المشاعر المالية للنص. إذا كنت تريد معرفة المزيد عن الضبط الدقيق، اقرأ مقالتنا: كيفية ضبط نماذج اللغة الكبيرة بدقة؟
بينما تم تصميم بعض النماذج بهدف تمكين المزيد من الضبط الدقيق، فإن البعض الآخر مُضبوط بدقة بالفعل لتحقيق أهداف محددة. على سبيل المثال، قد تحتوي نماذج مثل Falcon على إصدارات محادثة مُحسّنة لتعمل بفعالية كروبوتات محادثة. يتم استخدام طرق مختلفة لضبط النماذج بدقة، على الرغم من أن تفاصيل هذه التقنيات تقع خارج نطاق هذه المقالة. بشكل عام، يقدم النموذج المضبوط بدقة عادةً معلومات حول أغراضه المقصودة وتقنيات الضبط الدقيق المحددة المطبقة.
ما مجموعة البيانات التي يستخدمها كل نموذج لغة؟
نظرًا للتأثير الكبير لبيانات التدريب على أداء النموذج، طور المطورون طرق تجريف ويب مختلفة للحصول على مجموعات بيانات عالية الجودة. على سبيل المثال، أداة Webtext من OpenAI تقوم بتجريف “جميع الروابط الصادرة من Reddit التي حصلت على 3 نقاط سمعة على الأقل”. فيما يلي تجميع لمجموعات البيانات التي استخدمتها بعض النماذج الأكثر شهرة حتى الآن، مع الأخذ في الاعتبار أن العديد من المطورين لا يكشفون عن مجموعات البيانات التي يستخدمونها.
مجموعات البيانات التي تم تدريب نماذج LLM الأكثر شهرة عليها.
ترخيص وتوفر نماذج LLM
للاستخدام التجاري لنماذج LLM، من الضروري تقييم شروط الترخيص المرتبطة بنموذج معين. علاوة على ذلك، يمكن أن يكون التوفر دقيقًا: بعض النماذج تكون مغلقة المصدر، مما يستلزم الوصول إليها فقط من خلال واجهة API الخاصة بها.
ما هو نموذج اللغة مغلق المصدر؟
النموذج مغلق المصدر يعني أن شفرة المصدر الخاصة به غير متاحة للجمهور. النماذج مثل GPT-3 وGPT-4 تقع ضمن هذه الفئة، ويمكن الوصول إليها عادةً فقط من خلال API. ومع ذلك، بينما يمكن أن يكون تكامل API مباشرًا، إلا أنه يستلزم أيضًا نفقات. بشكل عام، لتكامل المنصة، اعتمادًا على النطاق، يكون استخدام نموذج لغة مفتوح المصدر وتدريبه أو نشره باستخدام منصة مثل UbiOps أكثر فعالية من حيث التكلفة.
novita.ai LLM API
ما هو نموذج LLM مفتوح المصدر؟
نموذج LLM مفتوح المصدر يشير إلى نموذج متاح للجمهور، ووفقًا لترخيصه، يمكن استخدامه للمساعي التجارية. بالإضافة إلى ذلك، اعتمادًا على شروط الترخيص، يمكن ضبطه بدقة أو تفريعه أو تعديله حسب الحاجة. عادةً، لأغراض تكامل المنصة أو الضبط الدقيق، يُنصح باختيار نموذج مفتوح المصدر.
علاوة على ذلك، فإن الاستفادة من التقنيات مفتوحة المصدر تساهم في تطوير مجال LLM، لأنها تعزز الحوافز لتحسين النماذج وتخصيصها، مما يفيد المجتمع بأكمله في النهاية.
التراخيص التجارية
النموذج الذي يمتلك ترخيصًا تجاريًا مناسب للأغراض التجارية، مما يتيح دمجه في المنصات التجارية.
نظرة عامة على نماذج LLM وتراخيصها.
الاستنتاج
قد يبدو اختيار نموذج LLM الذي يتوافق مع متطلباتك أمرًا مربكًا، ولكن يمكنك تبسيط عملية التقييم من خلال مقارنة الخصائص الرئيسية باحتياجاتك. تشمل هذه الخصائص الحجم، والنوع، ومعايير الجودة، ومنهجيات التدريب، والتحيزات، والترخيص. بينما تعمل هذه القائمة كنقطة انطلاق، هناك العديد من العوامل الأخرى التي يجب مراعاتها. ومع ذلك، تهدف هذه المقالة إلى تزويدك بالمعرفة اللازمة لتقييم نموذج ذكاء اصطناعي صدر حديثًا، مما يمكنك من تحديد مدى ملاءمته المحتملة لمتطلباتك وتقرير ما إذا كان هناك حاجة لمزيد من التحقيق.
novita.ai، المنصة الشاملة للإبداع غير المحدود التي تمنحك الوصول إلى أكثر من 100 واجهة برمجة تطبيقات (API). بدءًا من توليد الصور ومعالجة اللغة إلى تحسين الصوت ومعالجة الفيديو، مع نظام دفع حسب الاستخدام ومنخفض التكلفة، تريحك من متاعب صيانة وحدة معالجة الرسوميات (GPU) أثناء بناء منتجاتك الخاصة. جربها مجانًا.
قراءة موصى بها
محرك استدلال نماذج LLM من Novita AI: أكبر إنتاجية وأرخص استدلال متاح
