كيفية تدريب نماذج لغوية كبيرة مثلى من حيث الحوسبة؟

مقدمة

مؤخرًا، تفوق نموذج لغوي كبير (LLM) بسبعين مليار معلمة على GPT 3. هذا النموذج، المسمى Chinchilla، تم تطويره بواسطة هوفمان وزملائه. في عملهم، يذكرون أن النماذج اللغوية الكبيرة الحالية ليست مثلى من حيث الحوسبة. لماذا هذا؟ وكيف يدربون نموذجهم المثلى من حيث الحوسبة Chinchilla؟ وما هي حدود نهجهم وكيف يمكننا تجاوز هذه الحدود؟ في هذه المدونة، سننظر في هذه الأسئلة واحدة تلو الأخرى.

ما هي النماذج اللغوية الكبيرة المثلى من حيث الحوسبة؟

الفكرة الأساسية وراء نموذج LLM مثالي من حيث الحوسبة هي تحقيق التوازن الصحيح بين حجم النموذج (عدد المعلمات) وكمية بيانات التدريب المستخدمة. هذا يتناقض مع الأساليب السابقة التي زادت حجم النموذج بشكل أكثر عدوانية من بيانات التدريب، مما أدى إلى نماذج كانت غير مدربة بشكل كافٍ نسبيًا لقدراتها.

ما هي السمات الأساسية لنموذج LLM مثالي من حيث الحوسبة؟

السمة 1: تغيير حجم متوازن لحجم النموذج وبيانات التدريب

بدلاً من تغيير حجم النموذج بشكل أسي مع زيادة بيانات التدريب بشكل تدريجي فقط، تزيد النماذج اللغوية الكبيرة المثلى من حيث الحوسبة من حجم النموذج وبيانات التدريب بنسبة متساوية. وهذا يضمن استخدام سعة النموذج بالكامل بواسطة بيانات التدريب المتاحة.

السمة 2: التحسين لكفاءة الحوسبة الشاملة

الهدف هو إيجاد النقطة المثلى بين حجم النموذج وبيانات التدريب التي تحقق أفضل أداء لكل وحدة حوسبة. وهذا يسمح بتعظيم قدرة النموذج ضمن ميزانية حوسبة ثابتة، بدلاً من مجرد دفع حجم النموذج إلى أرقام قياسية جديدة.

السمة 3: موارد حوسبة أقل للضبط الدقيق والاستدلال

هذا يعزز كفاءتها وعمليتها في العالم الحقيقي، حيث يصبح نشر واستخدام النموذج أكثر فعالية من حيث التكلفة.

أليست هذه النماذج اللغوية الكبيرة الشائعة مثلى من حيث الحوسبة؟

للأسف، وفقًا لهوفمان وآخرين (2022)، فإن هذه النماذج اللغوية الكبيرة الشائعة ليست مثلى من حيث الحوسبة. دعنا أولاً نعود إلى الأفكار التي أثرت على النماذج اللغوية الكبيرة الحالية.

التركيز على حجم النموذج

أظهرت الأبحاث السابقة التي أجراها كابلان وآخرون (2020) علاقة قانون قوة مقنعة بين حجم النموذج اللغوي والأداء. على وجه التحديد، وجدوا أنه مع زيادة عدد المعلمات في النموذج بشكل أسي، تحسن أداء النموذج على معايير مختلفة بمعدل قانون قوة ثابت.

كان لهذا العمل الرائد تأثير عميق على مجال النماذج اللغوية الكبيرة (LLMs)، مما دفع الباحثين والمهندسين إلى التركيز بشكل كبير على توسيع حجم النموذج كمحور رئيسي للتحسين. كان المنطق واضحًا — إذا كان الأداء يتغير بشكل متوقع مع حجم النموذج، فإن الطريق إلى نماذج LLM أفضل هو ببساطة بناء نماذج أكبر وأكبر.

إعادة التركيز على كمية بيانات التدريب

يجادل هوفمان وآخرون (2022) أن هذا التركيز الأحادي على تغيير حجم النموذج جاء بتكلفة كبيرة. يزعمون أن النماذج اللغوية الكبيرة الحالية هي في الواقع غير مدربة بشكل كافٍ بشدة، مع تركيز الأبحاث بشكل كبير على زيادة حجم النموذج بدلاً من زيادة كمية بيانات التدريب بشكل متناسب.

هذا النقد هو مساهمة حاسمة في ورقتهم. يجادل المؤلفون بأن المجال فقد البصر عن المفاضلة الأساسية بين النموذج والبيانات، وأصبح مشغولاً بدفع حجم النموذج إلى أرقام قياسية جديدة دون ضمان تدريب هذه النماذج على كمية متناسبة من البيانات عالية الجودة. النتيجة، كما يجادلون، هي حالة قد يكون فيها للنماذج اللغوية الكبيرة أعداد معلمات مثيرة للإعجاب، ولكنها في النهاية دون المستوى الأمثل في أدائها بالنظر إلى موارد الحوسبة المستثمرة في تدريبها.

من خلال إعادة التركيز على هذه المفاضلة الأساسية بين سعة النموذج وبيانات التدريب، يمهد المؤلفون الطريق لتحقيقهم التجريبي في التوازن الأمثل الحقيقي بين هذين العاملين الرئيسيين. تقدم نتائجهم، المفصلة في الأقسام التالية، نموذجًا جديدًا لتطوير نماذج لغوية كبيرة فعالة من حيث الحوسبة.

كيفية تدريب نماذج لغوية كبيرة مثلى من حيث الحوسبة؟

في هذا القسم، سنتعمق أكثر في ورقة هوفمان وآخرون (2022) بعنوان “Training Compute-Optimal Large Language Models”. كالعادة، إذا كانت تفاصيل البحث تبدو أكثر من اللازم بالنسبة لك، فما عليك سوى أخذ هذه الخلاصة وتخطي هذا القسم: للتدريب الأمثل من حيث الحوسبة، يجب تغيير حجم النموذج وعدد رموز التدريب بشكل متساوٍ — لكل مضاعفة لحجم النموذج، يجب مضاعفة عدد رموز التدريب أيضًا.

تقدير المفاضلة المثلى بين النموذج والبيانات تجريبيًا

للتحقيق في المفاضلة المثلى بين حجم النموذج وبيانات التدريب، قام المؤلفون بتدريب أكثر من 400 نموذج تتراوح من 70 مليون إلى 16 مليار معلمة، على مجموعات بيانات من 5 إلى 500 مليار رمز. قاموا بنمذجة خسارة ما قبل التدريب النهائية كدالة لكل من حجم النموذج وعدد رموز التدريب.

النتائج الرئيسية

وجد المؤلفون أنه بالنسبة للتدريب الأمثل من حيث الحوسبة، يجب تغيير حجم النموذج وعدد رموز التدريب بشكل متساوٍ — لكل مضاعفة لحجم النموذج، يجب مضاعفة عدد رموز التدريب أيضًا. هذا يتناقض مع توصيات كابلان وآخرون، الذين اقترحوا زيادة أصغر في رموز التدريب مقارنة بحجم النموذج.

تدريب نموذج مثالي من حيث الحوسبة: Chinchilla

بتطبيق نتائجهم، قام المؤلفون بتدريب نموذج بسبعين مليار معلمة يسمى Chinchilla، باستخدام نفس ميزانية الحوسبة مثل نموذج Gopher ب 280 مليار معلمة. يتفوق Chinchilla بشكل كبير على Gopher و GPT-3 و Jurassic-1 و Megatron-Turing NLG في مجموعة واسعة من المهام النهائية، مع تطلبه أيضًا موارد حوسبة أقل بكثير للضبط الدقيق والاستدلال.

ملاحظات ختامية

تظهر الورقة أن النماذج اللغوية الكبيرة الحالية غير مدربة بشكل كافٍ بشكل كبير، وتوفر نهجًا مبدئيًا لتحديد حجم النموذج الأمثل وبيانات التدريب لميزانية حوسبة معينة. هذا له آثار مهمة على التطوير الفعال للنماذج اللغوية الكبيرة المستقبلية.

إذا كنت تريد معرفة المزيد من التفاصيل الفنية، فلا تتردد في قراءة المقالة الأصلية.

حدود نهج تدريب النماذج اللغوية الكبيرة المثلى من حيث الحوسبة

على الرغم من أن النهج الموضح في هذه المقالة حول النماذج اللغوية الكبيرة المثلى من حيث الحوسبة يقدم إطارًا نظريًا مقنعًا، إلا أن هناك بعض القيود المحتملة:

توفر بيانات تدريب واسعة النطاق

• تعتمد المبادئ على الوصول إلى مجموعات بيانات ضخمة وعالية الجودة لتدريب النماذج.
• يمكن أن يكون الحصول على هذه المجموعات الضخمة وتنظيمها أمرًا صعبًا ويستهلك وقتًا وتكلفة.
• قد يحد هذا من القدرة على تنفيذ النهج عمليًا، خاصة للفرق البحثية أو المؤسسات الصغيرة.

قيود الأجهزة والحوسبة

• يتطلب تدريب نماذج كبيرة جدًا بكميات متناسبة من البيانات موارد حوسبة هائلة.
• قد يكون الوصول إلى الأجهزة الضرورية (مثل وحدات معالجة الرسومات القوية، وحدات TPU) والبنية التحتية المطلوبة من الكهرباء والتبريد عاملاً مقيدًا.
• قد تكون تكاليف الحوسبة الإجمالية المرتبطة بهذا النهج باهظة للكثيرين.

الأداء الخاص بالمجال

• تركز المقالة على نماذج اللغة العامة، لكن التوازن الأمثل لحجم النموذج وبيانات التدريب قد يختلف بالنسبة للنماذج التي تستهدف مجالات أو مهام محددة.
• قد تتطلب تطبيقات معينة نهجًا مختلفًا للمفاضلة لتحقيق أفضل النتائج.

نقص التحقق التجريبي

• على الرغم من أن المبادئ المطروحة منطقية، إلا أن المقالة لا تقدم أدلة تجريبية أو دراسات حالة توضح فعالية النهج الأمثل من حيث الحوسبة.
• سيكون هناك حاجة إلى مزيد من البحث والتنفيذ في العالم الحقيقي للتحقق من الادعاءات وتحديد الفوائد.

التأثيرات المجتمعية المحتملة

• قد يؤدي توسيع حجم النموذج وبيانات التدريب إلى تفاقم المخاوف حول سلامة الذكاء الاصطناعي والأمان والتأثير البيئي للتعلم الآلي واسع النطاق.
• هذه الآثار المجتمعية لم يتم تناولها في المقالة وستتطلب دراسة متأنية.

بشكل عام، قد يواجه التنفيذ العملي لنهج LLM الأمثل من حيث الحوسبة تحديات كبيرة تتعلق بالبيانات والأجهزة وخصوصية المجال واعتبارات التأثير الأوسع. سيكون التقييم التجريبي والمزيد من البحث ضروريين لتقييم جدواه وفوائده بشكل كامل.

طريقة بديلة للحصول على أداء أفضل للنماذج اللغوية الكبيرة

بينما يقدم النهج الأمثل من حيث الحوسبة الموضح سابقًا إطارًا مقنعًا لتطوير نماذج LLM عالية الأداء، هناك حل بديل يمكن أن يقدم مرونة وكفاءة أكبر: واجهات برمجة تطبيقات LLM.

بدلاً من الاعتماد على نموذج LLM واحد ثابت، يوفر Novita AI LLM API الوصول إلى مجموعة متنوعة من نماذج اللغة، لكل منها قدرات فريدة ومجالات تخصص. يسمح هذا للمستخدمين باختيار النموذج الأنسب لاحتياجاتهم الخاصة.

علاوة على ذلك، تمكن Novita AI Model API المستخدمين من ضبط معلمات النموذج الرئيسية بسهولة، مثل top p (التي تحكم عملية اختيار الكلمات في النموذج لتعزيز توليد نصوص أكثر تنوعًا وذات معنى)، و temperature (التي تعدل درجة العشوائية والاستكشاف في إنتاج النموذج للنص)، و max tokens (التي تحد من طول مخرجات النموذج) و presence penalty (التي تعاقب النموذج على التكرار المفرط للكلمات، مما يحفزه على توليد نصوص أكثر تنوعًا). يتيح هذا المستوى من التخصيص ضبط أداء LLM بدقة ليتوافق مع المتطلبات الفريدة لكل مشروع أو حالة استخدام، مما يؤدي إلى نتائج أكثر مثالية ومخصصة.

بالإضافة إلى المعلمات القابلة للضبط، من الميزات البارزة الأخرى لـ Novita AI Model API دعمها لإدخال التعليمات النظامية. يمكن للمستخدمين تقديم تعليمات أو قوالب مخصصة لتوجيه سلوك نموذج اللغة، مما يسمح باستجابات أكثر توجهاً وهادفة. يمكن أن يكون هذا ذا قيمة خاصة للتطبيقات التي تتطلب نبرة أو أسلوبًا أو معرفة خاصة بمجال معين.

الخلاصة

يمثل عمل هوفمان وآخرون خطوة مهمة نحو تحسين تدريب النماذج اللغوية الكبيرة ضمن قيود حوسبة عملية. فكرتهم الأساسية المتمثلة في موازنة سعة النموذج وحجم بيانات التدريب هي فكرة مؤسسة نظريًا وتم التحقق منها تجريبيًا من خلال نموذجهم Chinchilla. من خلال تجنب مخاطر نقص التدريب الشديد، يفتح هذا النهج الأمثل من حيث الحوسبة مستويات جديدة من الأداء والكفاءة مقارنة بالنماذج اللغوية الكبيرة السابقة مثل GPT-3.

ومع ذلك، فإن تنفيذ مثل هذا التدريب الأمثل من حيث الحوسبة على نطاق واسع لا يخلو من التحديات. يشكل تنظيم مجموعات البيانات الضخمة عالية الجودة المطلوبة صعوبات. قد يعيق توفر الموارد الحاسوبية الكافية، من الأجهزة إلى تكاليف الطاقة، التبني، خاصة للمؤسسات الصغيرة. نهج بديل يوفر مرونة أكبر هو الاستفادة من واجهات برمجة تطبيقات نماذج اللغة المتقدمة مثل Novita AI Model API. تمنح واجهات برمجة التطبيقات هذه المستخدمين الوصول إلى مجموعة متنوعة من النماذج المدربة مسبقًا والمصممة لحالات استخدام مختلفة.

Novita AI، المنصة الشاملة للإبداع غير المحدود التي تمنحك الوصول إلى أكثر من 100 واجهة برمجة تطبيقات. من توليد الصور ومعالجة اللغة إلى تحسين الصوت ومعالجة الفيديو، بنظام الدفع حسب الاستخدام الرخيص، فهي تحررك من متاعب صيانة وحدات معالجة الرسومات أثناء بناء منتجاتك الخاصة. جربها مجانًا.

قراءة موصى بها

ماذا سيحدث عندما تقوم النماذج اللغوية الكبيرة بتشفير المعرفة السريرية؟

كيف يمكن للنماذج اللغوية الكبيرة تحسين نفسها؟