مقدمة
كيف ولماذا تتعلم النماذج اللغوية الأكبر حجمًا التعلم داخل السياق بشكل مختلف؟ في هذه المقالة، سنستكشف مفهوم “التعلم داخل السياق” (In-Context Learning - ICL)، ونناقش أحدث النتائج حول سلوكيات التعلم داخل السياق للنماذج ذات الأحجام المختلفة بلغة إنجليزية بسيطة، ونتعمق في الطرق التي يمكنها الاستفادة من سلوكيات ICL المختلفة للنماذج اللغوية الكبيرة. إذا كنت مهتمًا، تابع القراءة!
ما هو “التعلم داخل السياق”؟
التعلم داخل السياق هو قدرة مذهلة ظهرت من تطوير النماذج اللغوية الكبيرة (LLMs). يشير إلى قدرة هذه النماذج على الأداء الجيد في مهام جديدة غير مسبوقة، استنادًا فقط إلى سلسلة قصيرة من أمثلة المهام المقدمة ضمن سياق الإدخال. هذا إنجاز رائع، حيث تستطيع النماذج التكيف وتطبيق معرفتها على مواقف جديدة دون الحاجة إلى أي تحديثات أو ضبط دقيق لمعاييرها الأساسية.
الجانب الرئيسي للتعلم داخل السياق هو أن النموذج يستفيد من المعلومات السياقية المقدمة كجزء من الموجه الإدخالي لتوجيه استجابته، بدلاً من الاعتماد فقط على معرفته السابقة أو تدريبه. على سبيل المثال، إذا قدمت لنموذج لغوي بعض الأمثلة حول كيفية حل المعادلات الخطية، يمكنه بعد ذلك استخدام هذا السياق لحل معادلة خطية جديدة تمامًا لم يسبق له مواجهتها. يتمكن النموذج من استنتاج النمط الأساسي وتطبيقه على المشكلة الجديدة، دون الحاجة إلى تدريب صريح على ذلك النوع المحدد من المعادلات.
ما هي فوائد “التعلم داخل السياق”؟
التنوع والقابلية للتكيف
- يمكّن التعلم داخل السياق النماذج اللغوية الكبيرة من التطبيق عبر مجموعة واسعة من المهام والمجالات دون إعادة تدريب مكثفة.
- يسمح هذا للنماذج بتوسيع قدراتها باستمرار من خلال تعلم مهارات جديدة عبر ICL.
كفاءة العينات
- يتطلب ICL عددًا قليلاً نسبيًا من الأمثلة لتعلم مهام جديدة، مما يقلل من احتياجات البيانات مقارنة بالتعلم الخاضع للإشراف التقليدي.
- هذا مفيد عندما تكون البيانات المصنفة نادرة أو مكلفة للحصول عليها.
الكفاءة الحسابية
- يمكن إجراء ICL من خلال تمريرة أمامية واحدة عبر النموذج، دون تحديثات للمعايير.
- هذه الكفاءة الحسابية مهمة للتطبيقات في الوقت الفعلي والنشر المحدود الموارد.
القدرات الناشئة
- يمكن للنماذج اللغوية الكبيرة غالبًا الأداء الجيد في المهام غير المرئية من خلال ICL، متجاوزة أداء النماذج المدربة صراحة على تلك المهام.
- يشير هذا إلى أن النماذج يمكنها الاستفادة بفعالية من المعلومات السياقية لحل مشكلات جديدة.
رؤى حول سلوك النموذج
- فهم ICL يمكن أن يوفر رؤى قيمة حول كيفية تمثيل النماذج اللغوية الكبيرة للمعرفة واستخدامها.
- يمكن أن يساعد ذلك في تطوير أنظمة ذكاء اصطناعي أكثر قوة وموثوقية.
اكتشاف كبير: النماذج اللغوية الأكبر تتعلم داخل السياق بشكل مختلف
تناقش الورقة البحثية “النماذج اللغوية الأكبر تتعلم داخل السياق بشكل مختلف” (Larger Language Models Do In-context Learning Differently) من قبل Jerry Wei وJason Wei وYi Tay وآخرين ما إذا كان التعلم داخل السياق يعتمد بشكل أكبر على الأولويات الدلالية (semantic priors) من التدريب المسبق أو على تعلم تعيينات الإدخال-الملصق (input-label mappings) من الأمثلة.
إذا لم تكن تفاصيل البحث تهمك، فقط خذ هذه النتيجة وانتقل إلى القسم التالي: كلما كان النموذج اللغوي أكبر، قل اعتماده على الأولوية الدلالية (المعنى المتأصل والارتباطات التي تتعلمها النماذج اللغوية أثناء التدريب المسبق)، وزادت قدرته على التعلم من سياقات الإدخال.
أريد التعمق أكثر
الخلفية
- يمكن للنماذج اللغوية أداء مهام متنوعة في أسفل السلسلة (downstream tasks) من خلال التعلم داخل السياق (ICL)، حيث تُعطى بعض الأمثلة كجزء من الموجه.
- هناك جدل حول ما إذا كان ICL يعتمد أكثر على الأولويات الدلالية من التدريب المسبق أو على تعلم تعيينات الإدخال-الملصق من الأمثلة.
الإعدادات النظرية
يحقق المؤلفون في إعدادين لاستكشاف التفاعل بين الأولويات الدلالية وتعيينات الإدخال-الملصق:
- ICL مع الملصقات المقلوبة (flipped-label ICL): يتم عكس الملصقات في الأمثلة، مما يجبر النماذج على تجاوز الأولويات الدلالية.
- ICL مع ملصقات غير مرتبطة دلاليًا (SUL-ICL): الملصقات غير مرتبطة دلاليًا بالمهمة، مما يزيل الأولويات الدلالية.
تصميم التجربة
- أجريت التجارب على 7 مهام معالجة لغة طبيعية (NLP) عبر 5 عائلات نماذج (GPT-3, InstructGPT, Codex, PaLM, Flan-PaLM) بأحجام مختلفة.
- تقييم الأداء في الإعدادات العادية لـ ICL، ICL مع الملصقات المقلوبة، و SUL-ICL.
النتائج الرئيسية
- ICL مع الملصقات المقلوبة: لا تستطيع النماذج الصغيرة تجاوز الأولويات الدلالية، لكن النماذج الكبيرة يمكنها تعلم اتباع ملصقات الأمثلة المقلوبة.
- SUL-ICL: النماذج الصغيرة تعتمد أكثر على الأولويات الدلالية، بينما النماذج الكبيرة يمكنها تعلم تعيينات الإدخال-الملصق دون أولويات دلالية.
- قدرة تجاوز الأولويات الدلالية وتعلم تعيينات الإدخال-الملصق تظهر مع حجم النموذج.
- ضبط التعليمات (instruction tuning) يعزز استخدام الأولويات الدلالية أكثر من قدرة تعلم تعيينات الإدخال-الملصق.
لماذا تتعلم النماذج اللغوية الأكبر حجمًا التعلم داخل السياق بشكل مختلف؟
ورقة بحثية أخرى بعنوان “لماذا تتعلم النماذج اللغوية الأكبر حجمًا التعلم داخل السياق بشكل مختلف؟” (Why Do Larger Language Models Do In-context Learning Differently?) من قبل Zhenmei Shi وJunyi Wei وZhuoyan Xu وYingyu Liang تناقش الأسباب الكامنة وراء الأداء المختلف للتعلم داخل السياق بين النماذج اللغوية الكبيرة والصغيرة. نقدم هنا نسختين: النسخة الإنجليزية المبسطة والنسخة الاحترافية. اختر ما يناسبك.
أفضل النسخة الإنجليزية المبسطة
تشرح هذه الورقة “السبب” وراء سلوكيات ICL المختلفة للنماذج اللغوية الأكبر والأصغر:
السبب الرئيسي يتعلق بكيفية تخصيص النماذج للانتباه عبر السمات المختلفة أثناء عملية التعلم داخل السياق.
تميل النماذج الأصغر إلى التركيز أكثر على السمات المهمة والمفيدة ذات الصلة بالمهمة. فهي تركز على هذه السمات الرئيسية وبالتالي تكون أكثر مقاومة للضوضاء أو المعلومات غير ذات الصلة في سياق الإدخال.
في المقابل، تمتلك النماذج اللغوية الأكبر سعة لحضور مجموعة أوسع من السمات، بما في ذلك تلك الأقل أهمية أو حتى المزعجة. بينما يسمح لها هذا بالتقاط المزيد من المعلومات، فإنه يجعلها أيضًا أكثر عرضة للتشتت بفعل الجوانب غير ذات الصلة أو المزعجة لسياق الإدخال.
بشكل أساسي، تغطي النماذج الأكبر مجموعة أوسع من السمات، سواء كانت ذات صلة أو غير ذات صلة، بينما تعطي النماذج الأصغر أولوية للسمات الأكثر بروزًا. هذا الاختلاف في تخصيص الانتباه هو ما يؤدي إلى مقاومة أكبر للنماذج الأصغر أثناء التعلم داخل السياق مقارنة بنظيراتها الأكبر.
أريد التعمق أكثر
خلفية البحث
تدرس الورقة لماذا تظهر النماذج اللغوية الكبيرة (LLMs) سلوكيات تعلم داخل السياق (ICL) مختلفة مقارنة بالنماذج الأصغر. ICL هي قدرة ناشئة مهمة للنماذج اللغوية الكبيرة، حيث يمكنها الأداء الجيد في المهام غير المسبوقة بناءً على سلسلة قصيرة من أمثلة المهام دون تحديث معلمات النموذج. لاحظت الدراسات الحديثة أن النماذج اللغوية الكبيرة تميل إلى أن تكون أكثر حساسية للضوضاء في سياق الاختبار، وتؤدي بشكل أسوأ من النماذج الأصغر.
الإعدادات النظرية
لفهم هذه الظاهرة، تحلل الورقة إعدادين منمذجين:
- الانحدار الخطي مع محولات خطية أحادية الطبقة وذات رأس واحد.
- تصنيف التكافؤ (parity classification) مع محولات متعددة الرؤوس وطبقتين.
الهدف هو تقديم رؤى نظرية حول كيفية تأثير آلية الانتباه وحجم النموذج على سلوك ICL.
لكلا الإعدادين، يقدم المؤلفون حلولًا مثلى مغلقة الشكل ويصفون كيف تختلف آلية الانتباه بين النماذج الأصغر والأكبر.
تصميم التجربة
يجري المؤلفون تجارب تعلم داخل السياق على خمس مهام معالجة لغة طبيعية (NLP) شائعة باستخدام أحجام مختلفة من عائلة نموذج Llama. تُستخدم النتائج التجريبية لدعم التحليل النظري.
النتائج الرئيسية
- تبرز النماذج الأصغر السمات المخفية المهمة، بينما تغطي النماذج الأكبر سمات أكثر، بما في ذلك سمات أقل أهمية أو مزعجة.
- النماذج الأصغر أكثر مقاومة لضوضاء الملصقات وضوضاء الإدخال أثناء التقييم، بينما تكون النماذج الأكبر أكثر عرضة للتشتت بهذه الضوضاء، مما يؤدي إلى أداء أسوأ في ICL.
- يوفر التحليل النظري والنتائج التجريبية رؤى حول كيفية تأثير آلية الانتباه وحجم النموذج على سلوك ICL، مما يلقي الضوء على الآليات الداخلية للنماذج اللغوية الكبيرة.
الاستفادة من سلوكيات ICL المختلفة للنماذج اللغوية الكبيرة
يعد التعرف على هذه الاختلافات الدقيقة أمرًا بالغ الأهمية لاختيار النموذج المناسب بناءً على خصائص البيانات ومتطلبات المهمة. كما تعلمنا من الورقتين السابقتين، النماذج الأصغر أكثر مقاومة للإدخال المزعج، لأنها تركز على السمات الرئيسية وأقل تشتتًا بالمعلومات غير ذات الصلة. النماذج الأكبر، على النقيض من ذلك، تتفوق في المهام التي تتطلب فهمًا شاملاً لسمات متنوعة، مستفيدة من معرفتها السياقية الأوسع.
لذلك، من أجل الاستفادة من سلوكيات ICL المختلفة للنماذج اللغوية الكبيرة، توفر Novita AI لمطوري الشركات الناشئة في مجال الذكاء الاصطناعي واجهات برمجة تطبيقات (APIs) للنماذج اللغوية الكبيرة فعالة من حيث التكلفة وقابلة للتوسع تلقائيًا مع خيارات نماذج LLM مختلفة.
فقط ببضعة أسطر من التعليمات البرمجية، يمكنك دمج نماذج LLM القوية في منتجات الذكاء الاصطناعي الخاصة بك. لا تتردد في تجربة قدرات نماذج LLM المختلفة على ملعب Novita AI قبل أن تقرر استخدام واجهات برمجة التطبيقات الخاصة بنا.
الخاتمة
التعلم داخل السياق هو قدرة النماذج اللغوية الكبيرة (LLMs) على الأداء الجيد في المهام غير المسبوقة بناءً على الإدخال، أي السياق.
كيف تتعلم النماذج اللغوية الأكبر حجمًا التعلم داخل السياق بشكل مختلف؟ كلما كان النموذج اللغوي أكبر، قل اعتماده على الأولوية الدلالية وزادت قدرته على التعلم من سياقات الإدخال.
لماذا تتعلم النماذج اللغوية الأكبر حجمًا التعلم داخل السياق بشكل مختلف؟ السبب الرئيسي وراء هذه الاختلافات يتعلق بكيفية تخصيص النماذج للانتباه عبر السمات المختلفة أثناء عملية التعلم داخل السياق.
لاستغلال سلوكيات التعلم داخل السياق المتباينة التي تظهرها النماذج اللغوية المختلفة، قد يكون تنفيذ واجهة برمجة تطبيقات (API) تحتوي على مجموعة متنوعة من اختيارات النماذج اللغوية أمرًا مفيدًا.
Novita AI، المنصة الشاملة للإبداع غير المحدود التي تمنحك الوصول إلى أكثر من 100 واجهة برمجة تطبيقات. من توليد الصور ومعالجة اللغة إلى تحسين الصوت ومعالجة الفيديو، بنظام الدفع حسب الاستخدام الرخيص، يحررك من متاعب صيانة GPU أثناء بناء منتجاتك الخاصة. جربه مجانًا.
