فهم النماذج الصغيرة كمكونات إضافية قيمة للنماذج اللغوية الكبيرة

مقدمة

في المشهد سريع التطور للذكاء الاصطناعي، يشكل التفاعل بين النماذج اللغوية الكبيرة (LLMs) ونظيراتها الصغيرة قصة تكامل وابتكار. قدرات LLMs الهائلة مثل GPT-3 وGPT-4، رغم أنها مذهلة، إلا أنها محصورة في حصن من القيود — محدودية الوصول إلى أوزان النماذج، والمتطلبات الحسابية الضخمة، وقيود التعلم ضمن السياق (ICL).

ومع ذلك، داخل هذه القيود توجد ثغرة، فرصة للنماذج الصغيرة للتدخل كمكونات إضافية، تقدم جسرًا لتطبيقات أكثر تخصيصًا وكفاءة. تتعمق هذه المدونة في ضرورة وتأثير دمج النماذج الصغيرة كمكونات إضافية داخل عوالم LLMs الواسعة، مستكشفة مفهوم التعلم الفائق ضمن السياق (SuperICL) وتداعياته الواقعية.

فهم النماذج اللغوية الكبيرة والنماذج الصغيرة

الاختلافات بين النماذج اللغوية الكبيرة والنماذج الصغيرة

النموذج اللغوي الكبير هو نظام ذكاء اصطناعي متطور مصمم لمعالجة وفهم كميات كبيرة من بيانات اللغة الطبيعية. تمتلك LLMs عادةً عددًا هائلاً من المعلمات، يتراوح غالبًا من مئات الملايين إلى المليارات. يسمح لها ذلك بالتقاط أنماط وعلاقات معقدة داخل اللغة، مما يتيح قدرات متقدمة مثل الترجمة اللغوية، وتلخيص النصوص، والإجابة على الأسئلة، وتوليد المحتوى. يتم تدريب LLMs على مجموعات بيانات كبيرة ويمكنها إظهار سلوكيات معقدة و"قدرات ناشئة" مع زيادة حجمها، على الرغم من أن المفهوم الأخير موضوع للنقاش، كما نوقش في بحث جامعة ستانفورد.

في المقابل، تحتوي النماذج الصغيرة على عدد أقل من المعلمات وأقل تعقيدًا. قد تكون أكثر محدودية في قدراتها وفي نطاق المهام التي يمكنها أداءها بفعالية. تُستخدم النماذج الصغيرة عادةً لمهام أكثر تحديدًا أو أقل تعقيدًا نظرًا لمتطلباتها الحسابية المنخفضة واحتياجاتها الأقل من البيانات. بينما يمكن أن تكون فعالة جدًا لبعض التطبيقات، إلا أنها عمومًا لا تمتلك نفس المستوى من الفهم الدقيق أو القدرة على التعامل مع مجموعة واسعة من مهام اللغة مثل LLMs.

ما هي أفضل النماذج اللغوية الكبيرة مفتوحة المصدر؟

• BERT: طورته Google، BERT هو نموذج LLM رائد معروف بتأثيره التحويلي على معالجة اللغة الطبيعية، ويُستخدم عالميًا في بحث Google وألهم العديد من النماذج المتخصصة.
• Falcon 180B: نموذج LLM من معهد الابتكار التكنولوجي في الإمارات العربية المتحدة بـ 180 مليار معلمة، يتفوق في توليد النص ومعالجته، مع نسخة أصغر Falcon-40B معروفة أيضًا بفهم اللغة.
• GPT-NeoX و GPT-J: نماذج LLM مفتوحة المصدر من EleutherAI بـ 20 مليار و 6 مليارات معلمة على التوالي، تقدم أداءً عاليًا عبر المجالات وتعزز ديمقراطية الذكاء الاصطناعي.
• LLaMA 3: نموذج LLM متعدد الاستخدامات من Meta AI، يتراوح من 7 إلى 70 مليار معلمة، محسّن لتوليد اللغة الطبيعية وقابل للتخصيص من خلال ترخيص مفتوح المصدر، مع واجهات برمجة تطبيقات متاحة للمطورين. عادةً ما تقدم الشركات، مثل Novita AI، واجهات برمجة تطبيقات LLaMA 3 للشركات الناشئة في الذكاء الاصطناعي.
• BLOOM: نموذج LLM مفتوح المصدر بـ 176 مليار معلمة، جهد تعاوني من Hugging Face، مصمم لتوليد النص متعدد اللغات ولغات البرمجة، ويعطي الأولوية للشفافية وإمكانية الوصول.
• Vicuna 13-B: مضبوط بدقة من LLaMa 13B، هذا النموذج الحواري مفتوح المصدر بارع في التعامل مع الحوارات الطويلة في تطبيقات الدردشة عبر الصناعات، مما يعرض قدرات ذكاء اصطناعي حواري متقدمة.

لماذا نحتاج إلى نماذج صغيرة كمكونات إضافية للنماذج اللغوية الكبيرة؟

محدودية الوصول إلى أوزان النماذج

• نماذج LLM مثل GPT-3 و GPT-4 هي أدوات قوية لمجموعة متنوعة من مهام معالجة اللغة الطبيعية (NLP). ومع ذلك، عادةً لا تتم مشاركة معلمات الوزن الفعلية لهذه النماذج علنًا بسبب مخاوف الملكية الفكرية والأمان.
• بدون الوصول إلى أوزان النموذج، لا يمكن إجراء ضبط دقيق داخلي حيث يتم تعديل معلمات النموذج لتناسب مهمة أو مجموعة بيانات محددة بشكل أفضل.

أحجام النماذج الهائلة

• نماذج LLM عادةً ما تكون كبيرة جدًا، بمليارات المعلمات، مما يجعلها كثيفة الاستخدام للموارد. متطلبات الأجهزة لتدريب أو حتى ضبط هذه النماذج بدقة تتجاوز قدرة معظم الأفراد والمؤسسات الصغيرة.
• الحجم الكبير يعني أيضًا أن نقل هذه النماذج إلى أجهزة مختلفة أو استخدامها في بيئات ذات قوة حسابية محدودة أمر صعب.

قيود التعلم ضمن السياق (ICL)

• ICL هي تقنية يتم فيها تقديم بعض الأمثلة المصنفة مع الإدخال لمساعدة النموذج على عمل تنبؤات. تسمح هذه الطريقة للنموذج بالتعلم من السياق الذي توفره الأمثلة.
• ومع ذلك، فإن ICL محدود بطول السياق الذي يمكن لـ LLM معالجته. إذا كان السياق طويلاً جدًا، فقد يتجاوز سعة النموذج، ولن يتمكن النموذج من استخدام جميع الأمثلة المقدمة بشكل فعال.
• هذا القيد مشكلة خاصة عندما تكون هناك كمية كبيرة من البيانات الخاضعة للإشراف متاحة، حيث يمكن لـ ICL فقط استخدام مجموعة فرعية صغيرة منها بسبب قيود طول السياق.

لمعالجة هذه المشكلات، يقترح بعض الباحثين التعلم الفائق ضمن السياق (SuperICL)، الذي يجمع بين نقاط قوة LLMs والنماذج الصغيرة المضبوطة محليًا. النماذج الصغيرة، أو المكونات الإضافية، يتم ضبطها بدقة على بيانات خاصة بالمهمة وتوفر جسرًا بين القدرات العامة لـ LLM والمتطلبات المحددة للمهمة قيد التنفيذ. يسمح هذا النهج بنقل معرفة أكثر فعالية وتحسين الأداء في المهام الخاضعة للإشراف، متغلبًا على قيود ICL والتحديات المرتبطة بحجم LLMs وعدم إمكانية الوصول إليها.

كيف اكتشف الناس أن النماذج الصغيرة هي مكونات إضافية قيمة للنماذج اللغوية الكبيرة؟

في هذا القسم، سنناقش الورقة البحثية بعنوان “Small Models are Valuable Plug-ins for Large Language Models” لكل من Canwen Xu و Yichong Xu و Shuohang Wang و Yang Liu و Chenguang Zhu و Julian McAuley من جامعة كاليفورنيا، سان دييغو ومايكروسوفت. كالعادة، إذا كانت تفاصيل البحث لا تهمك، لا تتردد في الانتقال إلى القسم التالي.

الطريقة

بناءً على الاعتراف بقيود LLMs التي ناقشناها في القسم السابق، يقترح المؤلفون SuperICL لدمج LLMs مع النماذج الصغيرة المضبوطة محليًا. يتم أولاً ضبط النموذج الإضافي بدقة على مجموعة البيانات الخاضعة للإشراف الخاصة بالمهمة. ثم يقوم بعمل تنبؤات مع درجات ثقة على أمثلة التدريب من مجموعة البيانات هذه. يتم توفير هذه التنبؤات كسياق لـ LLM جنبًا إلى جنب مع إدخال الاختبار. يستخدم LLM هذا السياق لعمل التنبؤ النهائي ويمكنه اختياريًا إنشاء شرح لاستدلاله.

تصميم التجربة

يتم التقييم على معيار GLUE لمهام فهم اللغة الطبيعية وعلى XNLI للتحويل عبر اللغات بدون عينات. يتم استخدام GPT-3.5 كـ LLM و RoBERTa-Large/XLM-R كنماذج إضافية. تتم مقارنة SuperICL ضد خطوط الأساس لـ ICL مع GPT-3.5 واستخدام النماذج الإضافية فقط.

النتائج

يتفوق SuperICL على كل من GPT-3.5 ICL والنماذج الإضافية بشكل فردي على معيار GLUE. على مجموعة بيانات XNLI، يحسن SuperICL أداء XLM-R لمعظم اللغات، مما يظهر تحولًا فعالًا بدون عينات. تظهر دراسة الحذف أهمية كل مكون في نهج SuperICL.

الخلاصة

يحقق SuperICL أداءً فائقًا من خلال الجمع بين نقاط قوة LLMs والنماذج الإضافية الصغيرة المضبوطة على بيانات المهمة. يعالج مشكلة عدم استقرار ICL العادي عن طريق فصل فهم اللغة عن استيعاب المعرفة الخاصة بالمهمة. بالإضافة إلى ذلك، يعزز SuperICL قدرات النماذج الصغيرة مثل توسيع تغطيتها متعددة اللغات. كما يوفر قابلية للتفسير من خلال السماح لـ LLM بتوليد تفسيرات عند تجاوز تنبؤات المكون الإضافي.

حالات واقعية للنماذج الصغيرة كمكونات إضافية للنماذج اللغوية الكبيرة

روبوتات خدمة العملاء المخصصة

يمكن ضبط النماذج الصغيرة الخاصة بمجال معين بدقة لفهم مصطلحات وسياق صناعة معينة ثم استخدامها كمكونات إضافية في إطار عمل روبوت محادثة كبير لتقديم ردود أكثر دقة وملاءمة.

المساعدة في التشخيص الطبي

يمكن لنموذج صغير تم تدريبه على السجلات الطبية والأدبيات أن يعمل كمكون إضافي لـ LLM لمساعدة الأطباء في تشخيص الحالات، واقتراح العلاجات، وتفسير الاختبارات الطبية بدقة أكبر.

تحليل المستندات القانونية

يمكن استخدام النماذج الصغيرة المضبوطة بدقة على المستندات القانونية لتعزيز LLMs في تحليل وفهم العقود القانونية، وتقديم ملخصات، وتسليط الضوء على القضايا أو البنود المحتملة.

الترجمة اللغوية

بالنسبة للغات منخفضة الموارد، يمكن تدريب نماذج صغيرة على البيانات المتاحة ثم استخدامها كمكونات إضافية في LLMs لتحسين جودة الترجمة والتعامل مع الفروق الدقيقة بشكل أفضل.

الأدوات التعليمية

يمكن دمج النماذج الصغيرة المصممة للمحتوى التعليمي مع LLMs لإنشاء أنظمة تعليمية ذكية تقدم ملاحظات وشروحات مخصصة للطلاب.

الإشراف على المحتوى

يمكن استخدام النماذج الصغيرة المدربة على اكتشاف أنواع معينة من المحتوى (مثل خطاب الكراهية، المحتوى الصريح) لتعزيز قدرات LLMs في الإشراف على المحتوى الذي ينشئه المستخدمون على منصات التواصل الاجتماعي.

مراقبة الرعاية الصحية

يمكن استخدام النماذج الصغيرة المدربة على التعرف على الأنماط في بيانات المرضى لتقديم تحذيرات مبكرة أو رؤى حول المشكلات الصحية المحتملة عند دمجها مع LLM يمكنه معالجة وتحليل مجموعات بيانات أكبر.

توضح هذه التطبيقات كيف يمكن أن يؤدي الجمع بين المعرفة المتخصصة من النماذج الصغيرة مع الفهم الواسع لـ LLMs إلى حلول أكثر كفاءة ودقة وتخصيصًا في سياقات مهنية وشخصية مختلفة.

كيفية تشغيل كود SuperICL

هذه الأكواد المعروضة أدناه مقتبسة من https://github.com/JetRunner/SuperICL?tab=readme-ov-file. يمكنك العثور على جميع نصوص Python المذكورة أدناه من خلال هذا الرابط.

عملية الإعداد

1 تثبيت الحزم الضرورية: استخدم مدير حزم pip لتثبيت جميع الحزم المطلوبة المدرجة في ملف requirements.txt.

pip install -r requirements.txt

2 تكوين مفتاح OpenAI API:

• انسخ ملف التكوين النموذجي لإنشاء ملف التكوين الخاص بك: cp api_config_example.py api_config.py.
• قم بتحرير ملف api_config.py المنشأ حديثًا باستخدام محرر نصوص مثل vi لإدخال مفتاح OpenAI API الخاص بك.

تشغيل الكود لمهام مختلفة

1 معيار GLUE:

• قم بتنفيذ البرنامج النصي run_glue.py مع المعلمات المحددة لتشغيل النموذج على معيار GLUE.
• قم بتضمين --model_path الذي يشير إلى موقع النموذج، و --model_name مع معرف النموذج، و --dataset الذي يحدد مهمة GLUE.
• لتمكين الشروحات لتنبؤات النموذج، أضف العلم --explanation.

python run_glue.py \
--model_path roberta-large-mnli \
--model_name RoBERTa-Large \
--dataset mnli-m \
--explanation  # أضف هذا العلم للشروحات

• لجميع المهام المدعومة، راجع الوثائق المقدمة.

2 معيار XNLI:

• قم بتشغيل البرنامج النصي run_xnli.py لمهام الاستدلال اللغوي الطبيعي عبر اللغات مع المعلمات المحددة.
• حدد --model_path لدليل النموذج، و --model_name مع اسم النموذج، و --lang لسرد اللغات المضمنة في مجموعة البيانات.

python run_xnli.py \
--model_path /path/to/model \
--model_name XLM-V \
--lang en,ar,bg,de,el,es,fr,hi,ru,sw,th,tr,ur,vi,zh

معلومات إضافية

لجميع المعلمات المتاحة للنصوص البرمجية، راجع مستودع الكود.

الاستشهاد

إذا كنت تستخدم هذا العمل في بحثك، يرجى الاستشهاد به على النحو التالي:

@article{xu2023small,
  title={Small Models are Valuable Plug-ins for Large Language Models},
  author={Xu, Canwen and Xu, Yichong and Wang, Shuohang and Liu, Yang and Zhu, Chenguang and McAuley, Julian},
  journal={arXiv preprint arXiv:2305.08848},
  year={2023}
}

حدود النماذج الصغيرة كمكونات إضافية للنماذج اللغوية الكبيرة

الاعتماد على أداء النموذج الإضافي

لا يزال الأداء العام لـ SuperICL يعتمد على جودة النموذج الإضافي المضبوط محليًا. إذا كان أداء النموذج الإضافي ضعيفًا في المهمة، فقد يحد من فعالية SuperICL.

التكلفة الحسابية

يتطلب ضبط النموذج الإضافي بدقة الوصول إلى موارد حسابية كافية. بالنسبة لمجموعات البيانات الكبيرة الخاضعة للإشراف، قد يصبح هذا الضبط مكلفًا بشكل باهظ لمجموعات البحث الصغيرة أو الأفراد.

قابلية التعميم للمهام

تركز التجارب على مهام فهم اللغة الطبيعية في معيار GLUE. بينما النتائج واعدة، هناك حاجة إلى مزيد من التقييم لتقييم فعالية SuperICL في مهام NLP الأخرى مثل التوليد والتلخيص والترجمة وما إلى ذلك.

النقل عبر المهام

من غير الواضح كيف يمكن لنموذج إضافي واحد تم ضبطه على مهمة واحدة أن يعمم ويوفر سياقًا فعالاً لمهمة مختلفة تمامًا عند استخدامه مع SuperICL.

حدود تعدد اللغات

بينما يعزز SuperICL تعدد اللغات، فإن قدراته عبر اللغات لا تزال محدودة بشكل أساسي بالقدرات الأصلية متعددة اللغات للنموذج الإضافي مثل XLM-R.

الخلاصة

يقدم دمج النماذج الصغيرة كمكونات إضافية مع LLMs، كما أظهر SuperICL، حلاً مقنعًا للقيود المتأصلة في الذكاء الاصطناعي واسع النطاق. من خلال تعزيز قدرات LLMs، نمهد الطريق لأنظمة ذكاء اصطناعي أكثر دقة وكفاءة وقابلة للتطبيق على نطاق واسع. ومع ذلك، لا تزال تحديات مثل الاعتماد على أداء المكونات الإضافية، والتكاليف الحسابية، وقابلية تعميم المهام قائمة، مما يحث على اتباع نهج متوازن لتسخير هذا التكامل.

ترقبوا لاكتشاف أحدث نتائج الأوساط الأكاديمية للذكاء الاصطناعي!

Novita AI، المنصة الشاملة للإبداع غير المحدود التي تمنحك الوصول إلى أكثر من 100 واجهة برمجة تطبيقات. من توليد الصور ومعالجة اللغة إلى تحسين الصوت ومعالجة الفيديو، الدفع حسب الاستخدام الرخيص يحررك من متاعب صيانة GPU أثناء بناء منتجاتك الخاصة. جربها مجانًا.