تقدم هذه المقالة نظرة عامة على إعدادات التكوين لنماذج اللغة الكبيرة (LLMs)، مع التعمق في مزايا وعيوب النوافذ السياقية الكبيرة. كما تقدم أمثلة عملية توضح كيف يؤثر ضبط هذه الإعدادات على مخرجات LLM عبر مهام مختلفة.
مقدمة
تعتمد نماذج اللغة الكبيرة على الاحتمالات لتحديد الرمز أو الكلمة التالية الأكثر احتمالاً بناءً على بيانات تدريبها والمطالبات والإعدادات. أبرزت المناقشات السابقة كيف يمكن لتقنيات المطالبة أن تغرس التفكير الشبيه بالبشري في LLMs، بينما تعزز تقنيات مثل التوليد المعزز بالاسترجاع قدراتها من خلال منحها الوصول إلى مصادر معرفة خارجية.
ومع ذلك، فإن تعديل إعدادات أو معلمات LLM يمكن أن يؤثر بشكل كبير على المخرجات النهائية بغض النظر عن السياق والمطالبات المقدمة. يعد إتقان هذه الإعدادات أمرًا بالغ الأهمية للاستفادة الفعالة من نماذج اللغة الكبيرة وتوجيهها نحو السلوكيات المرغوبة. في هذه المقالة، نستكشف معلمات LLM الأساسية مثل درجة الحرارة، وأعلى P، وأقصى عدد من الرموز، والنافذة السياقية، موضحين كيف تؤثر على مخرجات النموذج.
ما هي درجة حرارة LLM؟
بعبارات بسيطة، درجة الحرارة هي معلمة تتراوح من 0 إلى 1، تحدد مستوى العشوائية في الردود التي يولدها نموذج اللغة الكبير (LLM). تؤدي درجات الحرارة الأعلى إلى مخرجات أكثر تنوعًا وإبداعًا، بينما تؤدي درجات الحرارة المنخفضة إلى ردود أكثر تحفظًا وقابلية للتنبؤ.
عند ضبط درجة الحرارة على الصفر، سينتج LLM نفس المخرجات باستمرار لنفس المطالبة. تؤدي زيادة درجة الحرارة إلى تعزيز إبداع النموذج، مما يوفر مجموعة أوسع من المخرجات. ومع ذلك، يمكن أن تؤدي درجات الحرارة المرتفعة بشكل مفرط إلى مخرجات تفتقر إلى التماسك أو المعنى.
تختلف إعدادات درجة الحرارة الافتراضية عبر LLMs المختلفة، اعتمادًا على عوامل مثل نوع النموذج وما إذا كان الوصول إليه عبر API أو واجهة ويب. على سبيل المثال، تذكر المناقشات حول ChatGPT-3.5 و4 عادةً إعدادات درجة حرارة افتراضية حوالي 0.7 إلى 0.8، على الرغم من أن القيم الدقيقة غالبًا لا يتم الكشف عنها.
إعدادات درجة الحرارة
معلمة درجة الحرارة هي قيمة رقمية تتراوح عادةً بين 0 و1، على الرغم من أنها قد تتجاوز هذا النطاق في بعض الأحيان، وتؤثر على درجة المجازفة أو التحفظ في اختيارات النموذج للكلمات. تقوم بتعديل توزيع الاحتمالات للكلمة التالية.
فيما يلي تفصيل لمعلمات درجة الحرارة المختلفة لنماذج اللغة الكبيرة:
درجة حرارة منخفضة (<1.0) — عند ضبطها على قيمة أقل من 1، تميل مخرجات النموذج إلى أن تكون أكثر حتمية وتكرارية. درجات الحرارة المنخفضة تعطي الأولوية لاختيار الكلمة التالية الأكثر احتمالاً، مما يقلل من تباين المخرجات. يمكن أن يكون هذا مفيدًا للحصول على ردود قابلة للتنبؤ ومحافظة، ولكنه قد ينتج نصًا أقل إبداعًا أو تنوعًا، مما يعطي النموذج نبرة آلية أكثر.
درجة حرارة عالية (>1.0) — يؤدي ضبط درجة الحرارة أعلى من 1 إلى زيادة العشوائية في النص المولد. يميل النموذج أكثر إلى اختيار كلمات أقل احتمالاً ككلمة تالية في التسلسل، مما ينتج مخرجات أكثر تنوعًا وأحيانًا أكثر إبداعًا. ومع ذلك، قد تؤدي هذه العشوائية المتزايدة إلى أخطاء أو ردود غير منطقية، حيث يكون النموذج أقل تقييدًا بتوزيع احتمالات بيانات تدريبه.
درجة حرارة 1.0 — غالبًا ما يكون هذا هو الإعداد الافتراضي، بهدف تحقيق توازن بين العشوائية والحتمية. يولد النموذج نصًا ليس مفرطًا في قابلية التنبؤ ولا عشوائيًا جدًا، معتمداً على توزيع الاحتمالات الذي تعلمه أثناء تدريبه.
حالات استخدام نمذجة درجة حرارة LLM
يتضمن الضبط الدقيق لمعلمة درجة الحرارة في النمذجة تحقيق التوازن الصحيح بين العشوائية والحتمية، وهو جانب حاسم في التطبيقات حيث تؤثر جودة النص المولد بشكل عميق على تجربة المستخدم أو عمليات اتخاذ القرار.
في السيناريوهات العملية، يعتمد اختيار إعداد درجة الحرارة على النتيجة المرجوة. المهام التي تتطلب إبداعًا أو ردودًا متنوعة قد تستفيد من درجات حرارة أعلى، بينما تلك التي تتطلب دقة أو صحة واقعية تفضل عادةً درجات حرارة منخفضة.
فيما يلي بعض حالات الاستخدام الشائعة وإعدادات درجة الحرارة الموصى بها لنماذج LLM:
الكتابة الإبداعية — يمكن أن يؤدي استخدام درجات حرارة أعلى إلى تحفيز الإبداع وإنتاج مجموعة متنوعة من المخرجات، مما يجعله مفيدًا للتغلب على حصار الكاتب أو توليد أفكار محتوى مبتكرة.
التوثيق الفني — يُفضل استخدام درجات حرارة منخفضة لضمان دقة وموثوقية المحتوى، وهو أمر حاسم في التوثيق الفني حيث تكون الدقة والاتساق في غاية الأهمية.
تفاعل العملاء — يتيح تعديل درجة الحرارة تخصيص الردود في روبوتات الدردشة أو المساعدين الافتراضيين لتتوافق مع العلامة التجارية ونبرة المنظمة، وكذلك تلبية تفضيلات الجمهور المستهدف.
ما هو أعلى P؟
أعلى P، المعروف أيضًا بأخذ العينات النووية، هو معلمة أخرى تؤثر على عشوائية مخرجات LLM. تحدد هذه المعلمة عتبة الاحتمال لتضمين الرموز في مجموعة مرشحة يستخدمها LLM لتوليد المخرجات. تؤدي القيم المنخفضة لهذه المعلمة إلى ردود أكثر دقة وقائمة على الحقائق من LLM، بينما تزيد القيم الأعلى من العشوائية والتنوع في المخرجات المولدة.
على سبيل المثال، يؤدي ضبط معلمة أعلى P على 0.1 إلى مخرجات حتمية ومركزة من LLM. من ناحية أخرى، يسمح زيادة أعلى P إلى 0.8 بردود أقل تقييدًا وأكثر إبداعًا.
ما هو أقصى عدد من الرموز؟
بينما تنظم درجة الحرارة وأعلى P عشوائية ردود LLM، فإنها لا تضع أي قيود على حجم المدخلات المقبولة أو المخرجات التي يولدها النموذج. في المقابل، تؤثر معلمتان أخريان، النافذة السياقية وأقصى عدد من الرموز، بشكل مباشر على أداء LLM وقدرات معالجة البيانات.
النافذة السياقية، المقاسة بالرموز (والتي يمكن أن تكون كلمات كاملة أو كلمات فرعية أو أحرف)، تحدد عدد الكلمات التي يمكن لـ LLM معالجتها في وقت واحد. من ناحية أخرى، تحدد معلمة أقصى عدد من الرموز الحد الأعلى لإجمالي عدد الرموز، بما في ذلك كل من المدخلات المقدمة إلى LLM كمطالبة ورموز المخرجات التي يولدها LLM ردًا على تلك المطالبة.
فهم النافذة السياقية
بشكل عام، يحدد حجم النافذة السياقية في نماذج اللغة الكبيرة (LLMs) كمية المعلومات التي يمكن للنموذج الاحتفاظ بها واستخدامها عند توليد المخرجات. تمكن النافذة السياقية الأكبر LLM من تذكر المزيد من السياق، مما يؤدي إلى ردود أكثر تماسكًا ودقة. ومع ذلك، إذا تجاوزت المدخلات النافذة السياقية، يبدأ النموذج في “نسيان” المعلومات السابقة، مما قد يؤدي إلى مخرجات أقل صلة وجودة.
بالإضافة إلى ذلك، يفرض حجم النافذة السياقية قيودًا على تقنيات هندسة المطالبات. تتطلب طرق مثل شجرة الأفكار أو التوليد المعزز بالاسترجاع (RAG) نوافذ سياقية كبيرة لتكون فعالة، لأنها تعتمد على تغذية النموذج بمعلومات كافية لتوليد ردود عالية الجودة.
مع تطور LLMs، تتوسع نوافذها السياقية أيضًا، مما يسمح لها بمعالجة المزيد من الرموز في وقت واحد. على سبيل المثال، بينما يحتوي GPT-4 على حد سياقي يبلغ 8,192 رمزًا، تدعم النماذج الأحدث مثل GPT-4 Turbo نافذة سياقية تصل إلى 128 ألف رمز. وبالمثل، زادت Anthropic الحد السياقي في أداة Claude من 9,000 رمز إلى 200 ألف رمز في إصدار Claude 2.1.
متى لا تؤدي النافذة السياقية الكبيرة إلى مخرجات أفضل؟
على الرغم من أن النافذة السياقية الأكبر تمكن LLMs من معالجة مدخلات أطول، مما يؤدي إلى ردود أكثر صلة، إلا أن توسيع الحدود السياقية ليس مفيدًا عالميًا. هناك عدة عيوب يجب مراعاتها.
أولاً، تتطلب مجموعات البيانات الأكبر وقتًا أطول لـ LLMs لتوليد الردود. يزيد التعقيد الحسابي المتزايد لمعالجة النوافذ السياقية الأكبر من تفاقم هذه المشكلة.
ثانيًا، تتصاعد التكاليف الحسابية المرتبطة بالنوافذ السياقية الأكبر بشكل متناسب.
علاوة على ذلك، يسلط بحث Liu et al. (2023) الضوء على تحدٍ آخر: غالبًا ما تكافح نماذج اللغة الكبيرة للوصول الفعال إلى المعلومات ضمن سياقات المدخلات الطويلة. كشفت دراستهم أن LLMs تحقق الأداء الأمثل عندما تكون المعلومات ذات الصلة موجودة إما في بداية المدخلات أو نهايتها. على العكس، يؤدي استخدام المعلومات من منتصف سياق طويل إلى انخفاض أداء النموذج.
إعدادات LLM أخرى
يمكن أن تؤثر عدة إعدادات أخرى على مخرجات نماذج اللغة، بما في ذلك تتابعات الإيقاف، وعقوبات التكرار، وعقوبات الحضور.
تتابعات الإيقاف
تحدد تتابعات الإيقاف متى يجب أن يتوقف النموذج عن توليد المخرجات، مما يتيح التحكم في طول المحتوى وبنيته. على سبيل المثال، عند مطالبة AI بتأليف بريد إلكتروني، يؤدي تعيين “مع أطيب التحيات”، أو “بإخلاص”، كتسلسل إيقاف إلى ضمان توقف النموذج قبل التحية الختامية، مما ينتج بريدًا إلكترونيًا موجزًا ومركزًا. تعتبر تتابعات الإيقاف قيمة لتوليد مخرجات من المتوقع أن تتبع تنسيقًا منظمًا، مثل رسائل البريد الإلكتروني أو القوائم المرقمة أو الحوار.
عقوبة التكرار
عقوبة التكرار هي إعداد يثبط التكرار في النص المولد عن طريق معاقبة الرموز بناءً على تكرار ظهورها. الرموز التي تظهر بشكل متكرر في النص تكون أقل احتمالاً لاستخدامها مرة أخرى بواسطة AI.
عقوبة الحضور
تعمل عقوبة الحضور بشكل مشابه لعقوبة التكرار ولكنها تطبق عقوبة ثابتة على الرموز بناءً على ما إذا كانت قد ظهرت في النص أم لا، بدلاً من معاقبتها بشكل تناسبي.
المصدر: novita.ai
استيراد الشخصية (اختياري)
بعض LLMs لها إعداداتها الخاصة، على سبيل المثال، استيراد الشخصية. من خلال استيراد بطاقات الشخصيات، يمكنك الدردشة مع شخصياتك المفضلة، بغض النظر عن هويتهم.
novita.ai LLM مع ميزة استيراد الشخصية
كيف تضبط إعدادات LLM؟
كما هو موضح سابقًا، يمكن أن يساعد ضبط معلمات مثل درجة الحرارة، وأعلى P، وأقصى عدد من الرموز في ضبط LLMs لإنتاج نتائج أكثر صلة ودقة. يؤدي خفض درجة الحرارة أو أعلى P إلى قيم مثل 0.1 أو 0.2 إلى تقليل العشوائية، مما ينتج إجابات أكثر تركيزًا مناسبة لمهام مثل إنشاء الكود أو كتابة نصوص تحليل البيانات. على العكس، تشجع زيادة معلمات درجة الحرارة أو أعلى P إلى حوالي 0.7 أو 0.8 على مخرجات أكثر إبداعًا وتنوعًا، مثالية للكتابة الإبداعية أو رواية القصص. يُنصح عمومًا بتعديل إما معلمة درجة الحرارة أو أعلى P وليس كلاهما في وقت واحد.
في الوقت نفسه، يسمح تغيير معلمة أقصى عدد من الرموز بتخصيص طول مخرجات LLM. يثبت هذا المرونة أنه مفيد عند تخصيص LLMs لتوليد ردود قصيرة لروبوتات الدردشة أو محتوى أطول للمقالات. بالإضافة إلى ذلك، يمكن أن يكون ضبط معلمة أقصى عدد من الرموز مفيدًا في سيناريوهات مثل إنشاء الكود لتطوير البرمجيات أو تلخيص المستندات الأطول.
الخلاصة
باختصار، يعد اكتساب الكفاءة في إعدادات مثل درجة الحرارة، وأعلى P، والحد الأقصى للطول، وغيرها أمرًا بالغ الأهمية عند استخدام نماذج اللغة. تمكن هذه المعلمات من إدارة دقيقة لمخرجات النموذج، وتخصيصها لتناسب مهام أو تطبيقات معينة. تتحكم هذه المعلمات في عوامل مثل عشوائية الردود وطولها وتكرار التكرار، وكلها تساهم في تعزيز التفاعلات مع AI.
novita.ai، المنصة المتكاملة للإبداع اللامحدود التي تمنحك الوصول إلى أكثر من 100 API. بدءًا من توليد الصور ومعالجة اللغة إلى تحسين الصوت ومعالجة الفيديو، مع أسعار مرنة حسب الاستخدام، تحررك من متاعب صيانة GPU أثناء بناء منتجاتك الخاصة. جربها مجانًا.
قراءة موصى بها
