قدم ميتشل ستيرن وآخرون في عام 2018 المفهوم الأولي لفك التشفير التخميني. وقد تم تطوير هذه الطريقة وتحسينها منذ ذلك الحين من خلال عدة مقاربات، بما في ذلك Lookahead Decoding و REST و Medusa و EAGLE، مما أدى إلى تسريع عملية استدلال النماذج اللغوية الكبيرة بشكل كبير.
قد يتساءل المرء: هل سيؤدي فك التشفير التخميني في النماذج اللغوية الكبيرة إلى الإضرار بدقة النموذج الأصلي؟ الإجابة المختصرة هي لا.
خوارزمية فك التشفير التخميني التقليدية هي خوارزمية غير مسببة للخسارة، وسنثبت ذلك من خلال التحليل الرياضي والتجارب.
الإثبات الرياضي
يمكن تعريف صيغة أخذ العينات التخميني كما يلي:
بينما:
فيما يلي إثبات للطبيعة غير المسببة للخسارة لهذه الصيغة من ورقة DeepMind:
إذا كنت تشعر أن قراءة المعادلات الرياضية مملة، فسأوضح الإثبات بعد ذلك من خلال بعض الرسوم البيانية البديهية.
التجارب
على الرغم من أننا أثبتنا رياضيًا أن فك التشفير التخميني غير مسبب للخسارة من حيث المبدأ، إلا أنه لا تزال أخطاء التنفيذ ممكنة. لذلك، فإن التحقق التجريبي ضروري أيضًا. أجرينا تجارب على حالتين: الطريقة الحتمية لفك التشفير الجشع والطريقة العشوائية لأخذ العينات متعدد الحدود.
فك التشفير الجشع
طلبنا من النموذج اللغوي الكبير أن يولد قصة قصيرة مرتين، الأولى باستخدام الاستدلال التقليدي والثانية باستخدام فك التشفير التخميني. استخدمنا تطبيق فك التشفير التخميني من Medusa. وزن النموذج هو medusa-1.0-vicuna-7b-v1.5 ونموذجه الأساسي vicuna-7b-v1.5. بعد تشغيل الاختبار، حصلنا على نتيجتين متطابقتين. النص المولد كما يلي:
أخذ العينات متعدد الحدود
في حالة أخذ العينات العشوائي، يكون الوضع أكثر تعقيدًا. تعتمد معظم طرق إعادة إنتاج النتائج في البرامج العشوائية على استخدام بذرة عشوائية ثابتة للاستفادة من حتمية المولدات العشوائية الزائفة. ومع ذلك، فإن هذا النهج لا يناسب سيناريونا. تعتمد تجربتنا على قانون الأعداد الكبيرة: مع وجود عدد كافٍ من العينات، فإن الخطأ بين التوزيعات العملية والنظرية يتقارب إلى الصفر.
أجرينا 1,000,000 تكرار لأخذ العينات للرمز الأول المولد لكل من أربعة مطالبات. أوزان النموذج المستخدمة كانت Llama3 8B Instruct و EAGLE-LLaMA3-Instruct-8B. النتائج الإحصائية موضحة أدناه:
- الأزرق: softmax للـ logits من النموذج الأساسي
- الأخضر: softmax للـ logits من النموذج المساعد
- البرتقالي: تردد الرمز من أخذ العينات التخميني (1,000,000 مرة)
الانحراف المعياري لتوزيع أخذ العينات من النموذج الأساسي هو 9.694e-5. وهذا يتماشى مع التوقعات.
الخلاصة
فك التشفير التخميني لا يؤثر على دقة استدلال النماذج اللغوية الكبيرة. من خلال التحليل الرياضي الدقيق والتجارب العملية، أثبتنا الطبيعة غير المسببة للخسارة لخوارزميات فك التشفير التخميني القياسية. يوضح الإثبات الرياضي كيف تحافظ صيغة أخذ العينات التخميني على التوزيع الأصلي للنموذج الأساسي. كما أن تجاربنا، بما في ذلك فك التشفير الجشع الحتمي وأخذ العينات متعدد الحدود الاحتمالي، تؤكد هذه النتائج النظرية. أنتجت تجربة فك التشفير الجشع نتائج متطابقة مع وبدون فك التشفير التخميني، بينما أظهرت تجربة أخذ العينات متعدد الحدود اختلافات طفيفة في توزيع الرموز على عدد كبير من العينات.
تؤكد هذه النتائج مجتمعة أن فك التشفير التخميني يمكنه تسريع استدلال النماذج اللغوية الكبيرة بشكل كبير دون التضحية بالدقة، مما يمهد الطريق لأنظمة ذكاء اصطناعي أكثر كفاءة وإتاحة في المستقبل.
يمكنك زيارة Novita AI لمزيد من التفاصيل!
