Mixtral 8x7b المُكمَّم مقارنةً بـ Mistral: أيهما أفضل؟

النقاط البارزة

نظرة عامة على Mistral 7B

• المعلمات: 7.3 مليار.
• الأداء: يتفوق على النماذج الأكبر مثل Llama 2 13B.
• الابتكارات: الانتباه المُجمَّع للمجموعات (GQA) للاستدلال الأسرع؛ انتباه النافذة المنزلقة (SWA) لمعالجة التسلسلات الأطول.
• الترخيص: ترخيص Apache 2.0 للاستخدام غير المقيد.

نظرة عامة على نموذج Mixtral 8x7B المُكمَّم

• التكميم المتقدم: تكميم 4 بت لتقليل حجم الذاكرة.
• الاستدلال الفعال: استدلال أسرع وأكثر كفاءة في استخدام الموارد، مناسب للأجهزة الاستهلاكية.
• خليط الخبراء (MoE): يختار “الخبراء” المناسبين لأجزاء مختلفة من المدخلات، مما يتيح التوسع بكفاءة.
• متعدد اللغات: يدعم لغات متعددة ويتفوق في مهام البرمجة.

مقدمة

مرحبًا بكم في نظرة عامة شاملة على عائلتي النماذج Mistral و Mixtral، وهما نموذجان لغويان رائدان طورتهما شركة Mistral AI. في هذه المقالة، سنستكشف الميزات والأداء والابتكارات الفريدة لنموذجي Mistral 7B و Mixtral 8x7B المُكمَّم. سنتعمق في التقنيات المتقدمة التي تستخدمها هذه النماذج، مثل التكميم وخليط الخبراء (MoE)، وسنقدم مقارنة مفصلة لقدراتها ومتطلباتها من الأجهزة. سواء كنت من عشاق الذكاء الاصطناعي أو محترفًا في هذا المجال، سيساعدك هذا الدليل على فهم التقدم الملحوظ الذي تقدمه هذه النماذج.

نظرة عامة على Mistral 7b

Mistral 7B هو نموذج لغوي قوي يضم 7.3 مليار معلمة، طورته Mistral AI. تشمل ميزاته البارزة:

أداء متفوق على Llama

يتفوق على النماذج الأكبر مثل Llama 2 13B في العديد من المعايير، مما يُظهر كفاءته.

آليات انتباه مبتكرة

يستخدم الانتباه المُجمَّع للمجموعات (GQA) للاستدلال الأسرع وانتباه النافذة المنزلقة (SWA) لمعالجة التسلسلات الأطول بفعالية.

ترخيص مفتوح

صدر بموجب ترخيص Apache 2.0 المتساهل، مما يسمح بالاستخدام والنشر غير المقيد عبر منصات مختلفة.

نظرة عامة على نموذج Mixtral 8x7b المُكمَّم

Mixtral 8x7b المُكمَّم هو نموذج لغوي كبير يدمج تقنيات التكميم المتقدمة لتحسين الأداء والكفاءة:

• التكميم المتقدم: يستخدم طرق تكميم حديثة مثل التكميم بـ 4 بت، مما يقلل بشكل كبير من حجم الذاكرة دون المساس بالأداء بشكل كبير.
• الاستدلال الفعال: النموذج المُكمَّم يتيح استدلالًا أسرع وأكثر كفاءة في استخدام الموارد، مما يجعله مناسبًا للنشر على الأجهزة الاستهلاكية ذات الموارد الحاسوبية المحدودة.
• خليط الخبراء: يدمج طبقة MoE تعالج المعلومات بكفاءة عن طريق اختيار “الخبراء” الأكثر صلة لأجزاء مختلفة من المدخلات، مما يسمح له بالتوسع والأداء مثل نموذج أكبر بكثير.
• الإمكانيات متعددة اللغات: تمامًا مثل نموذج الدقة الكاملة، يدعم Mixtral 8x7b المُكمَّم لغات متعددة، بما في ذلك الإنجليزية والفرنسية والألمانية والإسبانية والإيطالية، ويتفوق أيضًا في مهام البرمجة.

يمكن اعتبار Mixtral 8x7b المُكمَّم خلفًا أو نسخة متخصصة من Mistral 7B، حيث يدمج كلًا من الابتكارات الهيكلية لنهج MoE وتحسينات الكفاءة التي يجلبها التكميم. لذلك، من أجل فهم أعمق للفروق بين Mixtral 8x7b المُكمَّم و Mistral، سنستكشف التكميم ونهج MoE.

Mixtral 8x7b المُكمَّم مقارنةً بـ Mistral: فهم التكميم

التكميم، أحد السمات المميزة الرئيسية لـ Mixtral 8x7b المُكمَّم، كما ورد في المقال، يشير إلى عملية تقليل دقة أوزان النموذج إلى بتات أقل، مما يقلل بشكل كبير من حجم الذاكرة. ويتم ذلك دون تدهور كبير في أداء النموذج في مهام الضبط الدقيق. إليك نظرة عامة موجزة ومهنية حول كيفية تطبيق التكميم وأهميته:

تطبيق التكميم في Mixtral 8x7b المُكمَّم

• طريقة QLORA: يتم استخدام نهج QLORA (محولات الرتبة المنخفضة المُكمَّمة) لضبط نموذج Mixtral 8x7b بدقة 4 بت فقط. تسمح هذه الطريقة بالانتشار العكسي للتدرجات عبر نموذج لغوي مُدرَّب مسبقًا ومُكمَّم بـ 4 بت في محولات الرتبة المنخفضة (LoRA).
• الابتكارات: يقدم نهج QLORA العديد من الابتكارات مثل:
• NormalFloat 4 بت (NF4): نوع بيانات جديد هو الأمثل نظريًا للمعلومات للأوزان الموزعة بشكل طبيعي، مما يوفر نتائج تجريبية أفضل من تمثيلات 4 بت التقليدية.
• التكميم المزدوج: تقنية تقلل استخدام الذاكرة بشكل أكبر عن طريق تكميم ثوابت التكميم نفسها، مما يؤدي إلى توفير إضافي في الذاكرة.
• المحسّنات المُقسَّمة: استراتيجية لإدارة ارتفاعات الذاكرة، مفيدة بشكل خاص عند معالجة دفعات صغيرة بأطوال تسلسلية طويلة.

أهمية التكميم

• كفاءة الذاكرة: الأهمية الأساسية للتكميم في نموذج Mixtral 8x7b هي التخفيض الكبير في متطلبات الذاكرة، مما يجعل الضبط الدقيق للنماذج الكبيرة ممكنًا على وحدات معالجة رسومية ذات ذاكرة VRAM محدودة.
• إمكانية الوصول: من خلال تقليل حجم الذاكرة، يُضفِي التكميم طابعًا ديمقراطيًا على الوصول إلى الضبط الدقيق لنماذج اللغة الكبيرة، حيث يصبح من الممكن أداء هذه المهام على أجهزة استهلاكية لا تستطيع عادةً تحمل حمل الذاكرة للنماذج كاملة الدقة.
• الحفاظ على الأداء: على الرغم من الدقة المنخفضة، تضمن طريقة QLORA أن النموذج المُضبَط بدقة يحافظ على أداء مماثل لأداء نموذج مُضبَط بدقة 16 بت كاملة.
• قابلية التوسع: يسمح التكميم بتدريب نماذج أكبر مما كان ممكنًا، نظرًا لقيود الذاكرة في الأجهزة القياسية. وهذا يمهد الطريق لمزيد من التوسع في حجم النموذج مع الحفاظ على استهلاك الموارد تحت السيطرة.

أنواع مختلفة من نماذج Mixtral 8x7b المُكمَّمة

قام Ikawrakow على Github بتلخيص مقارنة بين أنواع مختلفة من نماذج Mixtral 8x7b المُكمَّمة ونهج التكميم الحالي لـ llama.cpp باستخدام حيرة Wikitext لطول سياق يبلغ 512 رمزًا.

“خطأ التكميم” يُعرف بـ (PPL(النموذج المُكمَّم) - PPL(int8))/PPL(int8).

Mixtral 8x7b المُكمَّم مقارنةً بـ Mistral: فهم MoE

خليط الخبراء (MoE) هو نموذج تعلم آلي متقدم يُدخل التشتت (sparsity) في نماذج التعلم العميق، خاصة في سياق الشبكات العصبية. تستخدم الشبكات العصبية التقليدية نفس مجموعة المعلمات لجميع المدخلات. في المقابل، تتكون نماذج MoE من مجموعة من الخبراء المتخصصين، كل منهم قادر على التعامل مع مجموعات فرعية مختلفة من فضاء المدخلات. تحدد آلية توجيه أو موجه تنشيط هؤلاء الخبراء بناءً على بيانات الإدخال.

تطبيق MoE في Mixtral 8x7b

Mixtral 8x7b يستخدم إطار عمل MoE لتحقيق أداء عالٍ مع حساب فعال. في هذا النموذج، يتم استبدال شبكات التغذية الأمامية الكثيفة التقليدية (FFNs) بطبقات MoE، والتي تتكون من خبراء متعددين. كل خبير هو شبكة عصبية أصغر تتخصص في التعامل مع جوانب معينة من بيانات الإدخال. يقوم الموجه في Mixtral 8x7b باختيار الخبراء الأكثر صلة لكل رمز بشكل ديناميكي، مما يمكن النموذج من تركيز الموارد الحاسوبية على الأجزاء الأكثر إفادة من المدخلات.

يسمح هذا التطبيق لـ MoE في Mixtral 8x7b للنموذج بالتوسع إلى مليارات المعلمات مع الحفاظ على سرعات استدلال عالية. كما يمكنه من التعامل مع التسلسلات الأطول وتحقيق نتائج متطورة في مهام معالجة اللغة الطبيعية المختلفة.

أهمية MoE

تكمن أهمية MoE في قدرته على الجمع بين نقاط قوة النماذج واسعة النطاق مع كفاءة الحساب المتناثر. فيما يلي بعض النقاط الرئيسية التي تبرز أهميته:

• قابلية التوسع: يتيح MoE إنشاء نماذج بعدد غير مسبوق من المعلمات دون زيادة مقابلة في التكاليف الحسابية، مما يجعل من الممكن تدريب ونشر نماذج كانت غير مجدية سابقًا.
• الكفاءة: عن طريق تفعيل مجموعة فرعية فقط من الخبراء لكل إدخال، يمكن لنماذج MoE معالجة المعلومات بشكل أكثر كفاءة، مما يؤدي إلى أوقات استدلال أسرع مقارنة بالنماذج الكثيفة ذات الحجم المماثل.
• القدرة على التكيف: يمكن لنماذج MoE التكيف مع توزيعات البيانات المتنوعة والمعقدة عن طريق تخصص خبراء مختلفين لجوانب مختلفة من البيانات، مما قد يحسن الأداء في مجموعة واسعة من المهام.
• تحسين الموارد: يتيح MoE استخدامًا أفضل لموارد الأجهزة عن طريق تقليل الحاجة إلى قوة حاسوبية وعرض نطاق ذاكرة مفرطين، وهو أمر بالغ الأهمية لنشر النماذج على الأجهزة محدودة الموارد.

Mixtral 8x7b المُكمَّم مقارنةً بـ Mistral: التطبيقات وحالات الاستخدام

البحث والتطوير:

يمكن لكلا النموذجين أن يكونا ذا قيمة في بيئات البحث والتطوير، حيث يمكن أن يؤدي استكشاف نماذج اللغة المتطورة إلى تقدم في تكنولوجيا الذكاء الاصطناعي. قد يعتمد الاختيار بينهما على التركيز المحدد للبحث، مثل المفاضلة بين الأداء والكفاءة.

النشر التجاري:

للتطبيقات التجارية حيث يكون التوازن بين الأداء واستخدام الموارد أمرًا بالغ الأهمية، قد يقدم Mixtral 8x7b المُكمَّم حلاً أكثر عملية. إنه يوفر حلًا وسطًا جيدًا بين قدرات النموذج ومتطلبات الأجهزة.

التطبيقات متعددة اللغات:

نظرًا لأن كلا النموذجين قادران على التعامل مع لغات متعددة، يمكن نشرهما في بيئات متعددة اللغات لتطبيقات مثل الترجمة بين اللغات، إنشاء محتوى متعدد اللغات، وأدوات تعلم اللغة.

المهام المكثفة في الاستدلال:

قد يؤدي Mixtral 8x7b المُكمَّم أداءً أفضل في المهام المكثفة في الاستدلال حيث تكون السرعة والكفاءة أمرًا بالغ الأهمية، مثل الذكاء الاصطناعي للمحادثة في الوقت الفعلي، روبوتات الدردشة، وأتمتة خدمة العملاء.

Mixtral 8x7b المُكمَّم مقارنةً بـ Mistral: الأداء ومتطلبات الأجهزة

مقارنة الأداء بين Mixtral 8x7b المُكمَّم و Mistral

على الرغم من أن بيانات أداء Mixtral 8x7B في شكله المُكمَّم غير متاحة للجمهور، إلا أن Ingrid Stevens أجرت بعض التجارب باستخدام مطالبات مختلفة لاختبار Mixtral-8x7B على Vercel و Mixtral-8x7B Q3_K_M على شريحة M1، ومقارنتها بـ ChatGPT 3.5. وخلصت إلى أنه لا يوجد فرق كبير بين النسخة المُكمَّمة وغير المُكمَّمة من Mixtral 8x7B. لذلك، لمقارنة أداء Mixtral 8x7B المُكمَّم مع Mistral 7B، من العملي استخدام أداء المعايير لـ Mistral 7B و Mixtral 8x7B كما هو مدرج في Huggingface Open LLM Leaderboard.

1. المتوسط العام: يحتوي Mixtral 8x7B على متوسط أعلى (19.23) مقارنة بـ Mistral 7B (14.17)، مما يشير إلى أنه في المتوسط، يؤدي Mixtral 8x7B أداءً أفضل عبر المهام التي تم تقييمها.
2. IFEval: يحقق Mixtral 8x7B نتيجة أعلى (23.5) في معيار IFEval، الذي يقيم قدرة النموذج على اتباع التعليمات، مقارنة بـ Mistral 7B (22.66).
3. BBH: في معيار BBH، الذي يختبر قدرة النموذج على الإجابة عن أسئلة حول نص معين، يُظهر Mixtral 8x7B أداءً محسنًا بنتيجة 29.73 مقابل 24.04 لـ Mistral 7B.
4. MATH Lvl 5: للتفكير الرياضي في المستوى الخامس، يتفوق Mixtral 8x7B بشكل كبير على Mistral 7B، بنتيجة 8.84 مقارنة بـ 2.64 لـ Mistral 7B، مما يشير إلى قدرة أقوى بكثير في حل المشكلات الرياضية.
5. GPQA: في معيار GPQA، الذي يقيم أداء النموذج في مجموعة من مهام الإجابة على الأسئلة، يُظهر Mixtral 8x7B مرة أخرى أداءً متفوقًا بنتيجة 9.28، بينما Mistral 7B لديه نتيجة 5.59.
6. MUSR: لمعيار MUSR، الذي يركز على التلخيص، يحقق Mixtral 8x7B نتيجة أعلى (12.55) من Mistral 7B (8.36).
7. MMLU-PRO: في MMLU-PRO، وهو معيار لأسئلة الاختيار من متعدد على المستوى المهني عبر مجالات متنوعة، يُظهر Mixtral 8x7B تحسنًا كبيرًا بنتيجة 31.5، مقارنة بـ 21.7 لـ Mistral 7B.

مقارنة متطلبات الأجهزة بين Mixtral 8x7b المُكمَّم و Mistral

جهاز GPU بذاكرة VRAM لا تقل عن 30 جيجابايت لتحميل Mixtral مع تكميم 4 بت. بينما بالنسبة لـ Mistral 7B، يمكن تدريبه على وحدات GPU بذاكرة VRAM لا تقل عن 24 جيجابايت، مما يجعل RTX 6000 Ada أو A100 خيارات مناسبة للتدريب. تقدم Novita AI سحابة GPU فعالة من حيث التكلفة، سهلة الوصول، والدفع حسب الاستخدام، بما في ذلك RTX 4090 24GB، 1x RTX 3090 24GB، 1x A100 80GB، RTX A6000 48GB و L40 48GB. علاوة على ذلك، لديها وصول فوري إلى Jupyter، مثبتة مسبقًا مع Tensorflow، Pytorch، cuDNN، CUDA، TensorRT، Llama3 و Stable Diffusion. تحقق من أرخص سحابة عالمية للذكاء الاصطناعي!

استكشاف نماذج Mistral/Mixtral الأخرى

عائلة نماذج Mistral/Mixtral واسعة. وفقًا لـ Huggingface Open LLM Leaderboard، هناك العديد من نماذج Mistral/Mixtral المماثلة أو المُضبَّطة بدقة ذات أداء متميز أو ميزات مميزة. لا تفوتها!

teknium/openhermes-2.5-mistral-7b على Novita AI

OpenHermes 2.5 Mistral 7B هو ضبط دقيق متطور لـ Mistral، وهو استمرار لنموذج OpenHermes 2، الذي تم تدريبه على مجموعات بيانات برمجية إضافية.

Nous-Hermes-2-Mixtral-8x7B-DPO على Novita AI

Nous Hermes 2 Mixtral 8x7B DPO هو النموذج الرئيسي الجديد لـ Nous Research والذي تم تدريبه على Mixtral 8x7B MoE LLM. تم تدريب النموذج على أكثر من 1,000,000 إدخال من بيانات تم إنشاؤها بشكل أساسي بواسطة GPT-4، بالإضافة إلى بيانات عالية الجودة أخرى من مجموعات بيانات مفتوحة عبر مشهد الذكاء الاصطناعي، محققًا أداءً متطورًا في مجموعة متنوعة من المهام.

mistralai/mistral-nemo على Novita AI

Mistral nemo هو نموذج بـ 12 مليار معلمة وبطول سياق 128 ألف رمز تم بناؤه بواسطة Mistral بالتعاون مع NVIDIA. النموذج متعدد اللغات، ويدعم الإنجليزية والفرنسية والألمانية والإسبانية والإيطالية والبرتغالية والصينية واليابانية والكورية والعربية والهندية. يدعم استدعاء الوظائف (function calling) وقد صدر بموجب ترخيص Apache 2.0.

cognitivecomputations-dolphin-mixtral-8x22b على Novita AI

Dolphin 2.9 مصمم لاتباع التعليمات والمحادثة والبرمجة. هذا النموذج هو ضبط دقيق لـ Mixtral 8x22B Instruct. يتميز بطول سياق 64k وتم ضبطه بدقة بطول تسلسل 16k باستخدام قوالب ChatML. النموذج غير مراقب (uncensored) ومجرد من المحاذاة والتحيز. يتطلب طبقة محاذاة خارجية للاستخدام الأخلاقي.

الخلاصة

كما استكشفنا، فإن نموذج Mixtral 8x7B المُكمَّم، بأساليب التكميم المتقدمة وإطار MoE، يضع معيارًا جديدًا لكفاءة الذاكرة وتحسين الموارد الحاسوبية. تأكد من عدم تفويت المجموعة الواسعة من نماذج Mistral/Mixtral المتاحة على Novita AI، حيث يقدم كل منها ميزات فريدة وتحسينات في الأداء.

الأسئلة الشائعة

ما هو أفضل تكميم لـ Mixtral؟

يعمل Mixtral بشكل ممتاز مع تكميم 3 بت، حيث يتناسب مع بطاقة RTX 3090 واحدة ويعالج حوالي 50 رمزًا في الثانية.

متى تم إصدار Mixtral 8x7B؟

أصدرت Mistral AI نموذج Mixtral 8x7B في 8 ديسمبر 2023.

ما هو ترتيب Mistral 8x7B؟

عند فحص معيار MMLU الشهير، يكون ترتيب أداء نماذج Mistral كما يلي: Mistral Large (84.0%) > Mistral 8x22B (77.8%) > Mistral Small (72.2%) > Mixtral 8x7B (70.6%) > Mistral Nemo (68%) > Mistral 7B (62.5%).

Novita AI هي المنصة السحابية الشاملة التي تطلق العنان لطموحاتك في الذكاء الاصطناعي. واجهات برمجة تطبيقات متكاملة، بدون خادم، مثيل GPU — الأدوات الفعالة من حيث التكلفة التي تحتاجها. تخلص من البنية التحتية، ابدأ مجانًا، واجعل رؤيتك للذكاء الاصطناعي حقيقة.

قراءات موصى بها

تقديم نموذج Mixtral 8x7B من Mistral: كل ما تحتاج معرفته

تطوير Mistral Instruct: استراتيجيات النجاح

تقديم Mixtral-8x22B: أحدث وأكبر نموذج لغوي كبير من نوع خليط الخبراء

الغوص في dolphin-2.1-Mistral-7B ونماذج LLM البديلة غير المراقبة