Mixtral of Experts تعني Mixtral 8x7B و Mixtral 8x22B باستخدام SMoE. استكشف الميزات والتطبيقات حول Mixtral of Experts في مدونتنا.
النقاط الرئيسية
- Mixtral 8x7B و Mixtral 8x22B هما نماذج لغوية مفتوحة المصدر رائدة طورتها Mistral AI.
- تستخدم هذه النماذج بنية الخبراء المختلطة المتناثرة (SMoE)، حيث يستخدم Mixtral 8x22B 39 مليار معلمة نشطة فقط من أصل 141 مليار.
- يتفوق Mixtral في مهام مختلفة، بما في ذلك توليد الأكواد، والفهم متعدد اللغات، ومعالجة السياق الطويل، متجاوزًا نماذج اللغة الأكبر حجمًا في الأداء.
- إن أداءه الاستثنائي، إلى جانب طبيعته مفتوحة المصدر، يضع Mixtral كأداة قوية للمطورين الذين يسعون لدمج قدرات الذكاء الاصطناعي المتقدمة في تطبيقاتهم.
مقدمة
يتطور مجال معالجة اللغة الطبيعية (NLP) باستمرار. تستمر التطورات الجديدة في تعزيز قدراتنا، ويبرز نموذج Mixtral كمثال بارز. يعمل هذا النموذج بمزيج من أساليب الخبراء ضمن إطار المحولات (transformer)، وسيتم فحصه بالتفصيل في هذا الدليل. ستتناول المدونة ميزاته ووظائفه وتطبيقاته المحتملة في القطاعات التي تعتمد على معالجة اللغة.
ما هو Mixtral of Experts؟
ما هما Mixtral 7B و Mixtral 8x22B؟
Mixtral 8x7B و Mixtral 8x22B، المطوران من قبل Mistral AI، هما نماذج لغوية كبيرة متقدمة. يعتبران نموذجين مفتوحَي المصدر للأوزان معروفين بكفاءتهما العالية. هذه النماذج متاحة بموجب ترخيص Apache 2.0، مما يضمن سهولة الوصول. إنها ذات قيمة خاصة للمهام التي تتطلب تخصيصًا وضبطًا دقيقًا، وتوفر أداءً أسرع، وقابلية نقل أكبر، وتحكمًا أفضل كميزات رئيسية.
ما هو الخبراء المختلطون المتناثرون (Sparse Mixture of Experts)؟
يستخدم Mixtral نهج الخبراء المختلطين المتناثرين (SMoE) لتحقيق الكفاءة. بدلاً من استخدام جميع المعلمات في وقت واحد، يستخدم شبكة توجيه لاختيار مجموعة صغيرة من الخبراء لكل رمز إدخال. هذا الاختيار المستهدف يعزز الأداء من خلال التركيز على مكونات النموذج ذات الصلة، ويتم ذلك بواسطة شبكة بوابة في طبقة moe. من خلال تفعيل المعلمات الأساسية فقط، يحقق Mixtral إنتاجية أعلى ويعالج المعلومات بشكل أسرع، مما يجعله مثاليًا لمهام معالجة اللغة الطبيعية المعقدة مع مجموعات بيانات كبيرة.
قدرات Mixtral
بفضل الابتكارات مثل الانتباه المجمع للاستعلامات (GQA) والانتباه بالنافذة المنزلقة (SWA)، يتفوق Mixtral في إدارة المهام المعقدة بسرعة من خلال استخدام توازي النماذج. يمكن لـ Mixtral تقسيم المشكلات المعقدة إلى مسائل أبسط باستخدام استراتيجيات تدريب متقدمة. يعزز المجموع الموزون لمخرجات الخبراء المتنوعين في طبقة MoE أداءه من خلال التقاط التعقيدات التي قد تفوتها النماذج أحادية البنية.
الميزات التقنية لـ Mixtral of Experts
Mixtral 8x7B
- قدرات متعددة اللغات في الإنجليزية والفرنسية والإيطالية والألمانية والإسبانية
- أداء قوي في البرمجة
- تم ضبطه بدقة ليصبح نموذجًا يتبع التعليمات
- نافذة سياق 32 ألف رمز
Mixtral 8x22B
- نافذة سياق 64 ألف رمز
- يجيد الإنجليزية والفرنسية والإيطالية والألمانية والإسبانية
- قدرات قوية في الرياضيات والبرمجة
- يدعم استدعاء الوظائف بشكل أصلي
معيار أداء Mixtral
فيما يلي رسم بياني لأداء Mixtral 8x22B و Mixtral 8x7B. هذا مستمد من النماذج التي قدمها المجتمع. Mixtral 8x22B هو أحدث نموذج في عائلة النماذج المفتوحة من Mistral. بفضل أنماط التنشيط المتناثرة، فهو بديل أكثر قوة لنموذج 70B ويتفوق على نماذج الوزن المفتوح الأخرى. توافره كنموذج أساسي يجعله مثاليًا للضبط الدقيق في حالات استخدام متنوعة.
في قدرات التفكير، يتفوق Mixtral 8x7B و Mixtral 8x22B أيضًا على Llama 2 70B، النموذج الأساسي الحالي لتوسيع نماذج اللغة الكبيرة إلى اللغات المستخدمة على نطاق واسع ولكنها ممثلة تمثيلاً ناقصًا في بيانات تدريب هذه النماذج اللغوية.
تظهر نماذج Mixtral هذه قدرات رائعة في البرمجة والرياضيات. يتفوق Mixtral على سابقه Llama 2 70B باستخدام 13 مليار معلمة نشطة فقط لكل رمز، وهو انخفاض كبير من 70 مليار لتوفير التكلفة الحسابية.
توفر Novita AI هذين النموذجين، يمكنك الاطلاع على المعلومات التفصيلية على واجهة برمجة تطبيقات نموذج LLM.
التطبيقات العملية لـ Mixtral
تمتد البراعة التقنية لـ Mixtral إلى ما هو أبعد من قدراته. قدرته على توليد نصوص شبيهة بالبشر تجعله مثاليًا للبرمجة وترجمة اللغات وإنشاء المحتوى. كونه مفتوح المصدر، يجعل Mixtral في متناول مجموعة واسعة من الصناعات. يمكن للمطورين تخصيص النموذج ليناسب متطلبات محددة، مما يسهل تطوير طرق وتطبيقات جديدة.
إنشاء المحتوى
أحد التطبيقات الأساسية لـ Mistral of Experts وأي نموذج لغوي كبير هو توليد النصوص بناءً على مطالباتك الأولية. في جوهر هذه الوظيفة هو التدريب المكثف للنموذج على مجموعات بيانات متنوعة تحتوي على كمية هائلة من النصوص من مجالات مختلفة. من خلال هذا التدريب المكثف، يمكن للنموذج إتقان أنماط كتابة وموضوعات وتراكيب لغوية مختلفة، مما يمكنه من التفوق في إنتاج نصوص تلبي متطلبات نغمة أو محتوى محددة.
تحليل المشاعر
يكتشف تحليل المشاعر من Mistral، المدعوم بالتعلم العميق، المشاعر الإيجابية والسلبية والمحايدة في النص بدقة أثناء المحادثة. يستفيد من التدريب المكثف على مجموعات بيانات متنوعة لاستنتاج النغمات العاطفية والتمييز بين المشاعر في أنواع المحتوى المختلفة. يمكنك أن تطلب من Mistral تحليل المشاعر في نص معين.
كود نموذجي لـ Mixtral 8x22B
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
# Get the Novita AI API Key by referring: /docs/get-started/quickstart.htmll#_3-create-an-api-key
api_key="<YOUR Novita AI API Key>",
)
model = "cognitivecomputations/dolphin-mixtral-8x22b"
stream = True # or False
max_tokens = 512
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": "Act like you are a helpful assistant.",
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
ترجمة النصوص والمهام متعددة اللغات
يُظهر Mistral أيضًا قدرات ممتازة في التعامل مع المهام متعددة اللغات. مدرب بشكل خاص، يمكن لـ Mistral فهم وتوليد النصوص بعدة لغات، خاصة الفرنسية والألمانية والإسبانية والإيطالية. يعتبر Mistral ذا قيمة خاصة للشركات والمستخدمين الذين يحتاجون إلى التواصل بعدة لغات.
توليد الأكواد
مع الإدخال المحدد، يتفوق نموذج Mistral of Experts في توليد الأكواد، وتحويل الأوصاف عالية المستوى إلى كود فعال بلغات برمجة متعددة. يستخدم التدريب من مستودعات الأكواد والوثائق التقنية ومنتديات المطورين لتلبية المتطلبات وضمان الوظائف والتحسين.
كود نموذجي لـ Mixtral 8x7B
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
# Get the Novita AI API Key by referring: /docs/get-started/quickstart.htmll#_3-create-an-api-key
api_key="<YOUR Novita AI API Key>",
)
model = "Nous-Hermes-2-Mixtral-8x7B-DPO"
stream = True # or False
max_tokens = 512
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": "Act like you are a helpful assistant.",
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
دليل المطور لاستخدام Mixtral: واجهة برمجة تطبيقات LLM
إضافة نموذج Mixtral إلى التطبيقات هي فرصة مثيرة للمطورين. إنه مفتوح المصدر وقابل للتخصيص وفقًا لاحتياجات محددة. لاستخدام Mixtral بفعالية، يجب على المطورين فهم وظائفه وواجهات برمجة التطبيقات. نوصي بـ Novita AI لتكامل واجهة برمجة تطبيقات LLM فعال من حيث التكلفة، حيث أن منصة واجهة برمجة تطبيقات الذكاء الاصطناعي هذه مجهزة بنماذج مميزة وحلول LLM ميسورة التكلفة.
البدء مع واجهة برمجة تطبيقات Novita AI
- الخطوة 1: ادخل إلى Novita AI وأنشئ حسابًا. يمكنك تسجيل الدخول باستخدام Google أو GitHub. أول تسجيل دخول لك سينشئ حسابًا جديدًا. لا بأس بالتسجيل باستخدام عنوان بريدك الإلكتروني.
- الخطوة 2: إدارة مفتاح API. توثق Novita AI الوصول إلى API باستخدام مصادقة Bearer مع مفتاح API في رأس الطلب. اذهب إلى “إدارة المفاتيح” لإدارة مفاتيحك. بمجرد تسجيل الدخول لأول مرة، يتم إنشاء مفتاح افتراضي تلقائيًا. يمكنك أيضًا النقر على “+ إضافة مفتاح جديد”.
- الخطوة 3: قم بإجراء استدعاء API. اذهب إلى مرجع API للنموذج، وأدخل مفتاح API الخاص بك لمتابعة المهام التالية.
فيما يلي مثال باستخدام عميل Python يستخدم واجهة برمجة تطبيقات Novita AI Chat Completions.
pip install 'openai>=1.0.0'
from openai import OpenAIclient = OpenAI(
base_url="https://api.novita.ai/v3/openai",
# Get the Novita AI API Key by referring: https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key.
api_key="<YOUR Novita AI API Key>",
)model = "Nous-Hermes-2-Mixtral-8x7B-DPO"
stream = True # or False
max_tokens = 512chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": "Act like you are a helpful assistant.",
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
)if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
- الخطوة 4. إضافة رصيد. كما ذكر في الخطوة الأولى، لديك قسيمة برصيد لتجربة منتجاتنا، لكنها محدودة. لإضافة المزيد من الرصيد، يرجى زيارة الفواتير والمدفوعات واتباع الدليل حول طرق الدفع.
الخلاصة
في الختام، يعتبر Mixtral of Experts مع بنية MoE الأساسية تقنية جديدة تجمع بين ميزات الذكاء الاصطناعي الذكية والاستخدام الواقعي في مختلف الصناعات. يعمل بشكل أفضل في مهام محددة مثل توليد الأكواد والقصص والترجمة. وهذا يجعله أداة مميزة في عالم التعلم الآلي الرقمي الحالي. يمكن للشركات استغلال قوتهم الكاملة باستخدام Mixtral مع الأنظمة الحالية واتباع الممارسات الجيدة. سيساعدهم ذلك على أن يكونوا أكثر إبداعًا ويبقوا في صدارة المنافسة. احتضن قوة Mixtral لتحقيق النجاح في عالم الذكاء الاصطناعي سريع الحركة.
الأسئلة الشائعة
ما الفرق بين Mistral و Mixtral؟
Mixtral ببنية الخبراء المختلطين المتناثرين، لديه قدرات محسنة مقارنة بـ Mistral. يتفوق في معالجة مهام اللغة المعقدة بسرعة وكفاءة، مع حاجة أقل لقوة الحوسبة.
على ماذا تم تدريب Mixtral؟
تم تدريب Mixtral بحجم سياق واسع يبلغ 32 ألف رمز، ويظهر أداءً مشابهًا لـ Llama 2 70B و GPT-3.5 عبر معايير مختلفة.
هل يحتاج Mixtral إلى وحدة معالجة رسومية (GPU)؟
لإجراء الاستدلال باستخدام Mixtral 8X22B، يلزم وجود GPU بذاكرة لا تقل عن 300 جيجابايت. بالنسبة لـ Mixtral 8x7B، ستحتاج عادةً إلى حوالي 94 جيجابايت من VRAM بناءً على الإرشادات القياسية.
هل يمكن استخدام Mixtral للاستخدام التجاري؟
يتوفر كل من Mixtral 8x7B و Mixtral 8x7B — Instruct بموجب ترخيص Apache 2.0، مما يسمح بالاستخدام الأكاديمي والتجاري.
Novita AI هي المنصة السحابية الشاملة التي تمكن طموحاتك في الذكاء الاصطناعي. واجهات برمجة تطبيقات متكاملة، بدون خادم، مثيل GPU — الأدوات الفعالة من حيث التكلفة التي تحتاجها. تخلص من البنية التحتية، ابدأ مجانًا، وحقق رؤيتك في الذكاء الاصطناعي.
قراءات موصى بها
1.تقديم Mixtral-8x22B: أحدث وأكبر نموذج خبير مختلط للغة
