فك شفرة Mixtral of Experts: دليل كامل

تعني Mixtral of Experts Mixtral 8x7B وMixtral 8x22B باستخدام SMoE. استكشف الميزات والتطبيقات المتعلقة بـ Mixtral of Experts على مدونتنا.

ويبرز الرئيسية

• Mixtral 8x7B و Mixtral 8x22B هما نماذج لغوية مفتوحة المصدر رائدة تم تطويرها بواسطة Mistral AI.
• تستخدم هذه النماذج بنية مزيج متفرق من الخبراء (SMoE)، حيث يستخدم Mixtral 8x22B 39B فقط من المعلمات النشطة من أصل 141B.
• تتميز Mixtral بالتفوق في مهام مختلفة، بما في ذلك إنشاء التعليمات البرمجية، والفهم متعدد اللغات، والتعامل مع السياق طويل المدى، متجاوزة بذلك نماذج اللغة الأكبر في الأداء.
• بفضل أدائها الاستثنائي، إلى جانب طبيعتها مفتوحة المصدر، تضع Mixtral كأداة قوية للمطورين الذين يسعون إلى دمج قدرات الذكاء الاصطناعي المتقدمة في تطبيقاتهم.

المقدمة

يتغير مجال معالجة اللغة الطبيعية (NLP) باستمرار. وتستمر التطورات الجديدة في تعزيز قدراتنا، مع ميكسترال يعتبر هذا النموذج مثالاً بارزًا. من خلال العمل على مزيج من الأساليب المتخصصة ضمن إطار عمل المحول، سيتم فحص Mixtral بالتفصيل في هذا الدليل. ستتناول المدونة ميزاته ووظائفه وتطبيقاته المحتملة في القطاعات المعتمدة على معالجة اللغة.

ما هو ميكسترال الخبراء؟

ما هو Mixtral 7B و Mixtral 8x22B؟

تم تطوير Mixtral 8x7B وMixtral 8x22B بواسطة Mistral AI كنماذج متقدمة للغة كبيرة. Mixtral 8x7B وMixtral 8x22B عبارة عن نماذج وزن مفتوحة المصدر معروفة بكفاءتها العالية. يمكن الوصول إلى هذه النماذج بموجب ترخيص Apache 2.0، مما يضمن إمكانية الوصول المحسنة. وهي ذات قيمة خاصة للمهام التي تحتاج إلى التخصيص والضبط الدقيق، حيث توفر أداءً أسرع وقابلية نقل متزايدة وتحكمًا أفضل كميزات رئيسية.

ما هو الخليط المتناثر من الخبراء؟

يستخدم Mixtral نهج مزيج متفرق من الخبراء (SMoE) لتحقيق الكفاءة. فبدلاً من استخدام جميع المعلمات في وقت واحد، فإنه يستخدم شبكة توجيه لاختيار مجموعة صغيرة من الخبراء لكل رمز إدخال. ويعمل هذا الاختيار المستهدف على تعزيز الأداء من خلال التركيز على مكونات النموذج ذات الصلة ويتم ذلك من خلال شبكة بوابات في طبقة moe. ومن خلال تنشيط المعلمات الأساسية فقط، يحقق Mixtral إنتاجية أعلى ويعالج المعلومات بشكل أسرع، مما يجعله مثاليًا لمهام معالجة اللغة الطبيعية المعقدة مع مجموعات البيانات الكبيرة.

قدرات ميكسرال

بفضل الابتكارات مثل Grouped-Query Attention (GQA) وSliding Window Attention (SWA)، تتفوق Mixtral في إدارة المهام المعقدة بسرعة من خلال الاستفادة من التوازي النموذجي. يمكن لـ Mixtral تقسيم المشكلات المعقدة إلى مشكلات أبسط باستخدام استراتيجيات تدريب متقدمة. يعزز المجموع المرجح للمخرجات من خبراء متنوعين في طبقة MoE من أدائها من خلال التقاط التعقيدات التي قد تفوتها النماذج ذات البنية الفردية.

المميزات التقنية لـ Mixtral of Experts

ميكسترال 8x7B

• قدرات متعددة اللغات باللغات الإنجليزية والفرنسية والإيطالية والألمانية والإسبانية
• أداء قوي في الترميز
• تم ضبطه إلى نموذج يتبع التعليمات
• نافذة سياق 32 ألف رمز

ميكسترال 8x22B

• نافذة سياق 64 ألف رمز
• يجيد اللغة الإنجليزية والفرنسية والإيطالية والألمانية والإسبانية
• قدرات قوية في الرياضيات والترميز
• يدعم استدعاء الوظيفة بشكل أصلي

معيار الأداء لميكسترال

فيما يلي رسم بياني لأداء Mixtral 8x22B وMixtral 8x7B. وهذا الرسم مستمد من النماذج التي يوفرها المجتمع. Mixtral 8x22B هو أحدث طراز في عائلة طرازات Mistral المفتوحة. مع أنماط التنشيط المتفرقة، فهو بديل أقوى بكثير من طراز 70B ويتفوق على نماذج الوزن المفتوح الأخرى. إن توفره كنموذج أساسي يجعله مثاليًا لضبط حالات الاستخدام المختلفة.

وفي قدرات الاستدلال، يتفوق Mixtral 8x7B وMixtral 8x22B أيضًا على Llama 2 70B، وهو النموذج الأساسي الحالي لتوسيع نماذج اللغة الكبيرة إلى اللغات التي يتم التحدث بها على نطاق واسع ولكن لا يتم تمثيلها بشكل كافٍ في بيانات تدريب هذه النماذج اللغوية.

تُظهر نماذج الخبراء من Mixtral هذه قدرات رائعة في الترميز والرياضيات. يتفوق Mixtral على سابقه، Llama 2 70B، باستخدام 13 مليار معلمة نشطة فقط لكل رمز، وهو انخفاض كبير عن 70 مليارًا لتوفير تكلفة الحوسبة.

Novita AI يوفر هذين النموذجين، يمكنك التحقق من المعلومات التفصيلية على موقعنا LLM نموذج API.

التطبيقات العملية لميكسترال

تتجاوز البراعة التقنية التي يتمتع بها برنامج Mixtral قدراته. فقدرته على توليد نصوص تشبه النصوص البشرية تجعله مثاليًا للترميز وترجمة اللغات وإنشاء المحتوى. ولأنه مفتوح المصدر، فإن برنامج Mixtral متاح لمجموعة واسعة من الصناعات. ويمكن للمطورين تخصيص النموذج ليناسب متطلبات محددة لأنه يسهل تطوير أساليب وتطبيقات جديدة.

جيل المحتوى

أحد التطبيقات الأساسية لـ Mistral of Experts وأي LLM هو توليد نص بناءً على توجيهاتك الأولية. يعتمد هذا التدريب المكثف للنموذج على مجموعات بيانات متنوعة تحتوي على كميات هائلة من النصوص من مختلف المجالات. من خلال هذا التدريب المكثف، يتقن النموذج أساليب كتابة ومواضيع وهياكل لغوية مختلفة، مما يُمكّنه من التفوق في إنتاج نص يلبي متطلبات محددة من حيث الأسلوب والمحتوى.

تحليل العاطفة

تكتشف أداة تحليل المشاعر Mistral، المدعومة بالتعلم العميق، المشاعر الإيجابية والسلبية والمحايدة بدقة في النص أثناء الدردشة. وهي تستفيد من التدريب المكثف على مجموعات بيانات متنوعة لاستنتاج النغمات العاطفية والتمييز بين المشاعر في أنواع المحتوى المختلفة. يمكنك طلب تحليل المشاعر في نص معين من Mistral.

رمز عينة Mixtral 8x22B

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    # Get the Novita AI API Key by referring: /docs/get-started/quickstart.htmll#_3-create-an-api-key
    api_key="<YOUR Novita AI API Key>",
)

model = "cognitivecomputations/dolphin-mixtral-8x22b"
stream = True # or False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "Act like you are a helpful assistant.",
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

ترجمة النصوص والمهام المتعددة اللغات

كما يُظهِر Mistral قدرات ممتازة في التعامل مع المهام متعددة اللغات. وبفضل التدريب المتخصص، يستطيع Mistral فهم النصوص وتوليدها بلغات مختلفة، وخاصة الفرنسية والألمانية والإسبانية والإيطالية. ويُعد Mistral مفيدًا بشكل خاص للشركات والمستخدمين الذين يحتاجون إلى التواصل بلغات متعددة.

رمز الجيل

بفضل المدخلات المقدمة، يتفوق نموذج Mistral of Experts في إنشاء التعليمات البرمجية، وتحويل الأوصاف عالية المستوى إلى تعليمات برمجية فعّالة بلغات برمجة متعددة. ويستخدم التدريب من مستودعات التعليمات البرمجية، والوثائق الفنية، ومنتديات المطورين لتلبية المتطلبات وضمان الوظائف والتحسين.

رمز عينة Mixtral 8x7B

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    # Get the Novita AI API Key by referring: /docs/get-started/quickstart.htmll#_3-create-an-api-key
    api_key="<YOUR Novita AI API Key>",
)

model = "Nous-Hermes-2-Mixtral-8x7B-DPO"
stream = True # or False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "Act like you are a helpful assistant.",
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

دليل المطور للاستفادة من Mixtral: LLM API

إن إضافة نموذج Mixtral إلى التطبيقات يمثل فرصة مثيرة للمطورين. فهو مفتوح المصدر وقابل للتخصيص وفقًا لاحتياجات محددة. وللاستفادة من Mixtral بشكل فعال، يتعين على المطورين فهم وظائفه وواجهات برمجة التطبيقات الخاصة به. نوصي Novita AI لتحقيق فعالية من حيث التكلفة LLM تكامل واجهة برمجة التطبيقات (API)، حيث تم تجهيز منصة واجهة برمجة التطبيقات (API) هذه بالنماذج المميزة وبأسعار معقولة LLM حلول.

تبدأ مع Novita AI API

• الخطوة الثالثة: أدخل Novita AI وإنشاء حسابيمكنك تسجيل الدخول باستخدام Google أو GitHub. سيؤدي تسجيل الدخول الأول إلى إنشاء حساب جديد. لا بأس من الاشتراك في أشياء باستخدام عنوان بريدك الإلكتروني.

• الخطوة 2: إدارة مفتاح API. Novita AI يقوم بمصادقة وصول API باستخدام مصادقة Bearer مع مفتاح API في رأس الطلب. انتقل إلى "ادارة المفاتيح" لإدارة مفاتيحك. بمجرد تسجيل الدخول أولاً، يتم إنشاء مفتاح افتراضي تلقائيًا. يمكنك أيضًا النقر فوق "+ إضافة مفتاح جديد".

• الخطوة الثالثة: إجراء مكالمة API. انتقل إلى البرنامج المساعد في التأليف مرجع واجهة برمجة التطبيقات النموذجية، وأدخل مفتاح API الخاص بك لمواصلة المهام التالية.

فيما يلي مثال لعميل Python باستخدام Novita AI واجهة برمجة تطبيقات إكمال الدردشة.

pip install 'openai>=1.0.0'

from openai import OpenAIclient = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    # Get the Novita AI API Key by referring: https://novita.ai/docs/get-started/quickstart.html#_2-manage-api-key.
    api_key="<YOUR Novita AI API Key>",
)model = "Nous-Hermes-2-Mixtral-8x7B-DPO"
stream = True # or False
max_tokens = 512chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "Act like you are a helpful assistant.",
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
 )if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

• الخطوة 4. شحن الائتمان. كما ذكرنا في الخطوة الأولى، لديك قسيمة بها رصيد لتجربة منتجاتنا، لكنها محدودة. لإضافة المزيد من الرصيد، يرجى زيارة الفواتير والمدفوعات واتبع الدليل على طرق الدفع .

خاتمة

في الختام، فإن Mixtral of Experts مع MoE في بنيته الأساسية هي تقنية جديدة تجمع بين ميزات الذكاء الاصطناعي الذكي والاستخدام في الحياة الواقعية في صناعات مختلفة. إنها تعمل بشكل أفضل في مهام محددة مثل إنشاء التعليمات البرمجية والقصص والترجمة. وهذا يجعلها أداة خاصة في عالم التعلم الآلي الرقمي اليوم. يمكن للشركات الاستفادة من قوتها الكاملة باستخدام Mixtral مع الأنظمة الحالية واتباع الممارسات الجيدة. سيساعدهم هذا على أن يكونوا أكثر إبداعًا والبقاء في صدارة المنافسة. احتضن قوة Mixtral لتحقيق النجاح في عالم الذكاء الاصطناعي سريع الحركة.

الأسئلة الشائعة

ما هو الفرق بين ميسترال وميكسترال؟

يتمتع Mixtral بهندسة Sparse Mixture of Experts، وقدرات محسّنة مقارنة بـ Mistral. فهو يتميز بالقدرة على معالجة المهام اللغوية المعقدة بسرعة وكفاءة، مما يتطلب طاقة حوسبة أقل.

ما الذي تم تدريب Mixtral عليه؟

خضعت Mixtral للتدريب بحجم سياق واسع يبلغ 32,000 رمز وأظهرت أداءً قابلاً للمقارنة مقارنةً بـ Llama 2 70B وGPT-3.5 عبر معايير مختلفة.

هل يحتاج ميكسرال إلى GPU?

لإجراء الاستدلال باستخدام Mixtral 8X22B، أ GPU يلزم ذاكرة وصول عشوائي (VRAM) بسعة 300 جيجابايت على الأقل. بالنسبة لـ Mixtral 8x7B، عادةً ما يلزم حوالي 94 جيجابايت من ذاكرة الوصول العشوائي (VRAM) وفقًا للإرشادات القياسية.

هل يمكن استخدام Mixtral للاستخدام التجاري؟

يتوفر كل من Mixtral 8x7B وMixtral 8x7B — Instruct بموجب ترخيص Apache 2.0، مما يسمح بالاستخدام الأكاديمي والتجاري.

Novita AI منصة سحابية متكاملة تُمكّنك من تحقيق طموحاتك في مجال الذكاء الاصطناعي. واجهات برمجة تطبيقات متكاملة، بدون خوادم، GPU مثال - الأدوات الفعالة من حيث التكلفة التي تحتاجها. تخلص من البنية التحتية، وابدأ مجانًا، وحوّل رؤيتك للذكاء الاصطناعي إلى واقع.

اقتراحات للقراءة

1.تقديم Mixtral-8x22B: أحدث وأكبر مزيج من نموذج اللغة الخبير الكبير

2.أسرار Mixtral 8x22b تم الكشف عنها: دليل شامل

3.تقديم طراز Mixtral 8x7B من Mistral: كل ما تحتاج إلى معرفته