النقاط الرئيسية
- قدرة ثنائية اللغة متقدمة واستدلال: مبني على Yi-34B، يتفوق هذا النموذج في المهام ثنائية اللغة والاستدلال المعقد.
- تدريب مبتكر وطول سياق غير مسبوق: مدرب بطول سياق 200 ألف على مجموعة بيانات Capybara، مما يوفر فهماً عميقاً للسياق وإجابات دقيقة.
- تعدد الاستخدامات والقدرات متعددة الوسائط: يتعامل مع المحادثات متعددة الجولات ويدمج المعالجة متعددة الوسائط عبر Obsidian، محققاً أداءً مماثلاً لنماذج 7B الأكبر.
- سلامة البيانات والتطبيقات العملية: يضمن سلامة مجموعة البيانات من خلال فحوصات صارمة ويدعم تطبيقات متنوعة مثل فهم اللغة المتقدم وروبوتات الدردشة المتطورة والتحليل متعدد الوسائط.
- نماذج LLM أخرى من NousResearch: Nous-Hermes-2-Mixtral-8x7B-DPO و nous-hermes-llama2–13b و hermes-2-pro-llama-3–8b على Novita AI.
مقدمة
مرحباً بك في عالم نموذج Nous Capybara 34B، وهو نموذج ذكاء اصطناعي رائد ليس فقط ثنائي اللغة بل يتفوق أيضاً في الفهم والاستدلال.
في هذه المدونة، سنتعمق في تفاصيل هذا النموذج المدرب على Yi-34B القوي بطول سياق غير مسبوق يبلغ 200 ألف. سنستكشف تفاصيله التقنية وميزاته الفريدة وتطبيقاته العملية والنماذج الأخرى من NousResearch. لذا، دعونا ننطلق في هذه الرحلة لاكتشاف إمكانات نموذج Nous Capybara 34B.
استكشاف نموذج Nous Capybara 34B
تم تدريب نموذج Nous Capybara 34B على نموذج Yi-34B بطول سياق 200 ألف، ولمدة 3 عصور (epochs) على مجموعة بيانات Capybara.
Yi-34B
نموذج Yi-34B من 01.AI مصمم خصيصاً كنموذج لغة ثنائي اللغة، مدرب على مجموعة كبيرة متعددة اللغات بحجم 3 تيرابايت، مما يضعه كواحد من أقوى نماذج LLM عالمياً.
يتفوق Yi-34B في مهام لغوية متنوعة مثل الفهم والاستدلال المنطقي والفهم القرائي. وتتجلى قدراته من خلال أدائه المذهل على لوحة AlpacaEval، حيث احتل نموذج Yi-34B-Chat المركز الثاني بعد GPT-4 Turbo فقط، وتفوق على نماذج LLM رائدة أخرى مثل GPT-4 و Mixtral. بالإضافة إلى ذلك، تم الاعتراف بنموذج Yi-34B لتصدره بين جميع النماذج مفتوحة المصدر باللغتين الإنجليزية والصينية عبر معايير مختلفة، كما هو مذكور في لوحة Hugging Face Open LLM Leaderboard و C-Eval.
الأول من نوعه
- أول نموذج Nous بحجم 34B: هذا هو النموذج الرائد في سلسلة Nous، مما يمثل علامة فارقة في تطوير الذكاء الاصطناعي.
- أول نموذج بطول سياق 200 ألف: يضع معياراً جديداً بقدرته على معالجة سياق واسع، مما يوفر فهماً أعمق وإجابات أكثر دقة.
التدريب ومجموعة البيانات
معظم الرموز (tokens) في نموذج Capybara هي نتيجة توليف جديد، في المقام الأول من مجموعات بيانات مثل Puffin و Dove. ومع ذلك، من المهم الاعتراف بدور مجموعات البيانات ذات الجولة الواحدة التي كانت بمثابة الأساس، أو “البذور”، لإنشاء المحادثات متعددة الجولات في عملية التوليف Amplify-Instruct. مجموعات البيانات الخضراء المدرجة هي مصادر اخترنا منها بذور للتوليف في هذا المشروع، بينما تمثل مجموعات البيانات الزرقاء مجموعات منسقة كانت موجودة بالفعل قبل تطوير Capybara.
فريق التطوير والشكر
- القيادة: بقيادة Luigi D. (LDJ) وبدعم من J-Supha و Jeffrey Q.، تتجلى خبرة الفريق في قدرات النموذج.
- الرعاية: امتنان لدعم A16Z و Yield Protocol، الذي سهل عملية البحث والتطوير.
الميزات الرئيسية لـ Nous Capybara 34B
النموذج الأساسي Yi-34B
مبني على أساس متين، قادر على التعامل مع سياق واسع ومهام معقدة.
المحادثات متعددة الجولات
أكثر من 60% من مجموعة البيانات تركز على الحوارات متعددة الجولات، وهي ميزة كبيرة مقارنة بالنماذج المدربة للتفاعلات ذات الجولة الواحدة.
الملخصات المتقدمة
مدرب على تلخيص الموضوعات والدراسات المعقدة بشكل فعال، مما يعرض قدراته الاستدلالية المتقدمة.
الاستدعاء التاريخي
قادر على استدعاء المعلومات حتى أواخر عام 2022 دون الوصول إلى الإنترنت، مما يدل على قاعدة معرفته الواسعة.
تعدد الوسائط
يقدم نموذج Nous Capybara 34B، من خلال امتداده متعدد الوسائط Obsidian-3B-V0.5، قدرة رائدة على معالجة وفهم كل من البيانات النصية والمرئية. مبني على الأساس القوي لـ Capybara-3B-V1.9 والاستفادة من StableLM-3B-4e1t، يبرز Obsidian كأصغر نموذج لغة كبير متعدد الوسائط (LLM) في العالم، مما يقدم أداءً حديثاً ينافس بعض نماذج 7B.
ضمان سلامة مجموعة بيانات Capybara
اتخذ المطورون بعض إجراءات التلوث البياني المتعلقة بالمعايير الشائعة. إليك ملخص للخطوات التي اتخذوها:
فحص التلوث
قاموا بإجراء فحص شامل للتأكد من أن مجموعة بيانات Capybara لا تحتوي على أي تلوث من مجموعات البيانات الشائعة الأخرى.
تقنية Minhash
استخدموا تقنية minhash لمقارنة مجموعة البيانات الخاصة بهم مع المعايير الأخرى. تساعد هذه التقنية في تحديد أوجه التشابه بين مجموعات البيانات.
مستويات التشابه
تحقق المطورون من مطابقات التشابه على مستويات مختلفة، بما في ذلك 100% و 99% و 98% و 97%. ضمن هذا النهج الشامل تحديد حتى التطابقات القريبة ومعالجتها.
المعايير التي تم فحصها
فحصوا على وجه التحديد مقابل العديد من المعايير مثل HumanEval و AGIEval و TruthfulQA و MMLU و GPT4All للتأكد من أن مجموعة البيانات الخاصة بهم لا تحتوي على أي بيانات من هذه المصادر.
لا توجد تطابقات تامة
أسفرت الجهود عن عدم العثور على تطابقات تامة أو حتى تطابقات قريبة تصل إلى مستوى التشابه 97%، مما يشير إلى أن مجموعة بيانات Capybara خالية من التلوث.
التطبيقات العملية لـ Nous Capybara 34B للمطورين
بالنظر إلى نقاط قوة نموذج Nous Capybara 34B، إليك بعض التطبيقات الأكثر صلة للمطورين:
فهم اللغة المتقدم
استخدم قدرات النموذج ثنائية اللغة لتطوير تطبيقات تتطلب فهماً عميقاً للغة الإنجليزية والصينية، مثل محركات البحث متعددة اللغات وخدمات الترجمة وأدوات تحليل المحتوى عبر الثقافات.
روبوتات الدردشة المتطورة
قم بتنفيذ النموذج في روبوتات الدردشة لخدمة العملاء التي يمكنها التعامل مع الاستفسارات المعقدة والحفاظ على السياق عبر المحادثات متعددة الجولات، مما يوفر تفاعلاً أكثر شبهاً بالبشر.
إنشاء المحتوى الآلي
طبق قدرة النموذج على إنشاء ملخصات متقدمة ومحتوى معقد لأتمتة كتابة التقارير أو إنشاء المقالات أو إنشاء محتوى وسائل التواصل الاجتماعي.
التعليم والتعلم
استفد من مهارات الفهم للنموذج لتطوير منصات تعلم تكيفية تقدم محتوى تعليمياً مخصصاً وجلسات أسئلة وأجوبة تفاعلية.
التحليل متعدد الوسائط
مع امتداد Obsidian، أنشئ تطبيقات تحلل وتفسر البيانات المرئية والنصية معاً، مفيدة في أنظمة وضع العلامات على الصور والوصف والاسترجاع في التجارة الإلكترونية أو إدارة الوسائط.
الرؤى المستندة إلى البيانات
استخدم قدرة النموذج على إنتاج ملخصات معقدة لتطوير أدوات ذكاء الأعمال التي تحلل مجموعات البيانات الكبيرة وتولد رؤى قابلة للتنفيذ لاتخاذ القرارات.
البحث الدلالي
ادمج النموذج في تطبيقات البحث لتعزيز نتائج البحث من خلال فهم السياق الدلالي للاستعلامات، مما يحسن الدقة والملاءمة.
بناء قاعدة المعرفة
استخدم النموذج لبناء وصيانة قاعدة معرفية ديناميكية يتم تحديثها باستمرار بمعلومات جديدة من مصادر مختلفة.
التطورات المستقبلية لـ Nous Capybara 34B
توسيع الأحجام
مع الإصدارات الحالية عند 3B و 7B و 34B، هناك خطط لإصدارات 13B و 70B وربما نموذج 1B يعتمد على phi-1.5 أو Tiny Llama.
المعايير القادمة
سيتم قريباً إصدار معايير لتقييم أداء النموذج مقابل معايير الصناعة.
ما هي النماذج الأخرى التي طورتها NousResearch
تقدم Novita AI للمطورين مجموعة من خيارات LLM API، تتضمن نماذج طورتها NousResearch. يتضمن Novita AI LLM API إمكانيات لتعديل المعلمات الفائقة (hyperparameter) والرسائل التوجيهية للنظام القابلة للتخصيص، والمصممة لتلبية الاحتياجات الفردية.
Nous-Hermes-2-Mixtral-8x7B-DPO على Novita AI
Nous Hermes 2 Mixtral 8x7B DPO هو الرائد الجديد لنموذج Nous Research المدرب على Mixtral 8x7B MoE LLM. تم تدريب النموذج على أكثر من 1,000,000 إدخال من بيانات منشأة بواسطة GPT-4 بشكل أساسي، بالإضافة إلى بيانات عالية الجودة أخرى من مجموعات البيانات المفتوحة عبر مشهد الذكاء الاصطناعي، محققاً أداءً حديثاً في مجموعة متنوعة من المهام.
nousresearch/nous-hermes-llama2–13b على Novita AI
Nous-Hermes-Llama2–13b هو نموذج لغة حديث مضبوط بدقة (fine-tuned) على أكثر من 300,000 تعليمة. تم ضبط هذا النموذج بدقة بواسطة Nous Research، بقيادة Teknium و Emozilla في عملية الضبط الدقيق وتنظيم مجموعة البيانات، ورعاية Redmond AI للحوسبة، والعديد من المساهمين الآخرين.
nousresearch/hermes-2-pro-llama-3–8b على Novita AI
Hermes 2 Pro هو إصدار مطور ومعاد تدريبه من Nous Hermes 2، يتكون من إصدار محدث ومنقح لمجموعة بيانات OpenHermes 2.5، بالإضافة إلى مجموعة بيانات جديدة لاستدعاء الوظائف (Function Calling) ووضع JSON تم تطويرها داخلياً.
الخاتمة
بدءاً من تدريبه التأسيسي على نموذج Yi-34B ومجموعة بيانات Capybara، يبرز Nous Capybara 34B لقدرته على التعامل مع السياق الواسع والمهام المعقدة عبر مجالات متنوعة. تؤكد الميزات الرئيسية مثل التعامل مع المحادثات متعددة الجولات وقدرات التلخيص المتقدمة والمعالجة متعددة الوسائط باستخدام امتداد Obsidian على تنوعه وتطوره. علاوة على ذلك، فإن الجهود الصارمة لضمان سلامة مجموعة البيانات من خلال فحوصات التلوث عززت موثوقيتها للتطبيقات العملية.
بالنظر إلى المستقبل، تعد التطورات المستقبلية لنموذج Nous Capybara 34B بقدرات أكبر مع أحجام موسعة ومعايير قادمة للتحقق من أدائه مقابل معايير الصناعة. كجزء من عروض Novita AI، بما في ذلك النماذج الأخرى التي طورتها NousResearch مثل Nous Hermes 2 Mixtral 8x7B DPO و Nous-Hermes-Llama2–13b، يمثل هذا النموذج حجر الزاوية في تطور الحلول القائمة على الذكاء الاصطناعي.
Novita AI هي المنصة السحابية الشاملة التي تمكّن طموحاتك في الذكاء الاصطناعي. من خلال واجهات برمجة تطبيقات (APIs) متكاملة بسلاسة، وحوسبة بدون خادم، وتسريع GPU، نقدم الأدوات الفعالة من حيث التكلفة التي تحتاجها لبناء وتوسيع نطاق أعمالك القائمة على الذكاء الاصطناعي بسرعة. تخلص من متاعب البنية التحتية وابدأ مجاناً — تجعل Novita AI أحلامك في الذكاء الاصطناعي حقيقة.
قراءة موصى بها
إطلاق واجهات برمجة تطبيقات LLM من novita.ai: الواجهة الأكثر فعالية من حيث التكلفة المتاحة
