مقدمة
كشفت شركة Databricks عن نقلة نوعية في عالم الذكاء الاصطناعي — Dolly 2.0، أول نموذج لغوي كبير (LLM) مفتوح المصدر يتبع التعليمات ومتاح للاستخدام التجاري. ولكن ما الذي يجعل Dolly 2.0 ثوريًا إلى هذا الحد؟ وكيف يمكن للمؤسسات استغلال قدراته لدفع عجلة الابتكار؟ يتناول هذا الدليل الشامل البراعة التقنية، والمزايا المقنعة، والتطبيقات المتنوعة لهذا النموذج القوي، مع استكشاف كيف يمكن لـ LLM API تجاوز حدوده.
ما هو Dolly 2.0؟
Dolly 2.0 هو أحدث اختراق في نماذج اللغات الكبيرة (LLMs) التي طورتها Databricks. بناءً على نجاح النموذج السابق Dolly 1.0، يعتبر Dolly 2.0 أول نموذج لغوي كبير مفتوح المصدر يتبع التعليمات ومتاح للاستخدام التجاري.
التفاصيل التقنية لـ Dolly 2.0
Dolly 2.0 هو نموذج يحتوي على 12 مليار معلمة (parameter) تم ضبطه بدقة على مجموعة بيانات جديدة تسمى databricks-dolly-15k. تم إنشاء هذه المجموعة بدقة من قبل أكثر من 5000 موظف في Databricks، الذين أنتجوا 15000 زوجًا عالي الجودة من المطالبات والردود مصممة خصيصًا لتدريب نموذج تعليمي (instructional LLM). على عكس مجموعات البيانات السابقة، فإن databricks-dolly-15k مرخصة بالكامل للاستخدام التجاري بموجب ترخيص Creative Commons.
تحتوي مجموعة البيانات الجديدة المسماة databricks-dolly-15k على 15000 زوج عالي الجودة من المطالبات والردود مصممة خصيصًا لضبط النماذج اللغوية الكبيرة تعليميًا. تم جمع هذه المجموعة من أكثر من 5000 موظف في Databricks خلال شهري مارس وأبريل 2023، والذين تم تحفيزهم من خلال مسابقة لإنشاء مجموعة واسعة من المطالبات والردود التي تغطي مهام مثل الأسئلة والأجوبة المفتوحة، والأسئلة والأجوبة المغلقة، واستخراج المعلومات والتلخيص، والعصف الذهني، والتصنيف، والكتابة الإبداعية.
بتجاوز هدفهم الأولي البالغ 10000، استفادت Databricks من أسلوب اللعب (gamification) لجمع هذه المجموعة الكبيرة بسرعة، وهي مرخصة بشكل حاسم للاستخدام التجاري بموجب ترخيص Creative Commons، على عكس مجموعات البيانات التعليمية السابقة.
لماذا جعلت Databricks Dolly 2.0 قابلاً للتطبيق التجاري؟
كانت رحلة Databricks لإنشاء نموذج LLM تعليمي قابل للتطبيق التجاري مدفوعة بطلب العملاء. عند إصدار Dolly 1.0، كان السؤال الأهم هو ما إذا كان يمكن استخدامه تجاريًا — ولكن مجموعة البيانات الأساسية كانت تحتوي على شروط خدمة تمنع ذلك. لحل هذه المشكلة، قامت Databricks بجمع مجموعة البيانات الجديدة databricks-dolly-15k من خلال التعهيد الجماعي، مستفيدة من أكثر من 5000 موظف متحمس لإنشاء أزواج مطالبات وردود أصلية عالية الجودة.
النتيجة هي Dolly 2.0 — نموذج LLM قوي ومفتوح المصدر يمكن لأي مؤسسة استخدامه وتعديله والبناء عليه لإنشاء مساعدين وتطبيقات ذكاء اصطناعي متخصصة. تعتقد Databricks أن هذا النهج المفتوح لتطوير الذكاء الاصطناعي المجتمعي أمر بالغ الأهمية لضمان استفادة الجميع من الذكاء الاصطناعي، وليس فقط عدد قليل من شركات التكنولوجيا الكبيرة.
نقاط قوة Dolly 2.0
قدرات ضبط دقيقة قابلة للتخصيص
على عكس نماذج اللغات الكبيرة المدارة (managed LLMs) مثل ChatGPT، يوفر Dolly 2.0 للمستخدمين تحكمًا كاملاً في عملية الضبط الدقيق. بدلاً من أن يكونوا مقيدين برسوم لكل رمز (token) أو لكل سجل يفرضها مقدمو الخدمات المدارة، يمكن للمستخدمين ضبط نماذج Dolly 2.0 مفتوحة المصدر المدربة مسبقًا وفقًا لاحتياجاتهم الخاصة دون تكبد رسوم إضافية. والأهم من ذلك، أن مستخدمي Dolly 2.0 لديهم أيضًا إمكانية الوصول الكامل إلى مقاييس التقييم وفهم واضح لسلوك النموذج، مما يمكّن علماء البيانات من الشعور براحة وثقة أكبر عند العمل بالتكنولوجيا.
بنية تحتية قابلة للتوسع والتكيف
يوفر Dolly 2.0 للمستخدمين حرية نشر النماذج على البنية التحتية السحابية أو المحلية المفضلة لديهم، مما يوفر المرونة لاختيار بيئة النشر التي تناسب احتياجاتهم بشكل أفضل. عندما تنشأ الحاجة لتحسين زمن الاستجابة أو زيادة الإنتاجية، يمكن للمستخدمين بسهولة توسيع نطاق البنية التحتية أو التوسع خارجيًا حسب الطلب من خلال توفير موارد سحابية إضافية. هذه القدرة على التوسع الديناميكي ذات قيمة خاصة للمؤسسات ذات أعباء العمل المتغيرة. هذا المستوى من مرونة البنية التحتية غير متوفر عادةً مع نماذج LLM المدارة، حيث يقتصر المستخدمون على قدرات التوسع الخاصة بالمزود.
معالجة آمنة وسرية للبيانات
بالنسبة للصناعات ذات متطلبات الخصوصية والسرية الصارمة للبيانات، مثل المالية والرعاية الصحية، يمثل Dolly 2.0 بديلاً أكثر أمانًا لنماذج LLM المدارة المستضافة خارجيًا. عند ضبط نماذج Dolly 2.0، يمكن للمستخدمين القيام بذلك دون كشف أي من بياناتهم السرية لمقدمي الخدمات الخارجيين. بالإضافة إلى ذلك، يمكن إجراء الاستدلال (inference) بالكامل داخل خوادم المستخدم الآمنة، مما يضمن عدم مغادرة المعلومات الحساسة لبيئتهم الخاضعة للسيطرة. يتناقض هذا مع الخدمات المدارة مثل ChatGPT، حيث يجب على المستخدمين الثقة في مزود الخدمة للحفاظ على وضع أمن البيانات اللازم والامتثال للوائح ذات الصلة.
الاستخدام التجاري غير المقيد
يمنح ترخيص Apache 2.0 الخاص بـ Dolly 2.0 المستخدمين حرية استخدام النماذج لأي غرض تجاري دون قيود. يتيح هذا الترخيص المفتوح والمتساهل للمؤسسات بيع المنتجات أو نشر الخدمات التي تستخدم نماذج Dolly 2.0 بحرية، دون الحاجة إلى دفع إتاوات أو التعامل مع اتفاقيات ترخيص معقدة. هذه المرونة غير متوفرة دائمًا مع نماذج اللغات الكبيرة مفتوحة المصدر الأخرى، والتي قد تأتي بشروط استخدام أكثر تقييدًا أو تتطلب رسوم ترخيص لتطبيقات تجارية معينة.
تطبيقات Dolly 2.0 التجارية
مساعدون ذكاء اصطناعي قابلون للتخصيص
نظرًا لأن Dolly 2.0 هو نموذج لغوي مفتوح المصدر يتبع التعليمات وقابل للتطبيق التجاري، يمكن للمؤسسات الاستفادة منه لبناء مساعدين ذكاء اصطناعي مخصصين لاحتياجاتهم الخاصة. بدلاً من أن يكونوا محدودين ببرامج المحادثة أو المساعدين العامة، يمكن للشركات ضبط وتخصيص Dolly 2.0 لتقديم دعم متخصص لموظفيها وعملائها.
على سبيل المثال، يمكن لشركة خدمات مالية أخذ Dolly 2.0 وتدريبه بشكل إضافي على سياساتها الداخلية ومعلومات منتجاتها وبيانات خدمة العملاء. سيسمح لهم ذلك بنشر مساعد ذكاء اصطناعي مخصص للغاية يمكنه التعامل مع مجموعة واسعة من استفسارات العملاء، بدءًا من إدارة الحسابات إلى المشورة الاستثمارية، مع الحفاظ على الامتثال لمعايير الشركة.
إنشاء المحتوى وتوليد الأفكار
قدرات Dolly 2.0 الواسعة في اتباع التعليمات تجعله مناسبًا لمهام إنشاء المحتوى وتوليد الأفكار. يمكن للشركات في مجالات مثل التسويق والإعلام استخدام Dolly 2.0 لإنشاء مسودات أولية للمقالات ومنشورات وسائل التواصل الاجتماعي وملخصات الإبداعية وغيرها. قدرة النموذج على تلخيص المعلومات وتوليد أفكار جديدة يمكن أن تسرع بشكل كبير عملية إنتاج المحتوى.
على سبيل المثال، يمكن لوكالة تسويق استخدام Dolly 2.0 لنمذجة مفاهيم الحملات بسرعة، وكتابة نصوص نموذجية لوسائل التواصل الاجتماعي، وحتى إنتاج أصول إبداعية أولية مثل الشعارات والهاشتاغات. يمكن للبشر بعد ذلك تحسين مخرجات النموذج وصقلها لتلبية متطلبات علامتهم التجارية ورسالتهم المحددة.
تحليل البيانات الآلي
يمكن للمؤسسات التي لديها مجموعات بيانات كبيرة، مثل شركات أبحاث السوق أو فرق ذكاء الأعمال، استخدام Dolly 2.0 لأتمتة بعض مهام تحليل البيانات وإعداد التقارير. كفاءة النموذج في استخراج المعلومات الرئيسية من النص، والإجابة على أسئلة محددة، وتلخيص الرؤى يمكن أن تساعد في توليد نتائج تحليلية أولية يمكن للبشر التحقق منها وتوسيع نطاقها.
يمكن أن يقلل ذلك من الوقت والجهد المطلوبين لتحويل البيانات الخام إلى معلومات قابلة للتنفيذ، مما يسمح للمحللين بالتركيز أكثر على التفسير رفيع المستوى والتوصيات الاستراتيجية بدلاً من معالجة البيانات على مستوى منخفض.
تفتح الطبيعة مفتوحة المصدر والصديقة تجاريًا لـ Dolly 2.0 مجموعة واسعة من حالات الاستخدام المحتملة عبر الصناعات، مما يمكّن المؤسسات من إنشاء حلول ذكاء اصطناعي مخصصة تلبي احتياجاتها وأولوياتها الفريدة. كما أكدت Databricks، يهدف هذا النهج إلى ضمان أن فوائد نماذج اللغة المتقدمة متاحة لمجتمع أوسع، وليس فقط لعدد قليل من شركات التكنولوجيا الكبيرة.
كيف تبدأ مع Dolly 2.0؟
إذا كنت ترغب في البدء باستخدام Dolly 2.0 دون تدريب النموذج، فالخطوات كالتالي:
- النموذج المدرب مسبقًا Dolly 2.0 متاح على Hugging Face كـ
databricks/dolly-v2-12b.
2. لاستخدام النموذج مع مكتبة Transformers على جهاز مزود بمعالجات A100 GPU:
from transformers import pipeline
import torch
instruct_pipeline = pipeline(model=“databricks/dolly-v2-12b”, torch_dtype=torch.bfloat16, trust_remote_code=True, device_map=“auto”)
يمكنك بعد ذلك استخدام instruct_pipeline لتوليد ردود على التعليمات.
3. لحالات أخرى من وحدات GPU:
(1) معالجات A10 GPU:
- نماذج 6.9B و 2.8B معلمة يجب أن تعمل كما هي.
- بالنسبة لنموذج 12B معلمة، تحتاج إلى تحميل وتشغيل النموذج باستخدام أوزان 8 بت، مما قد يؤثر على النتائج قليلاً.
(2) معالجات V100 GPU:
- قم بتعيين
torch_dtype=torch.float16في أمرpipeline()بدلاً منtorch.bfloat16. - قد لا يعمل نموذج 12B معلمة جيدًا في وضع 8 بت على معالجات V100.
النقاط الرئيسية هي أن النموذج المدرب مسبقًا Dolly 2.0 متاح على Hugging Face، ويمكنك استخدام مكتبة Transformers لتحميل واستخدام النموذج لتوليد الردود. ومع ذلك، قد يحتاج التكوين المحدد إلى التعديل اعتمادًا على أجهزة GPU المتوفرة لديك. لمزيد من المعلومات، يمكنك زيارة databrickslabs/dolly على Github.
قيود وعيوب Dolly 2.0
على الرغم من أن Dolly 2.0 يمثل تقدمًا كبيرًا في نماذج اللغة مفتوحة المصدر القابلة للتطبيق التجاري التي تتبع التعليمات، إلا أنه لا يخلو من القيود.
قيود لغوية
أحد العيوب الرئيسية هو عدم وجود تدريب واسع للنموذج على لغات غير الإنجليزية. لم يتم تدريب Dolly 2.0 ولا هيكله الأساسي Pythia بشكل واسع على مجموعات بيانات غير إنجليزية. هذا يعني أن التطبيقات التي تتطلب قدرات متعددة اللغات قد تحتاج إلى بذل جهود ضبط دقيق كبيرة لالتقاط الفروق الدقيقة في اللغات الأخرى، والتي قد لا تكون استراتيجية قابلة للتطبيق نظرًا لخصائص اللغوية التي لا تعد ولا تحصى.
قيود السياق
قيود أخرى هي نافذة الرموز (token window) الضيقة نسبيًا في Dolly 2.0 وهي 2,048 رمزًا. هذا أصغر بكثير من أحجام السياق التي تدعمها العديد من نماذج اللغة المدارة، والتي يمكن أن تصل إلى 32,000 رمز أو أكثر. لحالات الاستخدام التي تتضمن مدخلات كبيرة، مثل تلخيص المستندات الطويلة، قد يتطلب Dolly 2.0 استراتيجيات تجزئة وقد ينتج نتائج دون المستوى بسبب السياق المحدود الذي يمكنه معالجته في المرة الواحدة.
مخاوف قابلية التوسع
بالإضافة إلى ذلك، لا تتوسع نماذج Dolly 2.0 الحالية حتى الآن إلى نطاق 100 مليار معلمة، وهو ما قد تتطلبه بعض التطبيقات لمنافسة قدرات نماذج مثل ChatGPT. قد يحد هذا القيد في الحجم من أداء Dolly 2.0 في بعض السيناريوهات عالية المخاطر أو الحرجة حيث تكون أقوى نماذج اللغة مطلوبة.
قيود مستمرة
أقرت Databricks أيضًا أنه، كنموذج موجه للبحث تحت التطوير النشط، قد يظهر Dolly 2.0 قيودًا أخرى متنوعة. تشمل هذه الصعوبات في التعامل مع المطالبات المعقدة، والإجابة على الأسئلة المفتوحة، والتنسيق الصحيح لمهام الكتابة، وتوليد الكود، والعمليات الحسابية، والحفاظ على حس فكاهي أو أسلوب كتابة متسق. على الرغم من أن هذه العيوب من المرجح أن يتم معالجتها من خلال المزيد من التكرارات والتحسينات، إلا أنها تمثل قيودًا حالية يجب أن يكون المستخدمون على دراية بها عند النظر في Dolly 2.0 لتطبيقاتهم المحددة.
تجاوز قيود Dolly 2.0
بينما تمثل النماذج مفتوحة المصدر مثل Dolly 2.0 تقدمًا مهمًا، إلا أنها لا تزال تعاني من قيود كبيرة يمكن أن تحد من قابليتها للتطبيق في العالم الحقيقي. لتجاوز هذه القيود، تقدم Novita AI واجهة LLM API شاملة مصممة لتمكين المؤسسات من المرونة والقدرات التي يحتاجونها لبناء حلول ذكاء اصطناعي مخصصة حقًا.
تنوع النماذج والتخصيص
في صميم واجهة LLM API لدينا القدرة على الاختيار من بين مجموعة متنوعة من نماذج اللغة الكبيرة، وليس مجرد خيار واحد مدرب مسبقًا. هذا يعني أنه يمكنك اختيار النموذج الذي يتوافق بشكل أفضل مع حالة الاستخدام الخاصة بك، سواء كان متغيرًا متعدد اللغات للتطبيقات العالمية، أو نموذجًا ذا معاملات أعلى للمهام الحرجة، أو إصدارًا مضبوطًا لمجال معين لاحتياجات صناعية محددة.
لكن اختيار النموذج هو مجرد البداية. تسمح واجهتنا أيضًا بتعديل منهجي للنبرة والشخصية والسلوك للنموذج الذي تختاره من خلال استخدام مطالبات مصممة بعناية. من خلال ضبط أنماط استجابة النموذج، يمكنك التأكد من أن مساعد الذكاء الاصطناعي الخاص بك يظهر الصوت والتعاطف والخبرة المطلوبة للتفاعل مع مستخدميك أو عملائك بشكل فعال.
تحكم متقدم في المعاملات
بالإضافة إلى تخصيص النموذج والمطالبات، تضع واجهة LLM API لدينا تحكمًا دقيقًا في يديك. يمكنك ضبط المعاملات الرئيسية مثل temperature، top_p، presence_penalty، والحد الأقصى للرموز لتحسين مخرجات النموذج وفقًا لمتطلبات تطبيقك المحددة. هذا المستوى من التخصيص يسمح لك بتحقيق التوازن المثالي بين الإبداع والترابط والإيجاز.
تكامل سلس للشخصيات
لتعزيز تجربة المستخدم بشكل أكبر، تدعم واجهة LLM API لدينا دمج شخصيات مخصصة يمكنها التحدث مع مستخدميك النهائيين. يمكن تصميم هذه الشخصيات لتتناسب مع علامتك التجارية أو صناعتك أو جمهورك المستهدف، مما يساعد في إنشاء تفاعل أكثر غامرة وتخصيصًا. من خلال مزج قوة نماذج اللغة الكبيرة مع ألفة شخصية مألوفة، يمكنك بناء مساعدين ذكاء اصطناعي يتردد صداها حقًا مع جمهورك.
الخاتمة
بينما يقدم Dolly 2.0 بديلاً واعدًا مفتوح المصدر لنماذج اللغة التي تتبع التعليمات والمقيدة تجاريًا، إلا أنه لا يخلو من القيود. يجب على المؤسسات تقييم قدرات Dolly 2.0 وقيوده بعناية في سياق حالات الاستخدام والمتطلبات الخاصة بها قبل اعتماده. لتجاوز قيود Dolly 2.0 ونماذج اللغة مفتوحة المصدر الأخرى، يمكن لواجهة LLM API الشاملة من Novita AI أن تقدم حلاً قويًا.
Novita AI، المنصة الشاملة للإبداع اللامحدود التي تمنحك الوصول إلى أكثر من 100 واجهة برمجة تطبيقات (API). بدءًا من توليد الصور ومعالجة اللغة إلى تحسين الصوت ومعالجة الفيديو، دفع حسب الاستخدام بتكلفة منخفضة، مما يحررك من متاعب صيانة GPU أثناء بناء منتجاتك الخاصة. جربها مجانًا.
