النقاط الرئيسية
نماذج التضمين: تُعد نماذج التضمين ضرورية لتحويل البيانات المعقدة إلى تمثيلات رقمية، مما يمكّن الذكاء الاصطناعي من فهم المعلومات ومعالجتها بكفاءة.
BAAI/bge-m3: يقدم نموذج bge-m3 تعددية في الوظائف، ويدعم أكثر من 100 لغة، ويتعامل مع النصوص القصيرة والمستندات الطويلة (حتى 8192 رمزًا). إن تعدد استخداماته وكفاءته يجعله مثاليًا لمجموعة واسعة من مهام الذكاء الاصطناعي.
نموذج التضمين القوي bge-m3 متاح على Novita AI بسعر 0.01 دولار فقط لكل مليون رمز. ابدأ تجربة مجانية على Novita AI!
تُعد التضمينات حجر الزاوية في التعلم الآلي الحديث، حيث تمنح أنظمة الذكاء الاصطناعي القدرة على فهم ومعالجة البيانات المعقدة بكفاءة. تتعمق هذه المقالة في ماهية التضمينات، ولماذا هي أساسية، وكيف يتم تطبيقها، وكيف تعمل النماذج المتقدمة مثل BAAI/bge-m3 على رفع قدرات التضمين لدفع عجلة الابتكار.
فهم التضمينات
التضمينات هي تمثيلات رقمية متطورة تسمح لأنظمة التعلم الآلي والذكاء الاصطناعي بفهم مجالات المعرفة المعقدة. فهي تحول الأشياء الواقعية إلى تمثيلات رياضية تلتقط الخصائص والعلاقات الجوهرية داخل البيانات.
التمثيلات المتجهة
في جوهر هذه التضمينات يكمن مفهوم المتجهات. تعالج نماذج التعلم الآلي المعلومات رقميًا. تُمكّن المتجهات — مجموعات من القيم الرقمية في فضاء متعدد الأبعاد — هذه النماذج من تحديد أوجه التشابه بين نقاط البيانات المتباعدة. هذا التمثيل الرقمي مهم لأن متجهات التضمين تقوم على وجه التحديد بترميز المعلومات غير الرقمية إلى تسلسلات قيم يمكن لأنظمة التعلم الآلي معالجتها وربطها.
من Qdrant
كيف يتم إنشاء التضمينات؟
يستعين المهندسون بالشبكات العصبية لتوليد التضمينات من خلال العملية التالية:
- تحضير المدخلات: يتم تغذية العينات المحولة إلى متجهات في الشبكة العصبية.
- تعلم الأنماط: تحدد الشبكة العصبية الأنماط في البيانات، وتتعلم منها للتنبؤ بدقة بالبيانات غير المرئية.
- الضبط الدقيق: يتم ضبط النموذج بدقة لتعيين ميزات الإدخال بشكل مناسب إلى الفضاء البعدي المطلوب.
- التشغيل المستقل: تعمل التضمينات بشكل مستقل، مما يمكّن نماذج التعلم الآلي من إنشاء توصيات بناءً على التمثيلات المتجهة.
- التحسين المستمر: تتم مراقبة النموذج وضبطه بانتظام باستخدام بيانات جديدة للحفاظ على الدقة والقدرة على التكيف.
من Linkedin
مقاييس اختيار التضمينات
| بعد التقييم | الوصف |
|---|---|
| أداء الاسترجاع | يُقيَّم باستخدام مهام تقيس قدرة النموذج على استرجاع المعلومات ذات الصلة. |
| الفهم الدلالي | يقيس قدرة النموذج على التقاط المعلومات الدلالية على مستوى الكلمات والعبارات والجمل. |
| الأداء الخاص بالمهمة | يقيم الأداء في مهام معالجة اللغة الطبيعية مثل التصنيف والتجميع وحساب التشابه. |
| حجم النموذج | يوازن بين المفاضلة بين حجم النموذج وأدائه من أجل قابلية التوسع. |
| قابلية التعميم | يختبر أداء النموذج على بيانات غير مرئية للتكيف مع سيناريوهات جديدة. |
فهم نموذج التضمين BAAI/bge-m3
| اسم النموذج | baai/bge-m3 |
|---|---|
| سعر الإدخال/الإخراج (Novita) | الإدخال: 0.01 دولار/مليون رمز |
| حجم السياق | 8192 |
| المعلمات الإضافية | نموذج التضمين: 1024 بُعدًا |
| الميزات الرئيسية | تعدد الوظائف: يدعم الاسترجاع الكثيف، والاسترجاع متعدد المتجهات، والاسترجاع المتناثر. |
| تعدد اللغات: يدعم أكثر من 100 لغة. | |
| تعدد الحبيبات: يتعامل مع المدخلات من الجمل القصيرة إلى المستندات الطويلة (حتى 8192 رمزًا). | |
| يولد في الوقت نفسه أوزان الرموز والتضمينات الكثيفة. |
يوضح الشكل أدناه مقارنة أداء مع mE5 (أفضل خط أساس) وواجهات برمجة تطبيقات نموذج المتجهات التي أصدرتها OpenAI مؤخرًا. بشكل عام، يحقق BGE-M3(ALL) باستخدام طرق الاسترجاع الثلاثة المدمجة تقدمًا شاملاً عبر جميع التقييمات الثلاثة، بينما يُظهر BGE-M3(Dense) للاسترجاع الكثيف مزايا كبيرة في مهام الاسترجاع متعددة اللغات وعبر اللغات.
أداء الاسترجاع عبر اللغات على MKQA (يقاس بـ Recall@ 100) من Hugging Face
أداء الاسترجاع متعدد اللغات على مجموعة MIRACL للتطوير (يقاس بـ nDCG@10) من Hugging Face
تقييم استرجاع المستندات الطويلة متعدد اللغات على مجموعة اختبار MLDR (يقاس بـ nDCG@10) من Hugging Face
لماذا تعتبر التضمينات مهمة؟
- فهم محسّن للبيانات: تسمح التضمينات لنماذج التعلم العميق بفهم أفضل للبيانات الواقعية من خلال تبسيط تمثيلها مع الحفاظ على العلاقات الدلالية والنحوية.
- تقليل الأبعاد: تحول البيانات عالية الأبعاد إلى فضاء منخفض الأبعاد، مما يقلل بشكل كبير من الموارد الحسابية والوقت اللازمين لمعالجة البيانات الأولية.
- جودة بيانات محسّنة: تعزز التضمينات جودة البيانات أثناء تدريب نماذج اللغات الكبيرة (LLMs).
- تمكين التطبيقات المبتكرة: تعمل كأساس لتطبيقات جديدة في التعلم العميق والذكاء الاصطناعي التوليدي.
- تحسين مهام التعلم الآلي: تُستخدم التضمينات على نطاق واسع كميزات في مهام مثل تصنيف المستندات، وتحليل المشاعر، والترجمة الآلية. من خلال توفير تمثيل غني ومكثف للبيانات، فإنها تحسن أداء خوارزميات التعلم الآلي.
استخدامات التضمينات
- البحث: ترتيب النتائج بناءً على مدى صلتها بالاستعلام.
- التجميع: تجميع السلاسل النصية حسب التشابه.
- التوصيات: اقتراح عناصر ذات سلاسل نصية ذات صلة.
- كشف الشذوذ: تحديد القيم المتطرفة ذات التشابه الأقل مع الآخرين.
- قياس التنوع: تحليل توزيعات التشابه لقياس التنوع.
- التصنيف: تصنيف السلاسل النصية حسب التسمية الأكثر تشابهاً.
- الإجابة على الأسئلة: استرجاع الإجابات باستخدام البحث القائم على التضمينات.
- البحث في الشفرة البرمجية: تمكين البحث الفعال داخل قواعد الشفرة باستخدام التضمينات.
- تصور البيانات: تحويل وتصور البيانات عالية الأبعاد.
كيفية الوصول إلى نموذج BAAI/bge-m3 على Novita AI
Novita AI هي منصة سحابية للذكاء الاصطناعي تقدم للمطورين طريقة سهلة لنشر نماذج الذكاء الاصطناعي باستخدام واجهة برمجة تطبيقات بسيطة، كما توفر سحابة GPU ميسورة التكلفة وموثوقة لبناء وتوسيع النماذج.
الخطوة 1: تسجيل الدخول والوصول إلى مكتبة النماذج
سجل الدخول إلى حسابك وانقر على زر مكتبة النماذج.
الخطوة 2: اختر نموذجك وابدأ تجربة مجانية
تصفح الخيارات المتاحة واختر النموذج الذي يناسب احتياجاتك.
الخطوة 3: احصل على مفتاح API الخاص بك
للمصادقة مع واجهة برمجة التطبيقات، سنقدم لك مفتاح API جديد. ادخل إلى صفحة **الإعدادات“، يمكنك نسخ مفتاح API كما هو موضح في الصورة.
الخطوة 4: تثبيت واجهة برمجة التطبيقات
قم بتثبيت واجهة برمجة التطبيقات باستخدام مدير الحزم الخاص بلغة البرمجة التي تستخدمها.
بعد التثبيت، قم باستيراد المكتبات اللازمة إلى بيئة التطوير الخاصة بك. قم بتهيئة واجهة برمجة التطبيقات باستخدام مفتاح API الخاص بك لبدء التفاعل مع Novita AI LLM. هذا مثال على استخدام واجهة برمجة تطبيقات الدردشة الكاملة لمستخدمي Python.
from openai import OpenAI
import json
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<Your API Key>",
)
model = "baai/bge-m3"
def get_embeddings(text, model="baai/bge-m3", encoding_format="float"):
response = client.embeddings.create(
model=model,
input=text,
encoding_format=encoding_format
)
return response
# Example usage
text = "The quick brown fox jumped over the lazy dog"
result = get_embeddings(text)
print(json.dumps(result.model_dump(), indent=2))
عند التسجيل، توفر Novita AI رصيدًا بقيمة 0.5 دولار لتبدأ!
إذا نفد الرصيد المجاني، يمكنك الدفع لمواصلة الاستخدام.
تلعب التضمينات دورًا حاسمًا في التعلم الآلي، مما يسمح للنماذج بفهم ومعالجة البيانات المعقدة بشكل فعال. تعمل النماذج المتقدمة مثل BAAI/bge-m3 على رفع هذه القدرات من خلال تعدد الوظائف والدعم اللغوي الواسع، مما يجعلها أدوات لا غنى عنها لدفع عجلة الابتكار في الذكاء الاصطناعي.
الأسئلة الشائعة
ما هو التضمين؟
التضمين هو تقنية تستخدم لتحويل بيانات الإدخال إلى متجه من القيم الرقمية في فضاء منخفض الأبعاد.
لماذا التضمينات مهمة؟
تعمل التضمينات على تبسيط تمثيل البيانات، وتحافظ على العلاقات الدلالية والنحوية، وتمكن نماذج التعلم العميق من فهم البيانات الواقعية بشكل أكثر فعالية.
ما هو الاسترجاع الهجين، وكيف يدعمه BAAI/bge-m3؟
يجمع الاسترجاع الهجين بين طرق التضمين والاسترجاع المتناثر، ويدعم BAAI/bge-m3 هذا الأسلوب لتعزيز أداء الاسترجاع. يمكنك استخدامه على Novita AI!
Novita AI هي المنصة السحابية الشاملة التي تمكن طموحاتك في الذكاء الاصطناعي. واجهات برمجة تطبيقات متكاملة، بدون خادم، ومثيلات GPU — الأدوات الفعالة من حيث التكلفة التي تحتاجها. تخلص من البنية التحتية، ابدأ مجانًا، وحوّل رؤيتك في الذكاء الاصطناعي إلى واقع.
