اكتشف التأثير التحويلي للنماذج المتعددة الوسائط الكبيرة (LMMs) مثل CLIP وFlamingo، والتي يمكنها معالجة وتوليد أنماط بيانات متنوعة مثل النصوص والصور. تعرّف على اتجاهات البحث المتطورة، بما في ذلك دمج وسائط جديدة، وتحسين كفاءة التدريب، وتوليد مخرجات متعددة الوسائط، مع إمكانية إحداث ثورة في الصناعات وتفاعل المستخدمين مع الذكاء الاصطناعي.
الخلفية
لفترة طويلة، عملت نماذج التعلم الآلي في نمط بيانات واحد: النص للترجمة والنمذجة اللغوية، والصورة للكشف عن الأشياء وتصنيفها، والصوت للتعرف على الكلام. ومع ذلك، فإن الذكاء البشري لا يقتصر على نمط واحد فقط. نحن نقرأ ونكتب النصوص، ونفسر الصور ومقاطع الفيديو، ونستمع إلى الموسيقى للاسترخاء، ونعتمد على الأصوات لاكتشاف الخطر. لكي يعمل الذكاء الاصطناعي بفعالية في العالم الحقيقي، يجب أن يكون قادرًا أيضًا على التعامل مع البيانات متعددة الوسائط.
إدراكًا لذلك، أكدت OpenAI على أهمية دمج وسائط إضافية، مثل الصور، في نماذج اللغات الكبيرة (LLMs)، مما يمثل حدودًا حاسمة في أبحاث وتطوير الذكاء الاصطناعي. يؤدي هذا الدمج للوسائط الإضافية إلى تحويل LLMs إلى نماذج متعددة الوسائط كبيرة (LMMs). على مدار العام الماضي، قدمت مختبرات الأبحاث الكبرى مجموعة من LMMs الجديدة، مثل Flamingo من DeepMind، وBLIP من Salesforce، وKOSMOS-1 من Microsoft، وPaLM-E من Google، وMacaw-LLM من Tencent. حتى روبوتات الدردشة مثل ChatGPT وGemini تقع ضمن فئة LMMs.
ومع ذلك، ليست كل الأنظمة متعددة الوسائط هي LMMs. النماذج مثل Midjourney وStable Diffusion وDALL-E يمكنها معالجة وسائط متعددة ولكنها تفتقر إلى مكون نموذج لغة. يمكن أن تشمل الأنظمة متعددة الوسائط سيناريوهات متنوعة: حيث يكون الإدخال والإخراج من وسائط مختلفة (مثل نص إلى صورة، صورة إلى نص)، أو حيث تكون المدخلات متعددة الوسائط (مثل معالجة كل من النصوص والصور)، أو حيث تكون المخرجات متعددة الوسائط (مثل توليد كل من النصوص والصور).
ما هو التعدد الوسائطي؟
يمكن أن يعني التعدد الوسائطي واحدًا أو أكثر مما يلي:
- الإدخال والإخراج من وسائط مختلفة (مثل نص إلى صورة، صورة إلى نص)
- المدخلات متعددة الوسائط (مثل نظام يمكنه معالجة كل من النصوص والصور)
- المخرجات متعددة الوسائط (مثل نظام يمكنه توليد كل من النصوص والصور)
لماذا التعدد الوسائطي؟
التعدد الوسائطي لا غنى عنه في العديد من حالات الاستخدام، خاصة في الصناعات التي تتعامل مع مزيج من أنماط البيانات، بما في ذلك الرعاية الصحية والروبوتات والتجارة الإلكترونية وتجارة التجزئة والألعاب وغيرها.
في الواقع، يمكن أن يؤدي دمج البيانات من وسائط متعددة إلى تحسين أداء النموذج بشكل كبير. من المنطقي أن النموذج القادر على التعلم من كل من النصوص والصور سيكون أفضل من النموذج المقتصر على نمط واحد فقط.
توفر الأنظمة متعددة الوسائط واجهة أكثر قابلية للتكيف، مما يمكن المستخدمين من التفاعل معها بطرق مختلفة اعتمادًا على تفضيلاتهم أو ظروفهم. تخيل أن تكون قادرًا على طرح سؤال عن طريق الكتابة أو التحدث أو ببساطة توجيه كاميرا نحو كائن ما.
أنماط البيانات
تشمل أنماط البيانات المختلفة النص والصورة والصوت والبيانات الجدولية وغيرها. يمكن ترجمة كل نمط أو تقريبه إلى شكل آخر:
- يمكن تمثيل الصوت كصور، مثل مخططات الطيف (mel spectrograms).
- يمكن نسخ الكلام إلى نص، على الرغم من أن هذا التحويل قد يفقد الفروق الدقيقة مثل مستوى الصوت والتنغيم والتوقفات.
- يمكن تحويل الصورة إلى متجه، والذي يمكن بعد ذلك تسويته وتمثيله كسلسلة من رموز النص.
- تتكون مقاطع الفيديو من تسلسلات من الصور مع الصوت. ومع ذلك، تتعامل نماذج التعلم الآلي الحالية عادةً مع مقاطع الفيديو فقط كتسلسلات من الصور، متجاهلة أهمية الصوت. هذا القيد ملحوظ لأن الصوت يساهم بشكل كبير في تجربة الفيديو، كما يتضح من 88٪ من مستخدمي TikTok الذين يؤكدون على أهميته.
- يمكن التقاط النص كصورة ببساطة عن طريق تصويره.
- يمكن تحويل جداول البيانات إلى رسوم بيانية، وهي في الأساس صور.
فيما يلي أنماط novita.ai المختلفة:
novita.ai هي منصة شاملة للإبداع غير المحدود تمنحك إمكانية الوصول إلى أكثر من 100 واجهة برمجة تطبيقات. من إنشاء الصور ومعالجة اللغة إلى تحسين الصوت ومعالجة الفيديو، بسعر مناسب حسب الاستخدام، تحررك من متاعب صيانة GPU أثناء بناء منتجاتك الخاصة. جربها مجانًا.
مهام التعدد الوسائطي
لفهم الأنظمة متعددة الوسائط، من المفيد فحص المهام التي تعالجها. تختلف هذه المهام على نطاق واسع، ويمكن أن يتخذ تنظيمها أشكالًا عديدة. في الأدبيات، غالبًا ما تُصنف مهام الرؤية واللغة إلى مجموعتين رئيسيتين: التوليد وفهم الرؤية واللغة (VLU)، والذي يشمل المهام التي لا تتضمن التوليد. ومع ذلك، تجدر الإشارة إلى أن التمييز بين هذه المجموعات غامض إلى حد ما، لأن القدرة على توليد الاستجابات تنطوي بطبيعتها على الفهم أيضًا.
التوليد
في مهام التوليد، يمكن أن يكون الإخراج إما أحادي الوسائط (مثل النص أو الصورة أو العرض ثلاثي الأبعاد) أو متعدد الوسائط. بينما تسود المخرجات أحادية الوسائط في النماذج الحالية، لا يزال تطوير المخرجات متعددة الوسائط قيد التنفيذ. سنتعمق في المخرجات متعددة الوسائط في نهاية هذا المنشور.
توليد الصور (توليف نص إلى صورة)
هذه الفئة من المهام واضحة. أمثلة: Dall-E وStable Diffusion وMidjourney.
توليد النص
من المهام الشائعة في توليد النص الإجابة على الأسئلة المرئية (VQA)، حيث يتم تزويد النموذج بكل من النصوص والصور لاشتقاق السياق. وهذا يتيح سيناريوهات حيث يمكن للمستخدمين استخدام كاميراتهم لطرح أسئلة مثل: “ما مشكلة سيارتي؟” أو “كيف أعد هذا الطبق؟”.
وبالمثل، التعليق على الصور (image captioning) هو تطبيق شائع آخر. يمكن دمجه في أنظمة استرجاع الصور المستندة إلى النص التي تستخدمها المؤسسات التي تضم مكتبات صور ضخمة تتكون من صور المنتجات والرسوم البيانية والتصميمات وصور الفرق والمواد الترويجية وغيرها. من خلال إنشاء التعليقات والبيانات الوصفية تلقائيًا، يبسط الذكاء الاصطناعي عملية تحديد موقع صور معينة داخل هذه المجموعات.
فهم الرؤية واللغة (Vision-language understanding)
لنركز على نوعين من المهام: التصنيف واسترجاع الصور المستند إلى النص (TBIR).
التصنيف
نماذج التصنيف محدودة في إنتاج مخرجات تقع ضمن قائمة محددة مسبقًا من الفئات. هذا مناسب عندما يكون الهدف هو التمييز بين عدد محدد من النتائج المحتملة. على سبيل المثال، في نظام التعرف البصري على الحروف (OCR)، المهمة ببساطة هي التنبؤ بما إذا كان المرئي يتوافق مع أحد الأحرف المعترف بها، مثل رقم أو حرف.
مهمة وثيقة الصلة بالتصنيف هي استرجاع الصورة إلى النص: بالنظر إلى صورة ومجموعة محددة مسبقًا من النصوص، الهدف هو تحديد النص الأكثر احتمالًا ليتوافق مع الصورة. يمكن أن يكون هذا التطبيق مفيدًا بشكل خاص لعمليات البحث عن صور المنتج، مثل استرداد مراجعات المنتج بناءً على صورة معينة.
معالجة المستندات باستخدام GPT-4V. تم تمييز خطأ النموذج باللون الأحمر.
استرجاع الصور المستند إلى النص (بحث الصور)
البحث عن الصور مهم ليس فقط لمحركات البحث ولكن أيضًا للمؤسسات التي تهدف إلى غربلة صورها ومستنداتها الداخلية. يشير البعض إلى استرجاع الصور المستند إلى النص باسم “استرجاع النص إلى الصورة”.
توجد طرق مختلفة لاسترجاع الصور المستند إلى النص. طريقتان بارزتان تشملان:
- إنشاء تعليقات وبيانات وصفية لكل صورة، إما يدويًا أو تلقائيًا (كما هو موضح في التعليق على الصور في توليد النص). بالنظر إلى استعلام نصي، الهدف هو تحديد الصور التي تتطابق تعليقاتها أو بياناتها الوصفية مع الاستعلام بشكل وثيق.
- تدريب مساحة تضمين مشتركة لكل من الصور والنص. في هذا النهج، يولد الاستعلام النصي تضمينًا، والهدف هو تحديد الصور التي تكون تضميناتها الأكثر تشابهًا مع تضمين الاستعلام.
يوفر النهج الأخير مرونة أكبر ومن المتوقع أن يشهد اعتمادًا أوسع. يعتمد على إنشاء مساحة تضمين مشتركة قوية لكل من الرؤية واللغة، على غرار تلك التي طورتها OpenAI في CLIP.
المكون الرئيسي لتدريب النماذج متعددة الوسائط
على مستوى واسع، يتكون النظام متعدد الوسائط من المكونات التالية:
- مشفرات لكل نمط بيانات مكلفة بتوليد تضمينات خاصة بهذا النمط.
- آليات لمحاذاة التضمينات من أنماط مختلفة ضمن مساحة تضمين متعددة الوسائط موحدة.
- بالنسبة للنماذج التوليدية، هناك حاجة إلى نموذج لغة لتوليد استجابات نصية. نظرًا لأن المدخلات قد تشمل كل من النصوص والمرئيات، هناك حاجة إلى تقنيات مبتكرة لتمكين نموذج اللغة من استناد استجاباته ليس فقط إلى النص ولكن أيضًا إلى المرئيات.
من الناحية المثالية، يجب أن يكون أكبر عدد ممكن من هذه المكونات مدربًا مسبقًا وقابلاً لإعادة الاستخدام لتعزيز الكفاءة والتنوع.
مقدمة إلى الأنظمة متعددة الوسائط الحالية
شكل اختيار الأنظمة متعددة الوسائط التي سنركز عليها في هذا المنشور تحديًا بسبب وفرة الخيارات الرائعة المتاحة. في النهاية، اخترت تسليط الضوء على نموذجين: CLIP (2021) وFlamingo (2022). استندت هذه الاختيارات إلى أهميتها، بالإضافة إلى توفر ووضوح المعلومات العامة.
جعل CLIP التاريخ كأول نموذج قادر على التعميم في مهام تصنيف الصور المتعددة باستخدام تقنيات التعلم بصفر أو عدد قليل من الأمثلة. من ناحية أخرى، في حين أن Flamingo لم يكن أول نموذج متعدد الوسائط كبير قادر على توليد استجابات مفتوحة (سبقته BLIP من Salesforce بثلاثة أشهر)، إلا أن أدائه الرائع جعل الكثيرين يعتبرونه اللحظة الفاصلة المشابهة لـ GPT-3 في المجال متعدد الوسائط.
على الرغم من كونها نماذج أقدم، إلا أن التقنيات التي تستخدمها CLIP وFlamingo لا تزال ذات صلة اليوم. إنها بمثابة ركائز أساسية لفهم النماذج الأحدث في المشهد سريع التطور متعدد الوسائط، حيث يتم باستمرار تطوير العديد من الأفكار المبتكرة.
CLIP: التدريب المسبق المقارن بين اللغة والصورة (Contrastive Language-Image Pre-training)
يكمن الاختراق الكبير لـ CLIP في قدرته على تعيين البيانات من أنماط مختلفة - النص والصور - إلى مساحة تضمين مشتركة. تعمل مساحة التضمين متعددة الوسائط المشتركة هذه على تبسيط المهام مثل النص إلى صورة والصورة إلى نص بشكل كبير.
علاوة على ذلك، أدى تدريب مساحة التضمين متعددة الوسائط هذه إلى مشفر صور قوي داخل CLIP. وبالتالي، يُظهر CLIP أداءً تنافسيًا بصفر مثال عبر مهام تصنيف الصور المختلفة. تمتد قوة مشفر الصور هذا إلى تطبيقات أخرى، بما في ذلك إنشاء الصور والإجابة على الأسئلة المرئية واسترجاع الصور المستند إلى النص. ومن الجدير بالذكر أن Flamingo وLLaVA يستفيدان من CLIP كمشفر للصور، بينما يستخدم DALL-E CLIP لإعادة ترتيب الصور المولدة. ومع ذلك، لا يزال من غير المؤكد ما إذا كان GPT-4V يدمج CLIP في هيكله.
استخدم CLIP الإشراف اللغوي الطبيعي وتقنيات التعلم المقارن، مما مكن النموذج من زيادة بياناته وتعزيز كفاءة التدريب.
الهيكل عالي المستوى لـ CLIP
في بنية CLIP، يتم تدريب كل من المشفرات ومصفوفات الإسقاط معًا من الصفر. الهدف من التدريب هو تعظيم درجات التشابه للأزواج الصحيحة (صورة، نص) مع تقليل درجات التشابه للأزواج غير الصحيحة، وهي تقنية تُعرف باسم التعلم المقارن.
تطبيقات CLIP
التصنيف
حاليًا، يعمل CLIP كخط أساس قوي جاهز للعديد من مهام تصنيف الصور، إما باستخدامه بشكله الأصلي أو ضبطه لتطبيقات محددة.
استرجاع الصور المستند إلى النص
نظرًا لأن عملية تدريب CLIP تشترك في أوجه تشابه مفاهيمية مع كل من استرجاع الصورة إلى النص واسترجاع النص إلى الصورة، فإنه يحمل وعدًا كبيرًا لتطبيقات واسعة مثل استرجاع الصور أو البحث. ومع ذلك، فإن أدائه بالنسبة إلى أحدث ما توصلت إليه التكنولوجيا يكون أقل بشكل ملحوظ في مهام استرجاع الصور.
بُذلت جهود للاستفادة من CLIP لاسترجاع الصور. على سبيل المثال، تعمل حزمة clip-retrieval على النحو التالي:
- توليد تضمينات CLIP لجميع الصور وتخزينها في قاعدة بيانات متجهات.
- توليد تضمين CLIP لكل استعلام نصي.
- الاستعلام عن قاعدة بيانات المتجهات لجميع الصور التي تتطابق تضميناتها بشكل وثيق مع تضمين الاستعلام النصي.
توليد الصور
توفر التضمينات المشتركة بين الصورة والنص في CLIP دعمًا قيمًا لمهام توليد الصور. على سبيل المثال، يستخدم DALL-E (2021) CLIP لإعادة ترتيب عدد كبير من المرئيات المولدة بناءً على موجه نصي معين، ويعرض للمستخدمين المرئيات الأعلى ترتيبًا.
في عام 2022، قدمت OpenAI unCLIP، وهو نموذج لتوليف النص إلى صورة مشروط بكمينات CLIP (CLIP latents). يتكون من مكونين رئيسيين:
- يتم تدريب CLIP وإبقاؤه ثابتًا. يمكن لنموذج CLIP المدرب مسبقًا إنتاج تضمينات لكل من النصوص والصور في نفس مساحة التضمين.
- أثناء توليد الصورة، تحدث خطوتان: أ. استخدام CLIP لتوليد تضمينات للنص المحدد. ب. استخدام مفكك انتشار (diffusion decoder) لتوليد الصور المشروطة بهذه التضمينات.
توليد النص
استكشف مؤلفو CLIP إنشاء نموذج لتوليد النص. أحد المتغيرات التي جربوها يُعرف باسم LM RN50. ومع ذلك، على الرغم من أن هذا النموذج يمكنه توليد استجابات نصية، إلا أن أدائه كان متخلفًا بنحو 10٪ باستمرار عن أفضل نموذج CLIP أداءً في جميع مهام فهم الرؤية واللغة التي تم تقييمها.
في حين أن CLIP نفسه لا يُستخدم مباشرة لتوليد النص اليوم، فإن مشفر الصور الخاص به غالبًا ما يكون بمثابة الأساس للنماذج متعددة الوسائط الكبيرة (LMMs) القادرة على توليد النص.
Flamingo: فجر LMMs
على النقيض من CLIP، يتمتع Flamingo بالقدرة على إنتاج استجابات نصية. بعبارات مبسطة، يمكن النظر إلى Flamingo على أنه CLIP مدمج مع نموذج لغة، مع تقنيات إضافية لتمكين نموذج اللغة من توليد رموز نصية مشروطة بكل من المدخلات المرئية والنصية.
يمكن لـ Flamingo توليد استجابات نصية مشروطة بكل من النصوص والصور
الهيكل عالي المستوى لـ Flamingo
يمكن تقسيم Flamingo إلى مكونين رئيسيين:
- مشفر الرؤية: يتضمن هذا الجانب تدريب نموذج مشابه لـ CLIP باستخدام التعلم المقارن. بعد ذلك، يتم التخلص من مشفر النص للنموذج، مع ترك مشفر الرؤية مجمدًا لدمجه في النموذج الرئيسي.
- نموذج اللغة: يقوم Flamingo بتحسين Chinchilla من خلال الضبط الدقيق لإنتاج رموز نصية مشروطة بكل من المدخلات المرئية والنصية. تتضمن هذه العملية استخدام خسارة نموذج اللغة ودمج مكونين إضافيين: جهاز إعادة العينات المدرك (Perceiver Resampler) وطبقات GATED XATTN-DENSE.
مجموعة البيانات
استخدم Flamingo 4 مجموعات بيانات: مجموعتان من أزواج (صورة، نص)، ومجموعة واحدة من أزواج (فيديو، نص)، ومجموعة بيانات واحدة متداخلة من الصور والنصوص.
نموذج اللغة في Flamingo
في Flamingo، يعمل Chinchilla كنموذج اللغة، مع التركيز بشكل خاص على تجميد 9 طبقات من Chinchilla LM المدربة مسبقًا. على عكس نموذج اللغة التقليدي، الذي يتوقع رمز النص التالي بناءً على رموز النص السابقة فقط.
يوسع Flamingo هذا الأمر من خلال توقع رمز النص التالي مع الأخذ في الاعتبار كل من الرموز النصية والمرئية السابقة. يتم تسهيل هذه القدرة على توليد النص المشروط بكل من المدخلات النصية والمرئية من خلال دمج جهاز إعادة العينات المدرك (Perceiver Resampler) وطبقات GATED XATTN-DENSE.
CLIP مقابل Flamingo
الاتجاهات المستقبلية لـ LMMs
CLIP موجود منذ 3 سنوات، وFlamingo يقترب من عامه الثاني. بينما توفر بنياتهما أساسًا متينًا لفهم بناء النماذج متعددة الوسائط الكبيرة (LMMs)، فقد حدثت تطورات عديدة في هذا المجال.
هناك العديد من الاتجاهات في الفضاء متعدد الوسائط التي تثير اهتمامي بشكل خاص، على الرغم من أن هذه القائمة ليست شاملة بأي حال من الأحوال. يساهم طول هذا المنشور واستكشافي المستمر للموضوع في عدم اكتماله. إذا كانت لديك أي أفكار أو توصيات، فسأكون ممتنًا جدًا!
دمج المزيد من أنماط البيانات
في عالم الأنظمة متعددة الوسائط، يتركز التركيز الحالي في الغالب على النصوص والصور. ومع ذلك، فهي مسألة وقت فقط قبل أن تظهر الحاجة لأنظمة قادرة على دمج أنماط أخرى مثل مقاطع الفيديو والموسيقى والبيانات ثلاثية الأبعاد. إن احتمال وجود مساحة تضمين موحدة تستوعب جميع أنماط البيانات أمر مثير حقًا.
بعض الأعمال الجديرة بالملاحظة في هذا المجال تشمل:
- ULIP: تعلم تمثيل موحد للغة والصور وسحب النقاط لفهم ثلاثي الأبعاد (Xue et al., ديسمبر 2022)
- ImageBind: مساحة تضمين واحدة لربطها جميعًا (Girdhar et al., مايو 2023)
- NExT-GPT: نموذج لغة كبير متعدد الوسائط من أي إلى أي (Wu et al., سبتمبر 2023)
بالإضافة إلى ذلك، يهدف مشروع Pathways الطموح لجيف دين (2021) إلى “تمكين النماذج متعددة الوسائط التي تشمل فهم الرؤية والسمع واللغة في وقت واحد.”
تدريب أنظمة متعددة الوسائط أكثر كفاءة
بينما استخدم Flamingo 9 طبقات مدربة مسبقًا ومجمدة من Chinchilla، فقد تطلب تدريب مشفر الرؤية وجهاز إعادة العينات المدرك وطبقات GATED XATTN-DENSE من الصفر. يمكن أن يكون تدريب هذه الوحدات من الصفر مكلفًا حسابيًا. وبالتالي، ركزت العديد من الأعمال الحديثة على تطوير طرق أكثر كفاءة لتشغيل الأنظمة متعددة الوسائط مع تدريب أقل من الصفر.
تظهر بعض هذه الأعمال نتائج واعدة. على سبيل المثال، تجاوز BLIP-2 Flamingo-80B بنسبة 8.7٪ في VQA-v2 بصفر مثال مع 54 مرة أقل من المعلمات القابلة للتدريب.
الأعمال البارزة في هذا المجال تشمل:
- BLIP-2: تشغيل التدريب المسبق بين اللغة والصورة باستخدام مشفرات صور مجمدة ونماذج لغة كبيرة
- [LAVIN] رخيص وسريع: ضبط تعليمات الرؤية واللغة الفعالة لنماذج اللغات الكبيرة
- LLaMA-Adapter V2: نموذج تعليمات مرئي فعال من حيث المعاملات
الصور أدناه مأخوذة من البرنامج التعليمي للنماذج متعددة الوسائط الكبيرة من Chunyuan Li في CVPR 2023، والذي يوصى به بشدة لتغطيته الشاملة للموضوع.
توليد مخرجات متعددة الوسائط
مع ازدياد انتشار النماذج القادرة على معالجة المدخلات متعددة الوسائط، لا يزال تطوير قدرات المخرجات متعددة الوسائط متخلفًا. تتطلب العديد من السيناريوهات العملية مخرجات متعددة الوسائط. على سبيل المثال، عند طلب شرح من ChatGPT حول RLHF، قد تتضمن الاستجابة الفعالة إدراج رسوم بيانية ومعادلات وحتى رسوم متحركة أساسية.
لتوليد مخرجات متعددة الوسائط، يجب على النموذج أولاً إنتاج مخرجات وسيطة مشتركة. الاعتبار الحاسم هو طبيعة هذا المخرج الوسيط.
أحد الأساليب للمخرج الوسيط هو النص، الذي يوجه بعد ذلك توليد أو تركيب إجراءات أخرى.
على سبيل المثال، ينتج CM3 (Aghajanyan et al., 2022) ترميز HTML، والذي يمكن تجميعه في صفحات ويب لا تحتوي فقط على نص ولكن أيضًا على تنسيق وروابط وصور. يولد GPT-4V كود LaTeX، والذي يمكن بعد ذلك إعادة بنائه في جداول بيانات.
الخاتمة
يمثل التطور من أنظمة الذكاء الاصطناعي أحادية الوسائط إلى متعددة الوسائط تقدمًا كبيرًا في أبحاث وتطوير الذكاء الاصطناعي. مهدت نماذج مثل CLIP وFlamingo الطريق للنماذج متعددة الوسائط الكبيرة (LMMs)، القادرة على معالجة وتوليد أنماط بيانات متنوعة مثل النصوص والصور وغيرها. مع استمرار التقدم في هذا المجال، يستكشف الباحثون حدودًا جديدة، بما في ذلك دمج وسائط إضافية مثل مقاطع الفيديو والبيانات ثلاثية الأبعاد، وتعزيز كفاءة التدريب، وتطوير طرق لتوليد المخرجات متعددة الوسائط. تحمل هذه التطورات وعدًا هائلاً لإحداث ثورة في مختلف الصناعات وتعزيز تفاعلات المستخدمين مع أنظمة الذكاء الاصطناعي.
novita.ai، المنصة الشاملة للإبداع غير المحدود التي تمنحك إمكانية الوصول إلى أكثر من 100 واجهة برمجة تطبيقات. من إنشاء الصور ومعالجة اللغة إلى تحسين الصوت ومعالجة الفيديو، بسعر مناسب حسب الاستخدام، تحررك من متاعب صيانة GPU أثناء بناء منتجاتك الخاصة. جربها مجانًا.
قراءة موصى بها
