النقاط الرئيسية
هونيوان فيديو هو مولد فيديو من النص بالذكاء الاصطناعي يتفوق في تحويل النصوص إلى فيديوهات بجودة سينمائية.
يمكن للنموذج إنشاء فيديوهات بدقة تصل إلى 1024×576 بكسل وطول يصل إلى 16 ثانية.
يدعم مستويات مختلفة من وحدات معالجة الرسوميات، مع تأثير حتى الذاكرة الأقل (24 جيجابايت كحد أدنى) على جودة الفيديو وسرعة التوليد.
هونيوان فيديو هو نموذج أساسي جديد مفتوح المصدر لتوليد الفيديو طورته Tencent، مصمم لتوليد فيديوهات عالية الجودة من الأوصاف النصية. يدمج تنظيم البيانات، التدريب المشترك للصور والفيديو، والبنية التحتية الفعالة لتسهيل التدريب والاستدلال على نطاق واسع. يهدف هونيوان فيديو إلى سد الفجوة بين نماذج الفيديو الأساسية المغلقة والمفتوحة المصدر، وتمكين المجتمع من تجربة إنشاء الفيديو المدعوم بالذكاء الاصطناعي.
ابدأ تجربة مجانية على Novita AI اليوم. لدمج واجهة برمجة تطبيقات هونيوان فيديو، تفضل بزيارة وثائق المطورين لمزيد من التفاصيل.
التوفر مفتوح المصدر
يتميز هونيوان فيديو بأنه نموذج أساسي مبتكر مفتوح المصدر لتوليد الفيديو، وهو جهد متعمد لإضفاء الطابع الديمقراطي على الوصول إلى تقنية توليد الفيديو المتقدمة بالذكاء الاصطناعي. يهدف إصدار Tencent لكود النموذج وأوزانه إلى سد الفجوة بين البدائل المغلقة والمصدر المفتوح.
نص إلى فيديو فقط
يُقدم هونيوان فيديو كنموذج نص إلى فيديو (T2V). تأخر إصدار نموذج الصورة إلى فيديو، مع توقع إصدار محتمل في وقت لاحق.
متطلبات الأجهزة
بالنظر إلى هذه النقاط، يمكن اعتبار متطلبات الأجهزة مرتفعة نسبيًا للمستخدمين الفرديين ولكن أكثر قابلية للوصول مقارنة ببعض نماذج توليد الفيديو المنافسة بالذكاء الاصطناعي.
المتطلبات الأساسية:
• ذاكرة فيديو: 24 جيجابايت كحد أدنى، 45 جيجابايت موصى به، 80 جيجابايت مثالي
• وحدة معالجة رسوميات: NVIDIA مع دعم CUDA
• ذاكرة الوصول العشوائي: 32 جيجابايت
• التخزين: 100 جيجابايت مساحة خالية
الدقة مقابل ذاكرة الفيديو:
• 720p (1280×720): 60 جيجابايت ذاكرة فيديو
• 544p (960×544): 45 جيجابايت ذاكرة فيديو
بنية النموذج والابتكارات الرئيسية
إطار توليد موحد
• يستخدم محول متقدم مع الانتباه الكامل
• تصميم فريد “ثنائي إلى أحادي التدفق”
• يدمج بسلاسة معالجة الفيديو والنص
من هونيوان
فهم محسّن للغة
• مدعوم بـ LLM متعدد الوسائط (MLLM)
• بنية وحدة فك التشفير تتفوق في فهم التفاصيل
• محاذاة صورة-نص متفوقة مقارنة بنماذج CLIP/T5 التقليدية
من هونيوان
معالجة فيديو فعالة
• VAE ثلاثي الأبعاد متقدم مع CausalConv3D
• ضغط الفضاء الكامن المحسّن
• يحافظ على الجودة العالية عند الدقة/معدل الإطارات الأصلي
من هونيوان
نظام مطالبة ذكي
• محرك تحسين مطالبة مدمج
• وضعان: عادي (أساسي) ومتقدم (تفصيلي)
• يعيد تنسيق مدخلات المستخدم تلقائيًا للحصول على أفضل النتائج
المقارنات
VBench هي مجموعة معايير شاملة وقوية مصممة لتقييم نماذج توليد الفيديو. تقوم بتفكيك “جودة توليد الفيديو” إلى أبعاد هرمية، مفككة، ومحددة، كل منها مزود بمطالبات وأساليب تقييم مخصصة. تشمل مقاييس التقييم الرئيسية:
- توليد الحركة الكبيرة
- العيوب البشرية
- الاستقرار على مستوى البكسل
- اتساق الهوية
- المعقولية الفيزيائية
- النعومة
- جودة الصورة الشاملة
- جودة توليد المشهد
- القدرة على التصميم
- دقة الكائن الواحد
- دقة الكائنات المتعددة
- دقة الموضع المكاني
- التحكم في الكاميرا
- اتباع تعليمات الإجراء
حاليًا لا توجد تقييمات V-Bench رسمية لهونيوان، فقط تجارب أجراها هونيوان بأنفسهم على GitHub. فيما يلي طرق اختبارهم:
لتقييم أداء هونيوان فيديو، اختاروا خمسة خطوط أساسية قوية من نماذج توليد الفيديو المغلقة. استخدموا 1,533 مطالبة نصية، وأنتجوا عددًا متساويًا من عينات الفيديو مع هونيوان فيديو في تشغيل واحد. لضمان العدالة، قاموا بتشغيل الاستدلال مرة واحدة فقط، متجنبين اختيار النتائج. عند المقارنة مع الطرق الأساسية، استخدموا الإعدادات الافتراضية لجميع النماذج المختارة للحفاظ على دقة فيديو متسقة. تم تقييم الفيديو بثلاثة معايير: محاذاة النص، جودة الحركة، وجودة الصورة. أجرى أكثر من 60 مقيمًا محترفًا التقييم. أظهر هونيوان فيديو أفضل أداء عام، خاصة في جودة الحركة. لاحظ أن هذا التقييم استخدم الإصدار عالي الجودة من هونيوان فيديو، والذي يختلف عن الإصدار السريع الحالي.
من هونيوان
التطبيقات
- إنشاء محتوى لوسائل التواصل الاجتماعي، التسويق، أو الترفيه.
- تصور الأفكار أو المفاهيم.
- فيديوهات تعليمية لأغراض تعليمية أو شرح.
- التجارب الإبداعية للمشاريع الفنية.
- عروض المنتجات، المشاهد الإبداعية، رسوم متحركة للشخصيات، ومحتوى ترويجي.
يقف هونيوان فيديو في طليعة توليد الفيديو المدعوم بالذكاء الاصطناعي، مقدمًا حلاً قويًا مفتوح المصدر يحول الأوصاف النصية إلى محتوى فيديو واقعي عالي الجودة. إن بنيته الرائدة، جنبًا إلى جنب مع أساليب التدريب الفعالة والتركيز الثابت على جودة الفيديو، جعلته أداة لا تقدر بثمن لكل من الباحثين الأكاديميين والمحترفين المبدعين. باعتباره منصة مفتوحة المصدر مدعومة بمشاركة مجتمعية نشطة، فإن هونيوان فيديو في وضع جيد لقيادة الموجة التالية من الابتكارات في تكنولوجيا توليد الفيديو بالذكاء الاصطناعي.
Novita AI هي منصة سحابية شاملة تمكّن طموحاتك في الذكاء الاصطناعي. واجهات برمجة تطبيقات متكاملة، بدون خادم، مثيل GPU — الأدوات الفعالة من حيث التكلفة التي تحتاجها. تخلص من البنية التحتية، ابدأ مجانًا، وحقق رؤيتك في الذكاء الاصطناعي.
