Points clés
Wan 2.1 :
Architecture : Utilise un diffusion transformer et le nouveau Wan-VAE pour l’encodage vidéo spatio-temporel 1080P.
Capacités : Multimodal (texte/image vers vidéo, édition, vidéo vers audio), génération de texte bilingue.
Efficacité : Fonctionne avec 8,19 Go de VRAM, le rendant accessible aux GPU de milieu de gamme.
Vitesse : Génère des vidéos 480P de 5 secondes en ~4 minutes (RTX 4090).
HunyuanVideo :
Architecture : Utilise un VAE 3D causal et un transformer à double flux pour la synthèse unifiée image/vidéo.
Capacités : Alignement texte-vidéo supérieur, diversité de mouvements et stabilité ; inclut un modèle de réécriture de prompt.
Matériel : Nécessite 60–80 Go de mémoire GPU (720p), destiné aux studios haut de gamme.
Vitesse : Optimisé via inférence parallèle xDiT pour une génération plus rapide, 2-3 minutes par clip en pleine qualité.
Les modèles de génération vidéo ont beaucoup progressé, avec des projets open source comme HunyuanVideo et Wan2.1 qui repoussent les limites de l’innovation. HunyuanVideo se démarque en tant que modèle de base vidéo open source révolutionnaire, rivalisant avec les alternatives propriétaires haut de gamme. Pendant ce temps, Wan2.1 propose une suite robuste et complète de modèles vidéo open source. Les deux exploitent des techniques de pointe pour produire des vidéos de haute qualité, permettant une personnalisation et une optimisation poussées.
Lancez un essai gratuit sur Novita AI dès aujourd’hui. Pour intégrer les API Wan 2.1 et Hunyuan Video, consultez notre documentation développeur pour plus de détails.
Novita propose des prix très compétitifs sur le marché.
Par exemple, une vidéo Wan 2.1 720P de 5 secondes ne coûte que 0,40 $ par vidéo
tandis qu’une vidéo similaire sur Replicate coûte 2,39 $ par vidéo
Wan2.1
- Open Source : Oui
- Capacités :
- Offre des capacités de génération multimodales, notamment :
- Texte vers vidéo
- Image vers vidéo
- Édition vidéo
- Texte vers image
- Vidéo vers audio
- Prend en charge la génération de texte bilingue en chinois et anglais.
- Alimenté par Wan-VAE, il peut encoder et décoder des vidéos 1080P de n’importe quelle longueur tout en préservant la cohérence temporelle.
- Offre des capacités de génération multimodales, notamment :
HunyuanVideo
- Open Source : Oui
- Capacités :
- Prend en charge la génération Texte vers vidéo.
- Inclut un modèle de réécriture de prompt pour optimiser et adapter les invites utilisateur.
Architecture
| Fonctionnalité | Wan2.1 | HunyuanVideo |
|---|---|---|
| Architecture | Paradigme du diffusion transformer | VAE 3D causal pour un espace latent compressé spatio-temporellement |
| Espace latent | Autoencodeur variationnel spatio-temporel (VAE) appelé Wan-VAE | Compresse les données vidéo et image dans un espace latent compact via un VAE 3D avec CausalConv3D |
| Encodage de texte | Encodeur T5 pour l’entrée de texte multilingue | Modèle de langage multimodal (MLLM) |
| Conception du transformer | Attention croisée dans chaque bloc du transformer pour intégrer le texte dans la structure du modèle | Transformer « double flux à flux unique » pour la génération unifiée d’images et de vidéos |
- Wan 2.1, quant à lui, améliore la génération de sous-titres grâce à l’encodeur T5 et au mécanisme d’attention croisée, tout en prenant en charge la génération robuste de longues vidéos via Wan-VAE et le paradigme du diffusion transformer.
- HunyuanVideo améliore considérablement la précision texte-vidéo et la stabilité de génération grâce au VAE 3D causal, au modèle de réécriture de prompt et à la compression de l’espace latent.
Configuration matérielle
Wan2.1
Wan2.1 est nettement plus efficace en termes de matériel, surtout pour les tâches à basse résolution. Il est conçu pour être accessible aux utilisateurs disposant de ressources matérielles limitées tout en supportant la génération de vidéos de haute qualité. Points clés :
- Configuration GPU requise :
- Le modèle T2V-1.3B (Texte vers vidéo) nécessite seulement 8,19 Go de VRAM, le rendant accessible à des GPU comme la RTX 3060 ou la RTX 4060.
- Les modèles haute résolution (par ex., modèles 14B) nécessitent des GPU plus puissants, comme la RTX 3090, la RTX 4090 ou l’A100, mais ces besoins restent inférieurs à ceux de HunyuanVideo.
| Nom du modèle | Fonction | Résolution supportée | Taille du modèle | Besoins matériels | GPU recommandé |
|---|---|---|---|---|---|
| T2V-14B | Texte vers vidéo (T2V) | 480P / 720P | 14B | ⭐⭐⭐⭐ | A100 / RTX 3090 / RTX 4090 |
| I2V-14B-720P | Image vers vidéo (I2V) | 720P | 14B | ⭐⭐⭐⭐ | A100 / RTX 3090 / RTX 4090 |
| I2V-14B-480P | Image vers vidéo (I2V) | 480P | 14B | ⭐⭐⭐ | RTX 3090 / RTX 4070 Ti |
| T2V-1.3B | Texte vers vidéo (T2V) | Basse résolution | 1.3B | ⭐⭐ | RTX 3060 / RTX 4060 ou supérieur |
HunyuanVideo
HunyuanVideo a des besoins matériels plus élevés, car il est conçu pour gérer des tâches de génération vidéo complexes et haute résolution. Voici les points clés concernant ses besoins matériels :
- Configuration GPU requise :
- Nécessite un GPU NVIDIA avec support CUDA.
- Pour une résolution 720×1280 à 129 images, au moins 60 Go de mémoire GPU sont requis.
- Pour une résolution 544×960, au moins 45 Go de mémoire GPU sont nécessaires.
- Un GPU de 80 Go (comme le NVIDIA A100) est recommandé pour des performances optimales.
HunyuanVideo est conçu pour du matériel haut de gamme, nécessitant une VRAM importante (45 Go – 80 Go), ce qui le rend adapté aux utilisateurs ayant accès à des GPU performants (par ex., NVIDIA A100 ou équivalent). Il est mieux adapté aux tâches nécessitant une génération vidéo haute résolution et des séquences plus longues.
Wan2.1 est plus accessible aux utilisateurs disposant de GPU standard, surtout pour les tâches de génération texte-vidéo basse résolution. Le modèle T2V-1.3B ne nécessite que 8,19 Go de VRAM, ce qui le rend idéal pour les utilisateurs avec des GPU de milieu de gamme comme RTX 3060 ou RTX 4060. Cependant, pour des résolutions plus élevées (720P ou plus), des GPU plus puissants sont recommandés.
Évaluation des résultats
1. Qualité vidéo – Résolution
- Wan2.1 :
- Prend en charge la génération vidéo en 480P et 720P.
- HunyuanVideo :
- Évalué sur l’alignement textuel, la qualité du mouvement et la qualité visuelle.
- Supporte des résolutions allant jusqu’à 720P.
2. Créativité
- Wan2.1 :
- Étend les invites pour inclure des détails plus riches dans les vidéos générées.
- Se concentre sur l’amélioration des productions créatives en enrichissant le processus de génération vidéo.
- HunyuanVideo :
- Propose des modes de réécriture d’invites pour mieux comprendre l’intention de l’utilisateur.
- Améliore la qualité visuelle grâce à une meilleure compréhension des invites.
3. Vitesse
- Wan2.1 :
- Génère une vidéo 480P de 5 secondes sur une RTX 4090 en environ 4 minutes (sans techniques d’optimisation).
- HunyuanVideo :
- Utilise un code d’inférence parallèle propulsé par xDiT, permettant une génération vidéo plus rapide.
- Vitesse de génération moyenne : 2 à 3 minutes par clip en pleine qualité.
- Wan2.1 : Excelle dans les productions créatives et la polyvalence des invites, ce qui le rend idéal pour les utilisateurs recherchant une génération vidéo enrichie et détaillée, bien qu’il soit légèrement plus lent.
- HunyuanVideo : Adapté aux utilisateurs privilégiant la qualité vidéo, des vitesses de génération plus rapides et une flexibilité dans la personnalisation vidéo.
Applications
Wan2.1
Création vidéo multimodale
- Application : Idéal pour créer des vidéos combinant plusieurs modalités, comme l’intégration de textes, d’images et d’autres éléments visuels dans un résultat cohérent.
- Raison : Wan 2.1 excelle dans la génération multimodale, ce qui le rend adapté aux contenus vidéo créatifs et dynamiques nécessitant des entrées diverses.
Vidéos avec génération automatique de sous-titres
- Application : Parfait pour produire des vidéos avec sous-titres automatiques, comme des tutoriels, des vidéos explicatives ou du contenu pour les réseaux sociaux.
- Raison : La capacité de Wan 2.1 à générer des sous-titres directement améliore l’accessibilité et fait gagner du temps en post-production.
Contenu pour réseaux sociaux avec dynamiques visuelles améliorées
- Application : Convient à la création de vidéos engageantes pour les réseaux sociaux où les éléments multimodaux comme les superpositions de texte et les animations de sous-titres sont essentiels (par ex., TikTok, Instagram).
- Raison : Son accent sur la combinaison d’entrées multimodales permet d’obtenir des vidéos courtes visuellement dynamiques et accrocheuses.
HunyuanVideo
Génération vidéo centrée sur le texte
- Application : Idéal pour les vidéos où l’objectif principal est d’interpréter et de représenter visuellement avec précision un contenu textuel, comme les présentations d’entreprise ou les vidéos éducatives.
- Raison : La compréhension supérieure du texte de Hunyuan garantit un alignement précis entre les invites saisies et le résultat vidéo final.
Vidéos explicatives ou didactiques professionnelles
- Application : Idéal pour créer des vidéos explicatives ou des guides pédagogiques clairs, concis et professionnels.
- Raison : La force de Hunyuan dans la compréhension du texte permet de traduire efficacement des idées et instructions complexes en format vidéo.
Vidéos de marque ou marketing de haute qualité
- Application : Convient à la création de contenus marketing haute résolution et professionnels où les invites textuelles guident la narration ou les éléments de marque.
- Raison : La capacité de Hunyuan à comprendre profondément le texte permet de créer des vidéos qui correspondent étroitement au message de la marque ou de la campagne.
Version simplifiée
Nous testons maintenant les deux modèles en saisissant les mêmes invites textuelles pour évaluer leur compréhension du texte et le résultat final des vidéos.
Invite : Une photographie surréaliste vivante, une loutre énergique saute dans un lac clair avec surprise, créant instantanément des couches de rides. Elle sort agilement la tête de l’eau, sa fourrure mouillée collée à son corps, et des gouttes d’eau cristallines glissant sur ses joues rondes. La loutre regarde devant elle avec curiosité, les coins de sa bouche légèrement relevés, comme si elle partageait son bonheur avec le spectateur. L’objectif fisheye capture cette perspective unique, avec une lumière naturelle tombant doucement et un léger lustre à la surface de l’eau. L’image globale présente des tons doux, mettant l’accent sur la beauté naturelle et l’expression vivante de la loutre. Texture haute définition et composition en plan moyen créent une atmosphère immersive.
wan 2.1
Hunyuan
Invite : Photographie artistique en contre-jour, le mannequin se tient dans la lueur dorée du crépuscule, avec des contours nets, telle une silhouette. La soie légère et transparente enveloppe le mannequin, flottant doucement dans la brise, s’entrelaçant avec la lumière dorée, créant un effet de halo féerique. L’expression du mannequin est calme et sa posture élégante, comme si elle était immergée dans son propre monde. L’arrière-plan est une ligne d’horizon floue, et les dernières lueurs du coucher de soleil baignent la terre. Le contraste élevé et le traitement délicat de la lumière et de l’ombre montrent le talent exceptionnel du photographe. Plan moyen, prise de vue latérale en contre-jour, mettant l’accent sur les contours et l’atmosphère.
Wan 2.1
Hunyuan
Explorez maintenant la démo de Wan 2.1 et Hunyuan Video
HunyuanVideo et Wan2.1 représentent des avancées significatives dans la génération vidéo, en présentant des architectures innovantes, des capacités robustes et des résultats de haute qualité. En exploitant des techniques telles que les VAE 3D, les diffusion transformers et l’entraînement sur de grands jeux de données, ces modèles repoussent les limites de la création de contenu visuel. Leur flexibilité en matière de personnalisation et d’optimisation en fait des outils précieux pour stimuler l’innovation dans des secteurs comme les médias, l’éducation et la publicité.
Novita AI est la plateforme cloud tout-en-un qui donne vie à vos ambitions en IA. API intégrées, serverless, instances GPU — les outils rentables dont vous avez besoin. Éliminez les infrastructures, commencez gratuitement et faites de votre vision IA une réalité.
