Novita AI est fier de présenter l’API I2V Wan 2.2, un outil de pointe pour la génération image-vers-vidéo (I2V) qui révolutionne la création de contenu vidéo. Extension du Wan 2.2 T2V d’Alibaba, cette API s’appuie sur une architecture Mixture-of-Experts (MoE) et des techniques de compression avancées pour fournir des vidéos 720P à 24 images par seconde, optimisées pour les GPU grand public. Cet article explore ce qu’est le Wan 2.2 I2V, ses fonctionnalités et comment il peut transformer les flux de travail de création vidéo.
Qu’est-ce que le Wan 2.2 I2V ?
Le Wan 2.2 I2V est un générateur de vidéos IA avancé qui convertit des entrées textuelles ou image en courts clips vidéo. Le terme « I2V » signifie image-vers-vidéo, indiquant l’un de ses modes de génération (il prend également en charge le texte-vers-vidéo). Le Wan 2.2 est la deuxième version majeure de la série de modèles Wan, apportant des améliorations significatives par rapport à la version 2.1. Il utilise une architecture de diffusion Mixture-of-Experts (MoE) de pointe pour obtenir des sorties vidéo de haute qualité en résolution 720p à partir de prompts. Le modèle est open source (sous licence Apache 2.0) et conçu pour fournir des résultats d’aspect professionnel sur du matériel grand public standard.
Solution TI2V compacte et polyvalente : Wan2.2 introduit un modèle open source de 5B alimenté par son Wan2.2-VAE avancé, atteignant un ratio de compression impressionnant de 16×16×4. Ce modèle léger prend en charge de manière transparente la génération texte-vers-vidéo (T2V) et image-vers-vidéo (I2V) en résolution 720P à 24 images par seconde. Optimisé pour les GPU grand public comme le NVIDIA 4090, il s’agit de l’un des modèles 720P@24fps les plus rapides disponibles, ce qui en fait une solution idéale à la fois pour les applications industrielles et la recherche académique.
Architecture du Wan 2.2 I2V et compréhension des images
Deux types de MoE
Le modèle de diffusion Mixture-of-Experts (MoE) du Wan 2.2 utilise à la fois des réseaux d’experts à bruit élevé et à bas bruit pour mieux gérer les complexités variables des entrées image. Par exemple, le réseau à bruit élevé excelle dans le traitement des détails d’image complexes, tandis que le réseau à bas bruit se concentre sur la composition globale de la scène. Cette division du travail améliore la capacité du modèle à analyser et interpréter efficacement le contenu des images.
Compression et cohérence spatio-temporelle
Le modèle utilise le Wan-VAE (Variational Autoencoder) pour la compression spatio-temporelle, atteignant une compression de 64× (4× dans le temps, 16×16 dans l’espace). Cela permet un encodage et un décodage efficaces des images vidéo tout en préservant les détails essentiels et la cohérence temporelle. Cette technique de compression améliore non seulement l’efficacité de génération, mais garantit également une transition fluide et naturelle des images statiques vers des vidéos dynamiques.
Le maintien de la cohérence temporelle est crucial lors de la génération de vidéos à partir d’images, notamment pour des aspects comme les changements d’éclairage et les mouvements d’objets. L’architecture de compression 3D du Wan-VAE garantit la fluidité visuelle et étend correctement le contenu de l’image au fil du temps, assurant des sorties vidéo de haute qualité.
Fonctionnalités clés du Wan 2.2 I2V
| Fonctionnalité | Description |
|---|---|
| 🎥 Contrôles esthétiques cinématographiques | Offre un contrôle esthétique de niveau cinématographique avec des paramètres de style film professionnel. Les prompts peuvent spécifier l’éclairage, les tons de couleur, les angles de caméra et les détails de composition pour influencer l’apparence de la vidéo générée. |
| 🤖 Mouvement complexe et stabilité | Excelle dans la reproduction fluide de mouvements complexes à grande échelle. Gère les mouvements rapides de caméra (panoramiques, inclinaisons, zooms) et plusieurs sujets en mouvement avec une stabilité améliorée. Grâce aux experts MoE, il produit des mouvements plus fluides avec moins de tremblements ou de problèmes de continuité. |
| 🎯 Conformité sémantique précise | Démontre une meilleure compréhension des scènes complexes et des interactions multi-objets, générant des sorties qui correspondent étroitement à l’intention du prompt de l’utilisateur. Des données d’entraînement étendues et des stratégies de diffusion affinées améliorent la cohérence et la fiabilité. |
Quelles optimisations des flux de travail sont présentes dans le Wan 2.2 ?
Wan 2.2 I2V vs Wan 2.1 I2V
Wan 2.2 I2V vs Wan 2.1 I2V : Architecture
| Catégorie | Wan 2.1 | Wan 2.2 |
|---|---|---|
| Modèle de diffusion | Architecture de diffusion dense : un seul modèle gérait toutes les étapes de débruitage. | Diffusion Mixture-of-Experts (MoE) : deux sous-modèles spécialisés gèrent différents niveaux de bruit, l’un traitant les étapes précoces à bruit élevé et l’autre les étapes tardives à bas bruit. Cela améliore les détails et la cohérence. |
| Taille du modèle et paramètres | ~14 milliards de paramètres pour les tâches texte-vers-vidéo et image-vers-vidéo. Des variantes plus petites (par ex. 1,3 milliard) étaient disponibles pour des prototypages plus rapides. | ~27 milliards de paramètres (2×14 milliards d’experts), mais un seul expert est actif à la fois. Un nouveau modèle hybride de 5B a été introduit pour le TI2V (conditionnement texte et image) capable de sorties 720p, remplaçant le rôle du modèle plus petit de la 2.1 mais avec une fidélité supérieure. |
| Données d’entraînement et étiquettes esthétiques | Jeu de données limité avec des descripteurs basiques pour le contrôle par prompt. | Entraîné sur un jeu de données avec 65 % d’images en plus et 83 % de clips vidéo en plus. Des étiquettes cinématographiques (par ex. éclairage, couleur, composition) ont été introduites pour permettre un contrôle de style plus fin par rapport aux descripteurs basiques de la 2.1. |
| Composants sous-jacents | Utilisait le Wan-VAE pour des encodages 1080p, en se concentrant sur le maintien de la cohérence temporelle. | Intégration améliorée du Wan-VAE et de la diffusion MoE pour un meilleur équilibre entre qualité et utilisation des ressources. Ajout de FlashAttention pour des opérations de transformateur plus rapides, améliorant les performances par rapport à la 2.1. |
| Fonctionnalités | Prenait en charge le T2V, l’I2V et l’édition avec le framework VACE. L’affinage LoRA était entièrement pris en charge. | Prennent en charge le T2V, l’I2V et le transfert de style amélioré. Pas encore de framework VACE et seulement une compatibilité LoRA limitée. |
Wan 2.2 I2V vs Wan 2.1 I2V : Performances
Source : Artificial Analysis
Wan 2.2 I2V vs Wan 2.1 I2V : Génération
Wan 2.2 I2V
Wan 2.1 I2V
Coût et accès au Wan 2.2 I2V
Coûts matériels
- Modèle I2V 5B :
- Exigence minimale de VRAM : 24 Go.
- Modèle de GPU minimal : NVIDIA RTX 4090.
- Quantité minimale de GPU : 1.
- Vitesse par GPU unique : Environ 524,8 secondes en résolution 720P.
- Prix approximatif du GPU : Le NVIDIA RTX 4090 a été lancé le 12 octobre 2022 à un prix de départ de 1 599 $.
- Modèle I2V A14B :
- Résolution 480P :
- Exigence minimale de VRAM : 40 Go.
- Modèle de GPU minimal : NVIDIA A100 40 Go.
- Quantité minimale de GPU : 1.
- Vitesse par GPU unique : Environ 810,0 secondes.
- Prix approximatif du GPU : Le NVIDIA A100 40 Go est listé à 13 135 $.
- Résolution 720P :
- Exigence minimale de VRAM : 80 Go.
- Modèle de GPU minimal : NVIDIA H100 80 Go.
- Quantité minimale de GPU : 1.
- Vitesse par GPU unique : Environ 1 055,9 secondes.
- Prix approximatif du GPU : Les informations de tarification pour le NVIDIA H100 80 Go ne sont pas disponibles dans les sources fournies.
- Résolution 480P :
Coûts de l’API
Novita AI est une plateforme cloud IA qui offre aux développeurs un moyen simple de déployer des modèles IA via notre API intuitive, tout en fournissant un cloud GPU abordable et fiable pour la construction et la mise à l’échelle.
| Modèle | Prix | Résolution | Temps de génération |
| Wan 2.1 I2V | 0,3 $/vidéo | 1280*720 | 5 s |
| Wan 2.2 I2V | 0,4 $/vidéo | 1080P | 5 s |
Essayez le Wan 2.2 dès maintenant !
Guide d’accès au Wan 2.2 I2V
Étape 1 : Connectez-vous et accédez à la bibliothèque de modèles Connectez-vous à votre compte et cliquez sur le bouton Bibliothèque de modèles.
Étape 2 : Choisissez votre modèle Parcourez les options disponibles et sélectionnez le modèle qui correspond à vos besoins.
Étape 3 : Récupérez votre clé API Pour vous authentifier auprès de l’API, nous vous fournirons une nouvelle clé API. En vous rendant sur la page « Paramètres », vous pouvez copier la clé API comme indiqué sur l’image.
Étape 4 : Installez l’API Installez l’API à l’aide du gestionnaire de paquets spécifique à votre langage de programmation.
Essayez le Wan 2.2 dès maintenant !
Après l’installation, importez les bibliothèques nécessaires dans votre environnement de développement. Initialisez l’API avec votre clé API pour commencer à interagir avec le LLM de Novita AI. Ceci est un exemple d’utilisation de l’API de complétion de chat pour les utilisateurs Python.
import requests
url = "https://api.novita.ai/v3/async/wan-2.2-i2v"
payload = {
"input": {
"prompt": "<string>",
"negative_prompt": "<string>",
"img_url": "<string>"
},
"parameters": {
"resolution": "<string>",
"duration": 123,
"prompt_extend": True,
"seed": 123
}
}
headers = {
"Content-Type": "<content-type>",
"Authorization": "<authorization>"
}
response = requests.post(url, json=payload, headers=headers)
print(response.json())
Wan 2.2 I2V : Problèmes courants et solutions
| Problème | Solution |
|---|---|
| Images scintillantes | Augmentez le nombre d’étapes de diffusion ou la fréquence d’images ; utilisez le mode I2V ; stabilisez en post-production. |
| Lent / Mémoire insuffisante | Utilisez le modèle 5B ou une résolution plus faible ; activez les optimisations de mémoire ; envisagez des GPUs cloud. |
| Inadéquation de prompt | Simplifiez les prompts ; utilisez des prompts négatifs ; affinez itérativement pour obtenir de meilleurs résultats. |
| Sortie floue | Utilisez le LoRA « DetailZ » ; demandez des détails plus nets dans les prompts ; accentuez ou agrandissez en post-production. |
| Objets incohérents | Utilisez des images de référence en mode I2V ; générez des clips plus courts et enchaînez-les ; gardez les prompts stables. |
| Pas de son | Ajoutez du son en post-production ; utilisez des outils IA pour la musique ou le voice-over et synchronisez avec les visuels. |
Avantages et inconvénients du Wan 2.2 I2V pour les petites entreprises
Avantages :
- Coûts de production de contenu réduits : Pas besoin de tournage ou d’équipe de production, ce qui permet d’économiser du budget. Idéal pour les startups disposant de ressources limitées.
- Délai de création plus rapide : Les vidéos peuvent être générées en quelques minutes, permettant des réponses rapides aux tendances et un prototypage accéléré.
- Accessible sur du matériel grand public : Fonctionne sur des PC standard équipés de GPU décents, évitant le besoin de matériel spécialisé coûteux.
- Flexibilité créative : Prend en charge différents styles et scènes, répondant à des besoins variés en ajustant simplement les prompts.
- Outil open source et en évolution : Le soutien de la communauté assure des mises à jour continues, réduisant le risque d’obsolescence.
Inconvénients :
- Courbe d’apprentissage et expertise requises : Nécessite des connaissances en IA ou du temps pour apprendre à formuler des prompts, ce qui est difficile pour les utilisateurs peu à l’aise avec la technologie.
- Coûts de calcul : La génération de vidéos à grande échelle entraîne des coûts continus de GPU et d’énergie, qui doivent être budgétisés.
- Limites de qualité : Les sorties sont limitées à 720p et peuvent nécessiter un montage postérieur pour des besoins de haute qualité.
- Cohérence et image de marque : Le contenu généré peut manquer de cohérence entre les vidéos, nécessitant une curation supplémentaire pour l’alignement avec la marque.
- Considérations éthiques et juridiques : Des problèmes comme le droit d’auteur, la transparence et la confiance du public doivent être gérés avec soin.
Tendances futures de la technologie Wan 2.2 I2V
| Tendance | Description |
|---|---|
| Résolution plus élevée | Prise en charge des résolutions 1080p et plus et de durées vidéo plus longues (10 à 15 secondes ou courts-métrages complets). |
| Audio et interaction | Intégration de la génération audio et de l’édition interactive (par ex. améliorations vidéo-vers-vidéo). |
| Contrôle accru | Outils pour les storyboards, le contrôle des images et des personnages/image de marque cohérents à travers les scènes. |
| Plus rapide et accessible | Génération de vidéo quasi en temps réel avec des modèles optimisés et des avancées matérielles (par ex. GPUs, cloud). |
| Adoption plus large | Utilisation dans les domaines du divertissement, de l’éducation et de la publicité, avec un écosystème de plugins et de styles communautaires. |
| Concurrence et collaboration | Le Wan open source s’appuie sur les progrès de la recherche, stimulant l’innovation et les modèles hybrides pour la qualité. |
L’API I2V Wan 2.2 établit une nouvelle norme pour la génération de vidéos, offrant des contrôles esthétiques cinématographiques, une gestion précise des mouvements et une efficacité inégalée. Que vous soyez créateur, marketeur ou chercheur, les fonctionnalités du Wan 2.2 simplifient les flux de travail, réduisent les coûts et ouvrent de nouvelles possibilités créatives. Avec sa base open source et son API robuste, le Wan 2.2 I2V est l’avenir de la création vidéo accessible et puissante.
Questions fréquemment posées
Qu’est-ce que le Wan 2.2 I2V ? Le Wan 2.2 I2V est une API avancée pour générer des vidéos de haute qualité à partir d’images, utilisant l’architecture MoE d’Alibaba et la compression Wan-VAE pour des visuels fluides et cohérents.
Quelle résolution le Wan 2.2 prend-il en charge ? L’API prend en charge la résolution 720P à 24 images par seconde, optimisée pour les GPU grand public comme le NVIDIA RTX 4090.
Comment le Wan 2.2 garantit-il la cohérence temporelle ? Le Wan 2.2 utilise une compression spatio-temporelle 3D via le Wan-VAE, garantissant des transitions fluides et un éclairage et des mouvements cohérents.
Novita AI est la plateforme cloud tout-en-un qui donne vie à vos ambitions IA. APIs intégrées, serverless, instances GPU — les outils rentables dont vous avez besoin. Éliminez les infrastructures, commencez gratuitement et concrétisez votre vision IA.
