Novita AI a officiellement lancé la dernière API Wan 2.2, un outil de pointe pour la génération de vidéos à partir de texte. Cet article présentera ce qu’est Wan 2.2, mettra en évidence ses nouvelles fonctionnalités et mises à jour, et discutera de ses performances. De plus, nous répondrons aux questions fréquentes pour vous aider à prendre en main cette technologie puissante.
Qu’est-ce que le Wan 2.2 T2V ?
Le Wan 2.2 T2V est le dernier modèle d’IA générative texte-vers-vidéo open source d’Alibaba, représentant une mise à niveau majeure par rapport au système Wan 2.1 précédent. Il fait partie de la série de modèles de génération vidéo « Wan » d’Alibaba (souvent appelé Tongyi Wanxiang en chinois) et est remarquable pour être le premier modèle vidéo open source de l’industrie à utiliser une architecture Mixture-of-Experts (MoE). Wan 2.2 englobe en réalité une suite de modèles, incluant un modèle dédié texte-vers-vidéo et des outils associés, mais « Wan 2.2 T2V » fait spécifiquement référence au composant texte-vers-vidéo de cette série.
Spécifications du Wan 2.2 T2V
| Catégorie | Description |
|---|---|
| Architecture du modèle | Utilise une architecture Mix-of-Experts avec deux sous-modèles experts. |
| Nombre de paramètres | Le modèle total compte 27 milliards de paramètres, mais seulement 14 milliards sont actifs pendant l’inférence. |
| Avantages de conception | En utilisant des « experts » spécialisés (chacun d’environ 14B paramètres), le modèle double de taille tout en maintenant des coûts d’exécution similaires par rapport à son prédécesseur, Wan 2.1 (14B paramètres). |
| Variantes de modèles publiées | 1. T2V-A14B : Un modèle texte-vers-vidéo pour générer des vidéos à partir de texte. 2.TI2V-5B : Un modèle hybride pour les deux tâches, optimisé pour le matériel grand public (5B paramètres). |
| Optimisation matérielle | Le TI2V-5B est optimisé pour les GPU grand public, comme par exemple pour fonctionner sur un seul NVIDIA RTX 4090. |
| Résolution et fréquence d’images | Le modèle standard Wan 2.2 T2V peut générer des vidéos d’une durée de 5 secondes en résolution 720p (1280×720) avec 24 images par seconde. |
Fonctionnalités clés du Wan 2.2 T2V
Qualité cinématographique et contrôle
- Entraîné sur un jeu de données méticuleusement sélectionné avec des étiquettes esthétiques pour générer des vidéos à l’apparence et à la sensation cinématographiques.
- Prend en charge un contrôle textuel granulaire, permettant aux utilisateurs de spécifier :
- Conditions d’éclairage
- Moment de la journée
- Ton colorimétrique
- Angles de caméra
- Distance focale
- Autres aspects cinématographiques.
- Comprend des termes cinématographiques tels que « éclairage à l’heure dorée » et « objectif grand-angle », garantissant un contrôle précis sur la sortie vidéo.
Suite générative multimodale
- Inclut une fonctionnalité de transfert de style :
- Permet l’application en un clic de styles artistiques, comme la conversion de photos ou de vidéos en formats cartoon ou croquis (veo-video.org).
- Fournit une famille de modèles unifiée prenant en charge diverses tâches génératives, ce qui en fait une plateforme d’IA créative complète.
Open source et écosystème communautaire
Sous licence Apache 2.0, autorisant l’usage commercial (hackernoon.com). Soutenu par une communauté active qui contribue :
- Guides
- Outils d’intégration (par exemple pour ComfyUI)
- Optimisations de fine-tuning
- Support général.
Quelles optimisations des processus de travail sont présentes dans Wan 2.2 ?
Wan 2.2 T2V vs Wan 2.1 T2V
Wan 2.2 T2V vs Wan 2.1 T2V : Architecture
| Aspect | Wan 2.1 | Wan 2.2 |
|---|---|---|
| Architecture | Transformeur de diffusion à une étape (UNet). | Mixture-of-Experts (MoE) à deux étapes avec experts à haut et bas bruit. |
| Paramètres | 14B (base) et 1,3B (petit). | 27B au total (14B actifs) ; 14B T2V, 14B I2V et modèle hybride 5B. |
| Données d’entraînement | Grand jeu de données, moins sélectionné. | +65 % d’images, +83 % de vidéos, annotées pour les attributs esthétiques et cinématographiques. |
| Qualité de sortie | Bonne mais sujette aux scintillements ; adaptée aux vidéos plus simples et stylisées. | Détail plus élevé, meilleure cohérence temporelle, réalisme et visuels cinématographiques. |
| Fonctionnalités | T2V, I2V, édition (framework VACE), fine-tuning LoRA pris en charge. | T2V, I2V, meilleur transfert de style ; pas de VACE pour le moment, compatibilité LoRA limitée. |
Wan 2.2 T2V vs Wan 2.1 T2V : Performances
Depuis Artificial Analysis
Wan 2.2 T2V vs Wan 2.1 T2V : Génération
Wan 2.2 T2V
Wan 2.1 T2V
Coût et accès au Wan 2.2 T2V
Coûts matériels
| Modèle | Exigence minimale de VRAM (Go) | Modèle de GPU minimum | Quantité minimale de GPU | Vitesse sur un seul GPU (s) (480P) | Vitesse sur un seul GPU (s) (720P) | Prix approximatif du GPU (USD) |
|---|---|---|---|---|---|---|
| T2V-5B | 22,6 | NVIDIA RTX 4090 | 1 | 534,7 | 524,8 | 1 599 $ |
| T2V-A14B | 41,3 | NVIDIA A100 | 1 | 1133,9 | 4048,7 | 10 000 $ - 15 000 $ |
Remarques :
- NVIDIA RTX 4090 : Sorti en octobre 2022 avec un prix public conseillé de 1 599 $.
- NVIDIA A100 : Les prix varient en fonction de la configuration et des facteurs de marché. Le modèle PCIe 40Go se situe généralement entre 10 000 $ et 12 000 $, tandis que le modèle PCIe 80Go se situe entre 12 000 $ et 15 000 $.
Coûts des API
Novita AI est une plateforme cloud IA qui offre aux développeurs un moyen simple de déployer des modèles d’IA grâce à notre API intuitive, tout en fournissant un cloud GPU abordable et fiable pour construire et mettre à l’échelle.
| Modèle | Prix | Résolution | Temps de génération |
| Wan 2.1 T2V | 0,3 $/vidéo | 1280*720 | 5 s |
| Wan 2.2 T2V | 0,4 $/vidéo | 1080P | 5 s |
Essayez Wan 2.2 dès maintenant !
Guide d’accès au Wan 2.2 T2V
Étape 1 : Connectez-vous et accédez à la bibliothèque de modèles
Connectez-vous à votre compte et cliquez sur le bouton Bibliothèque de modèles.
Étape 2 : Choisissez votre modèle
Parcourez les options disponibles et sélectionnez le modèle qui correspond à vos besoins.
Étape 3 : Récupérez votre clé API
Pour vous authentifier auprès de l’API, nous vous fournirons une nouvelle clé API. En vous rendant sur la page « Paramètres », vous pouvez copier la clé API comme indiqué sur l’image.
Étape 4 : Installez l’API
Installez l’API à l’aide du gestionnaire de paquets spécifique à votre langage de programmation.
Essayez Wan 2.2 dès maintenant !
Après l’installation, importez les bibliothèques nécessaires dans votre environnement de développement. Initialisez l’API avec votre clé API pour commencer à interagir avec le LLM de Novita AI. Ceci est un exemple d’utilisation de l’API de complétion de chat pour les utilisateurs Python.
import requests
url = "https://api.novita.ai/v3/async/wan-2.2-t2v"
payload = {
"input": {
"prompt": "<string>",
"negative_prompt": "<string>"
},
"parameters": {
"size": "<string>",
"prompt_extend": True,
"seed": 123
}
}
headers = {
"Content-Type": "<content-type>",
"Authorization": "<authorization>"
}
response = requests.post(url, json=payload, headers=headers)
print(response.json())
Problèmes et solutions courants pour le Wan 2.2 T2V
Installation et compatibilité GPU
- Problème : Erreurs sur les anciens GPU (par exemple, série GTX 10) dues à FlashAttention.
- Solution : Utilisez des GPU compatibles comme les séries RTX 30/40 ou A-series. Vous pouvez également désactiver FlashAttention (
--disable_flashattn) ou le remplacer par xFormers pour des performances plus lentes mais fonctionnelles.
Vitesse de génération lente
- Problème : Sortie extrêmement lente, en particulier sur les GPU modestes.
- Solution :
- Optimisez le nombre d’étapes (30 à 50 étapes sont souvent suffisantes).
- Utilisez le modèle plus petit TI2V-5B pour des résultats plus rapides.
- Assurez-vous que les paramètres de commutation d’experts sont corrects (les configurations par défaut sont recommandées).
Problèmes de qualité de sortie (scintillements/artefacts)
- Problème : Images scintillantes ou artefacts dans les vidéos générées.
- Solution :
- Ajustez l’échelle CFG pour un meilleur équilibre entre précision et fluidité.
- Ajustez l’étape de transfert entre experts pour une diffusion optimale.
- Activez l’attention temporelle pour maintenir la cohérence des images.
- Utilisez des outils de post-traitement comme l’interpolation d’images si nécessaire.
Prompt ou sortie non conforme aux attentes
- Problème : Les sorties diffèrent des scènes décrites ou incluent des éléments indésirables.
- Solution :
- Reformulez et simplifiez les prompts.
- Utilisez des prompts négatifs pour exclure des éléments spécifiques.
- Assurez-vous que les poids du modèle sont corrects (par exemple, n’utilisez pas I2V pour des prompts texte uniquement).
Problèmes de LoRA et de fine-tuning
- Problème : Les anciens modèles LoRA de Wan 2.1 sont incompatibles avec Wan 2.2.
- Solution : Attendez les LoRA ou fine-tunes spécifiques à Wan 2.2. Assurez-vous que tout fine-tuning est adapté à la nouvelle architecture à deux experts.
Avantages et inconvénients du Wan 2.2 T2V pour les petites entreprises
| Aspect | Avantages | Inconvénients |
|---|---|---|
| Licence et coût | Gratuit sous licence Apache 2.0, pas de frais de licence, réduit considérablement les coûts d’entrée. | Coûts de calcul élevés pour une utilisation à grande échelle (cloud ou électricité). |
| Qualité du contenu | Vidéos de qualité cinématographique ; création en interne sans avoir à embaucher des designers ou des vidéastes. | Qualité de sortie imprévisible ; peut nécessiter une révision et une édition manuelles. |
| Flexibilité créative | Prototypage rapide avec des prompts texte ; délai d’exécution court pour les vidéos conceptuelles. | Plus lent pour la génération en temps réel ou à la demande ; mieux adapté au contenu planifié à l’avance. |
| Personnalisation | Adapté à l’esthétique de la marque via des prompts ou du fine-tuning ; flexibilité open source pour une intégration plus poussée. | Nécessite une expertise pour concevoir des prompts ou fine-tuner les modèles efficacement. |
| Scalabilité | Générez facilement des centaines de vidéos ; idéal pour des publicités localisées ou des tests A/B. | Matériel coûteux (par exemple, RTX 4090 ou A100) nécessaire pour une utilisation à haute capacité. |
| Support communautaire | Soutenu par la communauté open source ; accès à des tutoriels, des mises à jour et des outils comme les workflows ComfyUI. | Pas de support formel ni de garanties ; dépend de la bonne volonté de la communauté pour le dépannage. |
| Facilité d’utilisation | Simplifie la création de vidéos pour les petites équipes ; fait office de « mini studio créatif ». | Nécessite des connaissances en ML pour l’installation (Python, CUDA, paramètres de modèle) ; courbe d’apprentissage abrupte. |
| Éthique et juridique | Permet l’innovation dans le marketing piloté par l’IA. | Risques de génération de contenu involontaire ou inapproprié ; potentielles responsabilités juridiques. |
Idéal pour : Les petites entreprises disposant d’une expertise technique ou d’accès à des consultants, visant à réduire les coûts de création de contenu et à mettre à l’échelle la production vidéo. Défis : Nécessite une planification minutieuse, une configuration technique et un suivi du matériel et des coûts.
Tendances futures de la technologie Wan 2.2 T2V
- Résolution et durée plus élevées
- Évolution vers le 1080p, 4K et des clips plus longs (10 à 20 secondes).
- Cohérence améliorée pour les vidéos longues grâce à une génération hiérarchique.
- Mouvement et cohérence améliorés
- Meilleure stabilité du mouvement et interactions naturelles.
- Experts spécialisés pour différents types de mouvement (par exemple, lent vs rapide).
- Montage vidéo et multimodalité
- Commandes textuelles pour éditer des vidéos existantes (par exemple, changements de scène ou suppression d’objets).
- Intégration de la génération audio pour des projets vidéo complets.
- Efficacité et scalabilité
- Modèles plus petits et plus rapides (par exemple, modèles 5B distillés avec une qualité proche de 27B).
- La génération de vidéos en temps réel devient réalisable grâce aux progrès matériels.
- Croissance de la communauté et de l’écosystème
- Fine-tunes de niche (par exemple, style cartoon, vidéos médicales).
- Adoption plus large grâce à des plugins et des applications mobiles.
- Éthique et réglementation
- Filigranes et métadonnées pour le contenu généré par l’IA.
- Normes garantissant la transparence dans des cas d’usage comme la publicité.
La sortie de l’API Wan 2.2 marque une avancée significative dans la technologie texte-vers-vidéo. Avec des résolutions plus élevées, une cohérence de mouvement améliorée et une efficacité accrue, Wan 2.2 ouvre de nouvelles possibilités pour les développeurs et les créateurs. Son interface API flexible vous permet de donner vie à vos idées, établissant une nouvelle norme pour la génération de vidéos.
Foire aux questions
Qu’est-ce que Wan 2.2 ?
Wan 2.2 est un modèle texte-vers-vidéo open source capable de générer des vidéos de haute qualité et cohérentes dans le mouvement, adaptées à des applications comme la publicité, la réalisation de films et bien plus encore.
Quelles sont les nouveautés de Wan 2.2 par rapport aux versions précédentes ?
- Prise en charge de résolutions plus élevées (jusqu’au 1080p).
- Cohérence temporelle améliorée, réduisant les scintillements.
- Introduction de l’architecture Mixture-of-Experts (MoE) pour une meilleure gestion des scènes complexes.
Quelles sont les performances de Wan 2.2 ?
Wan 2.2 excelle en vitesse, en optimisation de la mémoire et en qualité de sortie. Associé à des GPU haut de gamme, il peut générer rapidement des vidéos haute résolution.
Novita AI est la plateforme cloud tout-en-un qui donne vie à vos ambitions en IA. APIs intégrées, serverless, instances GPU — les outils rentables dont vous avez besoin. Éliminez les infrastructures, commencez gratuitement et concrétisez votre vision de l’IA.
