A Novita AI lançou oficialmente a mais recente API Wan 2.2, uma ferramenta de ponta para geração de texto para vídeo. Este artigo apresentará o que é o Wan 2.2, destacará seus novos recursos e atualizações, e discutirá seu desempenho. Além disso, abordaremos perguntas comuns para ajudá-lo a começar a usar essa tecnologia poderosa.
O que é o Wan 2.2 T2V?
O Wan 2.2 T2V é o mais recente modelo de IA generativa de texto para vídeo de código aberto da Alibaba, representando uma atualização importante em relação ao sistema Wan 2.1 anterior. Ele faz parte da série de modelos de geração de vídeo “Wan” da Alibaba (muitas vezes chamado de Tongyi Wanxiang em chinês) e é notável por ser o primeiro modelo de vídeo de código aberto da indústria que usa uma arquitetura Mistura de Especialistas (MoE). O Wan 2.2 na verdade engloba um conjunto de modelos, incluindo um modelo dedicado de texto para vídeo e ferramentas relacionadas, mas o “Wan 2.2 T2V” se refere especificamente ao componente de texto para vídeo dessa série.
Especificações do Wan 2.2 T2V
| Categoria | Descrição |
|---|---|
| Arquitetura do Modelo | Usa uma arquitetura Mistura de Especialistas com dois submodelos especialistas. |
| Contagem de Parâmetros | O modelo total tem 27 bilhões de parâmetros, mas apenas 14 bilhões estão ativos durante a inferência. |
| Vantagens de Design | Ao usar “especialistas” especializados (cada um com cerca de 14B de parâmetros), o modelo dobra de tamanho mantendo custos de execução semelhantes ao seu antecessor, o Wan 2.1 (14B de parâmetros). |
| Variantes de Modelo Lançadas | 1. T2V-A14B: Um modelo de texto para vídeo para gerar vídeos a partir de texto. 2.TI2V-5B: Um modelo híbrido para ambas as tarefas, otimizado para hardware de nível consumidor (5B de parâmetros). |
| Otimização de Hardware | O TI2V-5B é otimizado para GPUs de nível consumidor, como executar em uma única NVIDIA RTX 4090. |
| Resolução e Taxa de Quadros | O modelo padrão Wan 2.2 T2V pode gerar vídeos de 5 segundos de duração com resolução 720p (1280×720) a 24 quadros por segundo. |
Principais Recursos do Wan 2.2 T2V
Qualidade e Controle Cinematográficos
- Treinado em um dataset meticulosamente curado com rótulos estéticos para gerar vídeos com aparência e sensação cinematográficas.
- Suporta controle de texto granular, permitindo que os usuários especifiquem:
- Condições de iluminação
- Hora do dia
- Tom de cor
- Ângulos de câmera
- Distância focal
- Outros aspectos cinematográficos.
- Compreende termos cinematográficos como “iluminação de hora dourada” e “lente grande angular”, garantindo controle preciso sobre a saída de vídeo.
Conjunto Generativo Multimodal
- Inclui uma funcionalidade de transferência de estilo:
- Permite a aplicação de um clique de estilos artísticos, como converter fotos ou vídeos em formatos de desenho animado ou esboço (veo-video.org).
- Fornece uma família de modelos unificada que suporta várias tarefas generativas, tornando-se uma plataforma de IA criativa abrangente.
Código Aberto e Ecossistema Comunitário
Licenciado sob a Apache 2.0, permitindo uso comercial (hackernoon.com). Suportado por uma comunidade ativa que contribui com:
- Guias
- Ferramentas de integração (por exemplo, para ComfyUI)
- Otimizações de ajuste fino
- Suporte geral.
Quais otimizações de fluxo de trabalho estão no Wan 2.2?
Wan 2.2 T2V vs Wan 2.1 T2V
Wan 2.2 T2V vs Wan 2.1 T2V: Arquitetura
| Aspecto | Wan 2.1 | Wan 2.2 |
|---|---|---|
| Arquitetura | Transformador de Difusão de estágio único (UNet). | Mistura de Especialistas (MoE) de dois estágios com Especialistas de Alto Ruído e Baixo Ruído. |
| Parâmetros | 14B (base) e 1.3B (pequeno). | 27B no total (14B ativos); 14B T2V, 14B I2V e modelo híbrido de 5B. |
| Dados de Treinamento | Dataset grande, menos curado. | +65% de imagens, +83% de vídeos, anotados para atributos estéticos e cinematográficos. |
| Qualidade de Saída | Boa, mas propensa a cintilação; adequada para vídeos mais simples e estilizados. | Maior detalhe, melhor consistência temporal, realismo e visuais cinematográficos. |
| Recursos | T2V, I2V, edição (framework VACE), suporte a ajuste fino LoRA. | T2V, I2V, melhor transferência de estilo; sem VACE ainda, compatibilidade LoRA limitada. |
Wan 2.2 T2V vs Wan 2.1 T2V: Desempenho
Wan 2.2 T2V vs Wan 2.1 T2V: Geração
Wan 2.2 T2V
Wan 2.1 T2V
Custo e Acesso ao Wan 2.2 T2V
Custos de Hardware
| Modelo | Requisito Mínimo de VRAM (GB) | Modelo Mínimo de GPU | Quantidade Mínima de GPUs | Velocidade por GPU Única (s) (480P) | Velocidade por GPU Única (s) (720P) | Preço Aproximado da GPU (USD) |
|---|---|---|---|---|---|---|
| T2V-5B | 22.6 | NVIDIA RTX 4090 | 1 | 534.7 | 524.8 | $1,599 |
| T2V-A14B | 41.3 | NVIDIA A100 | 1 | 1133.9 | 4048.7 | $10,000 - $15,000 |
Notas:
- NVIDIA RTX 4090: Lançada em outubro de 2022 com um preço sugerido de $1,599.
- NVIDIA A100: Os preços variam de acordo com a configuração e fatores de mercado. O modelo PCIe de 40GB geralmente varia de $10,000 a $12,000, enquanto o modelo PCIe de 80GB varia de $12,000 a $15,000.
Custos de API
A Novita AI é uma plataforma de nuvem de IA que oferece aos desenvolvedores uma maneira fácil de implantar modelos de IA usando nossa API simples, além de fornecer a nuvem de GPU acessível e confiável para construir e escalar.
| Modelo | Preço | Resolução | Tempo de Geração |
| Wan 2.1 T2V | $0.3/vídeo | 1280*720 | 5s |
| Wan 2.2 T2V | $0.4/vídeo | 1080P | 5s |
Guia de Acesso ao Wan 2.2 T2V
Passo 1: Faça login e acesse a Biblioteca de Modelos
Faça login na sua conta e clique no botão Biblioteca de Modelos.
Passo 2: Escolha seu Modelo
Navegue pelas opções disponíveis e selecione o modelo que atende às suas necessidades.
Passo 3: Obtenha sua Chave de API
Para autenticar com a API, forneceremos uma nova chave de API. Acessando a página “Configurações”, você pode copiar a chave de API conforme indicado na imagem.
Passo 4: Instale a API
Instale a API usando o gerenciador de pacotes específico para sua linguagem de programação.
Após a instalação, importe as bibliotecas necessárias para seu ambiente de desenvolvimento. Inicialize a API com sua chave de API para começar a interagir com o LLM da Novita AI. Este é um exemplo de uso da API de conclusões de chat para usuários de Python.
import requests
url = "https://api.novita.ai/v3/async/wan-2.2-t2v"
payload = {
"input": {
"prompt": "<string>",
"negative_prompt": "<string>"
},
"parameters": {
"size": "<string>",
"prompt_extend": True,
"seed": 123
}
}
headers = {
"Content-Type": "<content-type>",
"Authorization": "<authorization>"
}
response = requests.post(url, json=payload, headers=headers)
print(response.json())
Problemas Comuns do Wan 2.2 T2V e Soluções
Instalação e Compatibilidade de GPU
- Problema: Erros em GPUs mais antigas (por exemplo, série GTX 10) devido ao FlashAttention.
- Solução: Use GPUs compatíveis como as séries RTX 30/40 ou da série A. Como alternativa, desative o FlashAttention (
--disable_flashattn) ou substitua-o pelo xFormers para um desempenho mais lento, mas funcional.
Velocidade de Geração Lenta
- Problema: Saída extremamente lenta, especialmente em GPUs modestas.
- Solução:
- Otimize a contagem de etapas (30 a 50 etapas geralmente são suficientes).
- Use o modelo menor TI2V-5B para resultados mais rápidos.
- Garanta que as configurações de troca de especialistas estejam corretas (as configurações padrão são recomendadas).
Problemas de Qualidade de Saída (Cintilação/Artefatos)
- Problema: Quadros cintilantes ou artefatos nos vídeos gerados.
- Solução:
- Ajuste a escala CFG para um melhor equilíbrio entre precisão e suavidade.
- Ajuste a etapa de transferência de especialistas para uma difusão ideal.
- Ative a atenção temporal para manter a consistência dos quadros.
- Use ferramentas de pós-processamento como interpolação de quadros, se necessário.
Prompt ou Saída Diferente do Esperado
- Problema: As saídas diferem das cenas descritas ou incluem elementos indesejados.
- Solução:
- Reformule e simplifique os prompts.
- Use prompts negativos para excluir elementos específicos.
- Garanta que os pesos do modelo estejam corretos (por exemplo, não use I2V para prompts apenas de texto).
Problemas de LoRA e Ajuste Fino
- Problema: Modelos LoRA antigos do Wan 2.1 são incompatíveis com o Wan 2.2.
- Solução: Aguarde LoRAs ou ajustes finos específicos para o Wan 2.2. Garanta que qualquer ajuste fino seja adaptado à nova arquitetura de dois especialistas.
Prós e Contras do Wan 2.2 T2V para Pequenas Empresas
| Aspecto | Vantagens | Desvantagens |
|---|---|---|
| Licenciamento e Custo | Gratuito sob a Apache 2.0, sem taxas de licenciamento, reduz drasticamente os custos de entrada. | Altos custos computacionais para uso em grande escala (nuvem ou eletricidade). |
| Qualidade do Conteúdo | Vídeos de qualidade cinematográfica; criação interna sem necessidade de contratar designers ou videógrafos. | Qualidade de saída imprevisível; pode exigir revisão e edição manual. |
| Flexibilidade Criativa | Prototipagem rápida com prompts de texto; turnaround rápido para vídeos conceituais. | Mais lento para geração em tempo real ou sob demanda; melhor para conteúdo pré-planejado. |
| Personalização | Adaptado à estética da marca por meio de prompts ou ajuste fino; flexibilidade de código aberto para integração mais profunda. | Requer experiência para criar prompts ou ajustar modelos de forma eficaz. |
| Escalabilidade | Gere centenas de vídeos facilmente; ideal para anúncios localizados ou testes A/B. | Hardware caro (por exemplo, RTX 4090 ou A100) necessário para uso de alta capacidade. |
| Suporte Comunitário | Apoiado pela comunidade de código aberto; acesso a tutoriais, atualizações e ferramentas como fluxos de trabalho do ComfyUI. | Sem suporte formal ou garantias; dependência da boa vontade da comunidade para solução de problemas. |
| Facilidade de Uso | Simplifica a criação de vídeo para pequenas equipes; atua como um “mini estúdio criativo”. | Requer conhecimento de ML para configuração (Python, CUDA, parâmetros de modelo); curva de aprendizado acentuada. |
| Ético e Legal | Permite inovação no marketing orientado por IA. | Riscos de gerar conteúdo indesejado ou inadequado; potenciais responsabilidades legais. |
Melhor para: Pequenas empresas com experiência técnica ou acesso a consultores, que visam reduzir os custos de criação de conteúdo e escalar a produção de vídeo. Desafios: Requer planejamento cuidadoso, configuração técnica e monitoramento de hardware e custos.
Tendências Futuras na Tecnologia Wan 2.2 T2V
- Maior Resolução e Duração
- Movimento em direção a 1080p, 4K e clipes mais longos (10 a 20 segundos).
- Coerência aprimorada para vídeos estendidos por meio de geração hierárquica.
- Movimento e Consistência Aprimorados
- Melhor estabilidade de movimento e interações naturais.
- Especialistas especializados para diferentes tipos de movimento (por exemplo, lento vs. rápido).
- Edição de Vídeo e Multimodalidade
- Comandos de texto para editar vídeos existentes (por exemplo, alterações de cena ou remoção de objetos).
- Integração de geração de áudio para projetos de vídeo completos.
- Eficiência e Escalabilidade
- Modelos menores e mais rápidos (por exemplo, modelos destilados de 5B com qualidade próxima a 27B).
- A geração de vídeo em tempo real se torna viável com os avanços de hardware.
- Crescimento da Comunidade e Ecossistema
- Ajustes finos de nicho (por exemplo, estilo de desenho animado, vídeos médicos).
- Adoção mais ampla por meio de plugins e aplicativos móveis.
- Ética e Regulamentação
- Marcas d’água e metadados para conteúdo gerado por IA.
- Padrões que garantem transparência em casos de uso como publicidade.
O lançamento da API Wan 2.2 marca um avanço significativo na tecnologia de texto para vídeo. Com resoluções mais altas, consistência de movimento aprimorada e eficiência melhorada, o Wan 2.2 abre novas possibilidades para desenvolvedores e criadores. Sua interface de API flexível capacita você a dar vida às suas ideias, definindo um novo padrão para geração de vídeo.
Perguntas Frequentes
O que é o Wan 2.2?
O Wan 2.2 é um modelo de texto para vídeo de código aberto capaz de gerar vídeos de alta qualidade e com consistência de movimento, adequados para aplicações como publicidade, produção de filmes e muito mais.
O que há de novo no Wan 2.2 em comparação com versões anteriores?
- Suporte a resoluções mais altas (até 1080p).
- Consistência temporal aprimorada, reduzindo a cintilação.
- Introdução da arquitetura Mistura de Especialistas (MoE) para melhor tratamento de cenas complexas.
Como o Wan 2.2 tem desempenho?
O Wan 2.2 se destaca em velocidade, otimização de memória e qualidade de saída. Quando combinado com GPUs de alta gama, ele pode gerar vídeo de alta resolução rapidamente.
Novita AI é a plataforma de nuvem tudo-em-um que capacita suas ambições de IA. APIs integradas, sem servidor, Instância de GPU — as ferramentas econômicas que você precisa. Elimine a infraestrutura, comece gratuitamente e torne sua visão de IA uma realidade.
