Destaques Principais
Disponibilidade Open-Source: O Wan2.1 é um modelo de IA open-source que possibilita a geração de vídeos de alta qualidade e baixo custo para acadêmicos, pesquisadores e empresas.
Capacidades Versáteis: Suporta T2V, I2V, Edição de Vídeo, T2I e gera texto multilíngue em chinês e inglês para legendas.
Requisitos de Hardware: O T2V-1.3B tem apenas 1,3B de parâmetros, reduzindo significativamente os requisitos de hardware.
Arquitetura do Modelo e Inovações: Apresenta o Wan-VAE para codificação 3D, Video Diffusion DiT e um pipeline robusto para conjuntos de dados de treinamento de alta qualidade.
VBench e Avaliação de Performance: Supera concorrentes como o Sora com 86,22% no VBench, destacando-se em consistência de identidade, precisão espacial e execução de instruções de ação.
Novita AI oferece uma API para o Wan 2.1. Basta se inscrever para um teste gratuito e usar a API com solicitações simples.
O Wan2.1 é um modelo de IA open-source desenvolvido pela Alibaba Cloud para geração avançada de vídeos. Projetado para alto desempenho, eficiência e versatilidade, atende a uma ampla gama de aplicações criativas e profissionais. Os modelos estão disponíveis na comunidade de modelos de IA da Alibaba Cloud, ModelScope, e no Hugging Face.
fonte: wan
Inicie um teste gratuito na Novita AI hoje. Para integrar a API do Hunyuan Video, visite nossa documentação para desenvolvedores para mais detalhes.
A Novita oferece preços altamente competitivos no mercado.
Por exemplo, um vídeo Wan 2.1 720P de 5 segundos custa apenas $0,3 por vídeo,
enquanto um vídeo semelhante no Replicate custa $2,39 por vídeo.
Disponibilidade Open-Source
A Alibaba Cloud tornou open-source sua série de modelos de IA Wan2.1 para geração de vídeos. Esta iniciativa visa reduzir as barreiras de acesso e permitir que empresas criem conteúdo visual de alta qualidade de forma econômica. Ao disponibilizar esses modelos como open-source, acadêmicos, pesquisadores e entidades comerciais podem aproveitar o poder da IA para seus projetos sem custos iniciais significativos.
Capacidades Versáteis do Wan2.1
O Wan2.1 se destaca em uma variedade de tarefas, tornando-se uma ferramenta versátil para geração de vídeos:
- Texto para Vídeo (T2V)
- Imagem para Vídeo (I2V)
- Edição de Vídeo
- Texto para Imagem (T2I)
Notavelmente, o Wan2.1 é o primeiro modelo de vídeo capaz de gerar texto tanto em chinês quanto em inglês, apresentando uma geração robusta de texto que amplia suas aplicações práticas.
Requisitos de Hardware
Abaixo está um resumo detalhado dos requisitos de hardware para os quatro modelos Wan2.1. A tabela descreve a funcionalidade de cada modelo, resolução suportada, tamanho do modelo, demanda de hardware e GPUs recomendadas para desempenho ideal.
| Nome do Modelo | Função | Resolução Suportada | Tamanho do Modelo | Demanda de Hardware | GPU Recomendada |
|---|---|---|---|---|---|
| T2V-14B | Texto para Vídeo (T2V) | 480P / 720P | 14B | ⭐⭐⭐⭐ | A100 / RTX 3090 / RTX 4090 |
| I2V-14B-720P | Imagem para Vídeo (I2V) | 720P | 14B | ⭐⭐⭐⭐ | A100 / RTX 3090 / RTX 4090 |
| I2V-14B-480P | Imagem para Vídeo (I2V) | 480P | 14B | ⭐⭐⭐ | RTX 3090 / RTX 4070 Ti |
| T2V-1.3B | Texto para Vídeo (T2V) | Baixa Resolução | 1.3B | ⭐⭐ | RTX 3060 / RTX 4060 ou superior |
Arquitetura do Modelo e Principais Inovações
O Wan2.1 é construído sobre o paradigma do transformer de difusão, aprimorado pelo framework Flow Matching. Suas principais inovações incluem:
- Wan-VAE: Um autoencoder variacional 3D projetado para compressão eficiente e alta fidelidade na reprodução de movimento. Ele codifica e decodifica vídeos em 1080P enquanto mantém a coerência temporal. O modelo integra múltiplas estratégias para otimizar a compressão espaço-temporal, reduzir o uso de memória e garantir causalidade temporal.
- Video Diffusion DiT: O Wan2.1 utiliza o framework Flow Matching dentro de Transformers de Difusão, empregando um codificador T5 para entrada de texto multilíngue e atenção cruzada para incorporar texto no modelo. Um MLP compartilhado com camadas SiLU e Linear prevê seis parâmetros de modulação para embeddings de tempo, permitindo que cada bloco transformer aprenda vieses distintos. Essa arquitetura melhora significativamente o desempenho sem aumentar a escala de parâmetros.
- Um conjunto de dados candidato: O Wan 2.1 selecionou e deduplicou um conjunto de dados candidato contendo uma vasta quantidade de dados de imagem e vídeo. Durante o processo de curadoria de dados, projetamos um processo de limpeza de dados em quatro etapas, focando em dimensões fundamentais, qualidade visual e qualidade de movimento. Através do pipeline robusto de processamento de dados, podemos obter facilmente conjuntos de treinamento de imagens e vídeos de alta qualidade, diversos e em grande escala.
Avaliação VBench
O VBench é um conjunto de benchmarks robusto e abrangente projetado para avaliar modelos generativos de vídeo. Ele divide a “qualidade da geração de vídeo” em dimensões hierárquicas, separadas e específicas, cada uma equipada com prompts e métodos de avaliação personalizados. As principais métricas de avaliação incluem:
- Geração de Grandes Movimentos
- Artefatos Humanos
- Estabilidade em Nível de Pixel
- Consistência de Identidade
- Plausibilidade Física
- Suavidade
- Qualidade Abrangente de Imagem
- Qualidade de Geração de Cena
- Capacidade de Estilização
- Precisão de Objeto Único
- Precisão de Múltiplos Objetos
- Precisão de Posição Espacial
- Controle de Câmera
- Seguimento de Instruções de Ação
O objetivo do VBench é fornecer insights valiosos sobre os pontos fortes e fracos de modelos individuais, permitindo uma avaliação detalhada e objetiva. Esses insights não apenas orientam desenvolvimentos futuros na geração de vídeos, mas também ajudam a melhorar o desempenho dos modelos. Para garantir alinhamento com a percepção humana, o VBench incorpora anotações de preferência humana, validando sua relevância e confiabilidade como benchmark. O desempenho do Wan2.1 é apresentado no gráfico abaixo:
fonte: Alizila
Além disso, o Wan-Bench foi utilizado para avaliar o modelo T2V-1.3B, que superou concorrentes open-source maiores em métricas-chave. Essas avaliações destacam os avanços do modelo em:
Wan 2.1 vs Sora
Superioridade de Desempenho Abrangente:
- O Wan2.1 alcança uma pontuação geral mais alta no VBench, com 86,22%, superando os 84,28% do Sora, e demonstra desempenho superior em várias subdimensões.
Suporte para Geração de Legendas em Chinês e Inglês:
- O Wan2.1 é o primeiro modelo de geração de vídeo a suportar a geração de legendas tanto em chinês quanto em inglês, conferindo-lhe uma vantagem única em cenários multilíngues. O Sora não oferece essa funcionalidade.
Desempenho em Subdimensões:
- Consistência de Identidade: O Wan2.1 se destaca em manter a consistência dos sujeitos dentro dos vídeos.
- Precisão de Objeto Único: O Wan2.1 gera resultados mais precisos para cenários de objeto único.
- Precisão de Posição Espacial: O Wan2.1 supera significativamente o Sora no tratamento de relações lógicas espaciais.
- Execução de Instruções de Ação: O Wan2.1 demonstra melhor compreensão e execução de instruções de ação complexas.
Código Aberto e Acessibilidade:
- O Wan2.1 fornece código aberto, tornando-o mais acessível e fácil para desenvolvedores usarem e integrarem.
- O Sora, embora ofereça APIs, não é open-source, o que limita sua flexibilidade.
Áreas para Melhoria:
- O Wan2.1 é ligeiramente inferior ao Sora em termos de suavidade de movimento e geração de grandes movimentos, mas a diferença é mínima.
Aplicações
Criação de Conteúdo
- Permite a geração automatizada de vídeos de alta qualidade para mídias sociais, marketing e entretenimento.
- Suporta geração de vídeos estilizados para atender necessidades artísticas ou de marca específicas.
Educação e E-Learning
- Gera vídeos educacionais com visuais personalizados e legendas em chinês e inglês.
- Facilita a criação de conteúdo de aprendizado envolvente e personalizado.
Cinema e Animação
- Auxilia na criação de storyboards, protótipos de vídeo ou cenas completas com base em entradas de texto ou imagem.
- Suporta legendas multilíngues, tornando-o adequado para públicos globais.
Publicidade e Marketing
- Produz anúncios em vídeo personalizados para públicos-alvo específicos.
- Melhora campanhas com conteúdo visualmente atraente e sensível ao contexto.
Jogos
- Gera cenas ou animações dentro do jogo com base em descrições textuais ou imagens de personagens.
- Cria ativos de vídeo dinâmicos para desenvolvimento de jogos e narrativas.
Comunicação Multilíngue
- Suporta geração de legendas em chinês e inglês, sendo ideal para apresentações e mídias multilíngues.
Prototipagem e Visualização
- Auxilia na visualização de conceitos, ideias ou designs arquitetônicos através de vídeo.
- Gera representações dinâmicas de projetos para apresentações ou pitches.
Acessibilidade e Inclusão
- Cria vídeos com legendas, melhorando a acessibilidade para públicos com deficiência auditiva.
- O suporte multilíngue facilita a criação de conteúdo para diversos grupos de usuários.
Explore a Demonstração em Vídeo do Wan 2.1 Agora
O Wan2.1 representa um avanço significativo na geração de vídeos impulsionada por IA. Sua natureza open-source, capacidades multilíngues e desempenho superior em benchmarks como o VBench o posicionam como uma ferramenta versátil e acessível para aplicações criativas e profissionais. Embora fique ligeiramente atrás do Sora em suavidade de movimento e geração de grandes movimentos, suas capacidades gerais, arquitetura inovadora e ampla gama de aplicações o tornam um divisor de águas para indústrias como educação, mídia, jogos e muito mais.
Novita AI é a plataforma em nuvem all-in-one que impulsiona suas ambições de IA. APIs integradas, serverless, instância GPU — as ferramentas econômicas que você precisa. Elimine a infraestrutura, comece gratuitamente e torne sua visão de IA realidade.
