Destaques principais
O Wan2.1 se destaca na precisão de mundo real, incluindo:
Detalhes das mãos: Renderiza dedos e texturas.
Animação de desenhos: Transforma desenhos estáticos em clipes.
Física: Simula efeitos como árvores se curvando.
Movimento de cabelo: Anima mechas de forma realista.
Interações com objetos: Lida com interações espaciais complexas.
Renderização de multidões: Mantém clareza em cenas grandes.
Através da Novita AI, um vídeo de 5 segundos em 720P custa $0,40, com APIs fáceis de usar. O Wan2.1 combina acessibilidade, custo-benefício e precisão na geração de vídeos.
Explorando todo o poder do Wan 2.1
O que é Wan 2.1？
A Alibaba Cloud deu um passo significativo ao abrir o código da sua série de modelos de IA Wan2.1 para geração de vídeos. Esta iniciativa reduz as barreiras de acesso para acadêmicos, pesquisadores e usuários comerciais, permitindo que aproveitem capacidades de IA de ponta sem custos iniciais substanciais. Ao disponibilizar esses modelos abertamente, a Alibaba Cloud promove inovação e colaboração nas áreas de IA e geração de vídeos.
Capacidades versáteis do Wan2.1
O Wan2.1 é uma ferramenta altamente versátil, destacando-se em várias tarefas relacionadas à geração de vídeos e imagens:
- Texto para Vídeo (T2V): Converte prompts de texto em vídeos.
- Imagem para Vídeo (I2V): Gera vídeos a partir de uma única imagem.
- Edição de Vídeo: Permite edição baseada em IA para melhorar a qualidade e efeitos visuais.
- Texto para Imagem (T2I): Transforma descrições textuais em imagens estáticas.
Um recurso de destaque do Wan2.1 é a capacidade de gerar texto tanto em chinês quanto em inglês, tornando-se pioneiro na geração de vídeos multilíngues. Suas robustas capacidades de geração de texto aumentam sua praticidade em diversos casos de uso.
Precisão de mundo real do Wan2.1
A série Wan2.1 se destaca pela excepcional precisão na simulação de física e detalhes do mundo real. Abaixo estão algumas das principais capacidades que destacam seu desempenho:
a. Detalhes das mãos
- O modelo é excelente na renderização de mãos, mostrando detalhes precisos como dedos individuais, texturas da pele e até acessórios como anéis.
b. Animação de desenhos
- O Wan2.1 pode transformar desenhos estáticos em clipes de vídeo curtos, tornando-se uma ferramenta poderosa para animadores e artistas digitais.
c. Simulação física
- O modelo representa com precisão a física do mundo real. Por exemplo, pode renderizar uma girafa pendurada de cabeça para baixo em uma árvore, com o galho se curvando realisticamente sob o peso.
d. Movimento de cabelo
- Renderiza com precisão o movimento do cabelo em vídeos, mostrando mechas individuais enquanto se movem naturalmente quando as pessoas viram a cabeça.
e. Interações com objetos
- O Wan2.1 pode simular interações complexas entre objetos, garantindo que múltiplos objetos interajam de forma realista no mesmo espaço.
f. Renderização de multidões
- O modelo é excelente na renderização de grandes multidões, com cada indivíduo permanecendo distinto, resultando em cenas coerentes e detalhadas.
VBench do Wan 2.1
O VBench foi projetado para fornecer insights valiosos sobre os pontos fortes e fracos de modelos individuais, facilitando uma avaliação detalhada e objetiva. Esses insights não apenas informam avanços futuros na geração de vídeos, mas também contribuem para melhorar o desempenho dos modelos. Para garantir consistência com a percepção humana, o VBench integra anotações de preferência humana, reforçando sua relevância e confiabilidade como referência. O gráfico abaixo destaca o desempenho do Wan2.1:
fonte Alizila
Requisitos de hardware do Wan2.1
O Wan2.1 oferece vários modelos adaptados para diferentes casos de uso, cada um com demandas específicas de hardware. Abaixo está um resumo detalhado dos requisitos de hardware para os quatro modelos do Wan2.1:
| Nome do Modelo | Função | Suporte de Resolução | Tamanho do Modelo | Demanda de Hardware | GPU Recomendada |
|---|---|---|---|---|---|
| T2V-14B | Texto para Vídeo (T2V) | 480P / 720P | 14B | ⭐⭐⭐⭐ | A100 / RTX 3090 / RTX 4090 |
| I2V-14B-720P | Imagem para Vídeo (I2V) | 720P | 14B | ⭐⭐⭐⭐ | A100 / RTX 3090 / RTX 4090 |
| I2V-14B-480P | Imagem para Vídeo (I2V) | 480P | 14B | ⭐⭐⭐ | RTX 3090 / RTX 4070 Ti |
| T2V-1.3B | Texto para Vídeo (T2V) | Baixa resolução | 1,3B | ⭐⭐ | RTX 3060 / RTX 4060 ou superior |
Execute Wan2.1 com uma API
Novita AI é uma plataforma de nuvem de IA que oferece aos desenvolvedores uma maneira fácil de implantar modelos de IA usando nossa API simples, enquanto também fornece a GPU de nuvem acessível e confiável para construir e escalar.
A Novita oferece preços altamente competitivos no mercado.
Por exemplo, um vídeo Wan 2.1 720P de 5 segundos custa apenas $0,4 por vídeo
Enquanto um vídeo semelhante no Replicate custa $1 por vídeo
Passo 1: Faça login e acesse a Biblioteca de Modelos
Faça login na sua conta e clique no botão Biblioteca de Modelos.
Passo 2: Escolha seu modelo
Navegue pelas opções disponíveis e selecione o modelo que atende às suas necessidades.
Passo 3: Inicie sua avaliação gratuita
Comece sua avaliação gratuita para explorar as capacidades do modelo selecionado.
Passo 4: Obtenha sua chave de API
Para autenticar na API, forneceremos a você uma nova chave de API. Entre na página “Configurações” e copie a chave de API conforme indicado na imagem.
Passo 5: Instale a API
Instale a API usando o gerenciador de pacotes específico para sua linguagem de programação.
Após a instalação, importe as bibliotecas necessárias para o seu ambiente de desenvolvimento. Inicialize a API com sua chave de API para começar a interagir com a Novita AI LLM. Este é um exemplo de uso da API de conclusão de chat para usuários Python.
import requests
url = "https://api.novita.ai/v3/async/wan-t2v"
payload = {
"extra": {"webhook": {
"url": "<string>",
"test_mode": {
"enabled": True,
"return_task_status": "<string>"
}
}},
"model_name": "<string>",
"width": 123,
"height": 123,
"seed": 123,
"prompt": "<string>",
"frames": 123
}
headers = {
"Content-Type": "<content-type>",
"Authorization": "<authorization>"
}
response = requests.request("POST", url, json=payload, headers=headers)
print(response.text)
Perguntas Frequentes
Qual hardware é necessário para executar o Wan2.1?
GPUs de alto desempenho como A100, RTX 3090 ou RTX 4090 são recomendadas para modelos de 14B.
Modelos de entrada (ex.: T2V-1.3B) podem ser executados em RTX 3060+ para tarefas de baixa resolução.
O que torna a Novita AI econômica para o Wan2.1?
Preços competitivos: $0,40 por vídeo de 5 segundos em 720P em comparação com $2,39 em plataformas similares.
API fácil de usar com documentação detalhada para desenvolvedores.
Como posso usar o Wan2.1 via API?
Passos para usar o Wan2.1 através da Novita AI:
Faça login e acesse a biblioteca de modelos.
Selecione o modelo desejado.
Inicie uma avaliação gratuita para explorar suas capacidades.
Obtenha sua chave de API na seção Configurações.
Instale e integre a API ao seu ambiente de desenvolvimento.
Novita AI é a plataforma completa em nuvem que impulsiona suas ambições de IA. APIs integradas, serverless, instância de GPU — as ferramentas econômicas que você precisa. Elimine infraestrutura, comece gratuitamente e torne sua visão de IA realidade.
