Novita AI 上的 Wan 2.2 T2V:有哪些新特性及为何重要

Novita AI 上的 Wan 2.2 T2V:有哪些新特性及为何重要

Novita AI 已正式发布最新的Wan 2.2 API,这是一款尖端的文生视频生成工具。本文将介绍 Wan 2.2 是什么、重点说明其新特性与更新内容,并讨论其性能表现。此外,我们还会解答常见问题,帮助你快速上手这项强大的技术。

什么是 Wan 2.2 T2V?

Wan 2.2 T2V 是阿里巴巴最新的开源文生视频生成式 AI 模型,相较于早期的 Wan 2.1 系统实现了重大升级。它属于阿里巴巴“万相”(Wan)视频生成模型系列(中文常称为通义万相),是业内首款采用**混合专家(Mixture-of-Experts, MoE)**架构的开源视频模型。Wan 2.2 实际上是一套模型集合,包含专用的文生视频模型及相关工具,而“Wan 2.2 T2V”特指该系列中的文生视频组件。

Wan 2.2 T2V 规格参数

类别 说明
模型架构 采用混合专家架构,包含两个专家子模型。
参数量 模型总参数量为 270 亿,推理时仅激活 140 亿 参数。
设计优势 通过使用专用的“专家”模型(每个约 14B 参数),该模型在规模翻倍的同时,相较于前代 Wan 2.1(14B 参数) 保持了相近的运行成本。
已发布模型变体 1. T2V-A14B:用于从文本生成视频的文生视频模型。
2. TI2V-5B:面向两类任务的混合模型,针对消费级硬件优化(50 亿参数)。
硬件优化 TI2V-5B 针对消费级 GPU 优化,可在单块 NVIDIA RTX 4090 上运行。
分辨率与帧率 标准版 Wan 2.2 T2V 模型可生成时长为 5 秒、分辨率 720p(1280×720)、帧率 24 帧/秒 的视频。

Wan 2.2 T2V 核心特性

电影级画质与可控性

  • 在精心标注美学标签的数据集上训练,可生成具有电影质感的视频。
  • 支持细粒度文本控制,用户可指定以下参数:
    • 光照条件
    • 时间段
    • 色调
    • 拍摄角度
    • 焦距
    • 其他电影相关参数。
  • 支持理解“黄金时刻光照”“广角镜头”等电影术语,确保对视频输出的精准控制。

多模态生成套件

  • 包含风格迁移功能:
    • 支持一键应用艺术风格,例如将照片或视频转换为卡通、素描等格式(veo-video.org)。
  • 提供统一的模型家族,支持多种生成任务,是全面的创意 AI 平台。

开源与社区生态

采用 Apache 2.0 协议开源,允许商业使用(hackernoon.com)。活跃的社区为其提供以下支持:

  • 使用指南
  • 集成工具(例如 ComfyUI 适配工具)
  • 微调优化方案
  • 通用支持。

Wan 2.2 有哪些工作流程优化?

What Work Process Optimizations are in Wan 2.2?

Wan 2.2 T2V 与 Wan 2.1 T2V 对比

架构对比

对比维度 Wan 2.1 Wan 2.2
架构 单阶段扩散 Transformer(UNet)。 双阶段混合专家(MoE)架构,包含高噪声与低噪声专家模型。
参数量 基础版 14B,小模型 1.3B。 总参数量 27B(激活 14B);包含 14B 文生视频、14B 图生视频、50 亿参数混合模型。
训练数据 数据集规模大,标注精细度较低。 图像数据增加 65%,视频数据增加 83%,均标注了美学与电影相关属性。
输出质量 画质尚可但容易出现闪烁,适合生成风格化、内容简单的视频。 细节更丰富,时间一致性更好,真实感与电影质感更强。
功能特性 支持文生视频、图生视频、VACE 框架编辑、LoRA 微调。 支持文生视频、图生视频,风格迁移效果更好;暂不支持 VACE,LoRA 兼容性有限。

性能对比

Wan 2.2 T2V vs Wan 2.1 T2V

来源:Artificial Analysis

生成效果对比

Wan 2.2 T2V

Wan 2.1 T2V

Wan 2.2 T2V 的成本与获取方式

硬件成本

模型 最低显存要求(GB) 最低 GPU 型号 最低 GPU 数量 单卡 480P 生成速度(秒) 单卡 720P 生成速度(秒) GPU approximate 价格(美元)
T2V-5B 22.6 NVIDIA RTX 4090 1 534.7 524.8 $1,599
T2V-A14B 41.3 NVIDIA A100 1 1133.9 4048.7 $10,000 - $15,000

备注:

  • NVIDIA RTX 4090:2022 年 10 月发布,官方建议零售价为 1599 美元。
  • NVIDIA A100:价格因配置和市场因素而异,40GB PCIe 型号通常售价在 10000 至 12000 美元之间,80GB PCIe 型号售价在 12000 至 15000 美元之间。

API 调用成本

Novita AI 是一站式 AI 云平台,为开发者提供简单的 API 来部署 AI 模型,同时提供高性价比、可靠的 GPU 云服务,助力 AI 应用的构建与扩展。

模型 价格 分辨率 生成时长
Wan 2.1 T2V $0.3/条视频 1280*720 5 秒
Wan 2.2 T2V $0.4/条视频 1080P 5 秒

立即试用 Wan 2.2!

Wan 2.2 T2V 接入指南

步骤 1:登录并进入模型库

登录你的账号,点击 模型库 按钮。

Log In and Access the Model Library

步骤 2:选择模型

浏览可用的模型选项,选择符合你需求的模型。

Step 2: Choose Your Model

步骤 3:获取 API 密钥

调用 API 需要进行身份验证,我们会为你提供新的 API 密钥。进入设置页面,即可按照图中提示复制 API 密钥。

get api key

步骤 4:安装 API

使用对应编程语言的包管理器安装 API。

Step 4: Install the API

立即试用 Wan 2.2!

安装完成后,将所需的库导入到你的开发环境中,使用 API 密钥初始化 API,即可开始调用 Novita AI 的大模型服务。以下是为 Python 用户提供的聊天补全 API 调用示例:

import requests

url = "https://api.novita.ai/v3/async/wan-2.2-t2v"

payload = {
    "input": {
        "prompt": "<string>",
        "negative_prompt": "<string>"
    },
    "parameters": {
        "size": "<string>",
        "prompt_extend": True,
        "seed": 123
    }
}
headers = {
    "Content-Type": "<content-type>",
    "Authorization": "<authorization>"
}

response = requests.post(url, json=payload, headers=headers)

print(response.json())

Wan 2.2 T2V 常见问题与解决方案

安装与 GPU 兼容性问题

  • 问题:旧款 GPU(如 GTX 10 系列)因 FlashAttention 组件报错。
  • 解决方案:使用 RTX 30/40 系列或 A 系列等兼容的 GPU。也可以禁用 FlashAttention(--disable_flashattn),或替换为 xFormers,速度会稍慢但可正常运行。

生成速度慢

  • 问题:输出速度极慢,在性能较弱的 GPU 上尤为明显。
  • 解决方案
    • 优化步数设置(通常 30-50 步即可满足需求)。
    • 使用更小的 TI2V-5B 模型以获得更快的生成速度。
    • 确保专家切换设置正确(推荐使用默认配置)。

输出质量问题(闪烁/伪影)

  • 问题:生成的视频出现帧闪烁或伪影。
  • 解决方案
    • 调整 CFG 缩放参数,在精度与流畅度之间取得更好的平衡。
    • 调整专家交接步数,获得最优扩散效果。
    • 启用时间注意力机制,保持帧间一致性。
    • 如有需要,可使用帧插值等后处理工具。

提示词或输出不符合预期

  • 问题:输出内容与描述的场景不符,或包含不需要的元素。
  • 解决方案
    • 重写并简化提示词。
    • 使用负面提示词排除特定元素。
    • 确保使用正确的模型权重(例如纯文本提示不要使用 I2V 模型)。

LoRA 与微调问题

  • 问题:Wan 2.1 的旧 LoRA 模型与 Wan 2.2 不兼容。
  • 解决方案:等待适配 Wan 2.2 的专属 LoRA 或微调模型。确保所有微调都适配新的双专家架构。

Wan 2.2 T2V 对小型企业的优缺点

对比维度 优势 劣势
授权与成本 采用 Apache 2.0 协议开源,无授权费用,大幅降低准入门槛。 大规模使用时计算成本较高(云服务或电费)。
内容质量 可生成电影级画质视频,无需雇佣设计师或摄像师即可自主完成内容创作。 输出质量不稳定,可能需要人工审核与编辑。
创意灵活性 通过文本提示词快速生成原型,概念视频产出效率高。 实时或按需生成速度较慢,更适合提前规划的内容生产。
定制化能力 可通过提示词或微调适配品牌审美,开源特性支持深度集成。 需要专业知识才能有效编写提示词或微调模型。
可扩展性 可轻松生成数百条视频,非常适合本地化广告或 A/B 测试。 高容量使用需要昂贵的硬件(如 RTX 4090 或 A100)。
社区支持 有开源社区背书,可获取教程、更新以及 ComfyUI 工作流等工具。 无官方支持或保障,故障排查依赖社区自愿帮助。
易用性 简化小型团队的视频创作流程,相当于“迷你创意工作室”。 部署需要机器学习知识(Python、CUDA、模型参数等),学习曲线陡峭。
伦理与法律 可推动 AI 营销领域的创新。 存在生成非预期或不当内容的风险,可能引发法律责任。

适用场景:具备技术专长或可咨询顾问的小型企业,旨在降低内容创作成本、扩大视频生产规模。
挑战:需要仔细规划、技术部署,以及对硬件和成本的持续监控。

Wan 2.2 T2V 技术的未来趋势

Future Trends in Wan 2.2 T2V Technology

  1. 更高分辨率与更长时长
    • 1080p、4K 分辨率以及 10-20 秒的更长视频片段发展。
    • 通过分层生成技术提升长视频的一致性。
  2. 更强的运动效果与一致性
    • 运动稳定性更高,交互更自然。
    • 针对不同运动类型(如慢动作、快动作)配备专属专家模型。
  3. 视频编辑与多模态能力
    • 支持通过文本指令编辑现有视频(如切换场景、移除物体)。
    • 集成音频生成功能,打造完整的视频项目。
  4. 效率与可扩展性提升
    • 更小、更快的模型(例如蒸馏后的 50 亿参数模型,画质接近 270 亿参数版本)。
    • 随着硬件发展,实时视频生成将成为可能。
  5. 社区与生态发展
    • 垂直领域微调模型(如卡通风格、医疗视频专用模型)。
    • 通过插件和移动端应用实现更广泛的普及。
  6. 伦理与监管
    • 为 AI 生成内容添加水印与元数据。
    • 建立标准,确保广告等使用场景的透明度。

Wan 2.2 API 的发布标志着文生视频技术的重大进步。凭借更高的分辨率、更强的运动一致性和更高的效率,Wan 2.2 为开发者和创作者打开了新的可能性。其灵活的 API 接口可助力你将创意落地,树立视频生成领域的新标杆。

常见问题解答

Wan 2.2 是什么?

Wan 2.2 是一款开源文生视频模型,可生成高质量、运动一致性强的视频,适用于广告、影视制作等多种场景。

相较于之前的版本,Wan 2.2 有哪些新特性?

  • 支持更高分辨率(最高 1080p)。
  • 时间一致性提升,有效减少闪烁问题。
  • 引入混合专家(MoE)架构,可更好地处理复杂场景。

Wan 2.2 的性能表现如何?

Wan 2.2 在速度、内存优化和输出质量方面表现优异。搭配高端 GPU 使用时,可快速生成高分辨率视频。

Novita AI 是助力你实现 AI 愿景的一站式云平台。集成 API、无服务器、GPU 实例——你需要的所有高性价比工具都已就位。无需操心基础设施,免费即可上手,让 AI 创意落地成真。

推荐阅读