Novita AI официально запустила последний Wan 2.2 API — передовой инструмент для генерации видео из текста. В этой статье мы расскажем, что такое Wan 2.2, выделим его новые функции и обновления, а также обсудим его производительность. Кроме того, мы ответим на распространенные вопросы, чтобы помочь вам начать работать с этой мощной технологией.
Что такое Wan 2.2 T2V?
Wan 2.2 T2V — это последняя открытая модель генеративного ИИ для генерации видео из текста от Alibaba, представляющая собой крупное обновление по сравнению с предыдущей системой Wan 2.1. Она входит в серию моделей генерации видео «Wan» от Alibaba (на китайском часто называется Tongyi Wanxiang) и является первой на рынке открытой видеомоделью, использующей архитектуру смеси экспертов (MoE). Сама Wan 2.2 представляет собой целый набор моделей, включающий выделенную модель для генерации видео из текста и сопутствующие инструменты, но под «Wan 2.2 T2V» конкретно подразумевается компонент генерации видео из текста этой серии.
Спецификации Wan 2.2 T2V
| Категория | Описание |
|---|---|
| Архитектура модели | Использует архитектура смеси экспертов (Mix-of-Experts) с двумя подмоделями-экспертами. |
| Количество параметров | Общая модель имеет 27 миллиардов параметров, но во время вывода активно только 14 миллиардов. |
| Преимущества конструкции | Благодаря использованию специализированных «экспертов» (каждый около 14 млрд параметров) модель увеличивается в размере вдвое, сохраняя при этом сопоставимые затраты на выполнение по сравнению с предшественником Wan 2.1 (14 млрд параметров). |
| Выпущенные варианты моделей | 1. T2V-A14B: Модель для генерации видео из текста. 2.TI2V-5B: Гибридная модель для обеих задач, оптимизированная для потребительского оборудования (5 млрд параметров). |
| Аппаратная оптимизация | TI2V-5B оптимизирована для потребительских GPU, например, для работы на одной NVIDIA RTX 4090. |
| Разрешение и частота кадров | Стандартная модель Wan 2.2 T2V может генерировать видео длительностью 5 секунд с разрешением 720p (1280×720) с 24 кадрами в секунду. |
Ключевые функции Wan 2.2 T2V
Кинематографическое качество и контроль
- Обучена на тщательно отобранном датасете с эстетическими метками для генерации видео с кинематографическим видом и ощущением.
- Поддерживает детальный текстовый контроль, позволяя пользователям указывать:
- Условия освещения
- Время суток
- Цветовой тон
- Углы камеры
- Фокусное расстояние
- Другие кинематографические аспекты.
- Понимает кинематографические термины, такие как «освещение в золотой час» и «широкоугольный объектив», обеспечивая точный контроль над выходным видео.
Мультимодальный генеративный набор
- Включает функцию переноса стиля:
- Позволяет применять художественные стили в один клик, например, преобразовывать фото или видео в формат мультфильма или эскиза (veo-video.org).
- Предоставляет единое семейство моделей, поддерживающее различные генеративные задачи, что делает его комплексной платформой для творческого ИИ.
Открытый исходный код и экосистема сообщества Лицензирован под Apache 2.0, что разрешает коммерческое использование (hackernoon.com). Поддерживается активным сообществом, которое вносит вклад:
- Руководства
- Интеграционные инструменты (например, для ComfyUI)
- Оптимизации для тонкой настройки
- Общая поддержка.
Какие оптимизации рабочего процесса есть в Wan 2.2?
Wan 2.2 T2V против Wan 2.1 T2V
Wan 2.2 T2V против Wan 2.1 T2V: Архитектура
| Аспект | Wan 2.1 | Wan 2.2 |
|---|---|---|
| Архитектура | Одноэтапный диффузионный трансформер (UNet). | Двухэтапный смеситель экспертов (MoE) с экспертами для высокого и низкого уровня шума. |
| Параметры | 14 млрд (базовая) и 1,3 млрд (маленькая). | 27 млрд всего (14 млрд активных); 14 млрд T2V, 14 млрд I2V и 5 млрд гибридная модель. |
| Обучающие данные | Большой датасет, менее отобранный. | +65% изображений, +83% видео, аннотированные для эстетики и кинематографических атрибутов. |
| Качество вывода | Хорошее, но склонное к мерцанию; подходит для более простых, стилизованных видео. | Более высокая детализация, лучшая временная согласованность, реалистичность и кинематографическая визуализация. |
| Функции | T2V, I2V, редактирование (фреймворк VACE), поддерживается тонкая настройка LoRA. | T2V, I2V, лучший перенос стиля; VACE пока нет, ограниченная совместимость с LoRA. |
Wan 2.2 T2V против Wan 2.1 T2V: Производительность
Wan 2.2 T2V против Wan 2.1 T2V: Генерация
Wan 2.2 T2V
Wan 2.1 T2V
Стоимость и доступ к Wan 2.2 T2V
Аппаратные затраты
| Модель | Минимальное требование к VRAM (ГБ) | Минимальная модель GPU | Минимальное количество GPU | Скорость на одном GPU (с) (480P) | Скорость на одном GPU (с) (720P) | Приблизительная цена GPU (USD) |
|---|---|---|---|---|---|---|
| T2V-5B | 22.6 | NVIDIA RTX 4090 | 1 | 534.7 | 524.8 | $1,599 |
| T2V-A14B | 41.3 | NVIDIA A100 | 1 | 1133.9 | 4048.7 | $10,000 - $15,000 |
Примечания:
- NVIDIA RTX 4090: Выпущена в октябре 2022 года с рекомендованной розничной ценой $1,599.
- NVIDIA A100: Цены варьируются в зависимости от конфигурации и рыночных факторов. Модель PCIe 40ГБ обычно стоит от $10,000 до $12,000, а модель PCIe 80ГБ — от $12,000 до $15,000.
Затраты на API
Novita AI — это облачная платформа ИИ, которая предлагает разработчикам простой способ развертывания моделей ИИ с помощью нашего простого API, а также предоставляет доступное и надежное облако GPU для создания и масштабирования.
| Модель | Цена | Разрешение | Время генерации |
| Wan 2.1 T2V | $0.3/видео | 1280*720 | 5с |
| Wan 2.2 T2V | $0.4/видео | 1080P | 5с |
Руководство по доступу к Wan 2.2 T2V
Шаг 1: Войдите в аккаунт и откройте библиотеку моделей
Войдите в свой аккаунт и нажмите кнопку Библиотека моделей.
Шаг 2: Выберите модель
Просмотрите доступные варианты и выберите модель, которая подходит вашим потребностям.
Шаг 3: Получите API-ключ
Для аутентификации через API мы предоставим вам новый API-ключ. Перейдя на страницу «Настройки», вы можете скопировать API-ключ, как показано на изображении.
Шаг 4: Установите API
Установите API с помощью менеджера пакетов, соответствующего вашему языку программирования.
После установки импортируйте необходимые библиотеки в вашу среду разработки. Инициализируйте API с вашим API-ключом, чтобы начать взаимодействие с Novita AI LLM. Это пример использования API завершения чата для пользователей Python.
import requests
url = "https://api.novita.ai/v3/async/wan-2.2-t2v"
payload = {
"input": {
"prompt": "<string>",
"negative_prompt": "<string>"
},
"parameters": {
"size": "<string>",
"prompt_extend": True,
"seed": 123
}
}
headers = {
"Content-Type": "<content-type>",
"Authorization": "<authorization>"
}
response = requests.post(url, json=payload, headers=headers)
print(response.json())
Распространенные проблемы с Wan 2.2 T2V и их решения
Установка и совместимость с GPU
- Проблема: Ошибки на старых GPU (например, серии GTX 10) из-за FlashAttention.
- Решение: Используйте совместимые GPU, такие как серии RTX 30/40 или A-серии. Альтернативно, отключите FlashAttention (
--disable_flashattn) или замените его на xFormers для более медленной, но работоспособной производительности.
Низкая скорость генерации
- Проблема: Чрезвычайно медленный вывод, особенно на скромных GPU.
- Решение:
- Оптимизируйте количество шагов (часто достаточно 30–50 шагов).
- Используйте меньшую модель TI2V-5B для более быстрых результатов.
- Убедитесь, что настроены правильные переключения экспертов (рекомендуются конфигурации по умолчанию).
Проблемы с качеством вывода (мерцание/артефакты)
- Проблема: Мерцающие кадры или артефакты в сгенерированных видео.
- Решение:
- Настройте масштаб CFG для лучшего баланса между точностью и плавностью.
- Подстройте шаг передачи между экспертами для оптимальной диффузии.
- Включите временное внимание для поддержания согласованности кадров.
- При необходимости используйте инструменты постобработки, такие как интерполяция кадров.
Промпт или вывод не соответствуют ожиданиям
- Проблема: Выводы отличаются от описанных сцен или содержат нежелательные элементы.
- Решение:
- Перефразируйте и упростите промпты.
- Используйте негативные промпты, чтобы исключить конкретные элементы.
- Убедитесь, что используются правильные веса моделей (например, не используйте I2V для промптов только с текстом).
Проблемы с LoRA и тонкой настройкой
- Проблема: Старые модели LoRA от Wan 2.1 несовместимы с Wan 2.2.
- Решение: Дождитесь LoRA и тонких настроек специально для Wan 2.2. Убедитесь, что любая тонкая настройка адаптирована под новую двухэкспертную архитектуру.
Плюсы и минусы Wan 2.2 T2V для малого бизнеса
| Аспект | Преимущества | Недостатки |
|---|---|---|
| Лицензирование и стоимость | Бесплатная под Apache 2.0, без лицензионных сборов, значительно снижает порог входа. | Высокие вычислительные затраты для крупномасштабного использования (облако или электричество). |
| Качество контента | Кинематографическое качество видео; создание контента собственными силами без найма дизайнеров или видеографов. | Непредсказуемое качество вывода; может потребоваться ручная проверка и редактирование. |
| Творческая гибкость | Быстрое прототипирование с текстовыми промптами; быстрая turnaround для концептуальных видео. | Медленнее для генерации в реальном времени или по запросу; лучше подходит для запланированного заранее контента. |
| Кастомизация | Адаптируется под эстетику бренда с помощью промптов или тонкой настройки; гибкость открытого исходного кода для более глубокой интеграции. | Требуются экспертные знания для эффективного создания промптов или тонкой настройки моделей. |
| Масштабируемость | Легко генерировать сотни видео; идеально подходит для локализованной рекламы или A/B-тестирования. | Дорогое оборудование (например, RTX 4090 или A100) необходимо для использования с высокой пропускной способностью. |
| Поддержка сообщества | Поддерживается открытым сообществом; доступ к руководствам, обновлениям и инструментам, таким как рабочие процессы ComfyUI. | Нет официальной поддержки или гарантий; зависимость от доброй воли сообщества для решения проблем. |
| Простота использования | Упрощает создание видео для небольших команд; выступает в роли «мини-творческой студии». | Требуются знания в области ML для настройки (Python, CUDA, параметры моделей); крутая кривая обучения. |
| Этические и правовые аспекты | Позволяет внедрять инновации в маркетинге на основе ИИ. | Риски генерации непреднамеренного или неуместного контента; потенциальные юридические обязательства. |
Лучше всего подходит для: малого бизнеса с техническими знаниями или доступом к консультантам, целью которого является снижение затрат на создание контента и масштабирование видеопроизводства. Сложности: Требует тщательного планирования, технической настройки и мониторинга оборудования и затрат.
Будущие тенденции в технологии Wan 2.2 T2V
- Более высокое разрешение и длина
- Переход к разрешению 1080p, 4K и более длинным клипам (10–20 секунд).
- Улучшенная согласованность для длинных видео за счет иерархической генерации.
- Улучшенное движение и согласованность
- Более стабильное движение и естественные взаимодействия.
- Специализированные эксперты для разных типов движения (например, медленного и быстрого).
- Видеоредактирование и мультимодальность
- Текстовые команды для редактирования существующих видео (например, смена сцен или удаление объектов).
- Интеграция генерации аудио для полноценных видеопроектов.
- Эффективность и масштабируемость
- Меньшие, быстрые модели (например, дистиллированные 5B модели с качеством почти как у 27B).
- Генерация видео в реальном времени становится возможной с развитием оборудования.
- Рост сообщества и экосистемы
- Специализированные тонкие настройки (например, стиль мультфильма, медицинские видео).
- Более широкое внедрение через плагины и мобильные приложения.
- Этика и регулирование
- Водяные знаки и метаданные для контента, сгенерированного ИИ.
- Стандарты, обеспечивающие прозрачность в случаях использования, таких как реклама.
Выпуск Wan 2.2 API знаменует собой значительный прорыв в технологии генерации видео из текста. С более высокими разрешениями, улучшенной согласованностью движения и повышенной эффективностью Wan 2.2 открывает новые возможности для разработчиков и создателей контента. Ее гибкий интерфейс API позволяет вам воплотить ваши идеи в жизнь, устанавливая новый стандарт для генерации видео.
Часто задаваемые вопросы
Что такое Wan 2.2? Wan 2.2 — это открытая модель генерации видео из текста, способная создавать высококачественные, согласованные по движению видео, подходящие для таких применений, как реклама, кинематограф и другие.
Что нового в Wan 2.2 по сравнению с предыдущими версиями?
- Поддержка более высоких разрешений (до 1080p).
- Улучшенная временная согласованность, снижающая мерцание.
- Введение архитектуры смеси экспертов (MoE) для лучшей обработки сложных сцен.
Какова производительность Wan 2.2? Wan 2.2 превосходит в скорости, оптимизации памяти и качестве вывода. При использовании с высокопроизводительными GPU она может быстро генерировать высококачественное видео.
Novita AI — это универсальная облачная платформа, которая реализует ваши амбиции в области ИИ. Интегрированные API, бессерверные решения, экземпляры GPU — доступные инструменты, которые вам нужны. Избавьтесь от инфраструктуры, начните бесплатно и воплотите ваше видение ИИ в реальность.
