Ключевые особенности
Wan2.1 превосходно воспроизводит реалистичность, включая:
Детали рук: прорисовывает пальцы и текстуры.
Анимация рисунков: превращает статичные изображения в клипы.
Физика: моделирует эффекты, например, изгиб деревьев.
Движение волос: реалистично анимирует пряди.
Взаимодействие объектов: обрабатывает сложные пространственные взаимодействия.
Отрисовка толпы: сохраняет чёткость в крупных сценах.
Через Novita AI 5-секундное видео 720P стоит $0.40 с простыми в использовании API. Wan2.1 сочетает доступность, удобство и точность в генерации видео.
Изучаем все возможности Wan 2.1
Что такое Wan 2.1?
Alibaba Cloud сделала важный шаг, открыв исходный код своих моделей ИИ Wan2.1 для генерации видео. Эта инициатива снижает барьеры доступа для учёных, исследователей и коммерческих пользователей, позволяя им использовать передовые возможности ИИ без значительных первоначальных затрат. Открывая эти модели, Alibaba Cloud способствует инновациям и сотрудничеству в области ИИ и генерации видео.
Универсальные возможности Wan2.1
Wan2.1 — это очень универсальный инструмент, отлично справляющийся с различными задачами генерации видео и изображений:
- Текст-в-видео (T2V): преобразует текстовые подсказки в видео.
- Изображение-в-видео (I2V): генерирует видео из одного входного изображения.
- Редактирование видео: позволяет выполнять редактирование на основе ИИ для улучшения качества и эффектов видео.
- Текст-в-изображение (T2I): преобразует текстовые описания в статичные изображения.
Отличительная особенность Wan2.1 — способность генерировать текст на китайском и английском языках, что делает его пионером в многоязычной генерации видео. Его мощные возможности генерации текста повышают его практичность в различных сценариях использования.
Реалистичность Wan2.1
Серия Wan2.1 отличается исключительной точностью при моделировании реальной физики и деталей. Ниже приведены некоторые ключевые возможности, подчёркивающие её производительность:
a. Детали рук
- Модель отлично прорисовывает руки, демонстрируя точные детали, такие как отдельные пальцы, текстуры кожи и даже аксессуары, например кольца.
b. Анимация рисунков
- Wan2.1 может превращать статичные рисунки в короткие видеоклипы, что делает его мощным инструментом для аниматоров и цифровых художников.
c. Физическое моделирование
- Модель точно отображает реальную физику. Например, она может изобразить жирафа, висящего вниз головой на дереве, при этом ветка дерева реалистично изгибается под весом.
d. Движение волос
- Модель точно воспроизводит движение волос в видео, показывая отдельные пряди, которые естественно движутся при повороте головы.
e. Взаимодействие объектов
- Wan2.1 может моделировать сложные взаимодействия объектов, обеспечивая реалистичное взаимодействие нескольких объектов в одном пространстве.
f. Отрисовка толпы
- Модель отлично справляется с отрисовкой больших толп, где каждый человек остаётся различимым, создавая связные и детализированные сцены.
VBench Wan 2.1
VBench предназначен для предоставления ценной информации о сильных и слабых сторонах отдельных моделей, облегчая детальную и объективную оценку. Эти выводы не только помогают в будущем развитии генерации видео, но и способствуют улучшению производительности модели. Для обеспечения согласованности с человеческим восприятием VBench включает аннотации предпочтений человека, что повышает его актуальность и надёжность как эталона. Диаграмма ниже показывает производительность Wan2.1:
из Alizila
Требования к оборудованию для Wan2.1
Wan2.1 предлагает несколько моделей, адаптированных для разных случаев использования, каждая со своими требованиями к оборудованию. Ниже приведена подробная сводка требований к оборудованию для четырёх моделей Wan2.1:
| Название модели | Функция | Поддержка разрешений | Размер модели | Потребность в оборудовании | Рекомендуемый GPU |
|---|---|---|---|---|---|
| T2V-14B | Текст-в-видео (T2V) | 480P / 720P | 14B | ⭐⭐⭐⭐ | A100 / RTX 3090 / RTX 4090 |
| I2V-14B-720P | Изображение-в-видео (I2V) | 720P | 14B | ⭐⭐⭐⭐ | A100 / RTX 3090 / RTX 4090 |
| I2V-14B-480P | Изображение-в-видео (I2V) | 480P | 14B | ⭐⭐⭐ | RTX 3090 / RTX 4070 Ti |
| T2V-1.3B | Текст-в-видео (T2V) | Низкое разрешение | 1.3B | ⭐⭐ | RTX 3060 / RTX 4060 или выше |
Запуск Wan2.1 через API
Novita AI — это облачная платформа ИИ, которая предоставляет разработчикам простой способ развёртывания моделей ИИ с помощью нашего простого API, а также предлагает доступные и надёжные GPU-облака для создания и масштабирования.
Novita предлагает одни из самых конкурентоспособных цен на рынке.
Например, видео Wan 2.1 720P длительностью 5 секунд стоит всего $0.4 за видео.
В то время как аналогичное видео на Replicate стоит $1 за видео.
Шаг 1: Войдите в систему и откройте библиотеку моделей
Войдите в свою учётную запись и нажмите кнопку Библиотека моделей.
Шаг 2: Выберите модель
Просмотрите доступные варианты и выберите модель, соответствующую вашим потребностям.
Шаг 3: Начните бесплатный пробный период
Начните бесплатный пробный период, чтобы изучить возможности выбранной модели.
Шаг 4: Получите свой API-ключ
Для аутентификации в API мы предоставим вам новый API-ключ. Перейдите на страницу «Настройки», где вы сможете скопировать API-ключ, как показано на изображении.
Шаг 5: Установите API
Установите API с помощью менеджера пакетов, соответствующего вашему языку программирования.
После установки импортируйте необходимые библиотеки в вашу среду разработки. Инициализируйте API с вашим API-ключом, чтобы начать взаимодействие с Novita AI LLM. Это пример использования API чат-дополнений для пользователей Python.
import requests
url = "https://api.novita.ai/v3/async/wan-t2v"
payload = {
"extra": {"webhook": {
"url": "<string>",
"test_mode": {
"enabled": True,
"return_task_status": "<string>"
}
}},
"model_name": "<string>",
"width": 123,
"height": 123,
"seed": 123,
"prompt": "<string>",
"frames": 123
}
headers = {
"Content-Type": "<content-type>",
"Authorization": "<authorization>"
}
response = requests.request("POST", url, json=payload, headers=headers)
print(response.text)
Часто задаваемые вопросы
Какое оборудование требуется для работы Wan2.1?
Для моделей 14B рекомендуются высокопроизводительные GPU, такие как A100, RTX 3090 или RTX 4090.
Модели начального уровня (например, T2V-1.3B) могут работать на RTX 3060+ для задач с низким разрешением.
Почему Novita AI экономически выгодна для Wan2.1?
Конкурентоспособные цены: $0.40 за 5-секундное видео 720P по сравнению с $2.39 на аналогичных платформах.
Простой в использовании API с подробной документацией для разработчиков.
Как использовать Wan2.1 через API?
Шаги для использования Wan2.1 через Novita AI:
Войдите в систему и откройте библиотеку моделей.
Выберите нужную модель.
Начните бесплатный пробный период, чтобы изучить её возможности.
Получите свой API-ключ в разделе Настройки.
Установите и интегрируйте API в свою среду разработки.
Novita AI — это универсальная облачная платформа, которая реализует ваши амбиции в области ИИ. Интегрированные API, бессерверные решения, GPU-инстансы — необходимые экономически эффективные инструменты. Устраните инфраструктурные сложности, начните бесплатно и воплотите своё видение ИИ в реальность.
