主なハイライト
オープンソースでの利用可能性: Wan2.1はオープンソースのAIモデルであり、学術研究者、研究者、企業がコスト効率よく高品質な動画生成を実現できます。
多機能な能力: T2V、I2V、動画編集、T2Iをサポートし、中国語と英語のマルチリンガルテキスト生成（字幕用）が可能です。
ハードウェア要件: T2V-1.3Bはわずか1.3Bパラメータであり、ハードウェア要件を大幅に低減します。
モデルアーキテクチャと革新: 3DエンコードのためのWan-VAE、ビデオ拡散DiT、高品質トレーニングデータセットのための堅牢なパイプラインを備えています。
VBenchとパフォーマンス評価: VBenchで86.22%を達成し、Soraなどの競合を凌駕。ID一貫性、空間精度、動作指示の実行で優れています。
Novita AI はWan 2.1のAPIを提供しています。無料トライアルにサインアップして、簡単なリクエストでAPIをご利用ください。
Wan2.1は、Alibaba Cloud が開発した高度な動画生成のためのオープンソースAIモデルです。高いパフォーマンス、効率性、汎用性を備えており、創造的な用途からプロフェッショナルなアプリケーションまで幅広く対応します。モデルは Alibaba CloudのAIモデルコミュニティModelScope と Hugging Face で公開されています。
出典：wan
今すぐNovita AI で無料トライアルを開始しましょう。Hunyuan Video APIを統合するには、開発者ドキュメント をご覧ください。
Novitaは市場で非常に競争力のある価格を提供しています。
例えば、Wan 2.1 720P 5秒動画は1本あたりわずか0.3ドルです。
一方、Replicateでの同様の動画は1本あたり2.39ドルです。
オープンソースでの利用可能性
Alibaba Cloudは、動画生成のためのWan2.1シリーズAIモデルをオープンソース化しました。この取り組みは、アクセシビリティの障壁を下げ、企業がコスト効率よく高品質なビジュアルコンテンツを作成できるようにすることを目的としています。これらのモデルをオープンソースとして公開することで、学術研究者、研究者、商用エンティティ は、大きな初期費用をかけずにAIの力をプロジェクトに活用できます。
Wan2.1の多機能な能力
Wan2.1はさまざまなタスクで優れており、動画生成のための多機能ツールとなっています。
- テキストから動画へ (T2V)
- 画像から動画へ (I2V)
- 動画編集
- テキストから画像へ (T2I)
特筆すべき点として、Wan2.1は中国語と英語の両方でテキストを生成できる初の動画モデル であり、強力なテキスト生成機能により実用的な応用範囲を広げています。
ハードウェア要件
以下は、4つのWan2.1モデルのハードウェア要件の詳細な概要です。表は各モデルの機能、対応解像度、モデルサイズ、ハードウェア需要、および最適なパフォーマンスのための推奨GPUを示しています。
| **モデル名 ** | ** 機能 ** | ** 対応解像度 ** | ** モデルサイズ ** | ** ハードウェア需要 ** | ** 推奨GPU** |
|---|---|---|---|---|---|
| T2V-14B | テキストから動画（T2V） | 480P / 720P | 14B | ⭐⭐⭐⭐ | A100 / RTX 3090 / RTX 4090 |
| I2V-14B-720P | 画像から動画（I2V） | 720P | 14B | ⭐⭐⭐⭐ | A100 / RTX 3090 / RTX 4090 |
| I2V-14B-480P | 画像から動画（I2V） | 480P | 14B | ⭐⭐⭐ | RTX 3090 / RTX 4070 Ti |
| T2V-1.3B | テキストから動画（T2V） | 低解像度 | 1.3B | ⭐⭐ | RTX 3060 / RTX 4060以上 |
モデルアーキテクチャと主要な革新
Wan2.1は、Flow Matchingフレームワーク ** によって強化された ** 拡散トランスフォーマーパラダイム に基づいています。主要な革新は次のとおりです。
- Wan-VAE: 効率的な圧縮と動作再現の高忠実度のために設計された3D変分オートエンコーダ。1080P動画をエンコードおよびデコードし、時間的一貫性を維持します。このモデルは、** 時空間圧縮 ** を最適化し、メモリ使用量を削減し、** 時間的因果性** を確保するために複数の戦略を統合しています。
- ビデオ拡散DiT: Wan2.1は、拡散トランスフォーマー内でFlow Matchingフレームワークを活用し、マルチリンガルテキスト入力のためのT5エンコーダと、テキストをモデルに埋め込むためのクロスアテンションを使用します。SiLUとLinearレイヤーを持つ共有MLPが、時間埋め込みのための6つの変調パラメータを予測し、各トランスフォーマーブロックが異なるバイアスを学習できるようにします。このアーキテクチャは、パラメータ規模を増やすことなくパフォーマンスを大幅に向上させます。
- 候補データセット: Wan 2.1は、膨大な量の画像および動画データからなる候補データセットをキュレーションし、重複を除去しました。データキュレーションプロセスでは、基本的な次元、視覚品質、動きの品質に焦点を当てた4段階のデータクリーニングプロセスを設計しました。堅牢なデータ処理パイプラインを通じて、高品質で多様性があり、大規模な画像および動画のトレーニングセットを容易に取得できます。
VBench評価
VBenchは、動画生成モデルを評価するために設計された堅牢で包括的なベンチマークスイートです。「動画生成品質」を階層的で分離可能かつ具体的な次元に分解し、各次元には調整されたプロンプトと評価方法が用意されています。主な評価指標は次のとおりです。
- 大規模なモーション生成
- 人体のアーティファクト
- ピクセルレベルの安定性
- IDの一貫性
- 物理的妥当性
- 滑らかさ
- 総合的な画質
- シーン生成品質
- スタイライゼーション能力
- 単一オブジェクトの正確性
- 複数オブジェクトの正確性
- 空間位置の正確性
- カメラ制御
- 動作指示の追従
VBenchの目的は、個々のモデルの長所と短所に関する貴重な洞察を提供し、きめ細かく客観的な評価を可能にすることです。これらの洞察は、動画生成の将来の開発を導くだけでなく、モデルのパフォーマンス向上にも役立ちます。人間の知覚との整合性を確保するために、VBenchは人間の嗜好アノテーションを組み込み、ベンチマークとしての関連性と信頼性を検証しています。Wan2.1のパフォーマンスは以下のグラフに示されています。
出典：Alizila
さらに、Wan-Bench を使用して T2V-1.3Bモデル を評価したところ、主要な指標でより大規模なオープンソースの競合モデルを上回りました。これらの評価は、モデルの以下の進歩を強調しています。
Wan 2.1 VS Sora
総合的なパフォーマンス優位性:
- Wan2.1はVBenchでより高い総合スコア（86.22%）を達成し、Soraの84.28%を上回り、複数のサブ次元でより強力なパフォーマンスを示しています。
中国語と英語の字幕生成のサポート:
- Wan2.1は中国語と英語の両方の字幕生成をサポートする初めての動画生成モデルであり、多言語シナリオにおいて独自の優位性を持ちます。Soraはこの機能を提供していません。
サブ次元でのパフォーマンス:
- IDの一貫性: Wan2.1は動画内の被写体の一貫性を維持することに優れています。
- 単一オブジェクトの正確性: Wan2.1は単一オブジェクトのシナリオでより正確な結果を生成します。
- 空間位置の正確性: Wan2.1は空間的な論理関係の処理においてSoraを大幅に上回ります。
- 動作指示の実行: Wan2.1は複雑な動作指示の理解と実行に優れています。
オープンソースとアクセシビリティ:
- Wan2.1はオープンソースコードを提供しており、開発者が利用・統合しやすくなっています。
- SoraはAPIを提供していますが、オープンソースではなく、柔軟性が制限されます。
改善の余地:
- Wan2.1は 動きの滑らかさ ** と ** 大規模なモーション生成 の点でSoraにわずかに劣りますが、その差はわずかです。
アプリケーション
コンテンツ制作
- ソーシャルメディア、マーケティング、エンターテインメント向けの高品質動画の自動生成を可能にします。
- 特定の芸術的またはブランドのニーズに合わせたスタイライズド動画生成をサポートします。
教育とEラーニング
- カスタムビジュアルと中国語・英語の字幕付きの教育動画を生成します。
- 魅力的でパーソナライズされた学習コンテンツの作成を容易にします。
映画とアニメーション
- テキストや画像の入力に基づいてストーリーボード、動画プロトタイプ、またはシーン全体の作成を支援します。
- 多言語字幕をサポートし、グローバルな視聴者に適しています。
広告とマーケティング
- ターゲットオーディエンスに合わせたカスタマイズ動画広告を制作します。
- 視覚的に魅力的で文脈に敏感なコンテンツでキャンペーンを強化します。
ゲーム
- テキスト記述やキャラクター画像に基づいてゲーム内カットシーンやアニメーションを生成します。
- ゲーム開発やストーリーテリングのための動的動画アセットを作成します。
多言語コミュニケーション
- 中国語と英語の字幕生成をサポートし、多言語でのプレゼンテーションやメディアに最適です。
プロトタイピングとビジュアライゼーション
- 動画を通じてコンセプト、アイデア、建築デザインの視覚化を支援します。
- プレゼンテーションやピッチ用のプロジェクトの動的表現を生成します。
アクセシビリティとインクルージョン
- 字幕付き動画を作成し、聴覚障害のある視聴者のアクセシビリティを向上させます。
- 多言語サポートにより、多様なユーザーグループ向けのコンテンツ作成を容易にします。
Wan2.1は、AI駆動の動画生成における重要な進歩を示しています。オープンソースであること、多言語機能、VBenchなどのベンチマークでの優れたパフォーマンスにより、創造的およびプロフェッショナルなアプリケーションのための汎用性が高くアクセスしやすいツールとして位置づけられています。動きの滑らかさと大規模なモーション生成ではSoraにわずかに劣りますが、全体的な能力、革新的なアーキテクチャ、幅広い応用範囲により、教育、メディア、ゲームなどの業界に変革をもたらす存在です。
Novita AI は、AIの野心を実現するオールインワンのクラウドプラットフォームです。統合API、サーバーレス、GPUインスタンス — コスト効率の高いツールが揃っています。インフラを排除し、無料で始めて、AIのビジョンを現実にしましょう。
