Wesentliche Highlights
Wan2.1 zeichnet sich durch hohe Realitätstreue aus, darunter:
Handdetails: Darstellung von Fingern und Texturen.
Zeichentrick-Animation: Verwandelt statische Zeichnungen in kurze Clips.
Physik: Simuliert Effekte wie sich biegende Bäume.
Haarbewegung: Animiert Haarsträhnen realistisch.
Objektinteraktionen: Bewältigt komplexe räumliche Interaktionen.
Mengendarstellung: Bewahrt Klarheit in großen Szenen.
Über Novita AI kostet ein 5-Sekunden-720P-Video 0,40 $, mit einfach zu bedienenden APIs. Wan2.1 vereint Erschwinglichkeit, Zugänglichkeit und Präzision in der Videogenerierung.
Die volle Leistungsfähigkeit von Wan 2.1 erkunden
Was ist Wan 2.1?
Alibaba Cloud hat einen bedeutenden Schritt gemacht, indem es seine Wan2.1-Serie von KI-Modellen zur Videogenerierung als Open Source veröffentlicht hat. Diese Initiative senkt die Zugangshürden für Akademiker, Forscher und kommerzielle Nutzer und ermöglicht ihnen den Einsatz modernster KI-Funktionen ohne erhebliche Vorabkosten. Durch die öffentliche Bereitstellung dieser Modelle fördert Alibaba Cloud Innovation und Zusammenarbeit in den Bereichen KI und Videogenerierung.
Vielseitige Fähigkeiten von Wan2.1
Wan2.1 ist ein äußerst vielseitiges Tool, das sich in verschiedenen Aufgaben rund um Video- und Bildgenerierung auszeichnet:
- Text-zu-Video (T2V): Wandelt Textvorgaben in Videos um.
- Bild-zu-Video (I2V): Erzeugt Videos aus einer einzelnen Bildeingabe.
- Videobearbeitung: Ermöglicht KI-gestützte Bearbeitung für verbesserte Videoqualität und Effekte.
- Text-zu-Bild (T2I): Wandelt Textbeschreibungen in Standbilder um.
Ein herausragendes Merkmal von Wan2.1 ist seine Fähigkeit, Text sowohl auf Chinesisch als auch auf Englisch zu generieren, was es zu einem Pionier in der mehrsprachigen Videogenerierung macht. Seine robusten Textgenerierungsfähigkeiten erhöhen die praktische Anwendbarkeit in verschiedenen Einsatzbereichen.
Realitätstreue von Wan2.1
Die Wan2.1-Serie zeichnet sich durch außergewöhnliche Genauigkeit bei der Simulation realer Physik und Details aus. Im Folgenden sind einige der wichtigsten Fähigkeiten aufgeführt, die ihre Leistung unterstreichen:
a. Handdetails
- Das Modell ist hervorragend darin, Hände darzustellen, mit genauen Details wie einzelnen Fingern, Hauttexturen und sogar Accessoires wie Ringen.
b. Zeichentrick-Animation
- Wan2.1 kann statische Zeichnungen in kurze Videoclips verwandeln, was es zu einem leistungsstarken Werkzeug für Animatoren und digitale Künstler macht.
c. Physiksimulation
- Das Modell bildet reale Physik genau ab. So kann es beispielsweise eine Giraffe darstellen, die kopfüber an einem Baum hängt, wobei sich der Ast realistisch unter dem Gewicht biegt.
d. Haarbewegung
- Es rendert Haarbewegungen in Videos präzise und zeigt einzelne Strähnen, die sich beim Drehen des Kopfes natürlich bewegen.
e. Objektinteraktionen
- Wan2.1 kann komplexe Objektinteraktionen simulieren und stellt sicher, dass mehrere Objekte im selben Raum realistisch interagieren.
f. Mengendarstellung
- Das Modell ist hervorragend darin, große Menschenmengen darzustellen, wobei jede Person deutlich erkennbar bleibt, was zu kohärenten und detailreichen Szenen führt.
VBench von Wan 2.1
VBench wurde entwickelt, um wertvolle Einblicke in die Stärken und Schwächen einzelner Modelle zu liefern und eine detaillierte und objektive Bewertung zu ermöglichen. Diese Erkenntnisse dienen nicht nur der Weiterentwicklung der Videogenerierung, sondern tragen auch zur Verbesserung der Modellleistung bei. Um die Konsistenz mit der menschlichen Wahrnehmung zu gewährleisten, integriert VBench Annotationen menschlicher Präferenzen, was seine Relevanz und Zuverlässigkeit als Benchmark untermauert. Das folgende Diagramm zeigt die Leistung von Wan2.1:
von Alizila
Hardwareanforderungen von Wan2.1
Wan2.1 bietet mehrere Modelle, die auf verschiedene Anwendungsfälle zugeschnitten sind, mit spezifischen Hardwareanforderungen. Nachfolgend eine detaillierte Zusammenfassung der Hardwareanforderungen für die vier Wan2.1-Modelle:
| Modellname | Funktion | Auflösungsunterstützung | Modellgröße | Hardwarebedarf | Empfohlene GPU |
|---|---|---|---|---|---|
| T2V-14B | Text-zu-Video (T2V) | 480P / 720P | 14B | ⭐⭐⭐⭐ | A100 / RTX 3090 / RTX 4090 |
| I2V-14B-720P | Bild-zu-Video (I2V) | 720P | 14B | ⭐⭐⭐⭐ | A100 / RTX 3090 / RTX 4090 |
| I2V-14B-480P | Bild-zu-Video (I2V) | 480P | 14B | ⭐⭐⭐ | RTX 3090 / RTX 4070 Ti |
| T2V-1.3B | Text-zu-Video (T2V) | Niedrige Auflösung | 1.3B | ⭐⭐ | RTX 3060 / RTX 4060 oder höher |
Wan2.1 mit einer API ausführen
Novita AI ist eine KI-Cloud-Plattform, die Entwicklern eine einfache Möglichkeit bietet, KI-Modelle über unsere einfache API bereitzustellen und gleichzeitig die erschwingliche und zuverlässige GPU-Cloud für den Aufbau und die Skalierung bereitstellt.
Novita bietet hoch wettbewerbsfähige Preise auf dem Markt.
Ein Wan 2.1 720P 5-Sekunden-Video kostet beispielsweise nur 0,40 $ pro Video
Während ein ähnliches Video auf Replicate 1 $ pro Video kostet
Schritt 1: Anmelden und auf die Modellbibliothek zugreifen
Melden Sie sich in Ihrem Konto an und klicken Sie auf die Schaltfläche Modellbibliothek.
Schritt 2: Wählen Sie Ihr Modell
Durchsuchen Sie die verfügbaren Optionen und wählen Sie das Modell aus, das Ihren Anforderungen entspricht.
Schritt 3: Starten Sie Ihre kostenlose Testversion
Beginnen Sie Ihre kostenlose Testversion, um die Funktionen des ausgewählten Modells zu erkunden.
Schritt 4: Holen Sie sich Ihren API-Schlüssel
Zur Authentifizierung mit der API stellen wir Ihnen einen neuen API-Schlüssel zur Verfügung. Rufen Sie die Seite „Einstellungen“ auf und kopieren Sie den API-Schlüssel wie im Bild gezeigt.
Schritt 5: Installieren Sie die API
Installieren Sie die API mit dem für Ihre Programmiersprache spezifischen Paketmanager.
Importieren Sie nach der Installation die erforderlichen Bibliotheken in Ihre Entwicklungsumgebung. Initialisieren Sie die API mit Ihrem API-Schlüssel, um mit Novita AI LLM zu interagieren. Dies ist ein Beispiel für die Verwendung der Chat-Completions-API für Python-Benutzer.
import requests
url = "https://api.novita.ai/v3/async/wan-t2v"
payload = {
"extra": {"webhook": {
"url": "<string>",
"test_mode": {
"enabled": True,
"return_task_status": "<string>"
}
}},
"model_name": "<string>",
"width": 123,
"height": 123,
"seed": 123,
"prompt": "<string>",
"frames": 123
}
headers = {
"Content-Type": "<content-type>",
"Authorization": "<authorization>"
}
response = requests.request("POST", url, json=payload, headers=headers)
print(response.text)
Häufig gestellte Fragen
Welche Hardware wird zur Ausführung von Wan2.1 benötigt?
Für 14B-Modelle werden leistungsstarke GPUs wie A100, RTX 3090 oder RTX 4090 empfohlen.
Einsteigermodelle (z. B. T2V-1.3B) können auf RTX 3060+ für niedrigauflösende Aufgaben ausgeführt werden.
Was macht Novita AI für Wan2.1 kosteneffizient?
Wettbewerbsfähige Preise: 0,40 $ pro 5-Sekunden-720P-Video im Vergleich zu 2,39 $ auf ähnlichen Plattformen.
Einfach zu bedienende API mit detaillierter Dokumentation für Entwickler.
Wie kann ich Wan2.1 über die API nutzen?
Schritte zur Nutzung von Wan2.1 über Novita AI:
Melden Sie sich an und greifen Sie auf die Modellbibliothek zu.
Wählen Sie das gewünschte Modell aus.
Starten Sie eine kostenlose Testversion, um die Funktionen zu erkunden.
Holen Sie sich Ihren API-Schlüssel im Bereich Einstellungen.
Installieren und integrieren Sie die API in Ihre Entwicklungsumgebung.
Novita AI ist die All-in-One-Cloud-Plattform, die Ihre KI-Ambitionen beflügelt. Integrierte APIs, serverlos, GPU-Instanz – die kostengünstigen Werkzeuge, die Sie benötigen. Infrastruktur eliminieren, kostenlos starten und Ihre KI-Vision verwirklichen.
