Entfesseln Sie Ihre Kreativität mit LoRA Stable Diffusion Modellen. Folgen Sie unserem Blog, um Ihr eigenes LoRA-Trainingsmodell zu erstellen.
Wichtige Highlights
- LoRA ist eine effizientere Möglichkeit, die Stable Diffusion Modelle zu verfeinern.
- LoRA-Modelle (1MB-6MB) sind einfacher zu teilen und zu verteilen.
- Sie können auf Civitai und Hugging Face problemlos viele LoRA-Modelle finden.
- Novita AI bietet APIs von LoRA-Trainingsmodellen für Entwickler wie Sie, um eigene LoRA-Modelle zu erstellen.
- LoRA ist besser als Dreambooth und Textual Inversion beim Feintuning von Stable Diffusion.
Einführung
Das LoRA Stable Diffusion Modell ist ein innovativer Ansatz im Bereich der KI-generierten Inhalte. Es nutzt das Konzept der Low‑Rank Adaptation, um vorhandene Stable Diffusion Modelle zu verfeinern und ermöglicht so eine effiziente Anpassung KI-generierter Bilder an bestimmte Stile, Charaktere oder künstlerische Vorlieben.
In diesem Blog geben wir Ihnen eine umfassende Einführung in LoRA-Modelle und zeigen Ihnen, wie Sie LoRA finden und damit Stable Diffusion Modelle trainieren können. Darüber hinaus bieten wir Ihnen eine maßgeschneiderte Möglichkeit, Ihre eigenen LoRA-Trainingsmodelle mit den Novita AI APIs zu erstellen. Tauchen wir jetzt in die Welt des LoRA Stable Diffusion ein!
Überblick über LoRA (Low‑Rank Adaptation)
LoRA (Low-Rank Adaptation) ist eine Trainingstechnik zum Feintuning von Stable Diffusion Modellen.
Was ist LoRA?
LoRA steht für „Low-Rank Adaptation“, eine neuartige Technik, die von Microsoft-Forschern eingeführt wurde, um das Problem des Feintunings großer Sprachmodelle (LLMs) zu lösen.
Im Kontext von Stable Diffusion ist es eine Technik zur effizienten Verfeinerung von Stable Diffusion Modellen. LoRA Stable Diffusion Modelle sind kompakt und ermöglichen subtile, aber wirkungsvolle Änderungen an Standard-Checkpoint-Modellen, wodurch sie deutlich kleiner werden – in der Regel 10‑ bis 100‑mal kleiner als die Originalmodelle.
Wie funktioniert LoRA?
LoRA ist eine Technik, die Stable Diffusion Modelle anpassungsfähiger macht, ohne das gesamte Modell neu trainieren zu müssen. Stattdessen werden in Schlüsselbereichen des Modells, die für die Interaktion von Bildern und Text zuständig sind, einige wenige neue Gewichtungen hinzugefügt. Diese Änderung wird durch eine Methode namens Rangzerlegung effizienter gestaltet, die die Gewichtungsstruktur des Modells vereinfacht. Das Ergebnis ist ein kleineres, angepasstes Modell, das seine ursprünglichen Fähigkeiten behält, aber auch auf bestimmte Aufgaben spezialisiert werden kann. Dieses Modell wird dann zusammen mit dem ursprünglichen Modell-Checkpoint verwendet, um Bilder zu erzeugen, die bestimmte Stile oder Ideen widerspiegeln.
Kernpunkte von LoRA-Modellen
Bevor Sie LoRA-Modelle verwenden, sollten Sie wissen, warum Sie sie einsetzen sollten und welche verschiedenen Typen es gibt.
Eigenschaften von LoRA-Modellen
- Unterstützung für Inpainting.
- Out-of-the-box Multi-Vector Pivotal Tuning Inversion.
- Effizienz: LoRA benötigt weniger Rechenleistung und Speicher, was das Training großer Modelle effizienter macht.
- Gezielte Anpassungen: Es konzentriert sich auf die Modifikation der Cross-Attention-Schichten anstatt des gesamten Modells, was eine präzisere Kontrolle über das Verhalten des Modells ermöglicht.
- Kompatibilität: LoRA-Modelle sind so konzipiert, dass sie mit den originalen Modell-Checkpoints zusammenarbeiten, was Kompatibilität und einfache Nutzung gewährleistet.
- Einfaches Teilen: Die kompakte Größe von LoRA-Modellen (1MB-6MB) macht sie einfach zu teilen und zu verteilen.
Beispiele für LoRA-Modelle
Basierend auf den unterschiedlichen Funktionen der LoRA-Modelle können wir sie in folgende Typen unterteilen:
- Charakter-LoRA: Charakter-LoRA-Modelle werden verfeinert, um die charakteristischen visuellen Aspekte, die Statur und die Gesichtsausdrücke bestimmter Figuren aus Cartoons, Videospielen und anderen Unterhaltungsmedien einzufangen. Sie sind maßgeblich für die Erstellung von Fan-Art, die Verbesserung von Spieleentwicklungsprozessen und die Bedürfnisse der Animations- und Illustrationsbranche.
- Stil-LoRA: Stil-LoRA-Modelle werden verfeinert, um die künstlerischen Techniken oder den charakteristischen Stil bestimmter Künstler nachzuahmen und ermöglichen so die Erstellung von Bildern, die diese spezifischen Ästhetiken widerspiegeln. Sie werden häufig verwendet, um einem Referenzbild eine einzigartige visuelle Note zu verleihen und es an einen gewählten Kunststil anzupassen.
Wo Sie LoRA-Modelle finden und verwenden können
LoRA-Modelldateien auf Civitai oder Hugging Face herunterladen
Civitai ist eine Website, die eine große Sammlung von LoRA-Modellen hostet, und Hugging Face ist ebenfalls eine bekannte Quelle für LoRA-Bibliotheken. Auf diesen beiden Websites können Sie viele LoRA-Modelle leicht finden, indem Sie die jeweilige Website besuchen.
LoRA-Modell in der AUTOMATIC1111 Stable Diffusion GUI verwenden
- Installieren der LoRA-Modelle: Sie müssen lediglich die Modelldateien in den folgenden Ordner legen.
stable-diffusion-webui/models/Lora
- LoRA im Prompt verwenden: Verwenden Sie die folgende Syntax im Prompt oder im negativen Prompt, um ein LoRA mit Gewichtung hinzuzufügen.
<lora: name: weight>
Trainieren Sie Ihr eigenes LoRA-Modell für das Feintuning mit Novita AI
In Stable Diffusion gibt es viele Modelle, die in Architektur und Pipeline ähnlich, aber in der Ausgabe unterschiedlich sind. Daher sind auch die LoRA-Modelle zum Feintuning von Stable Diffusion vielfältig. Darüber hinaus ist LoRA kein vollständiges Modell, sondern ein Add-on. Das bedeutet, Sie können Ihr eigenes LoRA-Modell erstellen, „lehren“ und es nach Ihren Bedürfnissen kontinuierlich mit bestimmten Konzepten trainieren.
Wenn Sie Ihr eigenes LoRA erstellen möchten, können Sie APIs in Ihr eigenes Programm integrieren. Novita AI ist eine solche Plattform, die Entwicklern wie Ihnen sowohl APIs zur Erstellung eines einzigartigen LoRA-Modells als auch eine Testumgebung (Playground) zum Trainieren Ihrer LoRA-Modelle bietet. Da das Training rechenintensiv ist, stellen Sie sicher, dass Sie über einen Rechner mit GPU verfügen, um fortzufahren.
APIs zum LoRA-Training finden
- Schritt 1: Besuchen Sie die Novita AI Website und erstellen Sie ein Konto.
- Schritt 2: Navigieren Sie zu „API“ und finden Sie die APIs für LoRA-Training unter dem Reiter „Training“. Novita AI bietet sowohl „LoRA for subject training“ als auch „LoRA for style training“, mit denen Sie sowohl Charakter-LoRA als auch Stil-LoRA trainieren können.
- Schritt 3: Beginnen Sie mit dem Training Ihres LoRA-Modells.
LoRA-Modelltraining starten
Nachdem Sie den Novita AI API-Key erhalten haben, können Sie mit dem Training Ihres LoRA-Modells beginnen. Nehmen wir „LoRA for subject training“ als Beispiel, um Ihnen zu zeigen, wie Sie Ihr Modell trainieren.
- Schritt 1: Bilder für das Modelltraining hochladen. Holen Sie sich die Bild-Upload-URL und legen Sie sie in den folgenden Ordner. Jeder Task unterstützt das Hochladen von bis zu 50 Bildern. Für ein gutes Endergebnis sollten die hochgeladenen Bilder einige grundlegende Bedingungen erfüllen, wie z.B. „Porträt in der Mitte“, „kein Wasserzeichen“, „klares Bild“ usw.
curl -X PUT -T “{{filepath}}” “{{upload_url}}”
- Schritt 2: Parameter konfigurieren. Es gibt vier Arten von Parametern für das Modelltraining: Modellinformationsparameter, Datensatzparameter, Komponentenparameter und Expertenparameter. Konfigurieren Sie die Parameter nach Ihren Bedürfnissen.
- Schritt 3: Trainingsaufgabe starten. Novita AI bietet einen benutzerfreundlichen Training Playground, um Ihr Modell zu trainieren. Geben Sie einfach den Novita AI API-Key ein und folgen Sie den Schritten im untenstehenden Bild, dann können Sie das Trainingsergebnis einsehen.
- Schritt 4: Trainingsstatus abrufen. Geben Sie den folgenden Befehl ein, um den Fortschritt des Modelltrainings und den Bereitstellungsstatus des Modells nach dem Training zu erhalten.
curl — location — request GET ‘training task_id’ \ — header ‘Authorization: Bearer {{Key}}’
- Schritt 5: Modell verwenden: Wenn die Antwort „task_status: SUCCESS“ und „model_status: SERVING“ anzeigt, können Sie mit der Verwendung des trainierten Modells beginnen.
Andere Methoden zum Training von Stable Diffusion
Dreambooth und Textual Inversion
Neben LoRA sind Dreambooth und Textual Inversion weitere beliebte Methoden zum Feintuning von Stable Diffusion. Im Vergleich zu Dreambooth, das große Modelldateien (2–7 GB) liefert, ist LoRA jedoch viel kleiner und effizienter; im Vergleich zu den winzigen Ergebnissen von Textual Inversion (ca. 100 KB) kann LoRA für allgemeines Feintuning verwendet werden und sich an neue Domänen oder Datensätze anpassen.
Trainingstipps
- GPU-Anforderung: Das Training von LoRA-Modellen ist rechenintensiv. Stellen Sie daher sicher, dass Ihr Rechner über eine leistungsfähige GPU verfügt, um die Arbeitslast zu bewältigen.
- Modellkompatibilität: LoRA-Modelle sollten mit dem Basis-Stable-Diffusion-Modell kompatibel sein, das sie erweitern sollen. Überprüfen Sie die Kompatibilität, um Integrationsprobleme zu vermeiden.
- Parametertuning: Optimieren Sie die Parameter des LoRA-Modells sorgfältig, da sie das Ergebnis erheblich beeinflussen können, einschließlich der Gewichtung der LoRA-Anpassungen und aller anderen spezifischen Hyperparameter.
Fazit
Zusammenfassend stellt das LoRA Stable Diffusion Modell einen bedeutenden Fortschritt im Bereich der KI-generierten Kunst und Inhaltserstellung dar. Nutzen Sie die Novita AI APIs der LoRA-Modelle, um Ihr eigenes Modell zu trainieren und die Stable Diffusion Modelle zu verfeinern. Insgesamt ist das LoRA Stable Diffusion Modell ein leistungsstarkes Werkzeug, das bei verantwortungsvoller Nutzung die Fähigkeiten der KI in künstlerischen und kreativen Anwendungen erheblich erweitern kann.
Novita AI, die Komplettlösung für grenzenlose Kreativität, die Ihnen Zugang zu über 100 APIs bietet. Von Bildgenerierung und Sprachverarbeitung bis hin zu Audioverbesserung und Videobearbeitung – günstig nach Verbrauch – befreit Sie von GPU-Wartungsarbeiten, während Sie Ihre eigenen Produkte entwickeln. Testen Sie es kostenlos.
Empfohlene Lektüre
