SD-Turbo erzielt deutlich höhere Ästhetikwerte, der Boost für SD-21 ist bemerkenswert
Zum Kontext: Ich habe eine RTX2060 6GB und war an nutzbaren Generationen unter 10 Sekunden interessiert. Zuvor hatte ich eine optimierte SD-21-Pipeline vor SDXL erstellt. Die Prompts für die folgenden Bilder stammen von Microsoft Image Creator (die vermutlich ausgewählt wurden, um die Breite der Fähigkeiten der Bildmodelle zu zeigen).
https://thekitchenscientist.github.io/dalle-3_examples.txt
Bei Text2Img sieht man, wie viel besser SDXL die Prompt-Konzepte erfasst, aber für Nutzer mit älterer Hardware scheint SD-Turbo für nahezu Echtzeit-Malerei mit einem Tool wie Krita nutzbar zu sein. Es kombiniert sich gut mit Koyhas DeepShrink und FreeU_V2, um 768x1024 Bilder ohne Artefakte in unter 5 Sekunden zu erzeugen. Wenn man den LCM-Sampler verwendet, kann man auch über 2 Schritte hinausgehen, ohne das Bild zu überhitzen – es vereinfacht es nur zunehmend, bis man ein sehr einfaches Vektorbild erhält.
Bei 4 Schritten (wie unten verwendet) werden die meisten Probleme mit deformierten Gliedmaßen behoben, die bei nur 2 Schritten auftreten. Bei komplexen Prompts passiert einiges Interessantes, wenn man SD-Turbo mit dem LCM-Sampler auf 7+ Schritte bringt.
SD-Turbo
SDXL-Turbo
SDXL Base
SDXL-LCM
SSD-1B LCM
SSD-1B
| Methode | Sekunden pro Bild auf RTX2060 6GB ComfyUI |
|---|---|
| SDXL - uni_pc_bh2 | 30 |
| SDXL LCM Lora (scheinbar muss ich den Merge verwenden) | 60 |
| SDXL Turbo | 13 |
| SSD-1B | 18 |
| SSD-1B LCM Lora | 10 |
| SD-Turbo | 1,5 |
| SD-2.1 | 3 |
Ich habe alle 2135 von mir generierten Bilder mit dem Simulacra-Ästhetik-Modell bewertet. Für jeden Prompt habe ich den durchschnittlichen Ästhetikwert über alle Methoden berechnet und diesen dann vom Wert jedes Bildes in dieser Gruppe abgezogen. Die Tatsache, dass SSD-1B höhere Werte als SDXL erzielt, lässt mich vermuten, dass das Simulacra-Ästhetik-Modell oder ein ähnliches im Destillationsprozess verwendet wurde.
Der durchschnittliche Wert für jeden Prompt wurde vom Wert jedes Bildes abgezogen
Ich habe den Seed 1000000007, den LCM-Sampler und den sge_uniform-Scheduler verwendet. Für Turbo waren es 4 Schritte, für LCM 6 Schritte. Die Basisbilder wurden mit uni_pc_bh2 und 12 Schritten generiert. Die beiden anderen Prompt-Gruppen sind hier verfügbar:
https://thekitchenscientist.github.io/dalle-2_examples.txt
https://thekitchenscientist.github.io/artist-space_examples.txt
Die Image-Space-Beispiele basieren auf 244 Prompts von: https://docs.google.com/spreadsheets/d/14xTqtuV3BuKDNhLotB_d1aFlBGnDJOY0BRXJ8-86GpA/edit#gid=0 Ich habe 10k Samples aus dieser Liste mit SSD-1B durchgeführt und dann die Bildkomposition und -farben analysiert, um eine verteilte/diverse/representative Menge von Künstler-Prompts aus der Unendlichkeit des latenten Raums zu sampeln.
Bonus-Diagramm, das die Streuung der Werte in jeder Gruppe zeigt:
SD Turbo für Ideenfindung bei Menschen und Landschaften; hybrides Sampling für Möbel, Skulpturen und Architektur; Prompt-Verzögerung, um dieselbe Komposition in mehreren Stilen beizubehalten; Die Hauptsache ist, nur einen einzigen Seed zu verwenden. Wenn ich Kontrolle brauche, verwende ich IPadaptor, img2img oder controlNet. Manche Seeds sind voreingenommen, das Motiv zu teilen, etc. Sobald ich also einen zuverlässigen Seed gefunden hatte, verwende ich ihn seit einem Jahr.
Es gibt noch ein paar weitere Tricks, die ich hier nicht erwähnt habe und die noch nicht alle in Comfyui verfügbar sind, und die den schwächeren Modellen zu besseren Ergebnissen verhelfen:
[latent jitter
Stable Diffusion mit minimalen Abhängigkeiten und einer einzigen Multi-Funktions-Pipeline einrichten - thekitchenscientist/sd_lite
GitHubthekitchenscientist
Ein Trick, den Sie jetzt ausprobieren können, ist die Verwendung eines langsamen Samplers für die ersten 15% der Schritte und dann die Umstellung auf eine schnelle Methode wie LCM für den Rest. Bei Architektur, Möbeln und Skulpturen in SSD-1B habe ich festgestellt, dass dies in nur 10 Schritten (4/14 langsam + 6/6 LCM) viel bessere Ergebnisse liefert.
Ursprünglich gepostet auf Reddit @thkitchenscientist
