Le SD-Turbo obtient des scores esthétiques nettement supérieurs, l’amélioration apportée au SD-21 est remarquable.
Pour contexte : je possède une RTX2060 6 Go et je souhaitais obtenir des générations utilisables en moins de 10 secondes. Auparavant, j’avais créé un pipeline SD-21 optimisé avant SDXL. Les prompts des images ci-dessous proviennent de Microsoft Image Creator (sélectionnés, semble-t-il, pour montrer l’étendue des capacités des modèles d’image).
https://thekitchenscientist.github.io/dalle-3_examples.txt
Pour le texte vers image, on voit à quel point SDXL saisit mieux les concepts du prompt, mais pour ceux qui ont du matériel plus ancien, SD-Turbo semble utilisable pour une peinture quasi temps réel avec un outil comme Krita. Il se combine bien avec Koyha’s DeepShrink et FreeU_V2 pour produire des images 768x1024 sans artefacts en moins de 5 secondes. Si vous utilisez l’échantillonneur LCM, vous pouvez même dépasser 2 étapes sans brûler l’image – il la simplifie progressivement jusqu’à obtenir une image vectorielle très simple.
À 4 étapes (ce qui est utilisé ci-dessous), la plupart des problèmes de membres malformés qui surviennent avec seulement 2 étapes sont corrigés. Quelques phénomènes très intéressants se produisent avec des prompts complexes lorsque l’on pousse SD-Turbo à 7 étapes ou plus avec l’échantillonneur LCM.
SD-Turbo
SDXL-Turbo
SXDL Base
SDXL-LCM
SSD-1B LCM
SSD-1B
| Méthode | Secondes par image sur RTX2060 6 Go ComfyUI |
|---|---|
| SDXL - uni_pc_bh2 | 30 |
| SDXL LCM Lora (il semble que je doive utiliser le merge) | 60 |
| SDXL Turbo | 13 |
| SSD-1B | 18 |
| SSD-1B LCM Lora | 10 |
| SD-Turbo | 1.5 |
| SD-2.1 | 3 |
J’ai classé les 2135 images que j’ai générées en utilisant le modèle esthétique simulacra. Pour chaque prompt, j’ai calculé la moyenne esthétique de toutes les méthodes, puis je l’ai soustraite du score de chaque image de ce groupe. La façon dont SSD-1B obtient un score plus élevé que SDXL me fait penser que le modèle esthétique simulacra (ou un modèle similaire) a été utilisé dans le processus de distillation.
Le score moyen pour chaque prompt a été soustrait du score de chaque image.
J’ai utilisé la seed 1000000007, l’échantillonneur lcm et le planificateur sge_uniform. Pour turbo c’était 4 étapes et pour LCM 6 étapes. Les images de base ont été générées avec uni_pc_bh2 et 12 étapes. Les deux autres groupes de prompts sont disponibles ici :
https://thekitchenscientist.github.io/dalle-2_examples.txt
https://thekitchenscientist.github.io/artist-space_examples.txt
Les exemples de l’espace image sont 244 prompts basés sur : https://docs.google.com/spreadsheets/d/14xTqtuV3BuKDNhLotB_d1aFlBGnDJOY0BRXJ8-86GpA/edit#gid=0 J’ai généré 10 000 échantillons à partir de cette liste avec SSD-1B, puis analysé la composition et les couleurs des images pour prélever un ensemble d’invites d’artistes dispersé/diversifié/représentatif depuis l’infini de l’espace latent.
Graphique bonus montrant la répartition des scores dans chaque groupe :
SD Turbo pour l’idéation sur les personnes et les paysages ; échantillonnage hybride pour le mobilier, la sculpture et l’architecture ; délai de prompt pour garder la même composition dans plusieurs styles ; l’essentiel est d’utiliser une seule seed. Si je veux du contrôle, j’utilise IPadaptor, img2img ou controlNet. Certaines seeds sont biaisées pour séparer le sujet, etc. Donc, une fois que j’ai trouvé une seed fiable, je l’utilise depuis un an.
Il y a encore quelques astuces que je n’ai pas mentionnées ici, qui ne sont pas encore toutes disponibles dans Comfyui, et qui aident les modèles plus faibles à mieux se résoudre :
[latent jitter
set-up Stable Diffusion with minimal dependencies and a single multi-function pipe - thekitchenscientist/sd_lite
GitHubthekitchenscientist
Une astuce que vous pouvez essayer dès maintenant est d’utiliser un échantillonneur lent pour les premiers 15 % des étapes, puis de passer à une méthode rapide comme LCM pour le reste. Pour l’architecture, le mobilier et la sculpture avec SSD-1B, j’ai obtenu de bien meilleurs résultats en seulement 10 étapes (4/14lent + 6/6LCM).
Publié à l’origine sur Reddit par @thkitchenscientist
