SD-Turbo pontua significativamente mais alto em estética, o impulso para SD-21 é notável
Para contexto: tenho uma RTX2060 6GB e estava interessado em obter gerações utilizáveis em menos de 10 segundos. Eu já havia criado um pipeline otimizado para SD-21 antes do SDXL. Os prompts das imagens abaixo foram retirados do Microsoft Image Creator (que foram presumivelmente escolhidos para mostrar a amplitude de habilidade dos modelos de imagem).
https://thekitchenscientist.github.io/dalle-3_examples.txt
Para text2img, você pode ver o quanto o SDXL é melhor em captar os conceitos dos prompts, mas para quem tem hardware mais antigo, o SD-Turbo parece utilizável para pintura quase em tempo real usando uma ferramenta como o Krita. Ele combina bem com o DeepShrink do Koyha e o FreeU_V2 para produzir imagens de 768x1024 sem artefatos em menos de 5 segundos. Se você usar o amostrador LCM, também pode ultrapassar 2 etapas sem queimar a imagem — ele simplesmente a simplifica progressivamente até obter uma imagem vetorial muito simples.
Com 4 etapas (que é o usado abaixo), ele corrige a maioria dos problemas com membros malformados que ocorrem com apenas 2 etapas. Algumas coisas muito interessantes acontecem com prompts complexos ao começar a empurrar o SD-Turbo para 7+ etapas com o amostrador LCM.
SD-Turbo
SDXL-Turbo
SXDL Base
SDXL-LCM
SSD-1B LCM
SSD-1B
| Método | Segundos por imagem em RTX2060 6GB ComfyUI |
|---|---|
| SDXL - uni_pc_bh2 | 30 |
| SDXL LCM Lora (parece que preciso usar o merge) | 60 |
| SDXL Turbo | 13 |
| SSD-1B | 18 |
| SSD-1B LCM Lora | 10 |
| SD-Turbo | 1.5 |
| SD-2.1 | 3 |
Classifiquei todas as 2135 imagens que gerei usando o modelo estético simulacra. Para cada prompt, calculei a média estética entre todos os métodos e depois subtraí isso da pontuação de cada imagem naquele grupo. A forma como o SSD-1B pontua mais alto que o SDXL me faz pensar que o modelo estético simulacra ou similar foi usado no processo de destilação.
A pontuação média de cada prompt foi subtraída da pontuação de cada imagem
Usei a semente 1000000007, amostrador lcm e agendador sge_uniform. Para turbo foram 4 etapas e para LCM foram 6 etapas. As imagens base foram geradas com uni_pc_bh2 e 12 etapas. Os outros dois grupos de prompts estão disponíveis aqui:
https://thekitchenscientist.github.io/dalle-2_examples.txt
https://thekitchenscientist.github.io/artist-space_examples.txt
Os exemplos do espaço de imagem são 244 prompts baseados em: https://docs.google.com/spreadsheets/d/14xTqtuV3BuKDNhLotB_d1aFlBGnDJOY0BRXJ8-86GpA/edit#gid=0 Executei 10 mil amostras desta lista usando SSD-1B e depois analisei a composição e as cores das imagens para amostrar um conjunto diverso/representativo de prompts de artistas a partir do infinito espaço latente.
Gráfico bônus mostrando a distribuição das pontuações em cada grupo:
SD Turbo para ideação de pessoas e paisagens; amostragem híbrida para móveis, esculturas e arquitetura; atraso de prompt para manter a mesma composição em múltiplos estilos; O principal é usar apenas uma única semente. Se quiser controle, use IPadaptor, img2img ou controlNet. Algumas sementes são tendenciosas a dividir o assunto, etc., então depois que encontrei uma semente confiável, venho usando-a há um ano.
Há mais alguns truques que não mencionei aqui, que ainda não estão todos disponíveis no Comfyui, que ajudam os modelos mais fracos a resolver melhor:
[latent jitter
configurar Stable Diffusion com dependências mínimas e um único pipeline multifunção - thekitchenscientist/sd_lite
GitHubthekitchenscientist
Um que você pode experimentar agora é usar um amostrador lento nos primeiros 15% das etapas e depois mudar para um método rápido como LCM para o restante. Descobri que para arquitetura, móveis e esculturas no SSD-1B isso dá resultados muito melhores em apenas 10 etapas (4/14 lentas + 6/6 LCM)
Postado originalmente no Reddit por u/thkitchenscientist
