SD-Turbo는 미학에서 훨씬 높은 점수를 기록했으며, SD-21에 대한 향상은 놀랍습니다.
참고: 저는 RTX2060 6GB를 사용하고 있으며, 10초 미만의 실용적인 생성 시간을 원했습니다. 이전에 SDXL 이전에 최적화된 SD-21 파이프를 만든 적이 있습니다. 아래 이미지의 프롬프트는 Microsoft Image Creator에서 가져왔습니다 (아마도 이미지 모델의 능력 범위를 보여주기 위해 선택된 것입니다).
https://thekitchenscientist.github.io/dalle-3_examples.txt
텍스트-이미지의 경우 SDXL이 프롬프트 개념을 얼마나 잘 이해하는지 알 수 있지만, 구형 하드웨어 사용자에게는 SD-Turbo가 Krita와 같은 도구를 사용한 거의 실시간 페인팅에 사용 가능해 보입니다. Koyha의 DeepShrink 및 FreeU_V2와 잘 결합되어 5초 이내에 아티팩트 없이 768x1024 이미지를 생성합니다. LCM 샘플러를 사용하면 이미지를 태우지 않고 2단계 이상으로 밀어낼 수 있습니다. 이미지가 매우 단순한 벡터 이미지가 될 때까지 점진적으로 단순화됩니다.
4단계(아래에서 사용된 것)에서는 2단계에서 발생하는 팔다리 변형 문제의 대부분을 해결합니다. LCM 샘플러를 사용하여 SD-Turbo를 7단계 이상으로 밀어붙이면 복잡한 프롬프트에서 매우 흥미로운 결과가 나타납니다.
SD-Turbo
SDXL-Turbo
SXDL Base
SDXL-LCM
SSD-1B LCM
SSD-1B
| 방법 | RTX2060 6GB ComfyUI에서 이미지당 초 |
|---|---|
| SDXL - uni_pc_bh2 | 30 |
| SDXL LCM Lora (병합을 사용해야 하는 것으로 보임) | 60 |
| SDXL Turbo | 13 |
| SSD-1B | 18 |
| SSD-1B LCM Lora | 10 |
| SD-Turbo | 1.5 |
| SD-2.1 | 3 |
저는 simulacra 미학 모델을 사용하여 생성한 2135개의 모든 이미지를 순위를 매겼습니다. 각 프롬프트에 대해 모든 방법의 평균 미학 점수를 계산한 다음 해당 그룹에서 각 이미지의 점수에서 이를 뺐습니다. SSD-1B가 SDXL보다 높은 점수를 받는 방식을 보면 simulacra 미학 모델이나 유사한 것이 증류 과정에 사용되었다고 생각하게 됩니다.
각 프롬프트의 평균 점수를 각 이미지의 점수에서 뺐습니다.
시드 1000000007, lcm 샘플러 및 sge_uniform 스케줄러를 사용했습니다. Turbo의 경우 4단계, LCM의 경우 6단계였습니다. 기본 이미지는 uni_pc_bh2와 12단계로 생성되었습니다. 다른 두 프롬프트 그룹은 여기에서 확인할 수 있습니다:
https://thekitchenscientist.github.io/dalle-2_examples.txt
https://thekitchenscientist.github.io/artist-space_examples.txt
이미지 공간 예제는 다음을 기반으로 한 244개의 프롬프트입니다: https://docs.google.com/spreadsheets/d/14xTqtuV3BuKDNhLotB_d1aFlBGnDJOY0BRXJ8-86GpA/edit#gid=0 SSD-1B를 사용하여 이 목록에서 10,000개의 샘플을 실행한 다음 이미지 구성과 색상을 분석하여 잠재 공간의 무한대에서 분산/다양성/대표성을 갖춘 아티스트 프롬프트 세트를 샘플링했습니다.
각 그룹의 점수 분포를 보여주는 보너스 플롯:
SD Turbo는 사람과 풍경에 대한 아이디어 구상에 사용; 가구, 조각, 건축에는 하이브리드 샘플링; 여러 스타일에서 동일한 구성을 유지하기 위한 프롬프트 지연; 가장 중요한 것은 단일 시드만 사용하는 것입니다. 제어가 필요하면 IPadaptor, img2img 또는 controlNet을 사용합니다. 일부 시드는 주제 분할 등에 편향되어 있어 한 번 신뢰할 수 있는 시드를 찾은 후 지금까지 1년 동안 사용하고 있습니다.
여기에 언급하지 않은 몇 가지 추가 트릭이 더 있습니다. 이는 아직 Comfyui에서 모두 사용할 수 있는 것은 아니지만 약한 모델이 더 잘 해결되도록 도와줍니다:
GitHubthekitchenscientist지금 시도해 볼 수 있는 한 가지는 처음 15% 단계에서는 느린 샘플러를 사용하고 나머지 단계에서는 LCM과 같은 빠른 방법으로 전환하는 것입니다. SSD-1B에서 건축, 가구, 조각에 대해 이 방법을 사용하면 10단계(4/14 느림 + 6/6 LCM)만으로 훨씬 더 나은 결과를 얻을 수 있었습니다.
원본 게시물 Reddit @thkitchenscientist
