SD-Turbo получает значительно более высокие оценки по эстетике, улучшение SD-21 впечатляет
Для контекста: у меня RTX2060 6 ГБ, и мне было интересно получить приемлемое время генерации менее 10 секунд. Ранее я создал оптимизированный SD-21 пайплайн до выхода SDXL. Промпты для изображений ниже взяты из Microsoft Image Creator (которые, предположительно, были выбраны, чтобы продемонстрировать широту возможностей моделей изображений).
https://thekitchenscientist.github.io/dalle-3_examples.txt
Для text2img видно, насколько лучше SDXL улавливает концепции промптов, но для тех, у кого старое оборудование, SD-Turbo выглядит пригодным для рисования почти в реальном времени с помощью такого инструмента, как Krita. Он хорошо сочетается с Koyha’s DeepShrink и FreeU_V2, создавая изображения 768x1024 без артефактов менее чем за 5 секунд. Если использовать сэмплер LCM, можно также продвинуться более чем на 2 шага без перегрева изображения — оно просто постепенно упрощается, пока не станет очень простым векторным изображением.
При 4 шагах (как использовано ниже) исправляется большинство проблем с деформированными конечностями, которые возникают при 2 шагах. При сложных промптах начинают происходить очень интересные вещи, когда SD-Turbo продвигают до 7+ шагов с сэмплером LCM.
SD-Turbo
SDXL-Turbo
SXDL Base
SDXL-LCM
SSD-1B LCM
SSD-1B
| Метод | Секунд на изображение на RTX2060 6GB ComfyUI |
|---|---|
| SDXL - uni_pc_bh2 | 30 |
| SDXL LCM Lora (кажется, нужно использовать слияние) | 60 |
| SDXL Turbo | 13 |
| SSD-1B | 18 |
| SSD-1B LCM Lora | 10 |
| SD-Turbo | 1.5 |
| SD-2.1 | 3 |
Я оценил все 2135 изображений, которые сгенерировал, используя эстетическую модель simulacra. Для каждого промпта я вычислил среднюю эстетическую оценку по всем методам, а затем вычел её из оценки каждого изображения в этой группе. То, что SSD-1B получает более высокие оценки, чем SDXL, заставляет меня думать, что эстетическая модель simulacra или аналогичная использовалась в процессе дистилляции.
Средняя оценка для каждого промпта была вычтена из оценки каждого изображения
Я использовал seed 1000000007, сэмплер LCM и планировщик sge_uniform. Для turbo — 4 шага, для LCM — 6 шагов. Базовые изображения генерировались с uni_pc_bh2 и 12 шагами. Другие две группы промптов доступны здесь:
https://thekitchenscientist.github.io/dalle-2_examples.txt
https://thekitchenscientist.github.io/artist-space_examples.txt
Примеры из пространства изображений — это 244 промпта на основе: https://docs.google.com/spreadsheets/d/14xTqtuV3BuKDNhLotB_d1aFlBGnDJOY0BRXJ8-86GpA/edit#gid=0 Я запустил 10 000 образцов из этого списка, используя SSD-1B, а затем проанализировал композицию изображений и цвета, чтобы получить распределённый/разнообразный/репрезентативный набор промптов художников из бесконечного латентного пространства.
Дополнительный график, показывающий разброс оценок по каждой группе:
SD Turbo для генерации идей о людях и пейзажах; гибридный сэмплинг для мебели, скульптуры и архитектуры; задержка промпта для сохранения одинаковой композиции в нескольких стилях; главное — использовать только один seed. Если нужен контроль — используйте IPadaptor, img2img или controlNet. Некоторые seed’ы смещены на разделение объекта и т. д., поэтому, найдя надёжный seed, я использую его уже год.
Есть ещё пара трюков, о которых я не упомянул и которые пока не все доступны в Comfyui, помогающие слабым моделям лучше восстанавливаться:
[джиттер латентного пространства
настройка Stable Diffusion с минимальными зависимостями и единым многофункциональным пайплайном - thekitchenscientist/sd_lite
GitHubthekitchenscientist
Один из трюков, который можно попробовать сейчас, — использовать медленный сэмплер для первых 15% шагов, а затем переключиться на быстрый метод, например LCM, для остальных. Я обнаружил, что для архитектуры, мебели и скульптуры в SSD-1B это даёт гораздо лучшие результаты всего за 10 шагов (4/14 медленных + 6/6 LCM).
Изначально опубликовано на Reddit @thkitchenscientist
