低VRAMユーザー向けSD蒸留手法の比較：SSD、LCM、Turbo（最近5手法）

SD-Turboは美観スコアが著しく高く、SD-21への向上は顕著です。

背景: 私はRTX2060 6GBを使用しており、サブ10秒の実用的な生成を求めていました。以前、SDXL以前に最適化されたSD-21パイプを作成していました。以下の画像のプロンプトはMicrosoft Image Creatorから取得したものです（おそらく画像モデルの幅広い能力を示すために選ばれています）。

https://thekitchenscientist.github.io/dalle-3_examples.txt

text2imgでは、SDXLがプロンプトの概念をよりよく捉えているのがわかりますが、古いハードウェアのユーザーにとっては、SD-turboがKritaのようなツールでほぼリアルタイムのペイントに実用的に見えます。これはKoyhaのDeepShrinkやFreeU_V2と組み合わせて、768x1024の画像を5秒未満でアーティファクトなく生成できます。LCMサンプラーを使用すると、画像を劣化させることなく2ステップ以上でプッシュすることもでき、徐々に単純化されて非常にシンプルなベクター画像になります。

4ステップ（以下で使用）では、2ステップのみで発生する四肢の奇形の問題のほとんどを修正します。複雑なプロンプトでSD-TurboをLCMサンプラーとともに7ステップ以上にプッシュすると、非常に興味深い結果が得られます。

SD-Turbo

SDXL-Turbo

SDXL Base

SDXL-LCM

SSD-1B LCM

SSD-1B

手法	RTX2060 6GB ComfyUIでの画像あたりの秒数
SDXL - uni_pc_bh2	30
SDXL LCM Lora (マージが必要なようです)	60
SDXL Turbo	13
SSD-1B	18
SSD-1B LCM Lora	10
SD-Turbo	1.5
SD-2.1	3

生成した2135枚の画像すべてをsimulacra美観モデルでランク付けしました。各プロンプトについて、全手法の平均美観スコアを計算し、そのグループ内の各画像のスコアから差し引きました。SSD-1BがSDXLよりも高いスコアを獲得したことから、simulacra美観モデル（または類似のもの）が蒸留プロセスで使用された可能性があります。

各画像のスコアからプロンプトごとの平均スコアを差し引いたもの

seed 1000000007、lcmサンプラー、sge_uniformスケジューラーを使用しました。Turboは4ステップ、LCMは6ステップです。base画像はuni_pc_bh2と12ステップで生成しました。他の2つのプロンプトグループはこちらで入手できます：

https://thekitchenscientist.github.io/dalle-2_examples.txt

https://thekitchenscientist.github.io/artist-space_examples.txt

image spaceの例は、https://docs.google.com/spreadsheets/d/14xTqtuV3BuKDNhLotB_d1aFlBGnDJOY0BRXJ8-86GpA/edit#gid=0 に基づく244のプロンプトです。このリストからSSD-1Bを使用して1万サンプルを実行し、画像の構成と色を解析して、潜在空間の無限から広範囲で多様かつ代表的なアーティストプロンプトのセットをサンプリングしました。

各グループのスコアのばらつきを示すボーナスプロット：

人物と風景のアイデア出しにはSD Turbo。家具、彫刻、建築にはハイブリッドサンプリング。複数のスタイルで同じ構図を維持するにはプロンプト遅延。重要なのは単一のシードのみを使用することです。制御が必要な場合はIPadaptor、img2img、またはcontrolNetを使用します。一部のシードは被写体分割などに偏りがあるため、信頼できるシードを見つけたら、1年間ずっと使用しています。

ここでは言及していない、弱いモデルの解像度を向上させるさらにいくつかのトリック（まだComfyuiではすべて利用できません）があります：

latent jitter
Stable Diffusionを最小依存性と単一多機能パイプでセットアップ - thekitchenscientist/sd_lite
GitHub thekitchenscientist
.png