重大變革警報！Stable Diffusion 3 來了——已由 Stability AI 正式開源。
搶先體驗！加入 Novita AI 的等候名單，搶先取得 Stable Diffusion 3 Medium 模型 API 的早期存取權限，盡情釋放你的想像力。
Stable Diffusion 3 Medium 開放權重讓你以前所未有的輕鬆度創作出超逼真、細節豐富的視覺作品。此模型的開源標誌著一個令人振奮的新時代，社群得以解鎖這款劃時代生成式 AI 工具的完整潛力。
在本篇部落格中，我們將全面介紹 Stable Diffusion 3，包括其更新功能與技術細節。我們還會引導你如何取得模型並整合到自己的專案中。讓我們開始吧！
Stable Diffusion 3 簡介
Stable Diffusion 3（SD 3）在影像品質、提示理解及運算效率上取得了大幅進展，使其成為創作各類影像的頂尖選擇。
什麼是 Stable Diffusion 3？
Stable Diffusion 3 是一系列先進的文字轉影像模型，參數量從 8 億到 80 億不等，旨在根據使用者輸入的文字提示創作出細節豐富且逼真的影像。參數越多，生成的影像品質越高，但成本也更高、耗時更長；而參數較少的模型則適合快速、簡單的任務。Stable Diffusion 3 是 AI 影像生成技術的最新迭代，為開發者與內容創作者提供了強大的工具。
Stable Diffusion 3 的主要特色
SD3 Medium 是一個 20 億參數的 SD3 模型，具備以下顯著特點：
- 整體品質與照片寫實感：生成的影像細節、色彩與光線表現極佳，既能產出逼真的照片級輸出，也能展現高品質的多樣風格。透過 16 通道 VAE 等創新技術，成功解決了其他模型常見的問題，例如手部與臉部的真實度。
- 提示理解能力：能夠理解涉及空間關係、構圖元素、動作與風格的長篇複雜提示。透過使用全部三個文字編碼器或其組合，使用者可在效能與效率之間取得平衡。
- 文字渲染：憑藉擴散 Transformer 架構，達到前所未有的文字品質，拼寫、字距、字母形狀與間距錯誤大幅減少。
- 資源效率高：由於低 VRAM 需求，非常適合在標準消費級 GPU 上運行，且效能不受影響。
- 微調能力：能從小型資料集中吸收細微細節，非常適合進行客製化調整。
Stable Diffusion 3 的新功能
- SD3 vs Midjourney：相較之下，SD3 生成的影像視覺吸引力更高，在視覺美學上超越了 Midjourney。
- SD3 vs Dall-E-3：SD3 在提示遵循度上勝過 Dall-E-3，能更準確地生成符合指定元素與主題的輸出。
- SD3 vs SD1.5 與 SDXL：根據人類評估，SD3 在文字渲染方面展現出優於 SD1.5 與 SDXL 的效能。
Stable Diffusion 3 背後的技術
Stable Diffusion 3 的技術細節
- 擴散 Transformer（DiT）架構：擴散 Transformer（DiT）架構是一類利用 Transformer 架構進行影像生成的擴散模型。與依賴 U-Net 主幹的傳統方法不同，DiT 在潛在區塊上運作，能夠根據文字輸入高效且有效地生成高品質影像。
- 流匹配（FM）技術：流匹配（Flow Matching, FM）是一種模型訓練技術，透過回歸固定條件機率路徑的向量場，重新定義了連續正規化流（CNFs）。FM 能為訓練擴散模型提供更穩定的替代方案——路徑更高效、訓練與取樣速度更快，且泛化效能更佳。
Stable Diffusion 3 如何運作？
SD3 架構建立在 DiT 之上，然而，對於文字轉影像生成，必須同時考慮文字與影像兩種模態。因此，SD3 提出了一種名為多模態擴散 Transformer（MMDiT）的新架構，該架構也利用預訓練模型來推導合適的文字與影像表示。它使用了三個不同的文字嵌入器（兩個 CLIP 模型與 T5）來編碼文字表示，並使用一個改良的自編碼模型來編碼影像標記。
Stable Diffusion 3 採用了修正流（Rectified Flow, RF）公式，在訓練過程中將資料與雜訊以線性軌跡連接。這使得推理路徑更直，進而可以用更少的步驟進行取樣。此外，在訓練過程中，SD3 引入了一種創新的軌跡取樣排程，對軌跡的中間部分賦予更高權重。相比之下，重新加權的 RF 變體持續改善了效能。隨後，重新加權的 RF 公式與 MMDiT 主幹被放大，使得 SD3 模型從 15 個區塊（4.5 億參數）擴展到 38 個區塊（80 億參數）。
如何存取 Stable Diffusion 3 API？
Novita AI 現在已支援 Stable Diffusion 3 Medium 模型，你可以立即試用。
API 整合目前處於 Beta 測試階段。你可以加入 API 等候名單，以便整合到你現有的 AI 影像生成器並開發新功能。立即加入等候名單搶先體驗。
Stable Diffusion 3 的未來發展
儘管 SD3 是尖端 AI 技術，但仍有一些限制。目前，Stable Diffusion 3 模型權重的直接下載選項尚未對大眾開放，也無法直接自行託管 Stable Diffusion 3。但總體而言，Stable Diffusion 3 未來仍有很大的發展空間，我們對它寄予厚望。
結論
總之，Stable Diffusion 3 是一款突破性的 AI 影像生成模型，與前代相比有顯著改進。憑藉其強大的能力與創新功能，Stable Diffusion 3 不僅僅是一個工具，更是一個創意引擎，將高品質影像創作的權力交到你手中。無論背景為何，創作者都能善用 AI 生成影像的創造潛力，在藝術創作或商業項目中探索全新領域。
Novita AI 是一站式無限創意平台，提供 100 多種 API。從影像生成、語言處理到音訊增強與影片編輯，採用便宜且按量計費的方式，讓你無需煩惱 GPU 維護，專注於打造自己的產品。立即免費試用。
推薦閱讀
