重磅消息！Stable Diffusion 3 来了——并且已由 Stability AI 正式开源。
抢先体验！加入 Novita AI 的候补名单，获取 Stable Diffusion 3 Medium 模型 API 的早期访问权限，释放你的想象力。
Stable Diffusion 3 Medium 开放权重让你能够以前所未有的轻松方式创建超逼真、细节丰富的图像。这个模型的开源标志着一个激动人心的新时代，社区可以充分发挥这款变革性生成式 AI 工具的潜力。
在这篇博客中，我们将全面介绍 Stable Diffusion 3，包括其更新功能和技术细节。我们还将指导你如何获取该模型并将其集成到自己的项目中。让我们开始吧！
Stable Diffusion 3 简介
Stable Diffusion 3（SD 3）在图像质量、提示理解能力和运行效率方面取得了巨大进步，使其成为创建各种图像的首选。
什么是 Stable Diffusion 3？
Stable Diffusion 3 是一系列先进的文本到图像模型，参数范围从 8 亿到 80 亿不等，旨在根据用户生成的文本提示创建详细且逼真的图像。参数越多，生成的图像质量越高，但成本和耗时也相应增加。而参数较少的模型则非常适合快速、简单的任务。Stable Diffusion 3 是 AI 图像生成技术的最新迭代，为开发者和内容创作者提供了强大的工具。
Stable Diffusion 3 的主要特性
SD3 Medium 是一个拥有 20 亿参数的 SD3 模型，具有以下显著特性：
- 整体质量与逼真度：提供具有卓越细节、色彩和光影效果的图像，能够生成逼真的输出以及灵活风格的高质量输出。通过 16 通道 VAE 等创新技术，成功解决了其他模型在手部和面部真实感等方面的常见问题。
- 提示理解能力：能够理解涉及空间推理、构图元素、动作和风格的复杂长提示。通过使用全部三个文本编码器或其组合，用户可以在性能与效率之间进行权衡。
- 文字排版：利用 Diffusion Transformer 架构，实现了前所未有的文字质量，减少了拼写、字距、字母成形和间距方面的错误。
- 资源高效：得益于低 VRAM 占用，非常适合在标准消费级 GPU 上运行，且性能不会下降。
- 微调能力：能够从小型数据集中吸收细微的细节，非常适合定制化需求。
Stable Diffusion 3 的新特性有哪些？
- SD3 对比 Midjourney：相比之下，SD3 生成的图像往往具有更高的视觉吸引力，在视觉美学方面超越了 Midjourney。
- SD3 对比 Dall-E-3：在提示跟随方面，SD3 超越了 Dall-E-3，因为它能生成更准确地反映指定元素和主题的输出。
- SD3 对比 SD1.5 和 SDXL：根据人工评估，SD3 在文字排版方面表现出优于 SD1.5 和 SDXL 的性能。
Stable Diffusion 3 背后的技术
Stable Diffusion 3 的技术细节
- Diffusion Transformer (DiT) 架构：Diffusion Transformer (DiT) 架构是一类利用 Transformer 架构进行图像生成的扩散模型。与依赖 U-Net 主干网络的传统方法不同，DiT 在潜在块上运行，从而能够基于文本输入高效且有效地生成高质量图像。
- Flow Matching (FM) 技术：Flow Matching (FM) 是一种模型训练技术，通过回归固定条件概率路径的向量场，重新定义了连续归一化流 (CNFs)。FM 可以为训练扩散模型提供更稳定的替代方案——路径更高效，训练和采样更快，并且泛化性能得到增强。
Stable Diffusion 3 是如何工作的？
SD3 架构建立在 DiT 之上，但对于文本到图像生成，它需要同时考虑文本和图像两种模态。因此，SD3 构建了一种名为多模态扩散 Transformer (MMDiT) 的新架构，该架构也使用预训练模型来推导合适的文本和图像表示。它使用三种不同的文本嵌入器——两个 CLIP 模型和 T5——来编码文本表示，并使用改进的自编码模型来编码图像标记。
Stable Diffusion 3 采用 Rectified Flow (RF) 公式，在训练过程中，数据和噪声在直线轨迹上连接。这产生了更直的推理路径，从而允许使用更少的步骤进行采样。此外，在训练过程中，SD3 引入了一种创新的轨迹采样计划，该计划赋予轨迹中间部分更大的权重。相比之下，重新加权的 RF 变体持续提高了性能。然后，重新加权的 RF 公式和 MMDiT 主干网络被缩放，使 SD3 模型从 15 个块、450M 参数转变为 38 个块、8B 参数。
如何访问 Stable Diffusion 3 API？
Novita AI 现已支持 Stable Diffusion 3 Medium 模型，你可以进行尝试。
API 集成目前处于测试阶段。你可以加入 API 访问候补名单，将其集成到你现有的 AI 图像生成器中，并开发新功能。现在，加入候补名单即可获得早期访问权限。
Stable Diffusion 3 的进一步发展
尽管 SD3 是一项尖端的 AI 技术，但它仍存在一些限制。目前，Stable Diffusion 3 模型权重的直接下载选项尚未立即向公众开放，并且无法直接自托管 Stable Diffusion 3。但总体而言，Stable Diffusion 3 未来仍有很大的发展空间，我们对其寄予厚望。
结论
总之，Stable Diffusion 3 是一款开创性的 AI 图像生成模型，与其前代产品相比有了显著改进。凭借其强大的能力和创新特性，Stable Diffusion 3 不仅仅是一个工具，更是一个创意引擎，让你触手可及高质量图像创作。来自不同背景的创作者都可以利用 AI 生成图像的创意潜力，在艺术创作或商业项目中探索新的前沿领域。
Novita AI 是一个一站式平台，提供无限创意，可访问 100 多个 API。从图像生成到语言处理、音频增强和视频操作，按需付费价格低廉，让你在构建自己的产品时免去 GPU 维护的麻烦。免费试用。
推荐阅读
