如何使用 LoRA 進行微調穩定擴散

利用 LoRA 穩定擴散模型釋放您的創造力。關注我們的部落格來創建您自己的 LoRA 訓練模型。

重點摘要

• LoRA 是一種更有效的微調穩定擴散模型的方法。
• LoRA模型（1MB-6MB）更易於共享和分發。
• 您可以在 Civitai 和 Hugging Face 上輕鬆找到許多 LoRA 型號。
• Novita AI 為像您這樣的開發人員提供 LoRA 訓練模型的 API，以建立您自己的 LoRA 模型。
• LoRA 在微調穩定擴散方面優於 Dreambooth 和文字反轉。

引言

LoRA 穩定擴散模型是 AI 生成內容領域的一種創新方法，它利用低秩自適應的概念來微調現有的穩定擴散模型，從而可以根據特定的風格、角色或藝術偏好對 AI 生成的圖像進行有效自訂。

在這篇部落格中，我們將全面介紹 LoRA 模型，並教您如何尋找和使用 LoRA 來訓練穩定擴散模型。此外，我們將為您提供一種客製化的方式，讓您使用以下方式建立自己的 LoRA 訓練模型： Novita AI 蜜蜂。現在讓我們深入研究 LoRA 穩定擴散的世界！

LoRA（低秩自適應）概述

LoRA（低秩自適應）是一種用於微調穩定擴散模型的訓練技術。

什麼是 LoRA？

LoRA 代表“低秩自適應”，這是微軟研究人員為解決微調大型語言模型的問題而提出的新技術（LLMS）。 

而在穩定擴散的背景下，它是一種有效微調穩定擴散模型的技術。 LoRA穩定傳播 模型緊湊，允許對標準檢查點模型進行細微但有影響力的修改，使其尺寸顯著縮小，通常比原始模型小 10 到 100 倍。

LoRA如何運作？

LoRA 是一種使穩定擴散模型更具適應性的技術，無需重新訓練整個模型。相反，它為處理圖像和文字如何交互的模型的關鍵部分添加了一些新的權重。透過使用一種稱為秩分解的方法，這種改變變得更加高效，它簡化了模型的權重結構。最終得到的是一個更小、客製化的模型，它保留了原有的能力，但也可以專注於特定的任務。然後將該模型與原始模型檢查點一起使用，以創建符合特定風格或想法的圖像。

LoRA模型的要點

在使用 LoRA 模型之前，有必要了解為什麼要使用它們以及它們的不同類型。

LoRA模型的特點

• 支援修復。
• 開箱即用的多向量關鍵調音反演。
• 效率： LoRA 所需的運算能力和記憶體較少，因此訓練大型模型的效率更高。
• 針對性調整： 它專注於修改跨注意力層而不是整個模型，從而可以更精確地控制模型的行為。
• 兼容性： LoRA 模型旨在與原始模型檢查點協同工作，確保相容性和易用性。
• 易於共享： LoRA 車型的緊湊尺寸（1MB-6MB）使其易於共享和分發。

LoRA 模型範例

根據LoRA模型的不同功能，我們可以將其分為以下幾種類型：

• 角色 LoRA： 角色 LoRA 模型經過微調，可以囊括卡通、電玩遊戲和其他娛樂平台中特定角色的獨特視覺方面、體格和臉部表情。它們在製作粉絲藝術、增強遊戲開發流程以及滿足動畫和插圖行業的需求方面發揮著重要作用。
• LoRA 風格： 風格 LoRA 模型經過微調，可以模仿某些藝術家的藝術技巧或標誌性風格，從而能夠創造出反映特定美學的圖像。它們經常被用來為參考圖像注入獨特的視覺風格，使其與所選的藝術風格保持一致。

在哪裡尋找和使用 LoRA 模型

在 Civitai 或 Hugging Face 上下載 LoRA 模型文件

Civitai 是一個託管大量 LoRA 模式的網站，而 Hugging Face 也是一個著名的 LoRA 函式庫來源。您可以透過造訪這兩個網站的網站輕鬆找到許多 LoRA 模型並進行搜尋。

在 AUTOMATIC1111 穩定擴散 GUI 中使用 LoRA 模型

• 安裝 LoRA 模型： 您需要做的就是將模型檔案放入以下資料夾中。

穩定擴散-webui/模型/Lora

• 在提示中使用 LoRA： 在提示或否定提示中使用以下語法來新增具有權重的 LoRA。

使用 Novita AI 訓練您自己的 LoRA 模型進行微調

在穩定擴散中，有許多模型在架構和管道上相似，但輸出不同。因此，用於微調穩定擴散的 LoRA 模型也是多種多樣的。此外，LoRA不是一個完整的模型，而是一個附加模型。也就是說，您可以創建自己的 LoRA 模型，並根據需要不斷「教授」和訓練它任何概念。

如果您想建立自己的 LoRA，您可以將 API 整合到您自己的程式中。 Novita AI 是一個這樣的平台，它為像您這樣的開發人員提供 API 來創建獨特的 LoRA 模型，並提供一個遊樂場來訓練您的 LoRA 模型。由於所有訓練都是計算密集型的，因此請確保你的機器具備 GPU 以繼續。

尋找有關 LoRA 訓練的 API

• 步驟1：訪問 Novita AI 網站並創建一個帳戶。
• 步驟 2： 導覽至“API”，並在“訓練”標籤下找到 LoRA 訓練的 API。 Novita AI 提供“LoRA 用於學科培訓“和”用於風格訓練的 LoRA”，您可以使用它來訓練角色 LoRA 和風格 LoRA。
• 步驟 3：開始訓練您的 LoRA 模型。

開始 LoRA 模型訓練

得到後 Novita AI API 金鑰，您可以開始訓練您的 LoRA 模型。讓我們以「LoRA 用於主題訓練」為例，向您展示如何訓練您的模型。

• 步驟1：上傳用於模型訓練的圖像。 取得圖片上傳URL，並將其放入以下資料夾中。每個任務最多支援上傳50張圖片。為了最終能有好的效果，上傳的圖片需要滿足一些基本條件，例如：「肖像居中」、「無浮水印」、「圖片清晰」等。

curl -X PUT -T “{{filepath}}” “{{upload_url}}”

• 步驟2：配置參數。 模型訓練的參數有四種：模型資訊參數、資料集參數、組件參數、專家參數。根據您的需求配置參數。

• 步驟3：開始訓練任務。 Novita AI 提供了一個用戶友好的 訓練操場 供您訓練模型。只需輸入 Novita AI API金鑰並依照下圖中的步驟操作，即可查看訓練結果。

• 步驟4：獲取訓練狀態。 輸入以下指令，取得模型訓練的進度以及訓練完成後模型部署的狀態。 

curl — 位置 — 請求 GET'訓練任務 ID' \ — 標頭'授權：Bearer {{Key}}'

• 步驟5：開始使用模型： 當反應顯示「task_status: SUCCESS」和「model_status: SERVING」時，即可開始使用訓練模型。

訓練穩定擴散的其他方法

Dreambooth 和文字倒裝

除了 LoRA 之外，Dreambooth 和文字反轉也是其他流行的微調穩定擴散的方法。然而，與 Dreambooth 產生的大型模型檔案（2-7 GB）相比，LoRA 小得多，而且效率更高；與文字反轉微小（約 100 KB）結果相比，LoRA 可用於通用微調，適應新領域或資料集。

培訓提示

• GPU 需求：訓練 LoRA 模型需要大量的運算資源，因此請確保你的機器具備強大的運算能力 GPU 來處理工作量。
• 模型相容性：LoRA 模型應該與它們要增強的基本穩定擴散模型相容。檢查相容性以避免整合問題。
• 參數調整：仔細微調 LoRA 模型的參數，因為它們會顯著影響輸出，包括 LoRA 調整的權重和任何其他特定的超參數。

結語

總之，LoRA 穩定擴散模型代表了人工智慧生成藝術和內容創作領域的重大進步。利用 Novita AI LoRA 模型的 API 用於訓練您自己的模型來微調穩定擴散模型。總體而言，LoRA 穩定擴散模型是一個強大的工具，如果使用得當，可以大大增強人工智慧在藝術和創意應用中的能力。

Novita AI，一站式無限創意平台，讓您可以存取 100 多個 API。從影像生成和語言處理到音訊增強和視訊處理，廉價的即用即付，讓您擺脫 GPU 在建立自己的產品時避免維護麻煩。免費試用。

推薦閱讀

1. 添加 LoRA 穩定傳播：綜合指南
2. LoRA AI 藝術生成器：輕鬆創作藝術
3. Lora AI 生成的圖像——藝術的未來