Раскройте свой творческий потенциал с моделями LoRA Stable Diffusion. Следуйте нашему блогу, чтобы создать собственную модель обучения LoRA.
Ключевые моменты
- LoRA — более эффективный способ тонкой настройки моделей Stable Diffusion.
- Модели LoRA (1–6 МБ) проще распространять и делиться ими.
- Вы легко найдете множество моделей LoRA на Civitai и Hugging Face.
- Novita AI предоставляет API для обучения моделей LoRA, чтобы разработчики, подобные вам, могли создавать собственные модели LoRA.
- LoRA превосходит Dreambooth и Textual Inversion при тонкой настройке Stable Diffusion.
Введение
Модель LoRA Stable Diffusion — это инновационный подход в области контента, создаваемого ИИ, который использует концепцию низкоранговой адаптации (Low-Rank Adaptation) для тонкой настройки существующих моделей Stable Diffusion. Это позволяет эффективно настраивать изображения, генерируемые ИИ, под определённые стили, персонажей или художественные предпочтения.
В этом блоге мы дадим вам всестороннее введение в модели LoRA и научим, как находить и использовать LoRA для обучения моделей Stable Diffusion. Кроме того, мы предложим индивидуальный способ создания собственных моделей LoRA с помощью API Novita AI. Давайте погрузимся в мир LoRA Stable Diffusion прямо сейчас!
Обзор LoRA (Low-Rank Adaptation)
LoRA (Low-Rank Adaptation) — это метод обучения для тонкой настройки моделей Stable Diffusion.
Что такое LoRA?
LoRA расшифровывается как «Low-Rank Adaptation» (низкоранговая адаптация) — это новая техника, представленная исследователями Microsoft для решения проблемы тонкой настройки больших языковых моделей (LLM).
В контексте Stable Diffusion это метод эффективной тонкой настройки моделей Stable Diffusion. Модели LoRA Stable Diffusion компактны и позволяют вносить тонкие, но значимые изменения в стандартные контрольные точки (checkpoint) моделей, делая их значительно меньше — обычно в 10–100 раз меньше оригинальных моделей.
Как работает LoRA?
LoRA — это метод, который делает модели Stable Diffusion более адаптируемыми без необходимости переобучать всю модель. Вместо этого он добавляет несколько новых весов к ключевым частям модели, отвечающим за взаимодействие изображений и текста. Это изменение становится более эффективным благодаря использованию метода, называемого декомпозицией ранга (rank decomposition), который упрощает структуру весов модели. В результате получается меньшая, настраиваемая модель, которая сохраняет исходные способности, но также может сосредоточиться на конкретных задачах. Затем эта модель используется вместе с оригинальной контрольной точкой для создания изображений, соответствующих определённым стилям или идеям.
Ключевые моменты моделей LoRA
Прежде чем использовать модели LoRA, важно понять, почему их стоит применять и какие существуют типы.
Особенности моделей LoRA
- Поддержка инпейнтинга (inpainting).
- Готовая к использованию многовекторная инверсия поворотных точек (multi-vector pivotal tuning inversion).
- Эффективность: LoRA требует меньше вычислительных мощностей и памяти, что делает обучение больших моделей более эффективным.
- Целевые изменения: метод фокусируется на изменении слоёв перекрёстного внимания (cross-attention), а не всей модели, что обеспечивает более точный контроль над поведением модели.
- Совместимость: модели LoRA разработаны для работы вместе с оригинальными контрольными точками, что гарантирует совместимость и простоту использования.
- Лёгкость распространения: компактный размер моделей LoRA (1–6 МБ) делает их простыми для обмена и распространения.
Примеры моделей LoRA
В зависимости от функций модели LoRA можно разделить на следующие типы:
- Персонажные LoRA (Character LoRA): Модели персонажных LoRA настраиваются для передачи отличительных визуальных черт, телосложения и мимики конкретных персонажей из мультфильмов, видеоигр и других развлекательных платформ. Они незаменимы при создании фанарта, улучшении процессов разработки игр и удовлетворении потребностей анимационной и иллюстрационной индустрий.
- Стилевые LoRA (Style LoRA): Стилевые модели LoRA настраиваются для имитации художественных техник или фирменных стилей определённых художников, что позволяет создавать изображения, отражающие эти конкретные эстетики. Они часто используются, чтобы придать референсному изображению уникальный визуальный облик, соответствующий выбранному художественному стилю.
Где найти и использовать модели LoRA
Скачайте файлы моделей LoRA на Civitai или Hugging Face
Civitai — это сайт, на котором размещена большая коллекция моделей LoRA, а Hugging Face также является известным источником библиотек LoRA. Вы легко найдете множество моделей LoRA на этих двух сайтах, выполнив поиск на их веб-сайтах.
Использование модели LoRA в AUTOMATIC1111 Stable Diffusion GUI
- Установка моделей LoRA: Всё, что вам нужно сделать, — это поместить файлы модели в следующую папку.
stable-diffusion-webui/models/Lora
- Использование LoRA в промпте: Используйте следующий синтаксис в позитивном или негативном промпте, чтобы добавить LoRA с весом.
<lora: имя: вес>
Обучите собственную модель LoRA для тонкой настройки с помощью Novita AI
В Stable Diffusion существует множество моделей, схожих по архитектуре и пайплайну, но различающихся по выходным результатам. Поэтому модели LoRA для тонкой настройки Stable Diffusion также разнообразны. Более того, LoRA — это не полноценная модель, а дополнение. Это означает, что вы можете создать собственную модель LoRA, «научить» её и постоянно обучать любым концепциям в соответствии с вашими потребностями.
Если вы хотите создать свою собственную LoRA, вы можете интегрировать API в свою программу. Novita AI — это платформа, которая предлагает разработчикам, подобным вам, как API для создания уникальной модели LoRA, так и игровую площадку (playground) для обучения ваших моделей LoRA. Поскольку всё обучение будет требовать больших вычислительных ресурсов, убедитесь, что у вас есть машина с GPU, чтобы продолжить.
Найдите API для обучения LoRA
- Шаг 1: Посетите веб-сайт Novita AI и создайте аккаунт.
- Шаг 2: Перейдите в раздел «API» и найдите API для обучения LoRA на вкладке «Training». Novita AI предоставляет как «LoRA для обучения субъекта», так и «LoRA для обучения стилю», которые можно использовать для обучения персонажных и стилевых LoRA.
- Шаг 3: Начните обучение вашей модели LoRA.
Начните обучение модели LoRA
После получения ключа API Novita AI вы можете приступить к обучению вашей модели LoRA. Давайте рассмотрим «LoRA для обучения субъекта» в качестве примера, чтобы показать, как обучить модель.
- Шаг 1: Загрузите изображения для обучения модели. Получите URL для загрузки изображений и поместите его в следующую папку. Каждая задача поддерживает загрузку до 50 изображений. Для достижения хорошего конечного результата загружаемые изображения должны соответствовать некоторым базовым условиям, например: «портрет по центру», «без водяных знаков», «чёткое изображение» и т.д.
curl -X PUT -T “{{filepath}}” “{{upload_url}}”
- Шаг 2: Настройте параметры. Существует четыре типа параметров для обучения модели: параметры информации о модели, параметры набора данных, параметры компонентов и экспертные параметры. Настройте параметры в соответствии с вашими потребностями.
- Шаг 3: Запустите задачу обучения. Novita AI предоставляет удобную игровую площадку для обучения, чтобы вы могли обучить свою модель. Просто введите ключ API Novita AI и следуйте шагам, показанным на следующем рисунке, после чего вы сможете просмотреть результат обучения.
- Шаг 4: Получите статус обучения. Введите команду ниже, чтобы узнать ход обучения модели и статус развёртывания модели после обучения.
curl — location — request GET ‘training task_id’ \ — header ‘Authorization: Bearer {{Key}}’
- Шаг 5: Начните использовать модель. Когда в ответе будет указано «task_status: SUCCESS» и «model_status: SERVING», вы можете начать использовать обученную модель.
Другие методы обучения Stable Diffusion
Dreambooth и Textual Inversion
Помимо LoRA, Dreambooth и Textual Inversion являются другими популярными методами тонкой настройки Stable Diffusion. Однако по сравнению с Dreambooth, который даёт большие файлы моделей (2–7 ГБ), LoRA гораздо меньше и эффективнее; по сравнению с крошечными результатами Textual Inversion (около 100 КБ), LoRA можно использовать для тонкой настройки общего назначения, адаптируясь к новым областям или наборам данных.
Советы по обучению
- Требования к GPU: Обучение моделей LoRA требует больших вычислительных ресурсов, поэтому убедитесь, что у вас есть машина с подходящим GPU для обработки нагрузки.
- Совместимость моделей: Модели LoRA должны быть совместимы с базовой моделью Stable Diffusion, которую они предназначены дополнять. Проверьте совместимость, чтобы избежать проблем с интеграцией.
- Настройка параметров: Тщательно настраивайте параметры модели LoRA, так как они могут существенно повлиять на выходной результат, включая вес корректировок LoRA и любые другие специфические гиперпараметры.
Заключение
В заключение, модель LoRA Stable Diffusion представляет собой значительный прогресс в области создания искусства и контента с помощью ИИ. Используйте API Novita AI для моделей LoRA, чтобы обучить собственную модель для тонкой настройки Stable Diffusion. В целом, модель LoRA Stable Diffusion — это мощный инструмент, который при ответственном использовании может значительно расширить возможности ИИ в художественных и творческих приложениях.
Novita AI — это универсальная платформа для безграничного творчества, предоставляющая доступ к более чем 100 API. От генерации изображений и обработки языка до улучшения аудио и манипуляции видео — недорогая модель оплаты по мере использования освобождает вас от хлопот по обслуживанию GPU, пока вы создаёте свои собственные продукты. Попробуйте бесплатно.
Рекомендуемое чтение
