Cómo utilizar LoRA para ajustar con precisión la difusión estable

Dé rienda suelta a su creatividad con los modelos de difusión estable de LoRA. Siga nuestro blog para crear su propio modelo de entrenamiento de LoRA.

Puntos clave

• LoRA es una forma más eficiente de ajustar los modelos de difusión estable.
• Los modelos LoRA (1 MB-6 MB) son más fáciles de compartir y distribuir.
• Puede encontrar fácilmente muchos modelos LoRA en Civitai y Hugging Face.
• Novita AI Cuenta con API de modelos de entrenamiento LoRA para que desarrolladores como usted puedan crear sus propios modelos LoRA.
• LoRA es mejor que Dreambooth y la inversión textual para ajustar la difusión estable.

Introducción

El modelo de difusión estable LoRA es un enfoque innovador dentro del ámbito del contenido generado por IA, que aprovecha el concepto de adaptación de bajo rango para ajustar los modelos de difusión estable existentes, lo que permite la personalización eficiente de las imágenes generadas por IA según estilos, personajes o preferencias artísticas específicos.

En este blog, le brindaremos una introducción completa a los modelos LoRA y le enseñaremos cómo encontrar y usar LoRA para entrenar modelos de difusión estable. Además, le brindaremos una forma personalizada para que cree sus propios modelos de entrenamiento LoRA con Novita AI API. ¡Adentrémonos ahora en el mundo de la difusión estable de LoRA!

Descripción general de LoRA (adaptación de bajo rango)

LoRA (Adaptación de bajo rango) es una técnica de entrenamiento para ajustar los modelos de difusión estable.

¿Qué es LoRA?

LoRA significa “Adaptación de bajo rango”, que es una técnica novedosa introducida por investigadores de Microsoft para abordar el problema del ajuste fino de modelos de lenguajes grandes (LLMs). 

Si bien, en el contexto de la difusión estable, es una técnica para ajustar los modelos de difusión estable de manera eficiente. Difusión estable LoRA Los modelos son compactos y permiten la aplicación de modificaciones sutiles pero impactantes a los modelos de puntos de control estándar, haciéndolos significativamente más pequeños, generalmente de 10 a 100 veces más pequeños que los modelos originales.

¿Cómo funciona LoRA?

LoRA es una técnica que hace que los modelos de difusión estable sean más adaptables sin necesidad de volver a entrenar todo el modelo. En cambio, agrega algunos pesos nuevos a las partes clave del modelo que controlan cómo interactúan las imágenes y el texto. Este cambio se hace más eficiente mediante el uso de un método llamado descomposición por rangos, que simplifica la estructura de pesos del modelo. El resultado es un modelo más pequeño y personalizado que mantiene sus capacidades originales, pero que también puede centrarse en tareas específicas. Luego, este modelo se usa junto con el punto de control del modelo original para crear imágenes que coincidan con estilos o ideas particulares.

Puntos clave de los modelos LoRA

Antes de utilizar modelos LoRA, es necesario conocer por qué debería utilizarlos y los diferentes tipos que existen.

Características de los modelos LoRA

• Soporte para retoque de pintura.
• Inversión de sintonización pivotante multivectorial lista para usar.
• Eficiencia: LoRA requiere menos potencia computacional y memoria, lo que lo hace más eficiente para entrenar modelos grandes.
• Ajustes específicos: Se centra en modificar las capas de atención cruzada en lugar del modelo completo, lo que genera un control más preciso sobre el comportamiento del modelo.
• Compatibilidad: Los modelos LoRA están diseñados para funcionar junto con los puntos de control del modelo original, lo que garantiza la compatibilidad y la facilidad de uso.
• Facilidad de compartir: El tamaño compacto de los modelos LoRA (1 MB-6 MB) hace que sea fácil compartirlos y distribuirlos.

Ejemplos de modelos LoRA

En función de las diferentes funciones de los modelos LoRA, podemos dividirlos en los siguientes tipos:

• Personaje LoRA: Los modelos de personajes LoRA están optimizados para encapsular los aspectos visuales distintivos, el físico y las expresiones faciales de personajes específicos de dibujos animados, videojuegos y otras plataformas de entretenimiento. Son fundamentales para producir fan art, mejorar los procesos de desarrollo de juegos y satisfacer las necesidades de las industrias de la animación y la ilustración.
• Estilo LoRA: Los modelos de estilo LoRA están optimizados para emular las técnicas artísticas o los estilos característicos de ciertos artistas, lo que permite la creación de imágenes que reflejen esa estética específica. Se utilizan con frecuencia para dotar a una imagen de referencia de un estilo visual único, alineándola con un estilo artístico elegido.

Dónde encontrar y utilizar modelos LoRA

Descargar archivos del modelo LoRA en Civitai o Hugging Face

Civitai es un sitio que alberga una gran colección de modelos LoRA, y Hugging Face también es una fuente famosa de bibliotecas LoRA. Puedes encontrar fácilmente muchos modelos LoRA en estos dos sitios, buscándolos visitando su sitio web.

Utilice el modelo LoRA en la interfaz gráfica de usuario de difusión estable AUTOMATIC1111

• Instalar los modelos LoRA: Todo lo que necesitas hacer es colocar los archivos del modelo en la siguiente carpeta.

difusión-estable-webui/modelos/Lora

• Utilice LoRA en el mensaje: Utilice la siguiente sintaxis en el mensaje de solicitud o en el mensaje de solicitud negativo para agregar un LoRA con peso.

Entrene su propio modelo LoRA para realizar ajustes con Novita AI

En Stable Diffusion, hay muchos modelos que son similares en arquitectura y flujo de trabajo, pero diferentes en resultados. Por lo tanto, el modelo LoRA para ajustar Stable Diffusion también es variado. Además, LoRA no es un modelo completo, es un complemento. Es decir, puedes crear tu propio modelo LoRA, "enseñarle" y entrenarlo continuamente según tus necesidades.

Si desea crear su propio LoRA, puede integrar API en su propio programa. Novita AI es una plataforma que ofrece a los desarrolladores como usted API para crear un modelo LoRA único y un espacio de pruebas para entrenar sus modelos LoRA. Dado que todo el entrenamiento será computacionalmente intensivo, asegúrese de tener una máquina con GPU para continuar.

Encuentre API sobre capacitación en LoRA

• Paso 1: Visita el Novita AI sitio web y crear una cuenta.
• Paso 2: navegue a “API” y busque las API de entrenamiento de LoRA en la pestaña “Entrenamiento”. Novita AI proporciona tanto "LoRA para entrenamiento de sujetos" y "LoRA para entrenamiento de estilo”, que puedes usar para entrenar tanto el LoRA de caracteres como el LoRA de estilo.
• Paso 3: Comience a entrenar su modelo LoRA.

Comenzar la capacitación del modelo LoRA

Después de obtener el Novita AI Clave API, puedes comenzar a entrenar tu modelo LoRA. Tomemos como ejemplo “LoRA para entrenamiento de sujetos” para mostrarte cómo entrenar tu modelo.

• Paso 1: Sube las imágenes para el entrenamiento del modelo. Obtenga la URL de carga de la imagen y colóquela en la siguiente carpeta. Cada tarea admite la carga de hasta 50 imágenes. Para obtener un buen efecto final, las imágenes cargadas deben cumplir algunas condiciones básicas, como: "retrato en el centro", "sin marca de agua", "imagen nítida", etc.

curl -X PUT -T “{{ruta_archivo}}” “{{url_carga}}”

• Paso 2: Configurar parámetros. Hay cuatro tipos de parámetros para el entrenamiento del modelo: parámetros de información del modelo, parámetros del conjunto de datos, parámetros de componentes y parámetros de experto. Configure los parámetros según sus necesidades.

• Paso 3: Iniciar tarea de entrenamiento. Novita AI proporciona un fácil de usar patio de entrenamiento para que puedas entrenar tu modelo. Simplemente ingresa el Novita AI Clave API y sigue los pasos de la siguiente imagen, luego podrás revisar el resultado del entrenamiento.

• Paso 4: Obtener el estado de entrenamiento. Ingrese el siguiente comando para obtener el progreso del entrenamiento del modelo y el estado de la implementación del modelo después del entrenamiento. 

curl — ubicación — solicitud GET 'training task_id' \ — encabezado 'Autorización: Portador {{Key}}'

• Paso 5: Comience a utilizar el modelo: Cuando la respuesta muestre “task_status: SUCCESS” y “model_status: SERVING”, puede comenzar a usar el modelo de entrenamiento.

Otros métodos de entrenamiento de difusión estable

Dreambooth y la inversión textual

Además de LoRA, Dreambooth y la inversión textual son otros métodos populares para ajustar la difusión estable. Sin embargo, en comparación con los resultados de Dreambooth en archivos de modelos grandes (2 a 7 GB), LoRA es mucho más pequeño y más eficiente; en comparación con los resultados diminutos de la inversión textual (alrededor de 100 KB), LoRA se puede utilizar para ajustes finos de propósito general, adaptándose a nuevos dominios o conjuntos de datos.

Consejos de entrenamiento

• GPU Requisito: El entrenamiento de modelos LoRA es computacionalmente exigente, por lo que debe asegurarse de tener una máquina con una capacidad GPU para manejar la carga de trabajo.
• Compatibilidad de modelos: los modelos LoRA deben ser compatibles con el modelo de difusión estable base que pretenden ampliar. Verifique la compatibilidad para evitar problemas de integración.
• Ajuste de parámetros: ajuste los parámetros del modelo LoRA con cuidado, ya que pueden afectar significativamente la salida, incluido el peso de los ajustes de LoRA y cualquier otro hiperparámetro específico.

Conclusión

En conclusión, el modelo de difusión estable LoRA representa un avance significativo en el campo de la creación de contenido y arte generado por IA. Novita AI API de modelos LoRA para entrenar su propio modelo y perfeccionar los modelos de difusión estable. En general, el modelo de difusión estable LoRA es una herramienta poderosa que, cuando se usa de manera responsable, puede mejorar en gran medida las capacidades de la IA en aplicaciones artísticas y creativas.

Novita AI, la plataforma integral para una creatividad sin límites que te da acceso a más de 100 API. Desde la generación de imágenes y el procesamiento del lenguaje hasta la mejora de audio y la manipulación de vídeo, con un pago por uso económico, te libera de... GPU Evita problemas de mantenimiento al crear tus propios productos. Pruébalo gratis.

Lectura recomendada

1. Añadir difusión estable LoRA: una guía completa
2. Generador de arte con IA LoRA: crea arte con facilidad
3. Imágenes generadas por IA de Lora: el futuro del arte