Libera tu creatividad con los modelos LoRA de Stable Diffusion. Sigue nuestro blog para crear tu propio modelo de entrenamiento LoRA.
Aspectos destacados
- LoRA es una forma más eficiente de ajustar los modelos de Stable Diffusion.
- Los modelos LoRA (1MB-6MB) son más fáciles de compartir y distribuir.
- Puedes encontrar fácilmente muchos modelos LoRA en Civitai y Hugging Face.
- Novita AI ofrece APIs de modelos de entrenamiento LoRA para que desarrolladores como tú creen tus propios modelos LoRA.
- LoRA es mejor que Dreambooth y la inversión textual para el ajuste fino de Stable Diffusion.
Introducción
El modelo LoRA Stable Diffusion es un enfoque innovador dentro del ámbito del contenido generado por IA, que aprovecha el concepto de Adaptación de Bajo Rango (Low-Rank Adaptation) para ajustar modelos existentes de Stable Diffusion, permitiendo la personalización eficiente de imágenes generadas por IA hacia estilos, personajes o preferencias artísticas específicas.
En este blog, te daremos una introducción completa a los modelos LoRA y te enseñaremos cómo encontrar y usar LoRA para entrenar modelos de Stable Diffusion. Además, te proporcionaremos una forma personalizada de crear tus propios modelos de entrenamiento LoRA con las APIs de Novita AI. ¡Adentrémonos ahora en el mundo de LoRA Stable Diffusion!
Resumen de LoRA (Adaptación de Bajo Rango)
LoRA (Low-Rank Adaptation) es una técnica de entrenamiento para ajustar modelos de Stable Diffusion.
¿Qué es LoRA?
LoRA significa “Low-Rank Adaptation”, una técnica novedosa introducida por investigadores de Microsoft para abordar el problema del ajuste fino de modelos de lenguaje grandes (LLMs).
En el contexto de Stable Diffusion, es una técnica para ajustar modelos de Stable Diffusion de manera eficiente. Los modelos LoRA Stable Diffusion son compactos y permiten aplicar modificaciones sutiles pero impactantes a los modelos de checkpoint estándar, haciéndolos significativamente más pequeños, generalmente de 10 a 100 veces más pequeños que los modelos originales.
¿Cómo funciona LoRA?
LoRA es una técnica que hace que los modelos de Stable Diffusion sean más adaptables sin necesidad de reentrenar todo el modelo. En su lugar, añade algunos pesos nuevos a partes clave del modelo que manejan cómo interactúan las imágenes y el texto. Este cambio se vuelve más eficiente mediante un método llamado descomposición de rango, que simplifica la estructura de pesos del modelo. El resultado es un modelo más pequeño y personalizado que conserva sus capacidades originales pero también puede centrarse en tareas específicas. Luego, este modelo se usa junto con el checkpoint del modelo original para crear imágenes que coincidan con estilos o ideas particulares.
Puntos clave de los modelos LoRA
Antes de usar modelos LoRA, es necesario conocer por qué deberías usarlos y los diferentes tipos que existen.
Características de los modelos LoRA
- Soporte para inpainting.
- Ajuste pivotal multi-vector listo para usar.
- Eficiencia: LoRA requiere menos potencia computacional y memoria, lo que lo hace más eficiente para entrenar modelos grandes.
- Ajustes específicos: Se enfoca en modificar las capas de atención cruzada en lugar de todo el modelo, lo que permite un control más preciso sobre el comportamiento del modelo.
- Compatibilidad: Los modelos LoRA están diseñados para funcionar junto con los checkpoints del modelo original, asegurando compatibilidad y facilidad de uso.
- Facilidad para compartir: El tamaño compacto de los modelos LoRA (1MB-6MB) los hace fáciles de compartir y distribuir.
Ejemplos de modelos LoRA
Según las diferentes funciones de los modelos LoRA, podemos dividirlos en los siguientes tipos:
- LoRA de personajes: Los modelos LoRA de personajes se ajustan para encapsular los aspectos visuales distintivos, la complexión y las expresiones faciales de personajes particulares de dibujos animados, videojuegos y otras plataformas de entretenimiento. Son útiles para producir fan art, mejorar procesos de desarrollo de juegos y satisfacer las necesidades de las industrias de animación e ilustración.
- LoRA de estilo: Los modelos LoRA de estilo se ajustan para emular las técnicas artísticas o estilos característicos de ciertos artistas, permitiendo la creación de imágenes que reflejen esas estéticas específicas. Se utilizan frecuentemente para dotar a una imagen de referencia de un estilo visual único, alineándola con un estilo artístico elegido.
Dónde encontrar y usar modelos LoRA
Descargar archivos de modelos LoRA en Civitai o Hugging Face
Civitai es un sitio que alberga una gran colección de modelos LoRA, y Hugging Face también es una fuente famosa de bibliotecas LoRA. Puedes encontrar fácilmente muchos modelos LoRA en estos dos sitios, buscándolos al visitar sus páginas web.
Usar el modelo LoRA en la interfaz gráfica de AUTOMATIC1111 Stable Diffusion
- Instalar los modelos LoRA: Todo lo que necesitas hacer es colocar los archivos del modelo en la siguiente carpeta.
stable-diffusion-webui/models/Lora
- Usar LoRA en el prompt: Usa la siguiente sintaxis en el prompt o en el prompt negativo para agregar un LoRA con peso.
<lora: nombre: peso>
Entrena tu propio modelo LoRA para ajuste fino con Novita AI
En Stable Diffusion, hay muchos modelos que son similares en arquitectura y pipeline pero diferentes en salida. Por lo tanto, el modelo LoRA para ajustar Stable Diffusion también es variado. Además, LoRA no es un modelo completo, es un complemento. Es decir, puedes crear tu propio modelo LoRA, “enseñarle” y entrenarlo continuamente con cualquier concepto según tus necesidades.
Si deseas crear tu propio LoRA, puedes integrar las APIs en tu propio programa. Novita AI es una plataforma que ofrece a desarrolladores como tú tanto APIs para crear un modelo LoRA único como un playground para entrenar tus modelos LoRA. Dado que todo el entrenamiento requerirá muchos recursos computacionales, asegúrate de tener una máquina con GPU para continuar.
Encuentra APIs sobre entrenamiento LoRA
- Paso 1: Visita el sitio web de Novita AI y crea una cuenta.
- Paso 2: Navega a “API” y encuentra las APIs de entrenamiento LoRA en la pestaña “Training”. Novita AI proporciona tanto “LoRA para entrenamiento de sujetos” como “LoRA para entrenamiento de estilo”, que puedes usar para entrenar tanto LoRA de personajes como LoRA de estilo.
- Paso 3: Comienza a entrenar tu modelo LoRA.
Inicia el entrenamiento del modelo LoRA
Después de obtener la clave API de Novita AI, puedes comenzar a entrenar tu modelo LoRA. Tomemos “LoRA para entrenamiento de sujetos” como ejemplo para mostrarte cómo entrenar tu modelo.
- Paso 1: Sube las imágenes para el entrenamiento del modelo. Obtén la URL de subida de imágenes y colócala en la siguiente carpeta. Cada tarea admite la subida de hasta 50 imágenes. Para obtener un buen resultado final, las imágenes subidas deben cumplir algunas condiciones básicas, como: “retrato centrado”, “sin marca de agua”, “imagen nítida”, etc.
curl -X PUT -T “{{ruta_del_archivo}}” “{{upload_url}}”
- Paso 2: Configura los parámetros. Hay cuatro tipos de parámetros para el entrenamiento del modelo: parámetros de información del modelo, parámetros del conjunto de datos, parámetros de componentes y parámetros de experto. Configura los parámetros según tus necesidades.
- Paso 3: Inicia la tarea de entrenamiento. Novita AI ofrece un playground de entrenamiento fácil de usar para que entrenes tu modelo. Simplemente ingresa la clave API de Novita AI y sigue los pasos en la siguiente imagen, luego podrás revisar el resultado del entrenamiento.
- Paso 4: Obtén el estado del entrenamiento. Ingresa el siguiente comando para obtener el progreso del entrenamiento del modelo y el estado de implementación del modelo después del entrenamiento.
curl — location — request GET ‘training task_id’ \ — header ‘Authorization: Bearer {{Key}}’
- Paso 5: Comienza a usar el modelo: Cuando la respuesta muestre “task_status: SUCCESS” y “model_status: SERVING”, puedes comenzar a usar el modelo entrenado.
Otros métodos de entrenamiento de Stable Diffusion
Dreambooth e Inversión Textual
Además de LoRA, Dreambooth y la inversión textual son otros métodos populares para ajustar Stable Diffusion. Sin embargo, en comparación con Dreambooth que produce archivos de modelo grandes (2–7 GB), LoRA es mucho más pequeño y eficiente; en comparación con la inversión textual que produce resultados pequeños (aproximadamente 100 KB), LoRA se puede usar para ajuste fino de propósito general, adaptándose a nuevos dominios o conjuntos de datos.
Consejos de entrenamiento
- Requisito de GPU: El entrenamiento de modelos LoRA requiere muchos recursos computacionales, así que asegúrate de tener una máquina con una GPU capaz para manejar la carga de trabajo.
- Compatibilidad del modelo: Los modelos LoRA deben ser compatibles con el modelo base de Stable Diffusion que se pretende aumentar. Verifica la compatibilidad para evitar problemas de integración.
- Ajuste de parámetros: Ajusta cuidadosamente los parámetros del modelo LoRA, ya que pueden afectar significativamente la salida, incluyendo el peso de los ajustes LoRA y cualquier otro hiperparámetro específico.
Conclusión
En conclusión, el modelo LoRA Stable Diffusion representa un avance significativo en el campo del arte y la creación de contenido generados por IA. Utiliza las APIs de Novita AI para modelos LoRA y entrena tu propio modelo para ajustar los modelos de Stable Diffusion. En general, el modelo LoRA Stable Diffusion es una herramienta poderosa que, cuando se usa de manera responsable, puede mejorar enormemente las capacidades de la IA en aplicaciones artísticas y creativas.
Novita AI, la plataforma integral para una creatividad sin límites que te da acceso a más de 100 APIs. Desde generación de imágenes y procesamiento de lenguaje hasta mejora de audio y manipulación de video, con pago por uso económico, te libera de las molestias del mantenimiento de GPU mientras construyes tus propios productos. Pruébalo gratis.
Lectura recomendada
