Libérez votre créativité avec les modèles LoRA Stable Diffusion. Suivez notre blog pour créer votre propre modèle d’entraînement LoRA.
Points clés
- LoRA est une méthode plus efficace pour le fine-tuning des modèles Stable Diffusion.
- Les modèles LoRA (1 Mo – 6 Mo) sont plus faciles à partager et à distribuer.
- Vous pouvez facilement trouver de nombreux modèles LoRA sur Civitai et Hugging Face.
- Novita AI propose des API de modèles d’entraînement LoRA pour que des développeurs comme vous puissent créer vos propres modèles LoRA.
- LoRA est meilleur que Dreambooth et l’inversion textuelle pour le fine-tuning de Stable Diffusion.
Introduction
Le modèle LoRA Stable Diffusion est une approche innovante dans le domaine du contenu généré par IA, exploitant le concept d’adaptation de bas rang (« Low-Rank Adaptation ») pour affiner les modèles Stable Diffusion existants, permettant une personnalisation efficace des images générées par IA selon des styles, personnages ou préférences artistiques spécifiques.
Dans ce blog, nous vous offrirons une introduction complète aux modèles LoRA et vous apprendrons à trouver et utiliser LoRA pour entraîner des modèles Stable Diffusion. De plus, nous vous proposerons une méthode personnalisée pour créer vos propres modèles d’entraînement LoRA avec les API Novita AI. Plongeons dès maintenant dans l’univers de LoRA Stable Diffusion !
Présentation de LoRA (Low-Rank Adaptation)
LoRA (Low-Rank Adaptation) est une technique d’entraînement pour le fine-tuning des modèles Stable Diffusion.
Qu’est-ce que LoRA ?
LoRA signifie « Low-Rank Adaptation » (adaptation de bas rang), une technique novatrice introduite par des chercheurs de Microsoft pour résoudre le problème du fine-tuning des grands modèles de langage (LLMs). Dans le contexte de Stable Diffusion, il s’agit d’une technique permettant d’affiner efficacement les modèles Stable Diffusion. Les modèles LoRA Stable Diffusion sont compacts et permettent d’appliquer des modifications subtiles mais impactantes aux modèles de checkpoint standards, ce qui les rend nettement plus petits – généralement 10 à 100 fois plus petits que les modèles originaux.
Comment fonctionne LoRA ?
LoRA est une technique qui rend les modèles Stable Diffusion plus adaptables sans avoir à réentraîner l’ensemble du modèle. Au lieu de cela, elle ajoute quelques nouveaux poids aux parties clés du modèle qui gèrent l’interaction entre les images et le texte. Cette modification est rendue plus efficace grâce à une méthode appelée décomposition de rang, qui simplifie la structure des poids du modèle. Le résultat est un modèle plus petit et personnalisé qui conserve ses capacités d’origine mais peut également se concentrer sur des tâches spécifiques. Ce modèle est ensuite utilisé conjointement avec le checkpoint du modèle original pour créer des images correspondant à des styles ou idées particuliers.
Points clés des modèles LoRA
Avant d’utiliser les modèles LoRA, il est nécessaire de comprendre pourquoi vous devriez les utiliser et les différents types existants.
Caractéristiques des modèles LoRA
- Support pour l’inpainting.
- Inversion pivotale multi-vecteurs prête à l’emploi.
- Efficacité : LoRA nécessite moins de puissance de calcul et de mémoire, ce qui le rend plus efficace pour l’entraînement de grands modèles.
- Ajustements ciblés : Il se concentre sur la modification des couches d’attention croisée plutôt que sur l’ensemble du modèle, offrant un contrôle plus précis du comportement du modèle.
- Compatibilité : Les modèles LoRA sont conçus pour fonctionner aux côtés des checkpoints originaux du modèle, garantissant compatibilité et facilité d’utilisation.
- Facilité de partage : La taille compacte des modèles LoRA (1 Mo – 6 Mo) les rend faciles à partager et à distribuer.
Exemples de modèles LoRA
En fonction des différentes fonctions des modèles LoRA, nous pouvons les classer dans les types suivants :
- Personnage LoRA : Les modèles Personnage LoRA sont affinés pour encapsuler les aspects visuels distinctifs, la physionomie et les expressions faciales de personnages particuliers issus de dessins animés, jeux vidéo et autres supports de divertissement. Ils sont essentiels pour produire des fan arts, améliorer les processus de développement de jeux et répondre aux besoins des industries de l’animation et de l’illustration.
- Style LoRA : Les modèles Style LoRA sont affinés pour imiter les techniques artistiques ou les styles signature de certains artistes, permettant de créer des images qui reflètent ces esthétiques spécifiques. Ils sont fréquemment utilisés pour donner à une image de référence un toucher visuel unique, en l’alignant sur un style artistique choisi.
Où trouver et utiliser les modèles LoRA
Télécharger les fichiers de modèles LoRA sur Civitai ou Hugging Face
Civitai est un site hébergeant une vaste collection de modèles LoRA, et Hugging Face est également une source célèbre de bibliothèques LoRA. Vous pouvez facilement trouver de nombreux modèles LoRA sur ces deux sites en les recherchant via leur site web.
Utiliser un modèle LoRA dans AUTOMATIC1111 Stable Diffusion GUI
- Installer les modèles LoRA : Il vous suffit de placer les fichiers du modèle dans le dossier suivant :
stable-diffusion-webui/models/Lora
- Utiliser LoRA dans le prompt : Utilisez la syntaxe suivante dans le prompt ou le prompt négatif pour ajouter un LoRA avec un poids.
<lora: nom: poids>
Entraînez votre propre modèle LoRA pour le fine-tuning avec Novita AI
Dans Stable Diffusion, il existe de nombreux modèles dont l’architecture et le pipeline sont similaires mais les sorties différentes. Par conséquent, le modèle LoRA pour le fine-tuning de Stable Diffusion est également varié. De plus, LoRA n’est pas un modèle complet, c’est un module complémentaire. Autrement dit, vous pouvez créer votre propre modèle LoRA, « enseigner » et l’entraîner continuellement sur n’importe quels concepts selon vos besoins.
Si vous souhaitez créer votre propre LoRA, vous pouvez intégrer des API dans votre propre programme. Novita AI est une plateforme qui offre aux développeurs comme vous à la fois des API pour créer un modèle LoRA unique et un espace de jeu (« playground ») pour entraîner vos modèles LoRA. Comme tout entraînement sera intensif en calcul, assurez-vous de disposer d’une machine avec GPU pour continuer.
Trouver des API concernant l’entraînement LoRA
- Étape 1 : Visitez le site Novita AI et créez un compte.
- Étape 2 : Accédez à « API » et trouvez les API d’entraînement LoRA sous l’onglet « Training ». Novita AI propose à la fois « LoRA pour l’entraînement de sujet » et « LoRA pour l’entraînement de style », que vous pouvez utiliser pour entraîner à la fois un personnage LoRA et un style LoRA.
- Étape 3 : Commencez l’entraînement de votre modèle LoRA.
Démarrer l’entraînement du modèle LoRA
Après avoir obtenu la clé API Novita AI, vous pouvez commencer à entraîner votre modèle LoRA. Prenons « LoRA pour l’entraînement de sujet » comme exemple pour vous montrer comment entraîner votre modèle.
- Étape 1 : Téléchargez les images pour l’entraînement du modèle. Obtenez l’URL de téléchargement d’image et placez-la dans le dossier suivant. Chaque tâche prend en charge le téléchargement de jusqu’à 50 images. Pour obtenir un bon résultat final, les images téléchargées doivent répondre à certaines conditions de base, comme : « portrait centré », « sans filigrane », « image nette », etc.
curl -X PUT -T “{{filepath}}” “{{upload_url}}”
- Étape 2 : Configurez les paramètres. Il existe quatre types de paramètres pour l’entraînement du modèle : les paramètres d’informations du modèle, les paramètres de jeu de données, les paramètres de composants et les paramètres experts. Configurez les paramètres selon vos besoins.
- Étape 3 : Lancez la tâche d’entraînement. Novita AI propose un environnement de test d’entraînement convivial pour entraîner votre modèle. Saisissez simplement la clé API Novita AI et suivez les étapes de l’image ci-dessous, puis vous pourrez consulter le résultat de l’entraînement.
- Étape 4 : Obtenez le statut de l’entraînement. Saisissez la commande ci-dessous pour obtenir la progression de l’entraînement du modèle et le statut du déploiement du modèle après l’entraînement.
curl --location --request GET ‘training task_id’ \ --header ‘Authorization: Bearer {{Key}}’
- Étape 5 : Commencez à utiliser le modèle. Lorsque la réponse indique « task_status: SUCCESS » et « model_status: SERVING », vous pouvez commencer à utiliser le modèle entraîné.
Autres méthodes d’entraînement de Stable Diffusion
Dreambooth et inversion textuelle
Outre LoRA, Dreambooth et l’inversion textuelle sont d’autres méthodes populaires pour le fine-tuning de Stable Diffusion. Cependant, comparé aux résultats de Dreambooth qui produisent de gros fichiers de modèle (2–7 Go), LoRA est beaucoup plus petit et plus efficace ; comparé aux résultats minuscules de l’inversion textuelle (environ 100 Ko), LoRA peut être utilisé pour un fine-tuning général, en s’adaptant à de nouveaux domaines ou ensembles de données.
Conseils d’entraînement
- Exigence GPU : L’entraînement des modèles LoRA est exigeant en calcul, alors assurez-vous de disposer d’une machine avec un GPU capable de gérer la charge de travail.
- Compatibilité du modèle : Les modèles LoRA doivent être compatibles avec le modèle Stable Diffusion de base qu’ils sont censés enrichir. Vérifiez la compatibilité pour éviter les problèmes d’intégration.
- Réglage des paramètres : Ajustez soigneusement les paramètres du modèle LoRA, car ils peuvent affecter de manière significative la sortie, y compris le poids des ajustements LoRA et tout autre hyperparamètre spécifique.
Conclusion
En conclusion, le modèle LoRA Stable Diffusion représente une avancée significative dans le domaine de l’art généré par IA et de la création de contenu. Utilisez les API de modèles LoRA de Novita AI pour entraîner votre propre modèle afin d’affiner les modèles Stable Diffusion. Globalement, le modèle LoRA Stable Diffusion est un outil puissant qui, utilisé de manière responsable, peut grandement améliorer les capacités de l’IA dans les applications artistiques et créatives.
Novita AI, la plateforme tout-en-un pour une créativité sans limite qui vous donne accès à plus de 100 API. De la génération d’images au traitement du langage, en passant par l’amélioration audio et la manipulation vidéo, à un coût avantageux au fur et à mesure de votre utilisation, elle vous libère des contraintes de maintenance GPU tout en construisant vos propres produits. Essayez-la gratuitement.
Lecture recommandée
