Liberte sua criatividade com modelos LoRA Stable Diffusion. Siga nosso blog para criar seu próprio modelo de treinamento LoRA.
Destaques Principais
- LoRA é uma maneira mais eficiente de fazer fine-tuning em modelos Stable Diffusion.
- Os modelos LoRA (1MB-6MB) são mais fáceis de compartilhar e distribuir.
- Você pode encontrar facilmente muitos modelos LoRA no Civitai e no Hugging Face.
- A Novita AI oferece APIs de modelos de treinamento LoRA para desenvolvedores como você criar seus próprios modelos LoRA.
- LoRA é melhor que Dreambooth e textual inversion no fine-tuning do Stable Diffusion.
Introdução
O modelo LoRA Stable Diffusion é uma abordagem inovadora no campo do conteúdo gerado por IA, aproveitando o conceito de Low-Rank Adaptation para ajustar modelos Stable Diffusion existentes, permitindo a personalização eficiente de imagens geradas por IA para estilos, personagens ou preferências artísticas específicas.
Neste blog, daremos a você uma introdução abrangente aos modelos LoRA e ensinaremos como encontrar e usar LoRA para treinar modelos Stable Diffusion. Além disso, forneceremos uma maneira personalizada para você criar seus próprios modelos de treinamento LoRA com as APIs da Novita AI. Vamos mergulhar no mundo do LoRA Stable Diffusion agora!
Visão Geral do LoRA (Low-Rank Adaptation)
LoRA (Low-Rank Adaptation) é uma técnica de treinamento para fazer fine-tuning de modelos Stable Diffusion.
O que é LoRA?
LoRA significa “Low-Rank Adaptation”, uma técnica inovadora introduzida por pesquisadores da Microsoft para lidar com o problema de fine-tuning de modelos de linguagem grandes (LLMs).
Já no contexto do Stable Diffusion, é uma técnica para ajustar modelos Stable Diffusion de forma eficiente. Os modelos LoRA Stable Diffusion são compactos e permitem a aplicação de modificações sutis, mas impactantes, nos modelos checkpoint padrão, tornando-os significativamente menores, geralmente de 10 a 100 vezes menores que os modelos originais.
Como o LoRA Funciona?
LoRA é uma técnica que torna os modelos Stable Diffusion mais adaptáveis sem a necessidade de retreinar o modelo inteiro. Em vez disso, adiciona alguns novos pesos a partes-chave do modelo que lidam com a interação entre imagens e texto. Essa mudança é tornada mais eficiente usando um método chamado decomposição de posto (rank decomposition), que simplifica a estrutura de pesos do modelo. O resultado é um modelo personalizado menor, que mantém suas habilidades originais, mas também pode se concentrar em tarefas específicas. Esse modelo é então usado junto com o checkpoint do modelo original para criar imagens que correspondam a estilos ou ideias específicas.
Pontos-Chave dos Modelos LoRA
Antes de usar modelos LoRA, é necessário aprender por que você deve usá-los e os diferentes tipos existentes.
Características dos Modelos LoRA
- Suporte para inpainting.
- Ajuste de inversão pivotal multi-vetorial pronto para uso (out-of-the-box).
- Eficiência: LoRA requer menos poder computacional e memória, tornando-o mais eficiente para treinar modelos grandes.
- Ajustes Direcionados: Foca em modificar as camadas de ross-attention (atenção cruzada) em vez de todo o modelo, proporcionando um controle mais preciso sobre o comportamento do modelo.
- Compatibilidade: Os modelos LoRA são projetados para funcionar junto com os checkpoints do modelo original, garantindo compatibilidade e facilidade de uso.
- Facilidade de Compartilhamento: O tamanho compacto dos modelos LoRA (1MB-6MB) facilita o compartilhamento e a distribuição.
Exemplos de Modelos LoRA
Com base nas diferentes funções dos modelos LoRA, podemos dividi-los nos seguintes tipos:
- LoRA de Personagem: Modelos LoRA de personagem são ajustados para encapsular os aspectos visuais distintivos, a fisionomia e as expressões faciais de personagens específicos de desenhos animados, videogames e outras plataformas de entretenimento. Eles são fundamentais para produzir fan art, aprimorar processos de desenvolvimento de jogos e atender às necessidades das indústrias de animação e ilustração.
- LoRA de Estilo: Modelos LoRA de estilo são ajustados para emular as técnicas artísticas ou estilos característicos de certos artistas, permitindo a criação de imagens que reflitam essas estéticas específicas. São frequentemente utilizados para imbuir uma imagem de referência com um toque visual único, alinhando-a a um estilo artístico escolhido.
Onde Encontrar e Usar Modelos LoRA
Baixar Arquivos de Modelo LoRA no Civitai ou Hugging Face
Civitai é um site que hospeda uma grande coleção de modelos LoRA, e o Hugging Face também é uma fonte famosa de bibliotecas LoRA. Você pode encontrar facilmente muitos modelos LoRA nesses dois sites, pesquisando ao visitar seus sites.
Usar Modelo LoRA na GUI AUTOMATIC1111 do Stable Diffusion
- Instalar os Modelos LoRA: Tudo o que você precisa fazer é colocar os arquivos do modelo na seguinte pasta.
stable-diffusion-webui/models/Lora
- Usar o LoRA no Prompt: Use a seguinte sintaxe no prompt ou no prompt negativo para adicionar um LoRA com peso.
<lora: name: weight>
Treine Seu Próprio Modelo LoRA para Fine-Tuning com a Novita AI
No Stable Diffusion, existem muitos modelos que são semelhantes em arquitetura e pipeline, mas diferentes na saída. Portanto, o modelo LoRA para fine-tuning do Stable Diffusion também é variado. Além disso, LoRA não é um modelo completo, é um complemento. Ou seja, você pode criar seu próprio modelo LoRA, “ensinar” e treiná-lo em quaisquer conceitos continuamente de acordo com suas necessidades.
Se você quiser criar seu próprio LoRA, pode integrar APIs ao seu próprio programa. A Novita AI é uma plataforma que oferece a desenvolvedores como você tanto APIs para criar um modelo LoRA único quanto um playground para treinar seus modelos LoRA. Como todo treinamento será computacionalmente intensivo, certifique-se de ter uma máquina com GPU para continuar.
Encontre APIs sobre Treinamento LoRA
- Passo 1: Visite o site da Novita AI e crie uma conta.
- Passo 2: Navegue até “API” e encontre as APIs de treinamento LoRA na aba “Training”. A Novita AI oferece tanto “LoRA for subject training” quanto “LoRA for style training”, que você pode usar para treinar tanto LoRA de personagem quanto LoRA de estilo.
- Passo 3: Comece a treinar seu modelo LoRA.
Inicie o Treinamento do Modelo LoRA
Após obter a chave da API da Novita AI, você pode começar a treinar seu modelo LoRA. Vamos usar “LoRA for subject training” como exemplo para mostrar como treinar seu modelo.
- Passo 1: Faça upload das imagens para o treinamento do modelo. Obtenha a URL de upload de imagem e coloque-a na seguinte pasta. Cada tarefa suporta o upload de até 50 imagens. Para ter um bom efeito final, as imagens enviadas devem atender a algumas condições básicas, como: “retrato no centro”, “sem marca d’água”, “imagem nítida”, etc.
curl -X PUT -T “{{filepath}}” “{{upload_url}}”
- Passo 2: Configure os parâmetros. Existem quatro tipos de parâmetros para o treinamento do modelo: parâmetros de informações do modelo, parâmetros de dataset, parâmetros de componentes e parâmetros de especialista. Configure os parâmetros de acordo com suas necessidades.
- Passo 3: Inicie a Tarefa de Treinamento. A Novita AI fornece um playground de treinamento fácil de usar para você treinar seu modelo. Basta inserir a chave da API da Novita AI e seguir os passos na imagem abaixo, e então você poderá revisar o resultado do treinamento.
- Passo 4: Obtenha o status do treinamento. Digite o comando abaixo para obter o progresso do treinamento do modelo e o status da implantação do modelo após o treinamento.
curl — location — request GET ‘training task_id’ \ — header ‘Authorization: Bearer {{Key}}’
- Passo 5: Comece a Usar o Modelo: Quando a resposta mostrar “task_status: SUCCESS” e “model_status: SERVING”, você pode começar a usar o modelo treinado.
Outros Métodos de Treinamento do Stable Diffusion
Dreambooth e Textual Inversion
Além do LoRA, Dreambooth e textual inversion são outros métodos populares para fazer fine-tuning do Stable Diffusion. No entanto, em comparação com o Dreambooth, que resulta em arquivos de modelo grandes (2–7 GBs), o LoRA é muito menor e mais eficiente; em comparação com os resultados minúsculos da textual inversion (cerca de 100 KBs), o LoRA pode ser usado para fine-tuning de propósito geral, adaptando-se a novos domínios ou datasets.
Dicas de Treinamento
- Requisito de GPU: Treinar modelos LoRA exige muito poder computacional, portanto, certifique-se de ter uma máquina com uma GPU capaz para lidar com a carga de trabalho.
- Compatibilidade do Modelo: Os modelos LoRA devem ser compatíveis com o modelo base do Stable Diffusion que pretendem aumentar. Verifique a compatibilidade para evitar problemas de integração.
- Ajuste de Parâmetros: Ajuste cuidadosamente os parâmetros do modelo LoRA, pois eles podem afetar significativamente a saída, incluindo o peso dos ajustes LoRA e quaisquer outros hiperparâmetros específicos.
Conclusão
Em conclusão, o modelo LoRA Stable Diffusion representa um avanço significativo no campo da arte gerada por IA e criação de conteúdo. Utilize as APIs de modelos LoRA da Novita AI para treinar seu próprio modelo e fazer fine-tuning dos modelos Stable Diffusion. No geral, o modelo LoRA Stable Diffusion é uma ferramenta poderosa que, quando usada com responsabilidade, pode melhorar enormemente as capacidades da IA em aplicações artísticas e criativas.
Novita AI, a plataforma completa para criatividade ilimitada que oferece acesso a mais de 100 APIs. Desde geração de imagens e processamento de linguagem até aprimoramento de áudio e manipulação de vídeo, com pagamento conforme o uso, ela libera você das dores de cabeça da manutenção de GPU enquanto constrói seus próprios produtos. Experimente gratuitamente.
Leitura recomendada
