Introdução
A Databricks lançou uma verdadeira revolução no mundo da inteligência artificial — o Dolly 2.0, o primeiro modelo de linguagem de grande escala (LLM) de código aberto que segue instruções e está disponível para uso comercial. Mas o que torna o Dolly 2.0 tão revolucionário e como as organizações podem aproveitar suas capacidades para impulsionar a inovação? Este guia completo explora o poder técnico, os pontos fortes convincentes e as diversas aplicações deste poderoso modelo de IA, além de explorar como a LLM API pode superar suas limitações.
O que é o Dolly 2.0?
O Dolly 2.0 é o mais recente avanço em modelos de linguagem de grande escala (LLMs) desenvolvido pela Databricks. Baseando-se no sucesso do modelo anterior Dolly 1.0, o Dolly 2.0 é o primeiro LLM de código aberto que segue instruções e está disponível para uso comercial.
Detalhes técnicos do Dolly 2.0
O Dolly 2.0 é um modelo de 12 bilhões de parâmetros ajustado em um novo conjunto de dados chamado databricks-dolly-15k. Esse conjunto foi cuidadosamente criado por mais de 5.000 funcionários da Databricks, que geraram 15.000 pares de prompt-resposta de alta qualidade, projetados especificamente para treinar um LLM instrucional. Diferente de conjuntos anteriores, o databricks-dolly-15k possui licença total para uso comercial sob uma licença Creative Commons.
Esse novo conjunto, chamado databricks-dolly-15k, contém 15.000 pares de prompt-resposta de alta qualidade, projetados especificamente para o ajuste instrucional de modelos de linguagem de grande escala. O conjunto foi crowdsourced de mais de 5.000 funcionários da Databricks durante março e abril de 2023, que foram incentivados por meio de um concurso a gerar uma ampla variedade de prompts e respostas, cobrindo tarefas como perguntas e respostas abertas, perguntas e respostas com livro fechado, extração de informações e sumarização, brainstorming, classificação e escrita criativa.
Superando a meta inicial de 10.000, a Databricks usou gamificação para coletar rapidamente esse conjunto de dados considerável, que é crucialmente licenciado para uso comercial sob uma licença Creative Commons, ao contrário de conjuntos de dados instrucionais anteriores.
Por que a Databricks tornou o Dolly 2.0 comercialmente viável?
A jornada da Databricks para criar um LLM instrucional comercialmente viável foi impulsionada pela demanda dos clientes. Quando o Dolly 1.0 foi lançado, a principal pergunta era se ele poderia ser usado comercialmente — mas o conjunto de dados subjacente tinha termos de serviço que proibiam isso. Para resolver esse problema, a Databricks criou o novo conjunto databricks-dolly-15k com crowdsourcing, aproveitando mais de 5.000 funcionários entusiasmados para gerar pares de prompt-resposta originais e de alta qualidade.
O resultado é o Dolly 2.0 — um LLM poderoso e de código aberto que qualquer organização pode usar, modificar e expandir para criar assistentes e aplicativos de IA específicos para seus domínios. A Databricks acredita que essa abordagem de desenvolvimento aberto e orientado pela comunidade é fundamental para garantir que a IA beneficie a todos, não apenas algumas grandes empresas de tecnologia.
Os pontos fortes do Dolly 2.0
Capacidades personalizáveis de ajuste fino
Ao contrário de LLMs gerenciados como o ChatGPT, o Dolly 2.0 oferece aos usuários controle total sobre o processo de ajuste fino. Em vez de ser limitado por cobranças por token ou por registro impostas por provedores de serviços gerenciados, os usuários podem ajustar os modelos pré-treinados de código aberto do Dolly 2.0 às suas necessidades específicas sem custos adicionais. Crucialmente, os usuários do Dolly 2.0 também têm acesso completo a métricas de avaliação e uma compreensão clara do comportamento do modelo, capacitando os cientistas de dados a se sentirem mais confortáveis e confiantes ao trabalhar com a tecnologia.
Infraestrutura escalável e adaptável
O Dolly 2.0 oferece aos usuários a liberdade de implantar os modelos em sua nuvem ou infraestrutura local preferida, proporcionando a flexibilidade de escolher o ambiente de implantação que melhor atende às suas necessidades. Quando surge a necessidade de melhor latência ou maior throughput, os usuários podem escalar facilmente sua infraestrutura sob demanda, provisionando recursos adicionais na nuvem. Essa capacidade de escalar dinamicamente é particularmente valiosa para organizações com cargas de trabalho variáveis. Esse nível de flexibilidade de infraestrutura geralmente não está disponível em LLMs gerenciados, onde os usuários ficam limitados às capacidades de escalonamento do provedor.
Manuseio seguro e confidencial de dados
Para setores com requisitos rigorosos de privacidade e confidencialidade de dados, como finanças e saúde, o Dolly 2.0 apresenta uma alternativa mais segura em comparação com LLMs gerenciados hospedados externamente. Ao ajustar os modelos do Dolly 2.0, os usuários podem fazê-lo sem expor nenhum dado confidencial a provedores terceiros. Além disso, a inferência pode ser realizada inteiramente nos servidores seguros do usuário, garantindo que informações sensíveis nunca saiam de seu ambiente controlado. Isso contrasta com serviços gerenciados como o ChatGPT, onde os usuários precisam confiar que o provedor de serviços mantenha a postura de segurança de dados necessária e cumpra os regulamentos relevantes.
Utilização comercial irrestrita
A licença Apache 2.0 do Dolly 2.0 concede aos usuários a liberdade de usar os modelos para qualquer finalidade comercial, sem restrições. Essa licença aberta e permissiva permite que as organizações vendam livremente produtos ou implantem serviços que utilizam os modelos do Dolly 2.0, sem a necessidade de pagar royalties ou navegar por acordos de licenciamento complexos. Essa flexibilidade nem sempre está presente em outros modelos de linguagem de código aberto, que podem ter termos de uso mais restritivos ou exigir taxas de licenciamento para certas aplicações comerciais.
Aplicações comerciais do Dolly 2.0
Assistentes de IA personalizáveis
Com o Dolly 2.0 sendo um modelo de linguagem de código aberto, comercialmente viável e que segue instruções, as organizações podem usá-lo para construir assistentes de IA adaptados às suas necessidades específicas. Em vez de se limitar a chatbots ou assistentes genéricos, as empresas podem ajustar e personalizar o Dolly 2.0 para fornecer suporte específico ao domínio para seus funcionários e clientes.
Por exemplo, uma empresa de serviços financeiros poderia pegar o Dolly 2.0 e treiná-lo ainda mais em suas políticas internas, informações sobre produtos e dados de atendimento ao cliente. Isso permitiria implantar um assistente de IA altamente personalizado que pode lidar com uma ampla gama de consultas de clientes, desde gerenciamento de contas até aconselhamento de investimentos, tudo isso mantendo a conformidade com os padrões da empresa.
Criação de conteúdo e ideação
As amplas capacidades de seguir instruções do Dolly 2.0 o tornam adequado para tarefas de criação de conteúdo e ideação. Empresas em áreas como marketing, publicidade e mídia poderiam usar o Dolly 2.0 para gerar rascunhos iniciais de artigos, postagens em mídias sociais, briefings criativos e muito mais. A capacidade do modelo de resumir informações e fazer brainstorming de novas ideias pode acelerar significativamente o processo de produção de conteúdo.
Uma agência de marketing, por exemplo, poderia aproveitar o Dolly 2.0 para prototipar rapidamente conceitos de campanha, escrever exemplos de texto para mídias sociais e até mesmo produzir ativos criativos iniciais como slogans e bordões. Humanos poderiam então refinar e polir as saídas do modelo para atender aos requisitos específicos de sua marca e mensagem.
Análise automatizada de dados
Organizações com grandes conjuntos de dados, como empresas de pesquisa de mercado ou equipes de inteligência de negócios, poderiam empregar o Dolly 2.0 para automatizar certas tarefas de análise de dados e relatórios. A competência do modelo em extrair informações-chave de texto, responder a perguntas direcionadas e resumir insights pode ajudar a gerar descobertas analíticas iniciais que os humanos podem então validar e expandir.
Isso pode reduzir o tempo e o esforço necessários para transformar dados brutos em inteligência acionável, permitindo que os analistas se concentrem mais em interpretação de alto nível e recomendações estratégicas, em vez de processamento de dados de baixo nível.
A natureza de código aberto e comercialmente amigável do Dolly 2.0 abre uma ampla gama de casos de uso potenciais em todos os setores, capacitando as organizações a criar soluções de IA personalizadas que atendam às suas necessidades e prioridades únicas. Como a Databricks enfatizou, essa abordagem visa garantir que os benefícios dos modelos avançados de linguagem sejam acessíveis a uma comunidade mais ampla, não apenas a algumas grandes empresas de tecnologia.
Como começar com o Dolly 2.0?
Se você deseja começar a usar o Dolly 2.0 sem treinar o modelo, as instruções são as seguintes:
-
O modelo pré-treinado Dolly 2.0 está disponível no Hugging Face como
databricks/dolly-v2-12b. -
Para usar o modelo com a biblioteca Transformers em uma máquina com GPUs A100:
from transformers import pipeline
import torch
instruct_pipeline = pipeline(model=“databricks/dolly-v2-12b”, torch_dtype=torch.bfloat16, trust_remote_code=True, device_map=“auto”)
Você pode então usar o instruct_pipeline para gerar respostas para instruções.
- Para outras instâncias de GPU:
(1) GPUs A10:
- Os modelos de 6,9B e 2,8B parâmetros devem funcionar como estão.
- Para o modelo de 12B parâmetros, você precisa carregar e executar o modelo usando pesos de 8 bits, o que pode afetar ligeiramente os resultados.
(2) GPUs V100:
- Defina
torch_dtype=torch.float16no comandopipeline()em vez detorch.bfloat16. - O modelo de 12B parâmetros pode não funcionar bem em 8 bits em V100s.
Os pontos principais são que o modelo pré-treinado Dolly 2.0 está disponível no Hugging Face e você pode usar a biblioteca Transformers para carregar e usar o modelo para geração de respostas. No entanto, a configuração específica pode precisar ser ajustada dependendo do hardware de GPU disponível. Para mais informações, visite databrickslabs/dolly no Github.
Limitações e deficiências do Dolly 2.0
Embora o Dolly 2.0 represente um avanço significativo em modelos de linguagem de código aberto, comercialmente viáveis e que seguem instruções, ele não está isento de limitações.
Limitações de idioma
Uma deficiência importante é a falta de treinamento extensivo do modelo em idiomas além do inglês. Nem o Dolly 2.0 nem seu backbone Pythia subjacente foram extensivamente treinados em conjuntos de dados não ingleses. Isso significa que aplicações que exigem capacidades multilíngues provavelmente precisariam de esforços substanciais de ajuste fino para capturar as nuances de outros idiomas, o que pode não ser uma estratégia viável, dadas as inúmeras características linguísticas a serem consideradas.
Restrições contextuais
Outra limitação é a janela de tokens relativamente estreita de 2.048 tokens do Dolly 2.0. Isso é significativamente menor do que os tamanhos de contexto suportados por muitos modelos de linguagem gerenciados, que podem chegar a 32.000 tokens ou mais. Para casos de uso que envolvem grandes entradas, como sumarização de documentos longos, o Dolly 2.0 pode exigir estratégias de divisão em partes e pode produzir resultados abaixo do ideal devido ao contexto limitado que pode processar de uma vez.
Preocupações com escalabilidade
Além disso, os modelos atuais do Dolly 2.0 ainda não escalam para a faixa de 100 bilhões de parâmetros, que algumas aplicações podem exigir para competir com as capacidades de modelos como o ChatGPT. Essa restrição de tamanho pode limitar o desempenho do Dolly 2.0 em certos cenários de alto risco ou críticos para a missão, onde os modelos de linguagem mais poderosos são necessários.
Limitações contínuas
A Databricks também reconheceu que, sendo um modelo orientado à pesquisa em desenvolvimento ativo, o Dolly 2.0 pode apresentar várias outras limitações. Isso inclui dificuldades em lidar com prompts complexos, perguntas e respostas abertas, formatação adequada de tarefas de escrita, geração de código, operações matemáticas e manutenção de um senso de humor ou estilo de escrita consistente. Embora essas deficiências provavelmente sejam resolvidas em iterações e refinamentos futuros, elas representam restrições atuais que os usuários devem conhecer ao considerar o Dolly 2.0 para suas aplicações específicas.
Superando as limitações do Dolly 2.0
Embora modelos de código aberto como o Dolly 2.0 representem avanços importantes, eles ainda têm limitações significativas que podem restringir sua aplicabilidade no mundo real. Para superar essas limitações, a Novita AI oferece uma LLM API abrangente, projetada para capacitar as organizações com a flexibilidade e as capacidades necessárias para construir soluções de IA verdadeiramente personalizadas.
Variedade de modelos e personalização
No centro da nossa LLM API está a capacidade de escolher entre uma variedade de modelos de linguagem grandes, não apenas uma única opção pré-treinada. Isso significa que você pode selecionar o modelo que melhor se alinha ao seu caso de uso específico, seja uma variante multilíngue para aplicações globais, um modelo de parâmetros mais altos para tarefas críticas ou uma versão especializada e ajustada para domínio para necessidades específicas do setor.
Mas a seleção do modelo é apenas o começo. Nossa API também permite modificar sistematicamente o tom, a personalidade e o comportamento do LLM escolhido por meio do uso de prompts cuidadosamente elaborados. Ao ajustar os padrões de resposta do modelo, você pode garantir que seu assistente de IA exiba exatamente a voz, empatia e experiência necessárias para engajar seus usuários ou clientes de forma eficaz.
Controles avançados de parâmetros
Além da personalização do modelo e do prompt, nossa LLM API coloca controle granular em suas mãos. Você pode ajustar parâmetros-chave como temperatura, top_p, presence_penalty e tokens máximos para otimizar as saídas do modelo para os requisitos específicos da sua aplicação. Esse nível de personalização permite que você encontre o equilíbrio perfeito entre criatividade, coerência e concisão.
Integração perfeita de personagens
Para melhorar ainda mais a experiência do usuário, nossa LLM API suporta a integração de personagens personalizados que podem conversar com seus usuários finais. Esses personagens podem ser projetados para corresponder à sua marca, setor ou público-alvo, ajudando a criar uma interação mais imersiva e personalizada. Ao combinar o poder dos modelos de linguagem grandes com a familiaridade de um personagem relacionável, você pode construir assistentes de IA que realmente ressoam com seu público.
Conclusão
Embora o Dolly 2.0 ofereça uma alternativa promissora de código aberto para modelos de linguagem que seguem instruções com restrições comerciais, ele não está isento de limitações. As organizações devem avaliar cuidadosamente as capacidades e restrições do Dolly 2.0 no contexto de seus casos de uso e requisitos específicos antes de adotá-lo. Para superar as limitações do Dolly 2.0 e de outros modelos de linguagem de código aberto, a LLM API abrangente da Novita AI pode oferecer uma solução poderosa.
Novita AI, a plataforma única para criatividade ilimitada que oferece acesso a mais de 100 APIs. De geração de imagens e processamento de linguagem a aprimoramento de áudio e manipulação de vídeo, com pagamento por uso barato, ela libera você das preocupações com manutenção de GPU enquanto constrói seus próprios produtos. Experimente gratuitamente.
