Introdução
O setor de inteligência artificial está testemunhando rápida expansão e diversificação, impulsionado pela crescente demanda em diversos setores. Databricks Dolly surgiu como um concorrente significativo no cenário de modelos de linguagem grande (LLM), oferecendo uma alternativa a players estabelecidos como ChatGPT e Google Bard. Ao avaliar opções de LLM para sua empresa, é crucial compreender onde modelos como o Dolly se posicionam no mercado. Esse entendimento ajudará você a tomar decisões informadas que estejam alinhadas com sua infraestrutura, objetivos de negócio e necessidades operacionais.
As tecnologias de IA evoluíram para se tornar mais avançadas e acessíveis, levando a uma adoção generalizada e reconhecimento à medida que a tecnologia amadurece rapidamente. O mercado está experimentando um aumento de produtos e serviços impulsionados por IA, desde ferramentas sofisticadas de análise e automação até soluções de atendimento ao cliente e marketing baseadas em IA.
O que é Databricks Dolly?
Databricks Dolly se destaca como um modelo de linguagem grande de código aberto projetado para seguir instruções em linguagem natural, gerando respostas textuais generativas para tarefas como resumo, resposta a perguntas e brainstorming. Em contraste com opções fechadas como o ChatGPT, Databricks Dolly, oficialmente conhecido como Databricks Dolly 2.0, foi ajustado usando um conjunto de dados de treinamento crowdsourced de funcionários da Databricks. Este modelo de 12 bilhões de parâmetros foi desenvolvido com base em mais de 13.000 demonstrações de comportamento de seguimento de instruções fornecidas por mais de 5.000 funcionários da Databricks entre março e abril de 2023.
Você pode conferir o vídeo abaixo:
Databricks Dolly 2.0 vs 1.0
Em seu blog anunciando Databricks Dolly 2.0, a empresa elucidou sua escolha de utilizar um modelo de código aberto e um conjunto de dados personalizado, enfatizando que as organizações terão a liberdade de construir ou adaptar seus próprios modelos de linguagem grande “sem precisar pagar taxas de acesso à API ou compartilhar dados com partes externas”.
A Databricks destaca seu conjunto de dados de instrução de ajuste fino, databricks-dolly-15k, como “o primeiro conjunto de dados de instrução gerado por humanos e de código aberto especificamente projetado para imbuir modelos de linguagem grande com o charme interativo do ChatGPT”. Diferentemente de seu predecessor, Dolly 1.0, revelado em março de 2023, que incluía saída do ChatGPT, foi treinado em um modelo com metade dos parâmetros, ajustado em um conjunto de dados limitado de 50k pares de resposta e não possuía licença de uso comercial. O Dolly 2.0, lançado em abril de 2023, foi treinado em um modelo de código aberto de 12 bilhões de parâmetros (pela EleutherAI) e, importante, é comercialmente implantável graças aos seus pares de pergunta e resposta gerados por humanos/crowdsourced.
Empresas que consideram a adoção do Databricks Dolly 2.0 podem ter certeza da confiabilidade do conjunto de dados. A Databricks estabeleceu diretrizes claras para a criação de seus dados e conjunto de respostas, garantindo que todas as respostas fossem geradas por humanos e fossem respostas únicas.
Quem Deve Usar Databricks Dolly?
O ponto de venda exclusivo do Dolly reside em seu conjunto de dados de código aberto, apresentando vantagens distintas para empresas que buscam desenvolver soluções de IA adaptadas a casos de uso específicos. Aqui estão alguns cenários onde Databricks Dolly pode ser particularmente adequado:
- Empresas sujeitas a regulamentações rigorosas de conformidade de dados: A natureza de código aberto do Dolly, independente de APIs, permite que organizações em setores altamente regulamentados criem soluções de IA sem desencadear problemas de segurança de dados ou conformidade tipicamente associados a ferramentas dependentes de API.
- Pesquisadores e desenvolvedores de IA: O Dolly oferece uma plataforma robusta e altamente adaptável, capacitando pesquisadores e desenvolvedores a ajustar o modelo rapidamente conforme necessário. Essa flexibilidade promove maior potencial para inovação e experimentação.
- Melhoria de soluções existentes de perguntas e respostas: Aproveitar a estrutura do Databricks Dolly para integrar pares de pergunta e resposta de uma solução existente apresenta uma aplicação ideal. Por exemplo, transformar uma base de dados de suporte técnico estruturada em torno de Q&A em uma experiência interativa é viável com as capacidades do Dolly.
Modelos de linguagem grande verdadeiramente abertos
Os clientes expressaram consistentemente sua preferência por possuir seus próprios modelos, permitindo-lhes desenvolver modelos de maior qualidade adaptados às suas aplicações de domínio específico sem comprometer seus dados sensíveis a terceiros.
Acredita-se que abordar questões cruciais como viés, responsabilidade e segurança da IA requer o envolvimento de uma comunidade diversificada de partes interessadas, em vez de depender exclusivamente de algumas grandes empresas. Conjuntos de dados e modelos de código aberto promovem comentários, pesquisa e inovação, fomentando um ambiente onde todos podem se beneficiar dos avanços na tecnologia de inteligência artificial.
Como artefato técnico e de pesquisa, não se espera que o Dolly esteja na vanguarda em termos de eficácia. No entanto, tanto o Dolly quanto o conjunto de dados de código aberto devem servir como base para inúmeros trabalhos subsequentes, potencialmente catalisando o desenvolvimento de modelos de linguagem ainda mais poderosos.
Casos de Uso do Databricks Dolly
Em seu blog oficial, eles introduzem algumas aplicações e casos de uso do Databricks Dolly:
- Perguntas e respostas abertas: Exemplos incluem perguntas como “Por que as pessoas gostam de filmes de comédia?” ou “Qual é a capital da França?” Algumas perguntas não têm resposta definitiva, enquanto outras exigem recorrer a um amplo conhecimento do mundo.
- Perguntas e respostas fechadas: Essas perguntas podem ser respondidas apenas com as informações contidas em um texto de referência. Por exemplo, ao fornecer um parágrafo de um artigo da Wikipedia sobre átomos, pode-se perguntar “Qual é a proporção de prótons para nêutrons no núcleo?”
- Extração de informações da Wikipedia: Nesta tarefa, um anotador seleciona um parágrafo de um artigo da Wikipedia e identifica entidades ou detalhes factuais como pesos ou medidas contidos na passagem.
- Resumo de informações da Wikipedia: Os anotadores têm a tarefa de condensar uma passagem da Wikipedia em um breve resumo.
- Brainstorming: Isso envolve gerar ideias abertas e fornecer uma lista de opções potenciais. Por exemplo, “Quais são algumas atividades divertidas para fazer com os amigos neste fim de semana?”
- Classificação: Os anotadores fazem determinações sobre a pertença a classes, como categorizar itens em uma lista como animais, minerais ou vegetais, ou avaliar as características de uma passagem curta, como o sentimento expresso em uma crítica de filme.
- Escrita criativa: Tarefas nesta categoria incluem compor poesia ou redigir uma carta de amor.
Exemplo de Open QA no databricks-dolly-15k
Como instalar Databricks Dolly
Para baixar os pesos do modelo Dolly 2.0, basta visitar a página Databricks Hugging Face e acessar o repositório do Dolly em databricks-labs para baixar o databricks-dolly-15k dataset.
Limitações do Databricks Dolly LLM
Embora o modelo de código aberto do Databricks Dolly LLM ofereça inúmeras vantagens, particularmente para aplicações comerciais altamente direcionadas, não é uma solução universal. Comparado a modelos maiores e fechados, como o ChatGPT, o conjunto de treinamento menor do Dolly pode resultar em saídas menos refinadas. Limitações de linguagem também são prevalentes; atualmente, o Dolly 2.0 está limitado a fornecer respostas apenas em inglês.
Implantar um LLM de código aberto também levanta preocupações sobre requisitos de conhecimento. Muitas vezes exige uma compreensão aprofundada do treinamento e uso de soluções de IA, bem como recursos computacionais substanciais no ambiente da empresa. Em contraste, modelos generativos de IA fechados são tipicamente prontos para uso e integração com soluções personalizadas logo de cara. Equilibrar considerações sobre viabilidade comercial e restrições de recursos geralmente dita a escolha apropriada do modelo.
Por outro lado, informações privadas não podem ser garantidas quando se usa um LLM de código aberto. Se você está procurando um LLM fechado seguro, confiável e econômico, pode escolher nosso LLM:
E já lançamos APIs LLM, que podem ser integradas perfeitamente com seus LLMs. Com preços mais baratos e modelos escaláveis, a Novita AI LLM Inference API proporciona ao seu LLM estabilidade incrível e latência bastante baixa em menos de 2 segundos.
Nossa API LLM também conta com a função de interpretação de personagens; ao importar seu cartão de personagem favorito, você pode conversar sobre qualquer coisa com ele/ela.
Qual Modelo de Linguagem Grande é Ideal para Você?
A introdução do Databricks Dolly LLM marca um salto significativo em modelos de linguagem grande de código aberto comercialmente viáveis, adaptados para uso empresarial. Embora possa não ser adequado para todos os cenários, seu potencial no nível empresarial é imenso. Seja para desenvolvimento de soluções personalizadas, aprimoramento de ferramentas existentes ou pioneirismo em novas aplicações de IA, o Databricks Dolly merece consideração se sua organização precisar de um modelo de código aberto.
Caso tenha dúvidas sobre a adequação do Databricks Dolly 2.0 ao seu contexto específico ou precise de assistência para aproveitar o Dolly LLM de forma eficaz, não hesite em entrar em contato conosco na Graphable. Nossos serviços de desenvolvimento personalizado são voltados para ajudá-lo a conceituar e realizar soluções alinhadas com seus objetivos empresariais exclusivos.
Databricks Dolly oferece uma plataforma versátil, robusta e fácil de usar que atende às necessidades de análise de dados, modelagem preditiva e automação. Sua aplicabilidade abrange diversas indústrias e funções, tornando-a inestimável para profissionais que atuam em um ambiente empresarial. À medida que a IA continua a avançar, o papel do Dolly na simplificação e enriquecimento da tomada de decisão baseada em dados está prestes a se expandir ainda mais.
Conclusão
Em resumo, o Databricks Dolly LLM oferece um avanço significativo em modelos de linguagem grande de código aberto adaptados para uso empresarial. Embora possa não ser adequado para todos os cenários, seu potencial para personalização e inovação em casos de uso específicos é substancial. Organizações que buscam modelos de maior qualidade enquanto mantêm a propriedade de seus dados podem considerar o Databricks Dolly uma opção atraente.
No entanto, é essencial considerar as compensações. Modelos de código aberto como o Databricks Dolly oferecem flexibilidade e inovação orientada pela comunidade, mas podem nem sempre oferecer o mesmo nível de refinamento ou cobertura de idioma que os modelos fechados. Para quem busca equilibrar confiabilidade, segurança e custo-benefício, LLMs de código fechado representam uma alternativa viável.
Em última análise, a escolha entre LLMs de código aberto e fechado depende das necessidades, objetivos e recursos específicos da sua organização. Seja optando pelo Databricks Dolly ou por outro modelo, é crucial alinhar sua decisão com os requisitos exclusivos da sua empresa para aprimorar efetivamente a tomada de decisão baseada em dados.
novita.ai, a plataforma completa para criatividade ilimitada que oferece acesso a mais de 100 APIs. Desde geração de imagens e processamento de linguagem até aprimoramento de áudio e manipulação de vídeo, com pagamento conforme o uso e baixo custo, ela libera você das preocupações com manutenção de GPU enquanto cria seus próprios produtos. Experimente gratuitamente.
Leitura recomendada
Novita AI LLM Inference Engine: a maior taxa de transferência e a inferência mais barata disponível
