Introduction
Le secteur de l’intelligence artificielle connaît une expansion et une diversification rapides, portées par une demande croissante dans divers secteurs. Databricks Dolly est devenu un concurrent important dans le paysage des grands modèles de langage (LLM), offrant une alternative à des acteurs établis tels que ChatGPT et Google Bard. Lors de l’évaluation des options LLM pour votre entreprise, il est crucial de comprendre où se situent des modèles comme Dolly sur le marché. Cette compréhension vous aidera à prendre des décisions éclairées qui correspondent à votre infrastructure, vos objectifs commerciaux et vos besoins opérationnels.
Les technologies d’IA ont évolué pour devenir plus avancées et accessibles, conduisant à une adoption généralisée et à une reconnaissance à mesure que la technologie mûrit rapidement. Le marché connaît une augmentation des produits et services basés sur l’IA, allant des outils sophistiqués d’analyse et d’automatisation aux solutions de service client et de marketing pilotées par l’IA.
Qu’est-ce que Databricks Dolly ?
Databricks Dolly se distingue comme un grand modèle de langage open source conçu pour le suivi d’instructions en langage naturel, offrant des réponses textuelles génératives pour des tâches telles que le résumé, la réponse aux questions et le brainstorming. Contrairement à des options fermées comme ChatGPT, Databricks Dolly, officiellement connu sous le nom de Databricks Dolly 2.0, a été affiné à l’aide d’un ensemble de données d’entraînement crowdsourcé auprès des employés de Databricks. Ce modèle de 12 milliards de paramètres a été développé à partir de plus de 13 000 démonstrations de comportement de suivi d’instructions fournies par plus de 5 000 employés de Databricks entre mars et avril 2023.
Vous pouvez consulter la vidéo ci-dessous :
Databricks Dolly 2.0 vs 1.0
Dans leur blog annonçant Databricks Dolly 2.0, l’entreprise a expliqué son choix d’utiliser un modèle open source et un ensemble de données personnalisé, soulignant que les organisations auront la liberté de construire ou d’adapter leurs propres grands modèles de langage « sans avoir à payer de frais d’accès API ni à partager des données avec des parties externes ».
Databricks met en avant son ensemble de données d’instructions d’affinage, databricks-dolly-15k, comme « le premier ensemble de données d’instructions open source généré par des humains, spécialement conçu pour doter les grands modèles de langage du charme interactif de ChatGPT ». Contrairement à son prédécesseur, Dolly 1.0, dévoilé en mars 2023, qui incluait des sorties de ChatGPT, était entraîné sur un modèle avec moitié moins de paramètres, affiné sur un ensemble de données limité de 50 000 paires réponse/instruction et ne disposait pas de licence d’utilisation commerciale, Dolly 2.0, lancé en avril 2023, a été entraîné sur un modèle open source de 12 milliards de paramètres (par EleutherAI) et, surtout, est déployable commercialement grâce à ses paires de questions-réponses crowdsourcées/générées par des humains.
Les entreprises qui envisagent d’adopter Databricks Dolly 2.0 peuvent être assurées de la fiabilité de l’ensemble de données. Databricks a défini des directives claires pour la création de ses données et de son ensemble de réponses, garantissant que toutes les réponses étaient générées par des humains et uniques.
Qui devrait utiliser Databricks Dolly ?
Le principal argument de vente de Dolly réside dans son ensemble de données open source, présentant des avantages distincts pour les entreprises cherchant à développer des solutions d’IA adaptées à des cas d’utilisation spécifiques. Voici quelques scénarios où Databricks Dolly pourrait être particulièrement adapté :
- Entreprises soumises à des réglementations strictes en matière de conformité des données : La nature open source de Dolly, indépendante des API, permet aux organisations dans des secteurs hautement réglementés de créer des solutions d’IA sans déclencher de problèmes de sécurité des données ou de conformité généralement associés aux outils dépendant des API.
- Chercheurs et développeurs en IA : Dolly offre une plateforme robuste mais hautement adaptable, permettant aux chercheurs et aux développeurs d’ajuster rapidement le modèle si nécessaire. Cette flexibilité favorise un plus grand potentiel d’innovation et d’expérimentation.
- Amélioration des solutions de questions-réponses existantes : Tirer parti de la structure de Databricks Dolly pour intégrer des paires de questions-réponses d’une solution existante est une application idéale. Par exemple, transformer une base de données de support technique structurée autour de Q&A en une expérience interactive est réalisable avec les capacités de Dolly.
De véritables grands modèles de langage ouverts
Les clients ont toujours exprimé leur préférence pour posséder leurs modèles, leur permettant de développer des modèles de meilleure qualité adaptés à leurs applications spécifiques sans compromettre leurs données sensibles auprès de tiers.
On pense que pour résoudre des problèmes cruciaux tels que les biais, la responsabilité et la sécurité de l’IA, il faut impliquer une communauté diversifiée de parties prenantes plutôt que de se fier uniquement à quelques grandes entreprises. Les ensembles de données et modèles open source favorisent les commentaires, la recherche et l’innovation, créant un environnement où chacun peut bénéficier des avancées de la technologie de l’intelligence artificielle.
En tant qu’artefact technique et de recherche, on ne s’attend pas à ce que Dolly soit à la pointe en termes d’efficacité. Cependant, Dolly et l’ensemble de données open source sont censés servir de base à de nombreux travaux ultérieurs, catalysant potentiellement le développement de modèles linguistiques encore plus puissants.
Cas d’utilisation de Databricks Dolly
Dans leur blog officiel, ils présentent quelques applications et cas d’utilisation de Databricks Dolly :
- Questions-réponses ouvertes : Exemples : « Pourquoi les gens aiment-ils les films comiques ? » ou « Quelle est la capitale de la France ? » Certaines questions n’ont pas de réponse définitive, tandis que d’autres nécessitent de puiser dans une compréhension large du monde.
- Questions-réponses fermées : Ces questions ne peuvent être répondues qu’à l’aide des informations contenues dans un texte de référence donné. Par exemple, à partir d’un paragraphe d’un article Wikipédia sur les atomes, on pourrait demander : « Quel est le rapport protons/neutrons dans le noyau ? »
- Extraction d’informations de Wikipédia : Dans cette tâche, un annotateur sélectionne un paragraphe d’un article Wikipédia et identifie des entités ou des détails factuels tels que des poids ou des mesures contenus dans le passage.
- Résumé d’informations de Wikipédia : Les annotateurs sont chargés de condenser un passage de Wikipédia en un bref résumé.
- Remue-méninges : Cela implique de générer des idées ouvertes et de fournir une liste d’options potentielles. Par exemple : « Quelles sont les activités amusantes à faire avec des amis ce week-end ? »
- Classification : Les annotateurs prennent des décisions concernant l’appartenance à une classe, comme catégoriser des éléments d’une liste en animaux, minéraux ou légumes, ou évaluer les caractéristiques d’un court passage, comme le sentiment exprimé dans une critique de film.
- Écriture créative : Les tâches de cette catégorie incluent la composition de poèmes ou la rédaction d’une lettre d’amour.
Exemple de questions-réponses ouvertes dans databricks-dolly-15k
Comment installer Databricks Dolly
Pour télécharger les poids du modèle Dolly 2.0, il suffit de visiter la page Databricks Hugging Face et de se rendre sur le dépôt Dolly sur databricks-labs pour télécharger l’ensemble de données databricks-dolly-15k.
Limites du LLM Databricks Dolly
Bien que le modèle open source de Databricks Dolly LLM offre de nombreux avantages, en particulier pour les applications commerciales hautement ciblées, ce n’est pas une solution universelle. Comparé à des modèles fermés plus grands, comme ChatGPT, l’ensemble d’entraînement plus petit de Dolly peut entraîner des résultats moins raffinés. Les limitations linguistiques sont également courantes ; actuellement, Dolly 2.0 est limité à fournir des réponses uniquement en anglais.
Le déploiement d’un LLM open source soulève également des préoccupations concernant les connaissances requises. Cela nécessite souvent une compréhension approfondie de la formation et de l’utilisation des solutions d’IA, ainsi que des ressources de calcul substantielles dans l’environnement de l’entreprise. En revanche, les modèles d’IA générative fermés sont généralement prêts à être utilisés et intégrés à des solutions personnalisées dès la sortie de la boîte. L’équilibre entre les considérations de viabilité commerciale et les contraintes de ressources dicte souvent le choix approprié du modèle.
D’autre part, les informations privées ne peuvent pas être garanties lorsque vous utilisez un LLM open source. Si vous recherchez un LLM fermé sûr, fiable et rentable, vous pouvez choisir notre LLM :
Et nous avons déjà publié des API LLM, qui peuvent s’intégrer de manière transparente à vos LLM. Avec les prix les plus bas et des modèles évolutifs, l’API d’inférence LLM de Novita AI offre à votre LLM une stabilité incroyable et une latence assez faible en moins de 2 secondes.
Notre API LLM propose également un jeu de personnages : en important votre fiche de personnage préférée, vous pouvez parler de tout avec lui/elle.
Quel grand modèle de langage vous convient ?
L’introduction de Databricks Dolly LLM marque un bond significatif dans les grands modèles de langage open source commercialement viables, adaptés aux entreprises. Bien qu’il ne convienne pas à tous les scénarios, son potentiel au niveau de l’entreprise est immense. Qu’il s’agisse de développement de solutions personnalisées, d’amélioration d’outils existants ou de développement de nouvelles applications d’IA, Databricks Dolly mérite d’être pris en considération si votre organisation a besoin d’un modèle open source.
Si vous avez des questions concernant l’adéquation de Databricks Dolly 2.0 à votre contexte spécifique ou si vous avez besoin d’aide pour utiliser efficacement Dolly LLM, n’hésitez pas à nous contacter chez Graphable. Nos services de développement personnalisé sont conçus pour vous aider à conceptualiser et à réaliser des solutions alignées sur vos objectifs d’entreprise uniques.
Databricks Dolly offre une plateforme polyvalente, robuste et conviviale répondant aux besoins d’analyse de données, de modélisation prédictive et d’automatisation. Son applicabilité couvre divers secteurs et fonctions, ce qui le rend inestimable pour les professionnels évoluant dans un environnement d’entreprise. Alors que l’IA continue de progresser, le rôle de Dolly dans la rationalisation et l’enrichissement de la prise de décision basée sur les données est appelé à s’étendre davantage.
Conclusion
En résumé, Databricks Dolly LLM représente une avancée significative dans les grands modèles de langage open source adaptés aux entreprises. Bien qu’il ne convienne pas à tous les scénarios, son potentiel de personnalisation et d’innovation dans des cas d’utilisation spécifiques est considérable. Les organisations recherchant des modèles de meilleure qualité tout en conservant la propriété de leurs données peuvent trouver Databricks Dolly comme une option intéressante.
Cependant, il est essentiel de considérer les compromis. Les modèles open source comme Databricks Dolly offrent flexibilité et innovation communautaire, mais peuvent ne pas toujours offrir le même niveau de raffinement ou de couverture linguistique que les modèles fermés. Pour ceux qui recherchent un équilibre entre fiabilité, sécurité et rentabilité, les LLM closed source présentent une alternative viable.
En fin de compte, le choix entre les LLM open source et closed source dépend des besoins, objectifs et ressources spécifiques de votre organisation. Que vous optiez pour Databricks Dolly ou un autre modèle, il est crucial d’aligner votre décision sur les exigences uniques de votre entreprise pour améliorer efficacement la prise de décision basée sur les données.
novita.ai, la plateforme tout-en-un pour une créativité illimitée qui vous donne accès à plus de 100 API. De la génération d’images au traitement du langage, en passant par l’amélioration audio et la manipulation vidéo, avec un paiement à l’utilisation avantageux, elle vous libère de la maintenance des GPU tout en construisant vos propres produits. Essayez-le gratuitement.
Lectures recommandées
Moteur d’inférence LLM Novita AI : le plus grand débit et l’inférence la moins chère disponible
