Introducción
El sector de la inteligencia artificial está experimentando una rápida expansión y diversificación, impulsada por la creciente demanda en varios sectores. Databricks Dolly ha surgido como un contendiente significativo en el panorama de los modelos de lenguaje grande (LLM), ofreciendo una alternativa a actores establecidos como ChatGPT y Google Bard. Al evaluar las opciones de LLM para su empresa, es crucial comprender dónde se sitúan modelos como Dolly en el mercado. Esta comprensión le ayudará a tomar decisiones informadas que se alineen con su infraestructura, objetivos comerciales y necesidades operativas.
Las tecnologías de IA han evolucionado para volverse más avanzadas y accesibles, lo que ha llevado a una adopción generalizada y reconocimiento a medida que la tecnología madura rápidamente. El mercado está experimentando un aumento en productos y servicios impulsados por IA, que abarcan desde herramientas sofisticadas de análisis y automatización hasta soluciones de servicio al cliente y marketing basadas en IA.
¿Qué es Databricks Dolly?
Databricks Dolly se destaca como un modelo de lenguaje grande de código abierto diseñado para seguir instrucciones en lenguaje natural, ofreciendo respuestas de texto generativo para tareas como resumen, respuesta a preguntas y lluvia de ideas. En contraste con opciones cerradas como ChatGPT, Databricks Dolly, conocido oficialmente como Databricks Dolly 2.0, ha sido ajustado utilizando un conjunto de datos de entrenamiento recopilado de empleados de Databricks. Este modelo de 12 mil millones de parámetros se desarrolló basándose en más de 13,000 demostraciones de comportamiento de seguimiento de instrucciones proporcionadas por más de 5,000 empleados de Databricks entre marzo y abril de 2023.
Puede ver el video a continuación:
Databricks Dolly 2.0 vs 1.0
En su blog anunciando Databricks Dolly 2.0, la empresa explicó su elección de utilizar un modelo de código abierto y un conjunto de datos personalizado, enfatizando que las organizaciones tendrán la libertad de construir o adaptar sus propios modelos de lenguaje grande “sin necesidad de pagar tarifas de acceso API ni compartir datos con partes externas”.
Databricks destaca su conjunto de datos de instrucciones de ajuste fino, databricks-dolly-15k, como “el primer conjunto de datos de instrucciones generado por humanos y de código abierto diseñado específicamente para imbuir a los modelos de lenguaje grande con el encanto interactivo de ChatGPT”. A diferencia de su predecesor, Dolly 1.0, presentado en marzo de 2023, que incluía resultados de ChatGPT, fue entrenado en un modelo con la mitad de los parámetros, ajustado en un conjunto de datos limitado de 50k respuestas/pares y carecía de una licencia de uso comercial, Dolly 2.0, lanzado en abril de 2023, fue entrenado en un modelo de código abierto de 12 mil millones de parámetros (por EleutherAI) y, lo que es importante, es implementable comercialmente debido a sus pares de preguntas y respuestas generados por humanos y recopilados de forma colectiva.
Las empresas que contemplan la adopción de Databricks Dolly 2.0 pueden estar seguras de la fiabilidad del conjunto de datos. Databricks estableció pautas claras para la creación de sus datos y conjuntos de respuestas, asegurando que todas las respuestas fueran generadas por humanos y fueran respuestas únicas.
¿Quién debería usar Databricks Dolly?
El punto de venta único de Dolly radica en su conjunto de datos de código abierto, lo que presenta ventajas distintivas para las empresas que buscan desarrollar soluciones de IA adaptadas a casos de uso específicos. Aquí hay algunos escenarios donde Databricks Dolly podría ser particularmente adecuado:
- Empresas sujetas a estrictas regulaciones de cumplimiento de datos: La naturaleza de código abierto de Dolly, independiente de las API, permite a las organizaciones en sectores altamente regulados crear soluciones de IA sin desencadenar problemas de seguridad de datos o cumplimiento típicamente asociados con herramientas que dependen de API.
- Investigadores y desarrolladores de IA: Dolly ofrece una plataforma robusta y altamente adaptable, lo que permite a investigadores y desarrolladores ajustar rápidamente el modelo según sea necesario. Esta flexibilidad fomenta un mayor potencial de innovación y experimentación.
- Mejora de soluciones existentes de preguntas y respuestas: Aprovechar la estructura de Databricks Dolly para integrar pares de preguntas y respuestas de una solución existente es una aplicación ideal. Por ejemplo, transformar una base de datos de soporte técnico estructurada en torno a preguntas y respuestas en una experiencia interactiva es factible con las capacidades de Dolly.
Modelos de lenguaje grande verdaderamente abiertos
Los clientes han expresado consistentemente su preferencia por poseer sus propios modelos, lo que les permite desarrollar modelos de mayor calidad adaptados a sus aplicaciones de dominio específico sin comprometer sus datos sensibles a terceros.
Se cree que abordar cuestiones cruciales como el sesgo, la responsabilidad y la seguridad de la IA requiere la participación de una comunidad diversa de partes interesadas en lugar de depender únicamente de unas pocas grandes empresas. Los conjuntos de datos y modelos de código abierto fomentan comentarios, investigación e innovación, creando un entorno donde todos pueden beneficiarse de los avances en la tecnología de inteligencia artificial.
Como artefacto técnico y de investigación, no se espera que Dolly esté a la vanguardia en términos de efectividad. Sin embargo, se anticipa que tanto Dolly como el conjunto de datos de código abierto sirvan como base para numerosos trabajos posteriores, catalizando potencialmente el desarrollo de modelos de lenguaje aún más potentes.
Casos de uso de Databricks Dolly
En su blog oficial, presentan algunas aplicaciones y casos de uso de Databricks Dolly:
- Preguntas y respuestas abiertas: Ejemplos incluyen preguntas como “¿Por qué las personas disfrutan las películas de comedia?” o “¿Cuál es la capital de Francia?” Algunas preguntas no tienen una respuesta definitiva, mientras que otras requieren recurrir a una comprensión amplia del mundo.
- Preguntas y respuestas cerradas: Estas preguntas solo pueden responderse utilizando la información dentro de un texto de referencia dado. Por ejemplo, al proporcionar un párrafo de un artículo de Wikipedia sobre átomos, se podría preguntar “¿Cuál es la proporción de protones a neutrones en el núcleo?”
- Extracción de información de Wikipedia: En esta tarea, un anotador selecciona un párrafo de un artículo de Wikipedia e identifica entidades o detalles factuales como pesos o medidas contenidos en el pasaje.
- Resumen de información de Wikipedia: Los anotadores tienen la tarea de condensar un pasaje de Wikipedia en un breve resumen.
- Lluvia de ideas: Esto implica generar ideas abiertas y proporcionar una lista de opciones potenciales. Por ejemplo, “¿Cuáles son algunas actividades divertidas para hacer con amigos este fin de semana?”
- Clasificación: Los anotadores toman determinaciones sobre la pertenencia a clases, como categorizar elementos en una lista como animales, minerales o vegetales, o evaluar las características de un pasaje corto, como el sentimiento expresado en una reseña de película.
- Escritura creativa: Las tareas en esta categoría incluyen componer poesía o redactar una carta de amor.
Ejemplo de Preguntas y Respuestas Abiertas en databricks-dolly-15k
Cómo instalar Databricks Dolly
Para descargar los pesos del modelo Dolly 2.0, simplemente visite la página de Databricks en Hugging Face y visite el repositorio de Dolly en databricks-labs para descargar el conjunto de datos databricks-dolly-15k.
Limitaciones del LLM Databricks Dolly
Si bien el modelo de código abierto de Databricks Dolly LLM ofrece numerosas ventajas, particularmente para aplicaciones comerciales altamente específicas, no es una solución universal. En comparación con modelos cerrados más grandes, como ChatGPT, el conjunto de entrenamiento más pequeño de Dolly puede resultar en resultados menos refinados. Las limitaciones de lenguaje también son prevalentes; actualmente, Dolly 2.0 se limita a proporcionar respuestas solo en inglés.
Implementar un LLM de código abierto también plantea preocupaciones sobre los requisitos de conocimiento. A menudo exige una comprensión profunda del entrenamiento y la utilización de soluciones de IA, así como recursos computacionales sustanciales dentro del entorno de la empresa. En contraste, los modelos generativos de IA cerrados suelen estar listos para usar e integrarse con soluciones personalizadas desde el primer momento. Equilibrar las consideraciones sobre la viabilidad comercial y las restricciones de recursos a menudo dicta la elección adecuada del modelo.
Por otro lado, no se puede garantizar la información privada cuando se utiliza un LLM de código abierto. Si busca un LLM cerrado, seguro, confiable y rentable, puede elegir nuestro LLM:
Y ya hemos lanzado API de LLM, que se pueden integrar sin problemas con sus LLM. Con el precio más económico y modelos escalables, la API de inferencia LLM de Novita AI brinda a su LLM una estabilidad increíble y una latencia bastante baja en menos de 2 segundos.
Nuestra API de LLM también cuenta con interpretación de personajes; al importar su tarjeta de personaje favorita, puede hablar cualquier cosa con él/ella.
¿Qué modelo de lenguaje grande es adecuado para usted?
La introducción de Databricks Dolly LLM marca un salto significativo en modelos de lenguaje grande de código abierto comercialmente viables, adaptados para uso empresarial. Si bien puede no ser adecuado para todos los escenarios, su potencial a nivel empresarial es inmenso. Ya sea para el desarrollo de soluciones personalizadas, la mejora de herramientas existentes o la creación de nuevas aplicaciones de IA, Databricks Dolly merece consideración si su organización requiere un modelo de código abierto.
Si tiene preguntas sobre la idoneidad de Databricks Dolly 2.0 para su contexto específico o necesita ayuda para aprovechar Dolly LLM de manera efectiva, no dude en contactarnos en Graphable. Nuestros servicios de desarrollo personalizado están diseñados para ayudarlo a conceptualizar y realizar soluciones alineadas con sus objetivos empresariales únicos.
Databricks Dolly ofrece una plataforma versátil, robusta y fácil de usar que atiende necesidades de análisis de datos, modelado predictivo y automatización. Su aplicabilidad abarca diversas industrias y funciones, lo que lo hace invaluable para profesionales que operan en un entorno empresarial. A medida que la IA continúa avanzando, el papel de Dolly en la optimización y el enriquecimiento de la toma de decisiones basada en datos está destinado a expandirse aún más.
Conclusión
En resumen, Databricks Dolly LLM ofrece un avance significativo en modelos de lenguaje grande de código abierto adaptados para uso empresarial. Si bien puede no ser adecuado para todos los escenarios, su potencial de personalización e innovación dentro de casos de uso específicos es sustancial. Las organizaciones que buscan modelos de mayor calidad mientras retienen la propiedad de sus datos pueden encontrar que Databricks Dolly es una opción convincente.
Sin embargo, es esencial considerar las compensaciones. Los modelos de código abierto como Databricks Dolly ofrecen flexibilidad e innovación impulsada por la comunidad, pero es posible que no siempre ofrezcan el mismo nivel de refinamiento o cobertura de idiomas que los modelos cerrados. Para aquellos que equilibran confiabilidad, seguridad y rentabilidad, los LLM de código cerrado presentan una alternativa viable.
En última instancia, la elección entre LLM de código abierto y cerrado depende de las necesidades, objetivos y recursos específicos de su organización. Ya sea que opte por Databricks Dolly u otro modelo, es crucial alinear su decisión con los requisitos únicos de su empresa para mejorar la toma de decisiones basada en datos de manera efectiva.
novita.ai, la plataforma integral para la creatividad sin límites que le brinda acceso a más de 100 API. Desde generación de imágenes y procesamiento de lenguaje hasta mejora de audio y manipulación de video, con pago por uso económico, lo libera de las tareas de mantenimiento de GPU mientras construye sus propios productos. Pruébelo gratis.
Lectura recomendada
Motor de inferencia LLM de Novita AI: el mayor rendimiento y la inferencia más económica disponible
