Introducción
Databricks ha presentado un cambio de juego en el mundo de la inteligencia artificial: Dolly 2.0, el primer modelo de lenguaje grande (LLM) de código abierto que sigue instrucciones y está disponible para uso comercial. Pero, ¿qué hace que Dolly 2.0 sea tan revolucionario y cómo pueden las organizaciones aprovechar sus capacidades para impulsar la innovación? Esta guía completa profundiza en el poder técnico, las fortalezas convincentes y las diversas aplicaciones de este potente modelo de IA, al mismo tiempo que explora cómo LLM API puede superar sus limitaciones.
¿Qué es Dolly 2.0?
Dolly 2.0 es el último avance en modelos de lenguaje grandes (LLM) desarrollado por Databricks. Basándose en el éxito de su modelo anterior Dolly 1.0, Dolly 2.0 es el primer LLM de código abierto que sigue instrucciones y está disponible para uso comercial.
Detalles técnicos de Dolly 2.0
Dolly 2.0 es un modelo de 12 mil millones de parámetros ajustado en un nuevo conjunto de datos llamado databricks-dolly-15k. Este conjunto de datos fue meticulosamente creado por más de 5,000 empleados de Databricks, quienes generaron 15,000 pares de instrucción-respuesta de alta calidad diseñados específicamente para entrenar un LLM instructivo. A diferencia de conjuntos de datos anteriores, databricks-dolly-15k está completamente licenciado para uso comercial bajo una licencia Creative Commons.
Este nuevo conjunto de datos llamado databricks-dolly-15k contiene 15,000 pares de instrucción-respuesta de alta calidad diseñados específicamente para el ajuste de instrucciones de modelos de lenguaje grandes. El conjunto de datos fue recopilado de forma colaborativa de más de 5,000 empleados de Databricks durante marzo y abril de 2023, quienes fueron incentivados a través de un concurso para generar una amplia gama de instrucciones y respuestas que cubren tareas como preguntas y respuestas abiertas, preguntas y respuestas a libro cerrado, extracción de información y resumen, lluvia de ideas, clasificación y escritura creativa.
Superando su objetivo inicial de 10,000, Databricks utilizó la gamificación para recopilar rápidamente este conjunto de datos considerable, que está crucialmente licenciado para uso comercial bajo una licencia Creative Commons, a diferencia de conjuntos de datos de instrucciones anteriores.
¿Por qué Databricks hizo que Dolly 2.0 fuera viable comercialmente?
El viaje de Databricks para crear un LLM instructivo comercialmente viable fue impulsado por la demanda de los clientes. Cuando se lanzó Dolly 1.0, la principal pregunta era si podía usarse comercialmente, pero el conjunto de datos subyacente tenía términos de servicio que lo prohibían. Para resolver esto, Databricks recopiló de forma colaborativa el nuevo conjunto de datos databricks-dolly-15k, aprovechando a más de 5,000 empleados entusiastas para generar pares de instrucción-respuesta originales de alta calidad.
El resultado es Dolly 2.0: un LLM potente y de código abierto que cualquier organización puede usar, modificar y desarrollar para crear asistentes de IA y aplicaciones específicas del dominio. Databricks cree que este enfoque de desarrollo de IA abierto e impulsado por la comunidad es fundamental para garantizar que la IA beneficie a todos, no solo a unas pocas grandes empresas tecnológicas.
Las fortalezas de Dolly 2.0
Capacidades de ajuste fino personalizables
A diferencia de los modelos de lenguaje grandes (LLM) gestionados como ChatGPT, Dolly 2.0 proporciona a los usuarios un control total sobre el proceso de ajuste fino. En lugar de estar limitados por cargos por token o por registro impuestos por los proveedores de servicios gestionados, los usuarios pueden ajustar los modelos preentrenados de código abierto Dolly 2.0 a sus necesidades específicas sin incurrir en tarifas adicionales. Crucialmente, los usuarios de Dolly 2.0 también tienen acceso completo a las métricas de evaluación y una comprensión clara del comportamiento del modelo, lo que permite a los científicos de datos sentirse más cómodos y seguros al trabajar con la tecnología.
Infraestructura escalable y adaptable
Dolly 2.0 ofrece a los usuarios la libertad de desplegar los modelos en su infraestructura en la nube o local preferida, proporcionando la flexibilidad de elegir el entorno de implementación que mejor se adapte a sus necesidades. Cuando surge la necesidad de mejorar la latencia o aumentar el rendimiento, los usuarios pueden escalar fácilmente su infraestructura bajo demanda aprovisionando recursos adicionales en la nube. Esta capacidad de escalar dinámicamente es particularmente valiosa para organizaciones con cargas de trabajo variables. Este nivel de flexibilidad de infraestructura no suele estar disponible con LLM de servicios gestionados, donde los usuarios están limitados a las capacidades de escalado del propio proveedor.
Manejo seguro y confidencial de datos
Para industrias con requisitos estrictos de privacidad y confidencialidad de datos, como finanzas y salud, Dolly 2.0 presenta una alternativa más segura a los LLM de servicios gestionados alojados externamente. Al ajustar los modelos Dolly 2.0, los usuarios pueden hacerlo sin exponer ninguno de sus datos confidenciales a proveedores externos. Además, la inferencia se puede realizar completamente dentro de los propios servidores seguros del usuario, asegurando que la información sensible nunca salga de su entorno controlado. Esto contrasta con servicios gestionados como ChatGPT, donde los usuarios deben confiar en que el proveedor de servicios mantenga la postura de seguridad de datos necesaria y cumpla con las regulaciones pertinentes.
Utilización comercial sin restricciones
La licencia Apache 2.0 de Dolly 2.0 otorga a los usuarios la libertad de usar los modelos para cualquier propósito comercial sin restricciones. Esta licencia abierta y permisiva permite a las organizaciones vender libremente productos o desplegar servicios que aprovechen los modelos Dolly 2.0, sin necesidad de pagar regalías ni navegar acuerdos de licencia complejos. Esta flexibilidad no siempre está presente en otros modelos de lenguaje grandes de código abierto, que pueden tener términos de uso más restrictivos o requerir tarifas de licencia para ciertas aplicaciones comerciales.
Aplicaciones comerciales de Dolly 2.0
Asistentes de IA personalizables
Al ser Dolly 2.0 un modelo de lenguaje de código abierto, comercialmente viable y que sigue instrucciones, las organizaciones pueden aprovecharlo para construir asistentes de IA adaptados a sus necesidades específicas. En lugar de limitarse a chatbots o asistentes genéricos, las empresas pueden ajustar y personalizar Dolly 2.0 para proporcionar soporte específico del dominio a sus empleados y clientes.
Por ejemplo, una firma de servicios financieros podría tomar Dolly 2.0 y entrenarlo adicionalmente con sus políticas internas, información de productos y datos de servicio al cliente. Esto les permitiría desplegar un asistente de IA altamente personalizado que pueda manejar una amplia gama de consultas de clientes, desde la gestión de cuentas hasta el asesoramiento de inversiones, todo mientras mantiene el cumplimiento de los estándares de la empresa.
Creación de contenido e ideación
Las amplias capacidades de seguimiento de instrucciones de Dolly 2.0 lo hacen adecuado para tareas de creación de contenido e ideación. Empresas en campos como marketing, publicidad y medios podrían usar Dolly 2.0 para generar borradores iniciales de artículos, publicaciones en redes sociales, briefs creativos y más. La capacidad del modelo para resumir información y generar nuevas ideas podría acelerar significativamente el proceso de producción de contenido.
Por ejemplo, una agencia de marketing podría aprovechar Dolly 2.0 para prototipar rápidamente conceptos de campaña, redactar textos de muestra para redes sociales e incluso producir activos creativos iniciales como eslóganes y lemas. Luego, los humanos podrían refinar y pulir las salidas del modelo para cumplir con sus requisitos específicos de marca y mensajería.
Análisis automatizado de datos
Organizaciones con grandes conjuntos de datos, como firmas de investigación de mercado o equipos de inteligencia empresarial, podrían emplear Dolly 2.0 para automatizar ciertas tareas de análisis de datos y generación de informes. La competencia del modelo para extraer información clave de texto, responder preguntas específicas y resumir ideas podría ayudar a generar hallazgos analíticos iniciales que luego los humanos pueden validar y ampliar.
Esto podría reducir el tiempo y el esfuerzo necesarios para transformar datos brutos en inteligencia procesable, permitiendo a los analistas centrarse más en la interpretación de alto nivel y las recomendaciones estratégicas en lugar del procesamiento de datos de bajo nivel.
La naturaleza de código abierto y comercialmente amigable de Dolly 2.0 abre una amplia gama de casos de uso potenciales en todas las industrias, capacitando a las organizaciones para crear soluciones de IA personalizadas que satisfagan sus necesidades y prioridades únicas. Como ha enfatizado Databricks, este enfoque tiene como objetivo garantizar que los beneficios de los modelos de lenguaje avanzados sean accesibles para una comunidad más amplia, no solo para unas pocas grandes empresas tecnológicas.
¿Cómo empezar con Dolly 2.0?
Si deseas comenzar a usar Dolly 2.0 sin entrenar el modelo, las instrucciones son las siguientes:
- El modelo preentrenado Dolly 2.0 está disponible en Hugging Face como
databricks/dolly-v2-12b.
2. Para usar el modelo con la biblioteca Transformers en una máquina con GPUs A100:
from transformers import pipeline
import torch
instruct_pipeline = pipeline(model=“databricks/dolly-v2-12b”, torch_dtype=torch.bfloat16, trust_remote_code=True, device_map=“auto”)
Luego puedes usar instruct_pipeline para generar respuestas a instrucciones.
3. Para otras instancias de GPU:
(1) GPUs A10:
- Los modelos de 6.9B y 2.8B parámetros deberían funcionar tal cual.
- Para el modelo de 12B parámetros, necesitas cargar y ejecutar el modelo usando pesos de 8 bits, lo que puede afectar ligeramente los resultados.
(2) GPUs V100:
- Establece
torch_dtype=torch.float16en el comandopipeline()en lugar detorch.bfloat16. - El modelo de 12B parámetros puede no funcionar bien en 8 bits en V100.
Los puntos clave son que el modelo preentrenado Dolly 2.0 está disponible en Hugging Face, y puedes usar la biblioteca Transformers para cargar y usar el modelo para la generación de respuestas. Sin embargo, la configuración específica puede necesitar ajustes dependiendo del hardware de GPU que tengas disponible. Para más información, puedes visitar databrickslabs/dolly en Github.
Limitaciones y deficiencias de Dolly 2.0
Si bien Dolly 2.0 representa un avance significativo en modelos de lenguaje de código abierto, comercialmente viables y que siguen instrucciones, no está exento de limitaciones.
Limitaciones de idioma
Una deficiencia clave es la falta de entrenamiento extenso del modelo en idiomas distintos del inglés. Ni Dolly 2.0 ni su columna vertebral Pythia han sido entrenados extensamente en conjuntos de datos que no sean en inglés. Esto significa que las aplicaciones que requieren capacidades multilingües probablemente necesitarían realizar esfuerzos sustanciales de ajuste fino para capturar los matices de otros idiomas, lo que puede no ser una estrategia viable dadas las innumerables características lingüísticas a tener en cuenta.
Restricciones contextuales
Otra limitación es la ventana de tokens relativamente estrecha de Dolly 2.0: 2,048 tokens. Esto es significativamente más pequeño que los tamaños de contexto admitidos por muchos modelos de lenguaje gestionados, que pueden llegar hasta 32,000 tokens o más. Para casos de uso que implican entradas grandes, como el resumen de documentos extensos, Dolly 2.0 puede requerir estrategias de fragmentación y podría producir resultados subóptimos debido al contexto limitado que puede procesar a la vez.
Problemas de escalabilidad
Además, los modelos actuales de Dolly 2.0 aún no escalan al rango de 100 mil millones de parámetros, que algunas aplicaciones pueden requerir para competir con las capacidades de modelos como ChatGPT. Esta restricción de tamaño podría limitar el rendimiento de Dolly 2.0 en ciertos escenarios de alto riesgo o críticos para la misión donde se necesitan los modelos de lenguaje más potentes.
Limitaciones continuas
Databricks también ha reconocido que, como modelo orientado a la investigación en desarrollo activo, Dolly 2.0 puede presentar diversas otras limitaciones. Estas incluyen dificultades para manejar instrucciones complejas, responder preguntas abiertas, formatear adecuadamente tareas de escritura, generación de código, operaciones matemáticas y mantener un sentido del humor o estilo de escritura coherente. Si bien es probable que estas deficiencias se aborden mediante futuras iteraciones y refinamientos, representan restricciones actuales que los usuarios deben tener en cuenta al considerar Dolly 2.0 para sus aplicaciones específicas.
Superando las limitaciones de Dolly 2.0
Si bien modelos de código abierto como Dolly 2.0 representan avances importantes, todavía tienen limitaciones significativas que pueden restringir su aplicabilidad en el mundo real. Para superar estas limitaciones, Novita AI ofrece una API LLM integral diseñada para capacitar a las organizaciones con la flexibilidad y las capacidades que necesitan para construir soluciones de IA verdaderamente personalizadas.
Variedad de modelos y personalización
En el núcleo de nuestra API LLM está la capacidad de elegir entre una variedad de modelos de lenguaje grandes, no solo una única opción preentrenada. Esto significa que puedes seleccionar el modelo que mejor se alinee con tu caso de uso específico, ya sea una variante multilingüe para aplicaciones globales, un modelo de mayores parámetros para tareas críticas, o una versión especializada ajustada al dominio para necesidades específicas de la industria.
Pero la selección del modelo es solo el comienzo. Nuestra API también te permite modificar sistemáticamente el tono, la personalidad y el comportamiento del LLM elegido mediante el uso de instrucciones cuidadosamente elaboradas. Al ajustar los patrones de respuesta del modelo, puedes asegurarte de que tu asistente de IA exhiba la voz, empatía y experiencia exactas requeridas para interactuar eficazmente con tus usuarios o clientes.
Controles de parámetros avanzados
Además de la personalización del modelo y las instrucciones, nuestra API LLM pone un control granular en tus manos. Puedes ajustar parámetros clave como temperature, top_p, presence_penalty y maximum tokens para optimizar las salidas del modelo según los requisitos específicos de tu aplicación. Este nivel de adaptación te permite lograr el equilibrio perfecto entre creatividad, coherencia y concisión.
Integración perfecta de personajes
Para mejorar aún más la experiencia del usuario, nuestra API LLM admite la integración de personajes personalizados que pueden conversar con tus usuarios finales. Estos personajes pueden diseñarse para que coincidan con tu marca, industria o público objetivo, ayudando a crear una interacción más inmersiva y personalizada. Al combinar el poder de los modelos de lenguaje grandes con la familiaridad de un personaje relatable, puedes construir asistentes de IA que realmente resuenen con tu audiencia.
Conclusión
Si bien Dolly 2.0 ofrece una prometedora alternativa de código abierto a los modelos de lenguaje que siguen instrucciones y tienen restricciones comerciales, no está exento de limitaciones. Las organizaciones deben evaluar cuidadosamente las capacidades y restricciones de Dolly 2.0 en el contexto de sus casos de uso y requisitos específicos antes de adoptarlo. Para superar las limitaciones de Dolly 2.0 y otros modelos de lenguaje de código abierto, la API LLM integral de Novita AI puede ofrecer una solución poderosa.
Novita AI, la plataforma integral para la creatividad sin límites que te da acceso a más de 100 APIs. Desde generación de imágenes y procesamiento de lenguaje hasta mejora de audio y manipulación de video, pago por uso económico, te libera de las molestias del mantenimiento de GPU mientras construyes tus propios productos. Pruébalo gratis.
