Введение
Компания Databricks представила революционную разработку в мире искусственного интеллекта — Dolly 2.0, первую открытую, следующую инструкциям большую языковую модель (LLM), доступную для коммерческого использования. Но что делает Dolly 2.0 настолько революционной, и как организации могут использовать её возможности для стимулирования инноваций? Это подробное руководство рассматривает техническое мастерство, убедительные преимущества и разнообразные применения этой мощной модели ИИ, а также исследует, как LLM API может преодолеть её ограничения.
Что такое Dolly 2.0?
Dolly 2.0 — это последний прорыв в области больших языковых моделей (LLM), разработанный компанией Databricks. Развивая успех своей предыдущей модели Dolly 1.0, Dolly 2.0 является первой открытой, следующей инструкциям LLM, доступной для коммерческого использования.
Технические детали Dolly 2.0
Dolly 2.0 — это модель с 12 миллиардами параметров, доработанная на новом наборе данных под названием databricks-dolly-15k. Этот набор данных был тщательно создан более чем 5000 сотрудниками Databricks, которые сгенерировали 15 000 пар высококачественных запросов и ответов, специально предназначенных для обучения инструктивной LLM. В отличие от предыдущих наборов данных, databricks-dolly-15k полностью лицензирован для коммерческого использования по лицензии Creative Commons.
Этот новый набор данных, названный databricks-dolly-15k, содержит 15 000 пар высококачественных запросов и ответов, специально разработанных для настройки инструкций больших языковых моделей. Набор данных был собран с помощью краудсорсинга от более чем 5000 сотрудников Databricks в марте и апреле 2023 года, которые были мотивированы через конкурс на генерацию широкого спектра запросов и ответов, охватывающих такие задачи, как открытые вопросы и ответы, вопросы и ответы по закрытой книге, извлечение информации и обобщение, мозговой штурм, классификация и творческое письмо.
Превысив первоначальную цель в 10 000, Databricks использовала геймификацию для быстрого сбора этого значительного набора данных, который, что важно, лицензирован для коммерческого использования по лицензии Creative Commons, в отличие от предыдущих инструктивных наборов данных.
Почему Databricks сделала Dolly 2.0 коммерчески жизнеспособной?
Путь Databricks к созданию коммерчески жизнеспособной инструктивной LLM был продиктован спросом клиентов. Когда была выпущена Dolly 1.0, главным вопросом было, можно ли её использовать в коммерческих целях — но базовый набор данных имел условия использования, запрещающие это. Чтобы решить эту проблему, Databricks собрала с помощью краудсорсинга новый набор данных databricks-dolly-15k, задействовав более 5000 enthusiastic сотрудников для генерации высококачественных, оригинальных пар запросов и ответов.
Результатом стала Dolly 2.0 — мощная, открытая LLM, которую любая организация может использовать, модифицировать и развивать для создания специализированных ИИ-ассистентов и приложений. Databricks считает, что такой подход открытой, управляемой сообществом разработки ИИ является критически важным для того, чтобы ИИ приносил пользу всем, а не только нескольким крупным технологическим компаниям.
Преимущества Dolly 2.0
Возможности настраиваемой доработки
В отличие от управляемых больших языковых моделей (LLM), таких как ChatGPT, Dolly 2.0 предоставляет пользователям полный контроль над процессом доработки. Вместо того чтобы быть ограниченными платой за токен или запись, взимаемой управляемыми сервисами, пользователи могут дорабатывать предварительно обученные открытые модели Dolly 2.0 под свои конкретные нужды без дополнительных затрат. Важно, что пользователи Dolly 2.0 также имеют полный доступ к метрикам оценки и четкое понимание поведения модели, что позволяет специалистам по данным чувствовать себя более комфортно и уверенно при работе с технологией.
Масштабируемая и адаптируемая инфраструктура
Dolly 2.0 предоставляет пользователям свободу развертывания моделей в предпочитаемом облаке или локальной инфраструктуре, обеспечивая гибкость выбора среды развертывания, наиболее подходящей для их нужд. Когда возникает необходимость в улучшении задержки или увеличении пропускной способности, пользователи могут без усилий масштабировать свою инфраструктуру по требованию, предоставляя дополнительные облачные ресурсы. Эта способность динамического масштабирования особенно ценна для организаций с переменными рабочими нагрузками. Такой уровень гибкости инфраструктуры обычно недоступен для управляемых сервисных LLM, где пользователи ограничены собственными возможностями масштабирования провайдера.
Безопасная и конфиденциальная обработка данных
Для отраслей со строгими требованиями к конфиденциальности и безопасности данных, таких как финансы и здравоохранение, Dolly 2.0 представляет более безопасную альтернативу внешним управляемым сервисным LLM. При доработке моделей Dolly 2.0 пользователи могут делать это без раскрытия своих конфиденциальных данных сторонним провайдерам. Кроме того, вывод может выполняться полностью на собственных безопасных серверах пользователя, что гарантирует, что чувствительная информация никогда не покинет контролируемую среду. Это контрастирует с управляемыми сервисами, такими как ChatGPT, где пользователи должны доверять поставщику услуг в поддержании необходимого уровня безопасности данных и соблюдении соответствующих нормативных требований.
Неограниченное коммерческое использование
Лицензия Apache 2.0 Dolly 2.0 предоставляет пользователям свободу использования моделей для любых коммерческих целей без ограничений. Эта открытая и разрешительная лицензия позволяет организациям свободно продавать продукты или развертывать услуги, использующие модели Dolly 2.0, без необходимости выплаты роялти или прохождения сложных лицензионных соглашений. Такая гибкость не всегда присутствует в других открытых больших языковых моделях, которые могут иметь более строгие условия использования или требовать лицензионных отчислений для определенных коммерческих приложений.
Коммерческие применения Dolly 2.0
Настраиваемые ИИ-ассистенты
Поскольку Dolly 2.0 является открытой, коммерчески жизнеспособной языковой моделью, следующей инструкциям, организации могут использовать её для создания индивидуальных ИИ-ассистентов для своих конкретных нужд. Вместо того чтобы быть ограниченными общими чат-ботами или ассистентами, компании могут дорабатывать и настраивать Dolly 2.0 для предоставления специализированной поддержки своим сотрудникам и клиентам.
Например, фирма финансовых услуг может взять Dolly 2.0 и дополнительно обучить её на своих внутренних политиках, информации о продуктах и данных обслуживания клиентов. Это позволит им развернуть высокоперсонализированного ИИ-ассистента, который может обрабатывать широкий спектр запросов клиентов, от управления счетами до инвестиционных консультаций, при этом сохраняя соответствие стандартам компании.
Создание контента и генерация идей
Широкие возможности Dolly 2.0 по следованию инструкциям делают её подходящей для задач создания контента и генерации идей. Компании в сферах маркетинга, рекламы и медиа могут использовать Dolly 2.0 для создания первоначальных черновиков статей, постов в социальных сетях, креативных брифов и многого другого. Способность модели обобщать информацию и генерировать новые идеи может значительно ускорить процесс производства контента.
Например, маркетинговое агентство может использовать Dolly 2.0 для быстрого прототипирования концепций кампаний, написания образцов копий для социальных сетей и даже создания первоначальных креативных материалов, таких как слоганы и девизы. Люди затем могут дорабатывать и полировать выходные данные модели в соответствии с требованиями своего конкретного бренда и сообщения.
Автоматизированный анализ данных
Организации с большими наборами данных, такие как фирмы рыночных исследований или команды бизнес-аналитики, могут использовать Dolly 2.0 для автоматизации определенных задач анализа данных и отчетности. Компетентность модели в извлечении ключевой информации из текста, ответах на целевые вопросы и обобщении выводов может помочь генерировать первоначальные аналитические результаты, которые затем люди могут проверить и расширить.
Это может сократить время и усилия, необходимые для преобразования сырых данных в практические инсайты, позволяя аналитикам больше сосредоточиться на интерпретации высокого уровня и стратегических рекомендациях, а не на низкоуровневой обработке данных.
Открытый и коммерчески дружественный характер Dolly 2.0 открывает широкий спектр потенциальных случаев использования в различных отраслях, предоставляя организациям возможность создавать индивидуализированные ИИ-решения, отвечающие их уникальным потребностям и приоритетам. Как подчеркнула Databricks, этот подход направлен на то, чтобы преимущества передовых языковых моделей были доступны более широкому сообществу, а не только нескольким крупным технологическим компаниям.
Как начать работу с Dolly 2.0?
Если вы хотите начать использовать Dolly 2.0 без обучения модели, инструкции следующие:
- Предварительно обученная модель Dolly 2.0 доступна на Hugging Face как
databricks/dolly-v2-12b.
2. Чтобы использовать модель с библиотекой Transformers на машине с GPU A100:
from transformers import pipeline
import torch
instruct_pipeline = pipeline(model=“databricks/dolly-v2-12b”, torch_dtype=torch.bfloat16, trust_remote_code=True, device_map=“auto”)
Затем вы можете использовать instruct_pipeline для генерации ответов на инструкции.
3. Для других экземпляров GPU:
(1) GPU A10:
- Модели с 6,9B и 2,8B параметрами должны работать как есть.
- Для модели с 12B параметрами необходимо загрузить и запустить модель, используя 8-битные веса, что может незначительно повлиять на результаты.
(2) GPU V100:
- Установите
torch_dtype=torch.float16в командеpipeline()вместоtorch.bfloat16. - Модель с 12B параметрами может плохо работать в 8-битном режиме на V100.
Ключевые моменты: предварительно обученная модель Dolly 2.0 доступна на Hugging Face, и вы можете использовать библиотеку Transformers для загрузки и использования модели для генерации ответов. Однако конкретная конфигурация может потребовать корректировки в зависимости от доступного GPU. Для получения дополнительной информации посетите databrickslabs/dolly на Github.
Ограничения и недостатки Dolly 2.0
Хотя Dolly 2.0 представляет собой значительный прогресс в области открытых, коммерчески жизнеспособных, следующих инструкциям языковых моделей, она не лишена ограничений.
Языковые ограничения
Одним из ключевых недостатков является отсутствие у модели обширного обучения на языках, отличных от английского. Ни Dolly 2.0, ни её базовый бэкбон Pythia не были extensively обучены на неанглийских наборах данных. Это означает, что приложения, требующие многоязычных возможностей, вероятно, потребуют значительных усилий по доработке для учета нюансов других языков, что может не быть жизнеспособной стратегией из-за бесчисленного множества лингвистических характеристик, которые необходимо учесть.
Контекстные ограничения
Другим ограничением является относительно узкое окно токенов Dolly 2.0 — 2048 токенов. Это значительно меньше размеров контекста, поддерживаемых многими управляемыми языковыми моделями, которые могут достигать 32 000 токенов и более. Для случаев использования, связанных с большими входными данными, такими как обобщение длинных документов, Dolly 2.0 может потребовать стратегии разбивки на части и потенциально давать неоптимальные результаты из-за ограниченного контекста, который она может обработать за раз.
Проблемы масштабируемости
Кроме того, текущие модели Dolly 2.0 пока не масштабируются до диапазона 100 миллиардов параметров, что может потребоваться некоторым приложениям для конкуренции с возможностями таких моделей, как ChatGPT. Это ограничение по размеру может ограничить производительность Dolly 2.0 в определенных высокорисковых или критически важных сценариях, где требуются самые мощные языковые модели.
Текущие ограничения
Databricks также признала, что, как исследовательская модель, находящаяся в активной разработке, Dolly 2.0 может демонстрировать различные другие ограничения. К ним относятся трудности с обработкой сложных запросов, открытыми вопросами и ответами, правильным форматированием письменных задач, генерацией кода, математическими операциями и поддержанием последовательного чувства юмора или стиля письма. Хотя эти недостатки, вероятно, будут устранены в ходе дальнейших итераций и доработок, они представляют собой текущие ограничения, о которых пользователи должны знать при рассмотрении Dolly 2.0 для своих конкретных приложений.
Преодоление ограничений Dolly 2.0
Хотя открытые модели, такие как Dolly 2.0, представляют собой важные достижения, у них все еще есть существенные ограничения, которые могут ограничивать их применимость в реальном мире. Чтобы преодолеть эти ограничения, Novita AI предлагает комплексный LLM API, разработанный для предоставления организациям гибкости и возможностей, необходимых для создания действительно индивидуализированных ИИ-решений.
Разнообразие моделей и настройка
В основе нашего LLM API лежит возможность выбора из множества больших языковых моделей, а не только одной предварительно обученной опции. Это означает, что вы можете выбрать модель, которая наилучшим образом соответствует вашему конкретному случаю использования, будь то многоязычный вариант для глобальных приложений, модель с большим количеством параметров для критически важных задач или специализированная версия, настроенная на домен для отраслевых нужд.
Но выбор модели — это только начало. Наш API также позволяет систематически изменять тон, личность и поведение выбранной LLM с помощью тщательно составленных запросов. Настраивая шаблоны ответов модели, вы можете гарантировать, что ваш ИИ-ассистент демонстрирует именно тот голос, эмпатию и экспертизу, которые требуются для эффективного взаимодействия с вашими пользователями или клиентами.
Расширенные параметры управления
В дополнение к настройке модели и запросов, наш LLM API предоставляет вам детальный контроль. Вы можете регулировать такие ключевые параметры, как температура, top_p, presence_penalty и максимальное количество токенов, чтобы оптимизировать выходные данные модели для требований вашего конкретного приложения. Такой уровень настройки позволяет вам достичь идеального баланса между креативностью, связностью и лаконичностью.
Бесшовная интеграция персонажей
Чтобы еще больше улучшить взаимодействие с пользователем, наш LLM API поддерживает интеграцию пользовательских персонажей, которые могут общаться с вашими конечными пользователями. Эти персонажи могут быть разработаны в соответствии с вашим брендом, отраслью или целевой аудиторией, помогая создать более захватывающее и персонализированное взаимодействие. Сочетая мощь больших языковых моделей с привычностью узнаваемого персонажа, вы можете создавать ИИ-ассистентов, которые действительно находят отклик у вашей аудитории.
Заключение
Хотя Dolly 2.0 предлагает многообещающую открытую альтернативу коммерчески ограниченным языковым моделям, следующим инструкциям, она не лишена ограничений. Организациям следует тщательно оценивать возможности и ограничения Dolly 2.0 в контексте своих конкретных случаев использования и требований, прежде чем принимать её. Чтобы преодолеть ограничения Dolly 2.0 и других открытых языковых моделей, комплексный LLM API от Novita AI может стать мощным решением.
Novita AI — это единая платформа для безграничного творчества, предоставляющая доступ к более чем 100 API. От генерации изображений и обработки языка до улучшения аудио и манипуляции видео, недорогая оплата по мере использования, она освобождает вас от забот по обслуживанию GPU при создании собственных продуктов. Попробуйте бесплатно.
