Введение
Сектор искусственного интеллекта переживает стремительное расширение и диверсификацию, движимые растущим спросом в различных отраслях. Databricks Dolly стал заметным игроком в ландшафте больших языковых моделей (LLM), предлагая альтернативу устоявшимся решениям, таким как ChatGPT и Google Bard. При оценке вариантов LLM для вашего предприятия крайне важно понимать, какое место на рынке занимают такие модели, как Dolly. Это понимание поможет вам принимать обоснованные решения, соответствующие вашей инфраструктуре, бизнес-целям и операционным потребностям.
Технологии ИИ стали более совершенными и доступными, что привело к широкому внедрению и признанию по мере быстрого взросления технологии. На рынке наблюдается всплеск продуктов и услуг на базе ИИ: от сложных инструментов аналитики и автоматизации до решений для обслуживания клиентов и маркетинга на основе ИИ.
Что такое Databricks Dolly?
Databricks Dolly выделяется как открытая большая языковая модель, предназначенная для следования инструкциям на естественном языке и создания генеративных текстовых ответов для таких задач, как обобщение, ответы на вопросы и мозговой штурм. В отличие от закрытых решений, таких как ChatGPT, Databricks Dolly, официально известная как Databricks Dolly 2.0, была дообучена на обучающем наборе данных, созданном с помощью краудсорсинга среди сотрудников Databricks. Эта модель с 12 миллиардами параметров была разработана на основе более чем 13 000 демонстраций поведения, следующего инструкциям, предоставленных более чем 5 000 сотрудников Databricks в период с марта по апрель 2023 года.
Вы можете посмотреть видео ниже:
Databricks Dolly 2.0 против 1.0
В своем блоге, объявляя о Databricks Dolly 2.0, компания объяснила свой выбор в пользу открытой модели и собственного набора данных, подчеркнув, что организации получат свободу создавать или адаптировать свои собственные большие языковые модели «без необходимости платить за доступ к API или делиться данными с внешними сторонами».
Databricks подчеркивает, что их набор данных для дообучения, databricks-dolly-15k, является «первым открытым набором данных, созданным человеком, специально разработанным для наделения больших языковых моделей интерактивным обаянием ChatGPT». В отличие от своего предшественника, Dolly 1.0, представленного в марте 2023 года, который включал выходные данные ChatGPT, был обучен на модели с вдвое меньшим количеством параметров, дообучен на ограниченном наборе данных из 50 000 пар ответов и не имел лицензии на коммерческое использование, Dolly 2.0, запущенная в апреле 2023 года, была обучена на открытой модели с 12 миллиардами параметров (от EleutherAI) и, что важно, может развертываться коммерчески благодаря краудсорсинговым парам вопросов и ответов, созданным человеком.
Предприятия, рассматривающие внедрение Databricks Dolly 2.0, могут быть уверены в надежности набора данных. Databricks установила четкие правила для создания своих данных и набора ответов, гарантируя, что все ответы были созданы людьми и являлись уникальными.
Кому следует использовать Databricks Dolly?
Уникальное преимущество Dolly заключается в ее открытом наборе данных, что дает явные преимущества для предприятий, стремящихся разрабатывать решения ИИ, адаптированные к конкретным случаям использования. Вот несколько сценариев, где Databricks Dolly может быть особенно подходящей:
- Предприятия, подчиняющиеся строгим нормам соответствия данных: Открытый характер Dolly, независимый от API, позволяет организациям в строго регулируемых секторах создавать решения ИИ, не вызывая проблем с безопасностью данных или соответствием, обычно связанных с инструментами, зависящими от API.
- Исследователи и разработчики ИИ: Dolly предлагает надежную и в то же время легко адаптируемую платформу, позволяя исследователям и разработчикам быстро вносить изменения в модель по мере необходимости. Эта гибкость открывает больший потенциал для инноваций и экспериментов.
- Улучшение существующих решений для вопросов и ответов: Использование структуры Databricks Dolly для интеграции пар вопросов и ответов из существующего решения — идеальное применение. Например, с помощью возможностей Dolly можно превратить базу данных технической поддержки, построенную по принципу вопросов и ответов, в интерактивный сервис.
Действительно открытые большие языковые модели
Клиенты неоднократно выражали предпочтение владению собственными моделями, что позволяет им разрабатывать более качественные модели для своих предметно-ориентированных приложений, не подвергая риску свои конфиденциальные данные перед третьими сторонами.
Считается, что решение таких важных проблем, как предвзятость, подотчетность и безопасность ИИ, требует участия разнообразного сообщества заинтересованных сторон, а не полагаться исключительно на несколько крупных компаний. Открытые наборы данных и модели способствуют комментариям, исследованиям и инновациям, создавая среду, в которой каждый может извлечь выгоду из достижений в области технологий искусственного интеллекта.
Как технический и исследовательский артефакт, Dolly не ожидается на переднем крае по эффективности. Однако ожидается, что и Dolly, и открытый набор данных послужат основой для многих последующих работ, потенциально катализируя разработку еще более мощных языковых моделей.
Варианты использования Databricks Dolly
В своем официальном блоге они представляют некоторые приложения и варианты использования Databricks Dolly:
- Открытые вопросы и ответы: Примеры включают такие запросы, как «Почему люди любят комедийные фильмы?» или «Какова столица Франции?» На некоторые вопросы нет однозначного ответа, в то время как другие требуют опоры на широкое понимание мира.
- Закрытые вопросы и ответы: На эти вопросы можно ответить, используя только информацию из данного эталонного текста. Например, получив абзац из статьи в Википедии об атомах, можно спросить: «Каково соотношение протонов к нейтронам в ядре?»
- Извлечение информации из Википедии: В этой задаче аннотатор выбирает абзац из статьи в Википедии и идентифицирует сущности или фактические детали, такие как веса или измерения, содержащиеся в отрывке.
- Обобщение информации из Википедии: Аннотаторам поручается сжать отрывок из Википедии в краткое резюме.
- Мозговой штурм: Это включает генерацию открытых идей и предоставление списка возможных вариантов. Например, «Какие есть интересные занятия с друзьями на этих выходных?»
- Классификация: Аннотаторы принимают решения относительно принадлежности к классу, например, классифицируя элементы в списке как животных, минералы или овощи, или оценивая характеристики короткого отрывка, например, настроение, выраженное в обзоре фильма.
- Творческое письмо: Задачи в этой категории включают сочинение стихов или написание любовного письма.
Пример открытых вопросов и ответов в databricks-dolly-15k
Как установить Databricks Dolly
Чтобы загрузить веса модели Dolly 2.0, просто посетите страницу Databricks Hugging Face и перейдите в репозиторий Dolly на databricks-labs, чтобы загрузить databricks-dolly-15k dataset.
Ограничения LLM Databricks Dolly
Хотя открытая модель Databricks Dolly LLM предлагает множество преимуществ, особенно для узконаправленных коммерческих приложений, она не является универсальным решением. По сравнению с более крупными закрытыми моделями, такими как ChatGPT, меньший обучающий набор Dolly может приводить к менее качественным результатам. Также распространены языковые ограничения; в настоящее время Dolly 2.0 может предоставлять ответы только на английском языке.
Развертывание открытой LLM также вызывает опасения относительно требований к знаниям. Оно часто требует глубокого понимания обучения и использования решений ИИ, а также значительных вычислительных ресурсов в среде предприятия. Напротив, закрытые генеративные модели ИИ обычно готовы к использованию и интеграции с пользовательскими решениями сразу после установки. Балансирование соображений коммерческой жизнеспособности и ограничений ресурсов часто определяет выбор подходящей модели.
С другой стороны, конфиденциальность информации не может быть гарантирована при использовании открытой LLM. Если вы ищете безопасную, надежную и экономичную закрытую LLM, вы можете выбрать нашу LLM:
И мы уже выпустили API LLM, которые могут легко интегрироваться с вашими LLM. Благодаря самым низким ценам и масштабируемым моделям, Novita AI LLM Inference API обеспечивает невероятную стабильность и довольно низкую задержку — менее 2 секунд.
Наш API LLM также поддерживает ролевую игру: импортировав карточку вашего любимого персонажа, вы можете говорить с ним/ней о чем угодно.
Какая большая языковая модель подходит вам?
Внедрение Databricks Dolly LLM знаменует собой значительный скачок в коммерчески жизнеспособных открытых больших языковых моделях, адаптированных для корпоративного использования. Хотя она может подходить не для каждого сценария, ее потенциал на корпоративном уровне огромен. Будь то разработка индивидуальных решений, улучшение существующих инструментов или внедрение новых приложений ИИ, Databricks Dolly заслуживает внимания, если вашей организации требуется открытая модель.
Если у вас есть вопросы относительно пригодности Databricks Dolly 2.0 для вашего конкретного контекста или вам нужна помощь в эффективном использовании Dolly LLM, не стесняйтесь обращаться к нам в Graphable. Наши услуги по индивидуальной разработке направлены на то, чтобы помочь вам сформулировать и реализовать решения, соответствующие вашим уникальным корпоративным целям.
Databricks Dolly предлагает универсальную, надежную и удобную платформу, отвечающую потребностям в аналитике данных, прогностическом моделировании и автоматизации. Ее применимость охватывает различные отрасли и функции, что делает ее бесценной для профессионалов, работающих в корпоративной среде. По мере развития ИИ роль Dolly в оптимизации и обогащении принятия решений на основе данных будет только расширяться.
Заключение
Подводя итог, Databricks Dolly LLM представляет собой значительный прогресс в области открытых больших языковых моделей, адаптированных для корпоративного использования. Хотя она может подходить не для каждого сценария, ее потенциал для настройки и инноваций в конкретных случаях использования значителен. Организации, стремящиеся к более качественным моделям, сохраняя при этом право собственности на свои данные, могут найти Databricks Dolly привлекательным вариантом.
Однако важно учитывать компромиссы. Открытые модели, такие как Databricks Dolly, предлагают гибкость и инновации, движимые сообществом, но не всегда могут обеспечить такой же уровень качества или языкового охвата, как закрытые модели. Для тех, кто балансирует между надежностью, безопасностью и экономической эффективностью, закрытые LLM представляют собой жизнеспособную альтернативу.
В конечном счете, выбор между открытыми и закрытыми LLM зависит от конкретных потребностей, целей и ресурсов вашей организации. Независимо от того, выбираете ли вы Databricks Dolly или другую модель, важно согласовать свое решение с уникальными требованиями вашего предприятия, чтобы эффективно улучшить принятие решений на основе данных.
novita.ai — единая платформа для безграничного творчества, предоставляющая доступ к 100+ API. От генерации изображений и обработки языка до улучшения аудио и манипуляции видео, дешевая оплата по мере использования — она освобождает вас от хлопот по обслуживанию GPU, пока вы создаете свои собственные продукты. Попробуйте бесплатно.
Рекомендуемое чтение
Novita AI LLM Inference Engine: самая высокая пропускная способность и самое дешевое логирование
