Введение
С множеством доступных больших языковых моделей (LLM) поиск той, которая соответствует вашим конкретным требованиям, может показаться сложной задачей. Ландшафт постоянно меняется: новые модели и улучшенные версии появляются почти каждую неделю. Следовательно, любая попытка каталогизировать LLM и их характеристики быстро устаревает.
Вместо того чтобы пытаться описать каждую лучшую LLM и перечислить их сильные и слабые стороны, эта статья предлагает набор критериев для оценки моделей. Предоставляя основу для анализа, читатели смогут оценивать недавно выпущенные модели по ключевым характеристикам и эффективно сравнивать их. Основные атрибуты, которые следует учитывать при оценке LLM, включают:
- размер
- тип архитектуры
- производительность по бенчмаркам
- процессы обучения и смещения
- лицензирование/доступность
Каков размер LLM?
Ваше главное соображение при выборе LLM — это бюджетные ограничения. Эксплуатация LLM может повлечь значительные затраты, поэтому важно выбрать модель, которая остаётся в рамках бюджета. Одним из показателей стоимости является количество параметров в LLM.
Что такое количество параметров модели?
Количество параметров соответствует числу весов и смещений, которые модель корректирует во время обучения и использует для вычисления своего вывода. Почему это количество важно? Оно даёт грубую оценку накладных расходов на производительность и скорости инференса модели. В целом эти факторы напрямую связаны: с увеличением количества параметров возрастает и стоимость генерации вывода.
Какова скорость инференса модели?
Скорость инференса языковой модели — это время, необходимое для обработки входных данных, то есть показатель скорости вывода. Важно понимать, что скорость инференса и общая производительность модели сложны и многогранны и не определяются исключительно количеством параметров. Однако в контексте этой статьи количество параметров даёт грубую оценку потенциальной производительности модели. К счастью, существуют несколько устоявшихся методов для снижения времени инференса моделей машинного обучения.
Количество параметров для каждой LLM.
Модель среднего размера обычно содержит менее 10 миллиардов параметров, а более дешёвые могут иметь менее 1 миллиарда. Однако модели с менее чем 1 миллиардом параметров часто являются устаревшими или не предназначены специально для задач генерации текста. На другом конце спектра дорогие модели насчитывают более 100 миллиардов параметров; например, GPT-4 имеет ошеломляющие 1,76 триллиона параметров. Многие серии моделей, включая LLaMa 2, Mistral, Falcon и GPT, предлагают как меньшие версии (менее 10 миллиардов параметров), так и более крупные (от 10 до 100 миллиардов параметров).
Какие существуют типы LLM?
В широком смысле трансформерные LLM можно разделить на три группы по архитектуре: только энкодер, энкодер-декодер и только декодер. Эта классификация помогает понять назначение модели и её производительность в задачах генерации текста.
Что такое модель только с энкодером?
Модели только с энкодером используют исключительно компонент энкодера, который отвечает за кодирование и категоризацию входного текста. Эти модели полезны для отнесения текста к определённым категориям. BERT, доминирующая модель только с энкодером, обучалась как маскированная языковая модель (MLM) и для предсказания следующего предложения (NSP). Обе эти цели обучения подразумевают выявление ключевых элементов в предложении.
Что такое модель энкодер-декодер?
Модели энкодер-декодер сначала кодируют входной текст, аналогично моделям только с энкодером, а затем генерируют или декодируют ответ на основе закодированных входных данных. Примером архитектуры энкодер-декодер является BART. Эти модели универсальны и подходят как для задач генерации текста, так и для задач понимания, что делает их особенно ценными для перевода. Например, BART отлично справляется с суммаризацией длинных текстов, таких как статьи, в связные выводы. Например, BART-Large-CNN — это тонко настроенный вариант, специализирующийся на генерации кратких изложений текста, обученный на разнообразных новостных статьях. В целом, модели энкодер-декодер служат двойной цели, охватывая как понимание, так и генерацию текста.
Что такое модель только с декодером?
Модели только с декодером специализируются на генерации следующего слова или токена на основе заданного промпта, сосредотачиваясь исключительно на задачах генерации текста. Они просты в обучении и особенно эффективны для чистой генерации текста. Серии моделей, такие как GPT, Mistral и LLaMa, относятся к категории только декодер. Если ваша основная потребность — генерация текста, модели только с декодером являются предпочтительным выбором.
Однако стоит отметить, что Mistral 8x7B (также известная как Mixtral) использует уникальную архитектуру, называемую «mixtral of experts», что отличает её от обычных моделей только с декодером. Аналогично, есть указания на то, что GPT-4 может использовать подобную технику. Таким образом, эти модели могут не вписываться в категорию только декодер. Кроме того, новые архитектурные методы, такие как retrieval-augmented generation (RAG), не поддаются классификации в рамках этих устоявшихся категорий.
Вы можете узнать больше о технологии RAG в нашем блоге: Что такое RAG: A Comprehensive Introduction to Retrieval Augmented Generation
Как измерить качество производительности LLM
Для оценки способности языковой модели понимать, интерпретировать и давать точные ответы на различные промпты используются разные метрики. Эти методы оценки различаются в зависимости от предполагаемого использования языковой модели. Например, BERT — модель только с энкодером, предназначенная в первую очередь для задач классификации, не оценивается по тем же критериям, что и GPT-3 — модель только с декодером, предназначенная для генерации текста. В следующих разделах мы поясним некоторые методологии, используемые для оценки LLM, генерирующих текст.
Измерение качества LLM с помощью академических экзаменов
Один из распространённых методов оценки эффективности генеративной языковой модели — это проверка на экзаменах. Например, GPT-4 оценивалась по сравнению с GPT-3.5 на ряде академических тестов. В ходе этого процесса производительность модели сравнивается как с человеческими результатами, так и с результатами предыдущих моделей, что даёт представление о её способностях к рассуждению в академическом контексте. Ниже представлен краткий перечень некоторых экзаменов, проведённых с GPT-4, а также её сравнительные показатели по сравнению с GPT-3.5 и средним человеческим результатом:
Производительность GPT-4 и GPT-3.5 на стандартизированных экзаменах по сравнению со средним человеческим результатом.
Другой показатель производительности, похожий на академические экзамены, заключается в представлении модели различных наборов данных вопросов и ответов (QnA). Этот подход используется в Hugging Face Open LLM Leaderboard, предоставляя ценный ресурс для сравнения различных LLM на основе их производительности на наборах данных QnA. Эти наборы данных дают простой способ бенчмаркинга LLM, позволяя оценить её общий интеллект и логические способности.
Таблица сравнения качества между LLM
Важно отметить, что сравнение результата с 0-shot и результата с 25-shot малоэффективно. В идеале для сравнения качества вы должны сохранять единообразие в используемом типе промптинга. Даже при сравнении двух точек данных с одинаковым методом промптинга различия в процедурах тестирования всё равно могут привести к неточностям. Тем не менее, ниже приведено приблизительное сравнение качества:
Таблица сравнения качества между LLM по тестам ARC, MMLU и WinoGrande с использованием few-shot и zero-shot промптинга.
Какая текущая лучшая LLM для использования в качестве чат-бота?
Изучая эту таблицу с учётом вышеупомянутых оговорок, становится очевидным, что GPT-4 является лучшей LLM по общему качеству. Однако для оптимального соотношения цены и качества модели Mistral предлагают наилучший выбор. В частности, версия 8x7B Mistral использует уникальную технику, объединяющую несколько моделей Mistral 7b, что приводит к результатам более высокого качества. Такой подход создаёт высокоэффективную модель, которая также отлично показывает себя в бенчмарках.
Как обучающие данные могут влиять на LLM
Выбор наборов данных для обучения модели вызывает серьёзные вопросы. Какой тип данных использовался? Предназначен ли набор данных для конкретных приложений? Есть ли в наборе данных какие-либо внутренние смещения, которые могут повлиять на модель?
Как возникают смещения моделей на примере BERT
Для большинства LLM обучающие данные, как правило, обширны и направлены на предоставление модели базового понимания языка. BERT, например, прошёл предварительное обучение на Wikipedia (2 500 млн слов) и BookCorpus (800 млн слов). Однако в некоторых случаях, например, с моделями Mistral, набор обучающих данных остаётся недоступным для общественности.
Изучение этих наборов данных может дать представление о потенциальных смещениях, присущих модели. Рассмотрим BERT, который в значительной степени полагается на набор данных английской Wikipedia для обучения. Хотя Wikipedia часто считается нейтральным и непредвзятым источником, это не всегда так. Например, The Guardian сообщила, что только 16% редакторов Wikipedia — женщины, и лишь 17% статей о выдающихся людях — о женщинах. Кроме того, контент о странах Африки к югу от Сахары в основном создаётся людьми за пределами региона. Учитывая зависимость BERT от английской Wikipedia, вполне вероятно, что смещения, присутствующие на платформе, могут быть унаследованы моделью. Действительно, есть доказательства того, что BERT проявляет гендерные и расовые смещения в своих выводах. Таким образом, смещения в обучающих наборах данных предварительно обученных моделей могут влиять на их способность генерировать текст. Поэтому важно учитывать такие смещения, поскольку они влияют на взаимодействие с конечным пользователем.
Что такое тонко настроенная модель?
Тонкая настройка (fine-tuning) включает повторное обучение уже обученной модели на новых данных, что часто приводит к созданию специализированных ответвлений моделей, предназначенных для конкретных целей. Выбор данных, используемых для тонкой настройки, имеет решающее значение при оценке потенциальных применений модели. Например, FinBERT, ответвление BERT, был тонко настроен на большом наборе данных финансового языка, что делает его особенно полезным для анализа финансового тона текста. Если вы хотите узнать больше о тонкой настройке, прочитайте нашу статью: How to Fine-Tune Large Language Models?
В то время как некоторые модели созданы с намерением обеспечить возможность дальнейшей тонкой настройки, другие уже тонко настроены для выполнения конкретных задач. Например, такие модели, как Falcon, могут иметь связанные чат-версии, доработанные для эффективной работы в качестве чат-ботов. Для тонкой настройки моделей используются различные методы, хотя детали этих техник выходят за рамки данной статьи. В целом, тонко настроенная модель обычно предоставляет информацию о своих предполагаемых целях и конкретных методах тонкой настройки.
Какие наборы данных использует каждая языковая модель?
Учитывая значительное влияние обучающих данных на производительность модели, разработчики разработали различные методы веб-скрапинга для получения высококачественных наборов данных. Например, инструмент Webtext от OpenAI собирает «все исходящие ссылки с Reddit, которые получили не менее 3 кармы». Ниже приведён список наборов данных, используемых некоторыми из наиболее известных моделей на сегодняшний день, учитывая, что многие разработчики не раскрывают используемые ими наборы данных.
Наборы данных, на которых были обучены самые популярные LLM.
Лицензирование и доступность LLM
Для коммерческого использования LLM необходимо оценить условия лицензирования, связанные с конкретной моделью. Кроме того, доступность может быть неоднозначной: некоторые модели являются закрытыми, и доступ к ним возможен только через их API.
Что такое языковая модель с закрытым исходным кодом?
Модель с закрытым исходным кодом означает, что её исходный код не является общедоступным. Модели, такие как GPT-3 и GPT-4, попадают в эту категорию и обычно доступны только через API. Однако, хотя интеграция через API может быть простой, она также требует затрат. В целом, для интеграции в платформу, в зависимости от масштаба, более рентабельно использовать модель с открытым исходным кодом и обучать или развёртывать её на такой платформе, как UbiOps.
novita.ai LLM API
Что такое LLM с открытым исходным кодом?
LLM с открытым исходным кодом — это модель, которая является общедоступной и, в зависимости от лицензии, может использоваться в коммерческих целях. Кроме того, в зависимости от условий лицензии, её можно тонко настраивать, форкать или модифицировать по мере необходимости. Обычно для интеграции в платформу или тонкой настройки рекомендуется выбирать модель с открытым исходным кодом.
Более того, использование технологий с открытым исходным кодом способствует развитию области LLM, поскольку стимулирует улучшение и кастомизацию моделей, что в конечном итоге приносит пользу всему сообществу.
Коммерческие лицензии
Модель, имеющая коммерческую лицензию, подходит для бизнес-целей и позволяет интегрировать её в коммерческие платформы.
Обзор LLM и их лицензий.
Заключение
Выбор LLM, соответствующей вашим требованиям, может показаться сложной задачей, но вы можете упростить процесс оценки, сравнив ключевые характеристики с вашими потребностями. К ним относятся размер, тип, бенчмарки качества, методологии обучения, смещения и лицензирование. Хотя этот список служит отправной точкой, существует множество других факторов, которые следует учитывать. Тем не менее, эта статья призвана предоставить вам знания, необходимые для оценки недавно выпущенной модели ИИ, чтобы вы могли определить, насколько она может подойти для ваших задач, и решить, стоит ли проводить дальнейшее исследование.
novita.ai — универсальная платформа для безграничного творчества, предоставляющая доступ к 100+ API. От генерации изображений и обработки языка до улучшения аудио и манипуляции видео, по доступной модели оплаты по мере использования, она избавляет вас от хлопот с обслуживанием GPU, пока вы создаёте свои собственные продукты. Попробуйте бесплатно.
Рекомендуемое чтение
Novita AI LLM Inference Engine: the largest throughput and cheapest inference available
