Введение
Помимо широко распространенных дискуссий об интеграции LLM в бизнес-процессы, возникает менее заметный спор о сравнении традиционных моделей машинного обучения (ML) и больших языковых моделей (LLM). Вопрос в том: устаревают ли классические модели ML, и готовы ли LLM доминировать в сфере ИИ? Означает ли новизна автоматическое превосходство?
Эта статья призвана разобрать дискуссию ML против LLM, исследуя их различия, функциональные возможности и случаи, когда одна из них может превзойти другую в различных применениях ИИ.
Проведение границы между ML и LLM
Прежде всего, важно признать, что большие языковые модели (LLM) являются подмножеством машинного обучения (ML). Машинное обучение охватывает широкий спектр алгоритмов и моделей, от простых, таких как наивный байесовский классификатор (Naive Bayes), до более сложных, таких как нейронные сети. LLM, как недавний прорыв, обязаны своим существованием концепциям нейронных сетей и обратного распространения ошибки (back-propagation) для обучения, которые произвели революцию в таких областях, как компьютерное зрение, обработка естественного языка (NLP) и обучение с подкреплением. Однако transformative потенциал нейронных сетей был полностью реализован лишь около десятилетия назад, в основном из-за ограничений в объемах хранения данных и вычислительных мощностях, которые были преодолены с широким распространением GPU и доступных методов хранения и сбора данных.
Понимание машинного обучения
Традиционные модели ML долгое время полагались на извлечение признаков (feature extraction) — процесс, критически важный для различных приложений в таких отраслях, как финансы и здравоохранение. Такие методы, как метод опорных векторов (Support Vector Machines), деревья решений (Decision Trees), а также мелкие нейронные сети, которые являются основой для LLM, сильно зависели от качества проектирования признаков (feature engineering) для имеющихся данных. Однако этот подход имел ограничения из-за конечных возможностей человека при разработке сложных математических преобразований. Глубокие нейронные сети (Deep Neural Networks), особенно использующие архитектуры Transformer и CNN, представляют собой значительный скачок вперед, автоматизируя и улучшая извлечение признаков. Эти модели используют методы самоконтролируемого обучения (self-supervised learning), чтобы использовать огромные объемы неструктурированных данных, снижая потребность в обширной предварительной обработке. Хотя решения на основе глубокого обучения превосходны в таких задачах, как рекомендательные системы и поиск, они не всегда подходят для задач, требующих методов ранжирования (learning-to-rank), где более уместными могут быть традиционные решения ML, такие как бустинг деревьев (Boosting Trees).
Понимание NLP (Обработка естественного языка)
В области NLP традиционные методы обработки текста, такие как TF-IDF и мешок слов (Bag of Words), были незаменимы для векторизации текста до появления таких моделей, как Word2Vec и FastText. До появления таких моделей, как BERT, значительная часть усилий в NLP была сосредоточена на совершенствовании этапов предварительной обработки. Трансформеры (Transformers), начиная с BERT, проложили путь для LLM, которые обучаются на огромных объемах текстовых данных из интернета. Эти модели превосходно справляются со сложными лингвистическими задачами, такими как перевод, ответы на вопросы и обобщение, благодаря своим обширным обучающим данным и большому размеру параметров.
Если вас интересует разница между NLP и LLM, вы можете ознакомиться с нашим блогом: NLP vs LLM: Key Differences and Synergies
Различие между ML и LLM зависит от конкретных требований приложения. LLM часто предпочтительнее для задач, требующих тонкого понимания языка или генеративного ИИ (Generative AI), таких как чат-боты или обобщение текста, благодаря их расширенным возможностям. Однако традиционное ML показывает себя с лучшей стороны в сценариях, где важны интерпретируемость и вычислительная эффективность, например, при анализе структурированных данных или в средах с ограниченными ресурсами, таких как периферийные устройства (edge devices).
В определенных областях, таких как анализ тональности (sentiment analysis) или рекомендательные системы, как ML, так и LLM могут предложить жизнеспособные решения, каждое со своими уникальными преимуществами. Эти методы могут быть взаимодополняющими, а не конкурирующими, в зависимости от конкретного случая использования. Следующий раздел будет посвящен деталям реализации и соображениям для каждого метода, что поможет в принятии решений для различных случаев использования.
Матрица решений для ML против LLM
LLM превосходны в генеративных задачах, требующих всестороннего понимания языка, тогда как традиционное ML сохраняет эффективность в дискриминативных задачах благодаря своей эффективности и меньшему потреблению ресурсов. Например, ML может быть предпочтительным для анализа тональности или прогнозирования оттока клиентов, в то время как LLM предпочитают для сложных задач, таких как генерация кода или завершение текста.
Примеры конвейеров ML, DL и LLM
Давайте рассмотрим сценарий, в котором мы хотим построить модель анализа тональности для оценки положительности или отрицательности отзывов на платформе электронной коммерции.
Мы рассмотрим три различных методологии: использование машинного обучения с XGBoost, использование глубокого обучения (Deep Learning) с TensorFlow и прогнозирование тональности с помощью большой языковой модели от OpenAI.
ML с XGBoost
Для начала я углублюсь в использование XGBoost, надежного и эффективного алгоритма машинного обучения, для анализа тональности. Эта демонстрация выделит шаги, связанные с извлечением признаков из текстовых данных, обучением модели и оценкой ее производительности, подчеркивая способность XGBoost эффективно обрабатывать структурированные данные.
Этот фрагмент кода иллюстрирует реализацию конвейера машинного обучения, предназначенного для анализа тональности, с использованием XGBoost, известного фреймворка градиентного бустинга, в сочетании с TF-IDF для векторизации текста. Основная концепция заключается в преобразовании текстовых данных в числовые векторы с помощью TF-IDF — метода, который фиксирует значимость слов в корпусе, с последующим применением XGBoost, эффективного и мощного алгоритма на основе бустинг-деревьев (Boosting Trees), для задачи бинарной классификации. Этот конвейер особенно эффективен для структурированных наборов данных и идеально подходит для сценариев, где приоритет отдается интерпретируемости и вычислительной эффективности. Однако важно отметить, что в этом сценарии мы предполагаем, что текстовые данные, подаваемые в конвейер, находятся в идеальном состоянии, что часто не соответствует действительности. Обычно предыдущие шаги включают обработку текста, такую как удаление стоп-слов (stop-word removal) и нормализацию текста.
DL с TensorFlow:
В следующем примере я продемонстрирую подход глубокого обучения с использованием TensorFlow. Здесь мы построим простую (мелкую) нейронную сеть для обработки текстовых данных, стремясь проиллюстрировать, как глубокое обучение может различать сложные паттерны в языке, проходя через слои нейронных сетей. Ниже приведена иллюстрация с использованием TensorFlow с Keras:
Переходя от предыдущей демонстрации традиционного метода машинного обучения для анализа тональности, этот фрагмент кода смещает фокус на подход глубокого обучения с использованием TensorFlow, мощного фреймворка для построения моделей на основе нейронных сетей. В основе этой иллюстрации глубокого обучения лежит слой эмбеддингов (embedding layer), концепция, популяризированная Word2Vec. Этот слой переводит слова в плотные векторы в многомерном пространстве, захватывая семантические отношения способом, выходящим за рамки простой числовой векторизации. В отличие от предыдущего подхода с TF-IDF и XGBoost, эта модель глубокого обучения изучает представления слов в контексте, что позволяет ей улавливать нюансы использования языка. Модель использует базовую архитектуру нейронной сети, состоящую из слоя эмбеддингов, слоя пулинга (pooling layer) для уменьшения размерности и плотного слоя (dense layer) для классификации.
Стоит отметить, что для простоты реализованная нейронная сеть имеет только один скрытый слой. Чтобы полностью использовать возможности извлечения признаков глубоких нейронных сетей (Deep Neural Networks, DNN), потребуется нейронная сеть с большей глубиной и сложностью. Эта методология оказывается мощной для обширных, сложных наборов данных, где важно улавливать тонкие лингвистические паттерны. Это служит отличным примером того, как глубокое обучение может упростить и улучшить извлечение признаков — задачу, которая традиционно требовала значительного ручного вмешательства и знания предметной области.
LLM с GPT-3
Наконец, я исследую пример с использованием большой языковой модели, в частности GPT-3, демонстрируя, как эти сложные модели, предварительно обученные на обширных наборах данных, могут быть использованы для анализа тональности с минимальной настройкой, хотя и с опорой на внешние API и ресурсы. Ниже приведена иллюстрация с использованием API GPT-3 от OpenAI для анализа тональности:
Этот заключительный фрагмент кода представляет альтернативный подход к анализу тональности с использованием GPT-3 (модель Davinci) от OpenAI, продвинутой большой языковой модели (LLM).
Здесь сложности обучения модели и извлечения признаков абстрагированы, так как вы, по сути, используете сокращенный путь, применяя предварительно обученную модель. В отличие от предыдущих примеров, где модели обучались на конкретных наборах данных, адаптированных к задаче, GPT-3 прошел обучение на огромных и разнообразных наборах данных, что дало ему возможность понимать и генерировать человекообразный текст.
Основное преимущество этого подхода заключается в его простоте и универсальности. Всего с помощью нескольких строк кода и некоторого промпт-инжиниринга (prompt engineering) вы можете использовать возможности моделей GPT для выполнения широкого круга задач, включая анализ тональности, без необходимости в обширной предварительной обработке данных или обучении модели. Этот фрагмент отправляет текст в API GPT-3 и получает оценку тональности, демонстрируя, как LLM могут быть легко развернуты для немедленного использования. Он подчеркивает достижения в области обработки естественного языка, где сложность понимания языка встроена в предварительно обученную модель, что делает ее очень мощной и удобной для пользователя в различных приложениях.
Однако, хотя это решение проще в реализации и потенциально более надежно, оно скрывает сложный процесс обучения, связанный с разработкой большой языковой модели. Этот аспект может вызвать технические и финансовые соображения, которые мы рассмотрим далее.
Погружение в технические соображения
Исследование технической территории больших языковых моделей включает навигацию как по техническому долгу (technical debt), так и по затратам. Хотя эти модели упрощают развертывание и уменьшают сложность, как показано в примерах выше, они также влекут за собой финансовые последствия. Этот переход от технических к финансовым проблемам подчеркивает необходимость более пристального изучения компромиссов между технической эффективностью и ощутимыми затратами, связанными с развертыванием и поддержкой LLM.
Технический долг и стоимость
Размышляя о предыдущих примерах, становится очевидным, что, хотя LLM, такие как GPT-4 или Llambda, предлагают оптимизированную обработку и удобство для пользователя, они также создают проблемы с точки зрения затрат. Эти модели, способные понимать и отвечать на различные запросы, заметно упрощают процесс развертывания и уменьшают сложности, обычно связанные с разработкой и поддержкой моделей. Это резко контрастирует с методами ML, такими как XGBoost, которые требуют более практического участия в проектировании признаков и оптимизации модели.
Рассматривая применение LLM, их можно рассматривать как средство преобразования сложностей и технических препятствий, связанных с построением конвейеров машинного обучения и глубокого обучения, в финансовые затраты. Это связано с тем, что трансформеры (transformers), лежащая в основе этих моделей архитектура, берут на себя сложную задачу извлечения признаков, которая традиционно требует значительных вычислительных ресурсов и опыта. Однако это удобство достигается ценой повышенной зависимости от мощных графических процессоров (GPU). Эти GPU представляют собой либо прямые расходы, если вы размещаете свою собственную LLM, например Llambda, либо эта стоимость включена в плату за услугу при использовании управляемого сервиса, как в случае с моделями OpenAI. По сути, бремя технической сложности переводится в финансовое, делая технологию доступной, но за определенную плату.
Задержка и характер задачи
В пользовательских приложениях скорость, с которой модели ИИ могут обрабатывать и отвечать на входные данные, известная как задержка (latency), имеет первостепенное значение.
Традиционные модели ML, известные своими быстрыми возможностями обработки, идеально подходят для высокоскоростных приложений реального времени, таких как выполнение алгоритмов финансовой торговли, предоставление рекомендаций или управление системами экстренного реагирования, где доли секунды имеют решающее значение.
В течение многих лет академические круги и промышленность вкладывали значительные усилия в оптимизацию и масштабирование вычислительных затрат, связанных с предсказанием и обучением моделей ML.
Однако ситуация меняется при работе с LLM. Возьмем, к примеру, виртуального ассистента в приложении поддержки клиентов. Хотя немедленные ответы остаются важными, всестороннее понимание языка LLM может заметно повысить качество и глубину взаимодействия, оправдывая небольшую задержку в ответах. Этот тонкий компромисс также очевиден в задачах генерации контента, где богатство и связность текста или изображений, генерируемых LLM, могут перевесить необходимость в мгновенных результатах, типичную для других приложений.
По сути, выбор между традиционными моделями ML и LLM требует тщательной оценки конкретного характера и срочности решаемых задач. Баланс между задержкой и пониманием языка становится критическим фактором при определении оптимального решения для данного технического контекста, подчеркивая необходимость индивидуальных подходов и признания того, что различные приложения требуют различных соображений.
Тем не менее, ведутся постоянные работы по оптимизации вычислительных ресурсов, необходимых этим LLM, для обеспечения более быстрых ответов в большем масштабе.
Заключение
Рассматривая ML против LLM, важно понимать их уникальные сильные и слабые стороны. Решение в конечном итоге зависит от конкретных требований и ограничений приложения, таких как стоимость, задержка и характер задачи. Однако при оценке ваших вариантов всегда следует иметь в виду два ключевых соображения.
novita.ai — это единая платформа для безграничного творчества, предоставляющая доступ к 100+ API. От генерации изображений и обработки языка до улучшения аудио и манипуляции видео, недорогая модель оплаты по мере использования (pay-as-you-go) освобождает вас от проблем с обслуживанием GPU, пока вы создаете свои собственные продукты. Попробуйте бесплатно.
Рекомендуемое чтение
Novita AI LLM Inference Engine: максимальная пропускная способность и самый дешевый инференс
