Как и почему большие языковые модели по-разному выполняют обучение в контексте?

Введение

Как и почему большие языковые модели по-разному выполняют обучение в контексте? В этой статье мы рассмотрим концепцию «обучения в контексте» (ICL), обсудим новейшие результаты исследований поведения ICL у моделей разного размера простым языком и погрузимся в способы использования различных форм ICL у LLM. Если вам интересно, читайте дальше!

Что такое «обучение в контексте»?

Обучение в контексте (in-context learning) — это удивительная способность, возникшая в результате развития больших языковых моделей (LLM). Она означает, что модель может успешно справляться с новыми, невиданными ранее задачами, имея лишь краткую серию примеров, приведённых в контексте ввода. Это замечательное свойство: модель умеет адаптироваться и применять свои знания к новым ситуациям без какого-либо обновления или тонкой настройки собственных параметров.

Ключевая особенность обучения в контексте заключается в том, что модель использует контекстную информацию, данную как часть входного запроса, для формирования ответа, а не полагается исключительно на свои заранее полученные знания или обучение. Например, если вы дадите языковой модели несколько примеров решения линейных уравнений, она сможет использовать этот контекст, чтобы решить совершенно новое линейное уравнение, с которым раньше не сталкивалась. Модель способна выявить лежащую в основе закономерность и применить её к новой задаче, не нуждаясь в явном обучении именно этому типу уравнений.

Каковы преимущества «обучения в контексте»?

Универсальность и адаптивность

• ICL позволяет применять большие языковые модели к широкому кругу задач и областей без необходимости обширного переобучения.
• Это даёт моделям возможность постоянно расширять свои возможности, осваивая новые навыки через ICL.

Эффективность использования примеров

• Для изучения новых задач ICL требует сравнительно небольшого числа примеров, что снижает потребность в данных по сравнению с традиционным обучением с учителем.
• Это ценно, когда размеченных данных мало или их получение дорого.

Вычислительная эффективность

• ICL может выполняться за один прямой проход через модель без обновления параметров.
• Такая вычислительная эффективность важна для приложений реального времени и развёртываний с ограниченными ресурсами.

Возникающие способности

• Большие языковые модели часто показывают хорошие результаты на невиданных задачах через ICL, превосходя модели, явно обученные на этих задачах.
• Это говорит о том, что модели могут эффективно использовать контекстную информацию для решения новых проблем.

Понимание поведения модели

• Изучение ICL может дать ценные сведения о том, как большие языковые модели представляют и используют знания.
• Это может способствовать созданию более надёжных и устойчивых систем ИИ.

Важное открытие: большие языковые модели учатся в контексте по-другому

Статья «Larger Language Models Do In-context Learning Differently» (Джерри Вэй, Джейсон Вэй, Йи Тай и другие) рассматривает, опирается ли обучение в контексте в большей степени на семантические априорные знания из предобучения или на изучение отображений «вход-метка» из примеров.

Если вас не интересуют детали исследования, просто запомните вывод и переходите к следующему разделу: чем больше языковая модель, тем меньше она зависит от семантического априорного знания (врождённого смысла и ассоциаций, которые языковые модели усваивают во время предобучения) и тем лучше она способна учиться на входных контекстах.

Хочу углубиться

Предыстория

• Языковые модели могут выполнять различные прикладные задачи через обучение в контексте (ICL), когда им дают несколько примеров как часть запроса.
• Существует дискуссия: опирается ли ICL больше на семантические априорные знания из предобучения или на изучение отображений «вход-метка» из примеров.

Теоретические условия

Авторы исследуют два сценария, чтобы выявить взаимосвязь между семантическими априорными знаниями и отображениями «вход-метка»:

1. ICL с перевёрнутыми метками: метки в примерах перевёрнуты, что вынуждает модели переопределять семантические априорные знания.
2. ICL с семантически не связанными метками (SUL-ICL): метки семантически не связаны с задачей, что устраняет семантические априорные знания.

Дизайн эксперимента

• Эксперименты проведены на 7 задачах NLP для 5 семейств моделей (GPT-3, InstructGPT, Codex, PaLM, Flan-PaLM) разного размера.
• Оценивается производительность в условиях обычного ICL, ICL с перевёрнутыми метками и SUL-ICL.

Ключевые результаты

• ICL с перевёрнутыми метками: маленькие модели не могут переопределить семантические априорные знания, а большие модели могут научиться следовать перевёрнутым меткам примеров.
• SUL-ICL: маленькие модели больше полагаются на семантические априорные знания, тогда как большие модели могут изучать отображения «вход-метка» без семантических априорных знаний.

• Способность переопределять семантические априорные знания и изучать отображения «вход-метка» возникает с масштабом модели.
• Инструкционная настройка усиливает использование семантических априорных знаний больше, чем способность изучать отображения «вход-метка».

Почему большие языковые модели учатся в контексте по-другому?

Другая статья – «Why Do Larger Language Models Do In-context Learning Differently?» (Чжэньмэй Ши, Цзюньи Вэй, Чжуоянь Сюй, Инъюй Лян) – обсуждает причины различной производительности ICL у больших и маленьких LLM. Здесь мы предлагаем две версии: простым языком и профессиональную. Выбирайте ту, которая вам подходит.

Мне больше нравится простая версия

Эта статья объясняет «почему» за разным поведением ICL у больших и маленьких языковых моделей:

Ключевая причина связана с тем, как модели распределяют внимание между различными признаками во время обучения в контексте.

Меньшие модели склонны больше сосредотачиваться на важных, информативных признаках, релевантных для задачи. Они выделяют ключевые признаки и поэтому более устойчивы к шуму или нерелевантной информации в контексте ввода.

Напротив, большие языковые модели имеют возможность охватывать большее разнообразие признаков, включая менее важные или даже шумные. Хотя это позволяет им улавливать больше информации, это также делает их более подверженными отвлечению на нерелевантные или шумные аспекты контекста.

По сути, большие модели охватывают более широкий набор признаков – как релевантных, так и нерелевантных, – тогда как меньшие модели отдают приоритет наиболее значимым признакам. Это различие в распределении внимания и приводит к большей устойчивости меньших моделей во время обучения в контексте по сравнению с их более крупными аналогами.

Хочу углубиться

Предыстория исследования

Статья исследует, почему большие языковые модели (LLM) демонстрируют иное поведение при обучении в контексте (ICL) по сравнению с меньшими моделями. ICL – важная возникающая способность LLM, позволяющая им хорошо работать на невиданных задачах на основе краткой серии примеров без обновления параметров модели. Недавние исследования показали, что более крупные LLM склонны быть более чувствительными к шуму в тестовом контексте и показывают худшие результаты, чем меньшие модели.

Теоретические условия

Чтобы понять этот феномен, статья анализирует два стилизованных сценария:

1. Линейная регрессия с однослойными однослойными линейными трансформерами.
2. Классификация чётности с двухслойными трансформерами с несколькими головками внимания.

Цель – дать теоретическое объяснение того, как механизм внимания и масштаб модели влияют на поведение ICL.

Для обоих сценариев авторы предоставляют явные оптимальные решения и описывают, как механизм внимания различается у меньших и больших моделей.

Дизайн эксперимента

Авторы проводят эксперименты по обучению в контексте на пяти распространённых NLP-задачах, используя модели семейства Llama различных размеров. Результаты экспериментов используются для подтверждения теоретического анализа.

Ключевые результаты

• Меньшие модели подчёркивают важные скрытые признаки, тогда как большие модели охватывают больше признаков, включая менее важные или шумные.
• Меньшие модели более устойчивы к шуму меток и входному шуму при оценке, в то время как большие модели легче отвлекаются на такие шумы, что приводит к ухудшению производительности ICL.

• Теоретический анализ и экспериментальные результаты дают представление о том, как механизм внимания и масштаб модели влияют на поведение ICL, проливая свет на внутреннее устройство LLM.

Использование различных форм ICL у разных LLM

Осознание этих тонких различий имеет решающее значение для выбора подходящей модели исходя из характеристик данных и требований задачи. Как мы узнали из двух предыдущих статей, меньшие модели более устойчивы к зашумлённым входным данным, так как фокусируются на ключевых признаках и меньше отвлекаются на нерелевантную информацию. Большие модели, напротив, преуспевают в задачах, требующих всестороннего понимания разнообразных признаков, используя свои более широкие контекстные знания.

Поэтому, чтобы использовать различные формы ICL у разных LLM, Novita AI предлагает разработчикам AI-стартапов экономичные и автоматически масштабируемые API для LLM с выбором разных моделей.

Всего в несколько строк кода вы можете интегрировать мощные LLM в свои AI-продукты. Попробуйте возможности разных LLM на Novita AI Playground, прежде чем принять решение об использовании наших API.

Заключение

Обучение в контексте (ICL) – это способность больших языковых моделей (LLM) хорошо выполнять невиданные задачи на основе входных данных, то есть контекста.

Как большие языковые модели по-разному выполняют обучение в контексте? Чем больше языковая модель, тем меньше она зависит от семантических априорных знаний и тем лучше она способна учиться на входных контекстах.

Почему большие языковые модели по-разному выполняют обучение в контексте? Ключевая причина этих различий связана с тем, как модели распределяют внимание между различными признаками во время обучения в контексте.

Чтобы воспользоваться преимуществами различных форм обучения в контексте, проявляемых разными языковыми моделями, может оказаться выгодным использование API с разнообразным выбором моделей LLM.

Novita AI – единая платформа для безграничного творчества, предоставляющая доступ к более чем 100 API. От генерации изображений и обработки языка до улучшения аудио и манипуляции видео – дешёвая оплата по мере использования освобождает вас от забот по обслуживанию GPU во время создания собственных продуктов. Попробуйте бесплатно.