Что такое кумулятивное рассуждение с большими языковыми моделями?

Введение

Что такое кумулятивное рассуждение с большими языковыми моделями? Зачем нам нужно кумулятивное рассуждение для LLM? Как выглядит кумулятивное рассуждение с LLM? Могут ли LLM хорошо справляться с кумулятивным рассуждением? В этом блоге мы обсудим эти вопросы один за другим простым и понятным языком, опираясь на статью под названием «Cumulative Reasoning with Large Language Models» авторов Yifan Zhang, Jingqin Yang, Yang Yuan и Andrew Chi-Chih Yao.

Что такое кумулятивное рассуждение?

Основная идея фреймворка кумулятивного рассуждения заключается в разбиении сложных задач на более мелкие шаги и последующем итеративном построении окончательного решения путем накопления и проверки каждого промежуточного шага.

Вдохновляясь когнитивными процессами человека, кумулятивное рассуждение вводит специализированные роли, такие как «предлагающий» для выдвижения потенциальных шагов рассуждения, «верификатор» для проверки предложений на соответствие контексту и «репортёр» для синтеза накопленных точек в окончательное решение.

Кумулятивное рассуждение позволяет динамически хранить и комбинировать проверенные промежуточные утверждения, формируя ориентированный ациклический граф (DAG).

В частности, в фреймворке кумулятивного рассуждения:

1. Предлагающий выдвигает потенциальные шаги рассуждения на основе текущего контекста, которые представляются как новые узлы в DAG.
2. Верификатор(ы) оценивает, верны ли предложения предлагающего, и включает допустимые шаги в развивающийся контекст решения, что соответствует добавлению новых направленных ребер в DAG.
3. Репортёр определяет, достиг ли накопленный контекст окончательного решения на основе текущего состояния. Если да, он выводит результат.

Таким образом, весь процесс рассуждения может быть представлен как динамически построенный DAG, где узлы — это промежуточные шаги рассуждения, а направленные ребра показывают, как новые шаги выводятся из предыдущих. DAG позволяет процессу рассуждения ветвиться и сходиться заново, а также дает возможность возвращаться и повторно использовать предыдущие результаты рассуждений, лучше отражая гибкий многопутевой мыслительный процесс человека при решении сложных задач.

Зачем нам нужно кумулятивное рассуждение для LLM?

Несмотря на недавние успехи больших языковых моделей (LLM) в различных приложениях, их способность решать сложные многошаговые задачи остается ограниченной. Существующие методы, такие как «Цепочка мыслей» (CoT) и «Дерево мыслей» (ToT), хотя и пытаются направлять LLM через более структурированный пошаговый процесс рассуждения, не имеют динамических механизмов для хранения и использования промежуточных результатов, полученных в процессе рассуждения. Эта неспособность эффективно опираться на предыдущие утверждения и комбинировать их ограничивает их производительность на сложных многоаспектных задачах, требующих тонкого рассуждения на нескольких шагах.

Вдохновляясь когнитивными процессами человека, кумулятивное рассуждение вводит специализированные роли, такие как «предлагающий» для выдвижения потенциальных шагов рассуждения, «верификатор» для проверки предложений на соответствие контексту и «репортёр» для синтеза накопленных точек в окончательное решение. Такое разложение на итеративные циклы выдвижения, проверки и отчетности позволяет LLM разбивать сложные задачи на управляемые компоненты.

Ключевым моментом является то, что кумулятивное рассуждение позволяет динамически хранить и комбинировать проверенные промежуточные утверждения, формируя ориентированный ациклический граф (DAG), а не просто линейную цепочку или древовидную структуру. Эта структурная гибкость для использования более широкого контекста предыдущих проверок отражает нюансированное, нелинейное рассуждение, используемое людьми для решения сложных многошаговых задач. Таким образом, кумулятивное рассуждение открывает более надежные и универсальные возможности для больших языковых моделей.

Как выглядит кумулятивное рассуждение с LLM?

Создание ролей языковой модели

В соответствии с фреймворком кумулятивного рассуждения авторы создали три роли языковой модели:

• Предлагающий: предлагает потенциальные шаги рассуждения на основе текущего контекста
• Верификатор: оценивает предложения предлагающего на корректность и включает допустимые шаги в контекст
• Репортёр: определяет, ведет ли накопленный контекст к окончательному решению

Эти три роли могут использовать одну и ту же большую языковую модель с помощью специальных подсказок для назначения разных ролей.

Настройка базовых методов

Для оценки эффективности кумулятивного рассуждения авторы установили следующие базовые методы:

• Прямая подсказка ввод-вывод (Direct)
• Подсказка «Цепочка мыслей» (CoT)
• Подсказка «Цепочка мыслей с самопроверкой» (CoT-SC)
• Подсказка «Дерево мыслей» (ToT)

Проведение экспериментов

Авторы протестировали различные большие языковые модели, включая GPT-3.5, GPT-4 и модели LLaMA. Процедура экспериментов следующая:

• Для каждой задачи из набора данных задача подается на вход предлагающему
• Предлагающий генерирует серию предложений по рассуждению в качестве промежуточных шагов
• Промежуточные шаги передаются верификатору, который оценивает каждый шаг
• Допустимые шаги включаются в контекст, а недопустимые отбрасываются
• Повторяйте процесс, пока репортёр не определит, что может быть дано окончательное решение
• В некоторых экспериментах для повышения надежности используется голосование большинством или другие стратегии

Выбор наборов данных для оценки

Авторы выбрали несколько наборов данных для разных типов сложных задач рассуждения, включая:

• Задачи логического вывода: набор данных FOLIO wiki, набор данных AutoTNLI
• Математическая головоломка «Игра 24»
• Решение математических задач: набор данных MATH

Могут ли LLM хорошо справляться с кумулятивным рассуждением?

Краткий ответ: Да! Результаты экспериментов показывают, что фреймворк CR значительно превосходит базовые методы во всех оцениваемых задачах.

Общая производительность

На наборе данных FOLIO wiki точность увеличилась с 85.02% до 98.04%; на наборе данных AutoTNLI наблюдается улучшение до 9.3% относительно «Цепочки мыслей»; в «Игре 24» достигнута точность 98%, что на 24% лучше предыдущего лучшего метода; на наборе данных MATH CR получает абсолютное улучшение на 4.2% и относительное улучшение на 43% на наиболее сложных задачах уровня 5. Примечательно, что при интеграции CR с программной средой авторы достигли точности 72.2% на наборе MATH, что на 38.8% лучше предыдущего лучшего результата.

Превосходство над «Цепочкой мыслей» (CoT) и «Деревом мыслей» (ToT)

Кумулятивное рассуждение (CR) демонстрирует свое превосходство над «Цепочкой мыслей» (CoT) и «Деревом мыслей» (ToT) через ряд эмпирических результатов на различных задачах. В задачах логического вывода на наборах данных FOLIO wiki и AutoTNLI CR показал выдающуюся производительность, достигнув точности 98.04% на подготовленном наборе FOLIO, что является заметным скачком по сравнению с 96.09% у CoT-SC. Это достижение объясняется способностью CR динамически хранить и использовать промежуточные результаты, формируя направленный ациклический граф (DAG), который обеспечивает более широкий контекст проверенных утверждений.

В «Игре 24», математической головоломке, CR превзошел ожидания с точностью 98%, улучшив результат ToT на 24% и используя при этом лишь четверть посещенных состояний, что подчеркивает его эффективность и способность решать задачи.

Кроме того, на наборе данных MATH CR не только установил новые рекорды с увеличением на 4.2% по сравнению с предыдущими методами, но и показал относительное улучшение на 43% на самых сложных задачах. Интеграция CR с программной средой Python привела к поразительной точности 72.2%, превзойдя такие методы, как PoT и PAL, на 38.8%. Эти результаты в совокупности иллюстрируют адаптивность, надежность и улучшенные способности рассуждения CR по сравнению с CoT и ToT.

Каковы будущие направления развития кумулятивного рассуждения с LLM?

Интеграция с символьными системами

В статье обсуждается потенциал объединения CR с программной средой Python для использования вычислительных и логических способностей LLM. Будущие исследования могут исследовать более глубокую интеграцию с символьными системами, графами знаний или формальными доказателями теорем для дальнейшего повышения точности и сложности рассуждений.

Улучшение способности к обобщению

Хотя CR показал успех в отдельных областях, расширение его способности к обобщению на более широкий круг задач и областей будет критически важным. Это может включать адаптацию CR для работы с разными типами рассуждений и решения проблем в различных дисциплинах.

Повышение надежности и устойчивости к ошибкам

В статье подчеркивается устойчивость CR к ошибкам. Будущие работы могут быть сосредоточены на том, чтобы сделать CR еще более надежным, особенно при работе с неоднозначными или зашумленными данными, и улучшить его способность восстанавливаться после неверных промежуточных шагов.

Бенчмаркинг и стандартизация

Разработка стандартизированных бенчмарков и метрик оценки специально для задач кумулятивного рассуждения может помочь систематически оценивать прогресс и сравнивать различные подходы.

Как я могу реализовать кумулятивное рассуждение с большими языковыми моделями?

Большинство кодов, предоставленных авторами, требуют подключения к OpenAI API для моделей GPT 3.5 и 4, что должно быть вашим первым шагом.

Далее, хотите ли вы решать математические задачи, играть в «Игру 24» или воспроизводить эксперименты по кумулятивному рассуждению, просто запустите соответствующие файлы Python, предоставленные на этой странице Github: https://github.com/iiis-ai/cumulative-reasoning.

Кроме того, если вы хотите протестировать кумулятивное рассуждение с моделями LLaMA, как это делали авторы в статье, или с другими LLM, вы можете использовать Novita AI LLM API для доступа к нескольким LLM.

Заключение

В заключение, этот пост в блоге дал всесторонний обзор кумулятивного рассуждения с LLM — нового подхода, который значительно улучшает способность LLM решать сложные задачи. Разбивая сложные задачи на более мелкие шаги и итеративно строя решения через процесс выдвижения, проверки и отчетности, кумулятивное рассуждение отражает когнитивные стратегии человека.

Результаты на различных наборах данных были впечатляющими, показывая существенные улучшения точности, особенно когда кумулятивное рассуждение было интегрировано с программной средой. Более того, результаты продемонстрировали превосходство кумулятивного рассуждения над существующими методами, такими как «Цепочка мыслей» и «Дерево мыслей».

В целом, будущие направления кумулятивного рассуждения с LLM имеют потенциал вывести LLM на новые высоты в области ИИ-рассуждений, что приведет к более сложным и человекоподобным возможностям решения проблем.

Ссылки

Zhang, Y., Yang, J., Yuan, Y., & Yao, A. C.-C. (2024). Cumulative Reasoning with Large Language Models. IIIS, Tsinghua University. https://arxiv.org/pdf/2308.04371

Novita AI — единая платформа для безграничного творчества, предоставляющая доступ к более чем 100 API. От генерации изображений и обработки языка до улучшения аудио и манипуляции видео, дешевая оплата по мере использования — она освобождает вас от хлопот по обслуживанию GPU, пока вы создаете свои собственные продукты. Попробуйте бесплатно.