Введение
Могут ли большие языковые модели изменить вычислительную социальную науку? Подождите секунду, чем занимается вычислительная социальная наука? Добро пожаловать в динамичную область вычислительной социальной науки (CSS, computational social science), где большие языковые модели (LLM) революционизируют способы анализа и интерпретации социального поведения, мнений и тенденций.
В этом блоге, посвященном LLM в CSS, мы рассмотрим роль вычислительной социальной науки, соответствие возможностей LLM требованиям задач CSS, производительность LLM в реальных задачах CSS и будущие направления LLM в CSS. Кроме того, вы узнаете, как использовать API LLM для собственного проекта в области вычислительной социальной науки. Если вам интересно, читайте дальше!
Какова роль вычислительной социальной науки?
Представьте мир, где компьютеры помогают нам понимать сложные социальные проблемы, например, что делает мем вирусным или как меняется общественное мнение во время выборов. Это и есть область вычислительной социальной науки (CSS). Используя огромные вычислительные мощности, доступные сегодня, CSS исследует огромные объемы данных, которые мы ежедневно генерируем в социальных сетях, блогах и на других онлайн-платформах, чтобы детально и научно изучать поведение человека и общественные тенденции.
Например, CSS может отслеживать, как конкретный хэштег, связанный с изменением климата, набирает обороты со временем, и составлять карту регионов мира, наиболее активно участвующих в этом обсуждении. Она может анализировать твиты, чтобы понять общественное мнение о новых государственных политиках или оценить реакцию на глобальные события, такие как Олимпийские игры или «Оскар». Изучая закономерности в данных, CSS помогает прогнозировать тенденции и даже потенциал социальных сдвигов.
Кроме того, CSS может углубляться в более личные аспекты социального поведения, такие как формирование сообществ вокруг определенных интересов в интернете — от вязания до квантовой физики — и то, как эти сообщества развиваются со временем.
По сути, CSS использует мощь компьютеров не только для сбора и анализа данных, но и для построения комплексных моделей социального взаимодействия людей и прогнозирования будущего поведения и тенденций на основе текущих наблюдений. Такое глубокое понимание может помочь во всем: от маркетинговых кампаний до разработки политики, помогая лидерам принимать обоснованные решения, соответствующие реальной динамике их обществ.
Как LLM могут помочь в вычислительной социальной науке?
LLM могут оказать значительную помощь в CSS, используя свои расширенные возможности в обработке естественного языка. Вот как возможности LLM соотносятся с требованиями задач CSS:
Улучшенная классификация текстов
LLM могут классифицировать тексты по различным категориям, таким как политическая идеология, тональность и темы, без необходимости в дополнительных обучающих данных, что крайне важно для исследований CSS, охватывающих разные предметные области.
Помощь в аннотации данных
LLM могут выступать в роли аннотаторов с нулевым обучением (zero-shot), предоставляя предварительные метки или классификации для проверки экспертами-людьми. Это может значительно ускорить процесс аннотации в CSS.
Суммаризация и объяснение
LLM могут суммировать большие объемы текста и генерировать объяснения сложных социальных явлений, помогая исследователям осмысливать огромные массивы данных.
Ответы на вопросы
LLM могут отвечать на конкретные вопросы по текстам, предоставляя инсайты, которые в противном случае потребовали бы обширного ручного анализа.
Выявление социальных предубеждений
Они могут выявлять и анализировать социальные предубеждения в языке, что является важным аспектом обеспечения справедливости в исследованиях CSS.
Сотрудничество человека и ИИ
LLM могут работать вместе с исследователями-людьми, объединяя сильные стороны обеих сторон для повышения надежности и эффективности анализа CSS.
Выбор и адаптация модели
Понимание производительности различных LLM на задачах CSS может помочь исследователям выбирать наиболее эффективные модели для своих конкретных нужд.
Насколько хорошо LLM справляются с этими задачами вычислительной социальной науки?
Эмпирические данные из работы Ziems и соавторов (2024) под названием «Can Large Language Models Transform Computational Social Science?» предоставляют всестороннюю оценку производительности LLM в различных задачах вычислительной социальной науки. Исследование включало обширный конвейер оценки, в котором измерялась производительность с нулевым обучением 13 языковых моделей на 25 репрезентативных эталонных тестах CSS на английском языке. Результаты проливают свет на сильные стороны и ограничения LLM в контексте CSS.
Производительность в задачах классификации
В задачах таксономической маркировки, которые аналогичны классификации в социальных науках, LLM не превзошли лучшие точно настроенные модели, но все же достигли приемлемого уровня согласия с аннотаторами-людьми (Ziems и соавт., 2024). Ziems и соавторы сообщили, что для определения позиции (stance detection) лучшая модель с нулевым обучением достигла F1-меры 76,0% с существенным согласием (κ = 0,58) с человеческими аннотациями. Это говорит о том, что LLM могут быть надежными партнерами в процессе аннотации, особенно при использовании вместе с человеческим суждением.
Производительность в задачах генерации
LLM продемонстрировали замечательные способности в задачах свободного кодирования (free-form coding), которые включают генерацию. Они создавали объяснения, которые часто превосходили по качеству эталонные данные, предоставленные краудворкерами (Ziems и соавт., 2024). Например, в задаче генерации объяснений для выводов о социальных предубеждениях ведущие LLM достигли паритета с качеством эталонных наборов данных и в 50% случаев предпочитались оценщиками-людьми. Это указывает на то, что LLM могут быть ценными в творческих задачах генерации, таких как объяснение скрытых атрибутов текста.
Согласие с аннотаторами-людьми
Важным показателем для оценки производительности LLM является их согласие с аннотаторами-людьми. Ziems и соавторы (2024) обнаружили, что для 8 из 17 задач классификации модели достигли показателей согласия от умеренного до хорошего в диапазоне от κ = 0,40 до 0,65. Это указывает на то, что LLM могут быть жизнеспособным инструментом для дополнения человеческой аннотации в CSS, особенно в задачах с явными и широко признанными определениями, такими как категории эмоций и политические позиции.
Анализ ошибок
Ziems и соавторы (2024) также провели анализ ошибок, который показал, что в некоторых случаях ошибки LLM были вызваны неточностями аннотации в эталонном наборе данных, а не недостатками модели. Этот вывод позволяет предположить, что интеграция LLM в процесс аннотации потенциально может улучшить качество аннотаций, предоставляя дополнительный уровень проверки.
Жизнеспособность обучения с несколькими примерами (few-shot learning)
В статье также исследовалась жизнеспособность обучения с несколькими примерами, когда LLM предоставляется небольшое количество примеров для улучшения производительности на задаче. Результаты были неоднозначными, что указывает на то, что, хотя обучение с несколькими примерами может улучшить производительность в некоторых задачах, оно не дает равномерного улучшения во всех задачах CSS (Ziems и соавт., 2024).
Таким образом, эмпирические данные из работы Ziems и соавторов (2024) демонстрируют, что LLM могут быть эффективны при выполнении различных задач CSS, особенно при использовании вместе с аннотаторами-людьми. Хотя есть возможности для улучшения, особенно в задачах, требующих сложного понимания и генерации, результаты являются многообещающими и позволяют предположить, что LLM могут быть ценным активом в инструментарии вычислительной социальной науки.
Как использовать API LLM для собственного проекта в области вычислительной социальной науки?
Чтобы использовать API LLM для проекта CSS, сначала необходимо определить конкретные задачи, с которыми LLM могут помочь, такие как классификация, разбор, суммаризация или генерация.
Во-вторых, следует выбрать LLM, которая соответствует требованиям вашего проекта, учитывая такие факторы, как размер модели, данные для предварительного обучения и парадигмы точной настройки. Следуя лучшим практикам составления промптов, описанным Ziems и соавторами (2024), вы можете разработать промпты для вызова желаемого поведения модели.
Novita AI предоставляет разработчикам LLM API, который оснащен различными моделями LLM. Таким образом, вы можете легко использовать широкий спектр их возможностей.
Кроме того, Novita AI LLM API предлагает настраиваемые параметры и ввод системного промпта для удовлетворения ваших конкретных потребностей. Например, чтобы заставить LLM отвечать на ваши вопросы как кинорежиссер, просто введите «Будь кинорежиссером». Что касается параметров, просто изменяя числа, вы можете контролировать такие аспекты вывода модели, как креативность, повторение слов, длина ответа и т. д. Попробуйте сами на нашем Playground!
Наконец, также рекомендуется использовать подход с участием человека (human-in-the-loop) для проверки и уточнения результатов, полученных LLM. Такой подход способствует итеративному процессу улучшения, когда обратная связь от человека используется для повышения производительности модели, что приводит к более надежным и валидным результатам исследования. Он также признает текущие ограничения LLM в обработке сложных социальных данных, таких как разговоры и полные документы, и подчеркивает важность участия человека в решении этих задач и поддержании этических стандартов исследования.
Каковы будущие направления больших языковых моделей в вычислительной социальной науке?
Дополнение человеческой аннотации
LLM могут служить аннотаторами данных с нулевым обучением, помогая группам аннотаторов-людей, предоставляя предварительные метки и сводки, которые могут быть проверены и уточнены экспертами. Такое сотрудничество может повысить эффективность процессов аннотации данных.
Запуск творческих задач генерации
LLM обладают потенциалом для улучшения задач, требующих творческой генерации, таких как объяснение скрытых атрибутов текста или создание информативных объяснений для конструктов социальных наук.
Адаптация к предметной области
LLM могут быть адаптированы для лучшей работы в конкретных областях науки. Производительность модели может варьироваться в зависимости от академической дисциплины, что предполагает необходимость точной настройки или разработки модели для конкретной области.
Улучшение функциональности
Ожидается, что LLM будут улучшаться как в задачах классификации, так и в задачах генерации. Это включает помощь в задачах маркировки, а также создание сводок и объяснений для различных явлений социальных наук.
Методология оценки
Необходима разработка новых метрик и процедур оценки для оценки семантической валидности свободного кодирования с помощью LLM, особенно когда они приближаются к производительности человека или превосходят ее в определенных задачах.
Междисциплинарные исследования
LLM могут открыть новые междисциплинарные исследовательские парадигмы, объединяя возможности обучения с учителем и без учителя, что позволяет проводить более динамичное генерирование и проверку гипотез.
Симуляция и анализ политики
LLM могут использоваться для симуляции социальных явлений и прогнозирования эффектов изменений в политике, хотя это сопряжено с проблемами, связанными с непредсказуемостью социальных систем и необходимостью тщательной проверки.
Кросс-культурные приложения
Будущие исследования должны изучить полезность LLM для кросс-культурных приложений CSS, учитывая разнообразие языков и культурных контекстов, выходящих за пределы западных, образованных, индустриальных, богатых и демократических (WEIRD) популяций.
Заключение
В области вычислительной социальной науки большие языковые модели становятся преобразующими инструментами, которые улучшают способы анализа и интерпретации сложных социальных данных. Эти модели облегчают такие задачи, как классификация текстов, аннотация данных и генерация моделей социального поведения, объединяя вычислительную мощь ИИ с человеческим опытом для повышения точности и эффективности исследований.
Эмпирические исследования, такие как работа Ziems и соавторов (2024), показывают, что, хотя LLM еще не превосходят людей во всех аспектах, они достойно работают вместе с аннотаторами-людьми в таких задачах, как анализ тональности и выявление социальных предубеждений. Такое партнерство открывает многообещающие перспективы как для текущих, так и для будущих приложений CSS.
Заглядывая вперед, можно сказать, что LLM в CSS готовы произвести революцию в этой области, улучшая как глубину, так и охват исследований, охватывая более разнообразные социальные контексты и совершенствуя методологии. Эта развивающаяся интеграция обещает сделать исследования в области социальных наук более прогностическими, инклюзивными и влиятельными, знаменуя новую эру вычислительного анализа, движимого как человеческим пониманием, так и искусственным интеллектом.
Ссылки
Ziems, C., Held, W., Shaikh, O., Chen, J., Zhang, Z., & Yang, D. (2024). Can Large Language Models Transform Computational Social Science? Computational Linguistics, 50(1). https://arxiv.org/abs/2305.03514
Novita AI — универсальная платформа для безграничного творчества, предоставляющая доступ к более чем 100 API. От генерации изображений и обработки языка до улучшения аудио и манипуляции видео, недорогая модель оплаты по мере использования, она избавляет вас от хлопот по обслуживанию GPU при создании собственных продуктов. Попробуйте бесплатно.
