Introdução
Os grandes modelos de linguagem podem transformar a ciência social computacional? Espere um segundo, o que faz a ciência social computacional? Bem-vindo ao campo dinâmico da ciência social computacional (CSS, na sigla em inglês), onde os grandes modelos de linguagem (LLMs) estão revolucionando a forma como analisamos e interpretamos comportamentos sociais, opiniões e tendências.
Neste blog, centrado nos LLMs na CSS, exploraremos o papel da ciência social computacional, o alinhamento das capacidades dos LLMs com os requisitos das tarefas de CSS, o desempenho dos LLMs em tarefas reais de CSS e as direções futuras dos LLMs na CSS. Além disso, você também pode aprender como usar APIs de LLM para seu próprio projeto de ciência social computacional. Se tiver interesse, continue lendo!
Qual é o Papel da Ciência Social Computacional?
Imagine um mundo onde os computadores nos ajudam a entender questões sociais complexas, como o que faz um meme se espalhar como fogo, ou como as opiniões públicas mudam durante as eleições. Esse é o reino da ciência social computacional (CSS). Ao aproveitar o vasto poder computacional disponível hoje, a CSS explora os enormes volumes de dados que geramos todos os dias nas redes sociais, blogs e outras plataformas online para estudar o comportamento humano e as tendências sociais de forma detalhada e científica.
Por exemplo, a CSS pode rastrear como uma hashtag específica relacionada às mudanças climáticas ganha força ao longo do tempo e mapear as regiões globais mais envolvidas nessa conversa. Pode analisar tweets para entender o sentimento público em relação a novas políticas governamentais ou avaliar reações a eventos globais como as Olimpíadas ou o Oscar. Ao examinar padrões nos dados, a CSS ajuda a prever tendências e até mesmo o potencial de mudanças sociais.
Além disso, a CSS pode se aprofundar em aspectos mais pessoais do comportamento social, como a forma como as comunidades se formam em torno de interesses específicos online, desde tricô até física quântica, e como essas comunidades evoluem ao longo do tempo.
Em essência, a CSS usa o poder dos computadores não apenas para coletar e analisar dados, mas para construir modelos abrangentes de interação social humana e prever comportamentos e tendências futuras com base em observações atuais. Esse entendimento profundo pode auxiliar em tudo, desde campanhas de marketing até formulação de políticas, ajudando líderes a tomar decisões informadas que estejam em sintonia com a dinâmica real de suas sociedades.
Como os LLMs Podem Ajudar na Ciência Social Computacional?
Os LLMs podem fornecer assistência significativa na CSS ao alavancar suas capacidades avançadas em processamento de linguagem natural. Veja como as habilidades dos LLMs se alinham com os requisitos das tarefas de CSS:
Classificação de Texto Aprimorada
Os LLMs podem classificar textos em várias categorias, como ideologia política, sentimento e tópicos, sem a necessidade de dados de treinamento adicionais, o que é vital para pesquisas em CSS que abrangem diversos assuntos.
Assistência na Anotação de Dados
Os LLMs podem atuar como anotadores zero-shot, fornecendo rótulos ou classificações preliminares para revisão por especialistas humanos. Isso pode acelerar significativamente o processo de anotação na CSS.
Sumarização e Explicação
Os LLMs podem resumir grandes volumes de texto e gerar explicações para fenômenos sociais complexos, ajudando pesquisadores a compreender vastas quantidades de dados.
Resposta a Perguntas
Os LLMs podem responder a perguntas específicas sobre textos, oferecendo insights que, de outra forma, exigiriam extensa análise manual.
Detecção de Vieses Sociais
Eles podem identificar e analisar vieses sociais na linguagem, um aspecto importante para garantir a imparcialidade na pesquisa em CSS.
Colaboração Humano-IA
Os LLMs podem trabalhar ao lado de pesquisadores humanos, combinando os pontos fortes de ambos para aumentar a confiabilidade e a eficiência da análise em CSS.
Seleção e Adaptação de Modelos
Compreender o desempenho de diferentes LLMs em tarefas de CSS pode ajudar os pesquisadores a escolher os modelos mais eficazes para suas necessidades específicas.
Qual é o Desempenho dos LLMs Nessas Tarefas de Ciência Social Computacional?
As evidências empíricas de Ziems et al. (2024), intituladas “Can Large Language Models Transform Computational Social Science?”, fornecem uma avaliação abrangente do desempenho dos LLMs em uma variedade de tarefas de ciência social computacional. O estudo envolveu um extenso pipeline de avaliação que mediu o desempenho zero-shot de 13 modelos de linguagem em 25 benchmarks representativos de CSS em inglês. Os resultados esclarecem os pontos fortes e as limitações dos LLMs no contexto da CSS.
Desempenho em Tarefas de Classificação
Em tarefas de rotulagem taxonômica, que são análogas à classificação nas ciências sociais, os LLMs não superaram os melhores modelos ajustados (fine-tuned), mas ainda alcançaram níveis razoáveis de concordância com anotadores humanos (Ziems et al., 2024). Ziems et al. relataram que, para detecção de posicionamento (stance detection), o melhor modelo zero-shot obteve um F1 de 76,0%, com concordância substancial (κ = 0,58) com as anotações humanas. Isso sugere que os LLMs podem ser parceiros confiáveis no processo de anotação, especialmente quando usados em conjunto com o julgamento humano.
Desempenho em Tarefas de Geração
Os LLMs demonstraram uma capacidade notável em tarefas de codificação de formato livre (free-form coding), que envolvem geração. Eles produziram explicações que frequentemente excediam a qualidade das referências de ouro de trabalhadores da multidão (crowdworkers) (Ziems et al., 2024). Por exemplo, na tarefa de gerar explicações para inferências de viés social, os principais LLMs alcançaram paridade com a qualidade das referências do conjunto de dados e foram preferidos por avaliadores humanos em 50% das vezes. Isso indica que os LLMs podem ser valiosos em tarefas criativas de geração, como explicar atributos subjacentes de um texto.
Concordância com Anotadores Humanos
Uma métrica importante para avaliar o desempenho dos LLMs é sua concordância com anotadores humanos. Ziems et al. (2024) descobriram que, em 8 das 17 tarefas de classificação, os modelos alcançaram pontuações de concordância moderada a boa, variando de κ = 0,40 a 0,65. Isso indica que os LLMs podem ser uma ferramenta viável para aumentar a anotação humana em CSS, particularmente em tarefas com definições explícitas e amplamente reconhecidas, como categorias de emoção e posicionamentos políticos.
Análise de Erros
Ziems et al. (2024) também realizaram uma análise de erros, revelando que, em alguns casos, os erros dos LLMs eram devidos a erros de anotação no conjunto de dados de referência (gold dataset), e não a deficiências do modelo. Essa descoberta sugere que a integração de LLMs no processo de anotação poderia potencialmente melhorar a qualidade das anotações, fornecendo uma camada adicional de validação.
Viabilidade do Few-Shot Learning
O artigo também explorou a viabilidade do aprendizado com poucos exemplos (few-shot learning), onde os LLMs recebem um pequeno número de exemplos para melhorar seu desempenho em uma tarefa. Os resultados foram mistos, indicando que, embora o few-shot learning possa melhorar o desempenho em algumas tarefas, ele não melhora uniformemente o desempenho em todas as tarefas de CSS (Ziems et al., 2024).
Em resumo, as evidências empíricas de Ziems et al. (2024) demonstram que os LLMs podem ser eficazes na execução de várias tarefas de CSS, particularmente quando usados em conjunto com anotadores humanos. Embora haja espaço para melhorias, especialmente em tarefas que exigem compreensão e geração complexas, os resultados são promissores e sugerem que os LLMs podem ser um ativo valioso no kit de ferramentas da ciência social computacional.
Como Usar APIs de LLM para Meu Próprio Projeto de Ciência Social Computacional?
Para usar APIs de LLM em um projeto de CSS, você deve primeiro identificar as tarefas específicas nas quais os LLMs podem ajudar, como classificação, análise sintática, sumarização ou geração.
Em segundo lugar, você deve selecionar um LLM que esteja alinhado com os requisitos do seu projeto, considerando fatores como tamanho do modelo, dados de pré-treinamento e paradigmas de ajuste fino. Seguindo as melhores práticas de prompt descritas por Ziems et al. (2024), você pode projetar prompts para eliciar o comportamento desejado do modelo.
A Novita AI fornece aos desenvolvedores uma API de LLM equipada com diferentes modelos de LLM. Dessa forma, você pode facilmente aproveitar uma ampla gama de seus pontos fortes.
Além disso, a API de LLM da Novita AI oferece parâmetros ajustáveis e entrada de prompt de sistema para atender às suas necessidades específicas. Por exemplo, para fazer seu LLM responder perguntas como um diretor de cinema, basta inserir “Seja um diretor de cinema”. Quanto aos parâmetros, simplesmente alterando os números, você pode controlar aspectos da saída do modelo, como criatividade, repetição de palavras, comprimento da resposta, etc. Teste você mesmo em nosso Playground!
Finalmente, também é recomendado usar uma abordagem de humano-no-loop (human-in-the-loop) para validar e refinar as saídas geradas pelos LLMs. Essa abordagem promove um processo iterativo de melhoria, onde o feedback humano é usado para aprimorar o desempenho do modelo, levando a resultados de pesquisa mais confiáveis e válidos. Ela também reconhece as limitações atuais dos LLMs no tratamento de dados sociais complexos, como conversas e documentos completos, e ressalta a importância do envolvimento humano para enfrentar esses desafios e manter os padrões éticos da pesquisa.
Quais São as Direções Futuras dos Grandes Modelos de Linguagem na Ciência Social Computacional?
Aumentando a Anotação Humana
Os LLMs podem atuar como anotadores de dados zero-shot, auxiliando equipes de anotação humana ao fornecer rótulos e resumos preliminares que podem ser revisados e refinados por especialistas humanos. Essa colaboração pode aumentar a eficiência dos processos de anotação de dados.
Inicializando Tarefas de Geração Criativa (Bootstrapping)
Os LLMs têm o potencial de aprimorar tarefas que exigem geração criativa, como explicar atributos subjacentes de um texto ou gerar explicações informativas para construtos das ciências sociais.
Adaptação a Domínios Específicos
Os LLMs podem ser adaptados para ter melhor desempenho em campos específicos da ciência. Como o desempenho do modelo pode variar entre diferentes disciplinas acadêmicas, sugere-se a necessidade de ajuste fino ou desenvolvimento de modelos específicos para cada domínio.
Melhoria de Funcionalidade
Espera-se que os LLMs melhorem tanto em tarefas de classificação quanto de geração. Isso inclui auxiliar em tarefas de rotulagem, bem como gerar resumos e explicações para uma variedade de fenômenos das ciências sociais.
Metodologia de Avaliação
O desenvolvimento de novas métricas e procedimentos de avaliação é necessário para capturar a validade semântica da codificação de formato livre com LLMs, especialmente à medida que eles se aproximam ou superam o desempenho humano em certas tarefas.
Pesquisa Interdisciplinar
Os LLMs podem permitir novos paradigmas de pesquisa interdisciplinar ao combinar as capacidades de aprendizado supervisionado e não supervisionado, permitindo assim uma geração e teste de hipóteses mais dinâmicos.
Simulação e Análise de Políticas
Os LLMs podem ser usados para simular fenômenos sociais e prever os efeitos de mudanças políticas, embora isso venha com desafios relacionados à imprevisibilidade dos sistemas sociais e à necessidade de validação cuidadosa.
Aplicações Interculturais
Pesquisas futuras devem explorar a utilidade dos LLMs para aplicações interculturais em CSS, considerando a diversidade de línguas e contextos culturais além das populações ocidentais, educadas, industrializadas, ricas e democráticas (WEIRD).
Conclusão
No âmbito da ciência social computacional, os grandes modelos de linguagem estão emergindo como ferramentas transformadoras que aprimoram a forma como analisamos e interpretamos dados sociais complexos. Esses modelos facilitam tarefas como classificação de texto, anotação de dados e geração de modelos de comportamento social, combinando o poder computacional da IA com a expertise humana para melhorar a precisão e a eficiência da pesquisa.
Estudos empíricos, como os de Ziems et al. (2024), indicam que, embora os LLMs ainda não sejam superiores em todos os aspectos, eles têm um desempenho louvável ao lado de anotadores humanos em tarefas como análise de sentimento e detecção de viés social. Essa parceria sugere um caminho promissor tanto para aplicações atuais quanto futuras da CSS.
Olhando para o futuro, os LLMs na CSS estão prontos para revolucionar o campo, melhorando tanto a profundidade quanto o escopo da pesquisa, abraçando contextos sociais mais diversos e refinando metodologias. Essa integração emergente promete tornar a pesquisa em ciências sociais mais preditiva, inclusiva e impactante, sinalizando uma nova era de análise computacional impulsionada tanto pela percepção humana quanto pela inteligência artificial.
Referências
Ziems, C., Held, W., Shaikh, O., Chen, J., Zhang, Z., & Yang, D. (2024). Can Large Language Models Transform Computational Social Science? Computational Linguistics, 50(1). https://arxiv.org/abs/2305.03514
Novita AI, a plataforma completa para criatividade sem limites que oferece acesso a mais de 100 APIs. Da geração de imagens ao processamento de linguagem, aprimoramento de áudio e manipulação de vídeo, pagamento conforme o uso, libera você das preocupações com a manutenção de GPUs enquanto constrói seus próprios produtos. Experimente gratuitamente!
