Introducción
¿Pueden los grandes modelos de lenguaje transformar las ciencias sociales computacionales? Un momento, ¿qué hacen las ciencias sociales computacionales? Bienvenido al dinámico campo de las ciencias sociales computacionales (CSS, por sus siglas en inglés), donde los grandes modelos de lenguaje (LLM) están revolucionando la forma en que analizamos e interpretamos comportamientos sociales, opiniones y tendencias.
En este blog, centrado en los LLM en las CSS, exploraremos el papel de las ciencias sociales computacionales, la alineación de las capacidades de los LLM con los requisitos de las tareas de las CSS, el rendimiento de los LLM en tareas reales de CSS y las direcciones futuras de los LLM en las CSS. Además, también aprenderás cómo usar las API de LLM para tu propio proyecto de ciencias sociales computacionales. Si te interesa, ¡sigue leyendo!
¿Cuál es el Papel de las Ciencias Sociales Computacionales?
Imagina un mundo donde las computadoras nos ayudan a comprender problemas sociales complejos, como qué hace que un meme se propague como un incendio forestal, o cómo cambian las opiniones públicas durante las elecciones. Ese es el ámbito de las ciencias sociales computacionales (CSS). Aprovechando la enorme potencia informática disponible hoy en día, las CSS exploran los volúmenes masivos de datos que generamos a diario en redes sociales, blogs y otras plataformas en línea para estudiar el comportamiento humano y las tendencias sociales de manera detallada y científica.
Por ejemplo, las CSS pueden rastrear cómo un hashtag específico relacionado con el cambio climático gana impulso con el tiempo y mapear las regiones globales más involucradas en esta conversación. Pueden analizar tuits para comprender el sentimiento público hacia nuevas políticas gubernamentales o medir reacciones a eventos globales como los Juegos Olímpicos o los Premios Óscar. Al examinar patrones en los datos, las CSS ayudan a predecir tendencias e incluso el potencial de cambios sociales.
Además, las CSS pueden profundizar en aspectos más personales del comportamiento social, como cómo se forman comunidades en torno a intereses particulares en línea, desde el tejido hasta la física cuántica, y cómo estas comunidades evolucionan con el tiempo.
En esencia, las CSS utilizan el poder de las computadoras no solo para recolectar y analizar datos, sino para construir modelos integrales de interacción social humana y predecir comportamientos y tendencias futuros basados en observaciones actuales. Esta comprensión profunda puede ayudar en todo, desde campañas de marketing hasta la formulación de políticas, ayudando a los líderes a tomar decisiones informadas que estén en sintonía con las dinámicas reales de sus sociedades.
¿Cómo Pueden los LLM Ayudar en las Ciencias Sociales Computacionales?
Los LLM pueden proporcionar una ayuda significativa en las CSS aprovechando sus capacidades avanzadas en el procesamiento del lenguaje natural. A continuación, se muestra cómo las habilidades de los LLM se alinean con los requisitos de las tareas de las CSS:
Clasificación de Texto Mejorada
Los LLM pueden clasificar textos en diversas categorías como ideología política, sentimiento y temas sin necesidad de datos de entrenamiento adicionales, lo cual es vital para la investigación en CSS que abarca temas diversos.
Asistencia en la Anotación de Datos
Los LLM pueden servir como anotadores de cero disparos (zero-shot), proporcionando etiquetas o clasificaciones preliminares para que los expertos humanos las revisen. Esto puede acelerar significativamente el proceso de anotación en las CSS.
Resumen y Explicación
Los LLM pueden resumir grandes volúmenes de texto y generar explicaciones para fenómenos sociales complejos, ayudando a los investigadores a dar sentido a cantidades masivas de datos.
Respuesta a Preguntas
Los LLM pueden responder preguntas específicas sobre textos, ofreciendo información que de otro modo requeriría un análisis manual exhaustivo.
Detección de Sesgos Sociales
Pueden identificar y analizar sesgos sociales en el lenguaje, un aspecto importante para garantizar la equidad en la investigación en CSS.
Colaboración Humano-IA
Los LLM pueden trabajar junto a investigadores humanos, combinando las fortalezas de ambos para mejorar la confiabilidad y eficiencia del análisis en CSS.
Selección y Adaptación de Modelos
Comprender el rendimiento de diferentes LLM en tareas de CSS puede ayudar a los investigadores a elegir los modelos más efectivos para sus necesidades específicas.
¿Qué Tan Bien Se Desempeñan los LLM en Estas Tareas de Ciencias Sociales Computacionales?
La evidencia empírica de Ziems et al. (2024), titulada “Can Large Language Models Transform Computational Social Science?”, proporciona una evaluación exhaustiva del rendimiento de los LLM en una variedad de tareas de ciencias sociales computacionales. El estudio involucró un extenso proceso de evaluación que midió el rendimiento de cero disparos (zero-shot) de 13 modelos de lenguaje en 25 puntos de referencia representativos de CSS en inglés. Los resultados arrojan luz sobre las fortalezas y limitaciones de los LLM en el contexto de las CSS.
Rendimiento en Tareas de Clasificación
En tareas de etiquetado taxonómico, que son similares a la clasificación en las ciencias sociales, los LLM no superaron a los mejores modelos ajustados (fine-tuned), pero aún así lograron niveles aceptables de acuerdo con los anotadores humanos (Ziems et al., 2024). Ziems et al. informaron que para la detección de posturas, el mejor modelo de cero disparos alcanzó una puntuación F1 del 76,0%, con un acuerdo sustancial (κ = 0,58) con las anotaciones humanas. Esto sugiere que los LLM pueden ser socios confiables en el proceso de anotación, particularmente cuando se utilizan junto con el juicio humano.
Rendimiento en Tareas de Generación
Los LLM demostraron una capacidad notable en tareas de codificación de formato libre, que implican generación. Produjeron explicaciones que a menudo superaban la calidad de las referencias doradas (gold references) de los trabajadores colaborativos (crowdworkers) (Ziems et al., 2024). Por ejemplo, en la tarea de generar explicaciones para inferencias de sesgo social, los LLM líderes alcanzaron la paridad con la calidad de las referencias del conjunto de datos y fueron preferidos por los evaluadores humanos el 50% del tiempo. Esto indica que los LLM pueden ser valiosos en tareas de generación creativa, como explicar atributos subyacentes de un texto.
Acuerdo con Anotadores Humanos
Una métrica importante para evaluar el rendimiento de los LLM es su acuerdo con los anotadores humanos. Ziems et al. (2024) encontraron que en 8 de 17 tareas de clasificación, los modelos obtuvieron puntuaciones de acuerdo moderadas a buenas que oscilaron entre κ = 0,40 y 0,65. Esto indica que los LLM pueden ser una herramienta viable para aumentar la anotación humana en CSS, particularmente en tareas con definiciones explícitas y ampliamente reconocidas, como categorías de emociones y posturas políticas.
Análisis de Errores
Ziems et al. (2024) también realizaron un análisis de errores, revelando que en algunos casos, los errores de los LLM se debían a errores de anotación en el conjunto de datos de referencia (gold dataset) en lugar de deficiencias del modelo. Este hallazgo sugiere que la integración de LLM en el proceso de anotación podría potencialmente mejorar la calidad de las anotaciones al proporcionar una capa adicional de validación.
Viabilidad del Aprendizaje con Pocos Ejemplos (Few-Shot)
El artículo también exploró la viabilidad del aprendizaje con pocos ejemplos (few-shot), donde se proporcionan a los LLM un pequeño número de ejemplos para mejorar su rendimiento en una tarea. Los resultados fueron mixtos, lo que indica que, si bien el aprendizaje con pocos ejemplos puede mejorar el rendimiento en algunas tareas, no mejora uniformemente el rendimiento en todas las tareas de CSS (Ziems et al., 2024).
En resumen, la evidencia empírica de Ziems et al. (2024) demuestra que los LLM pueden ser efectivos para realizar diversas tareas de CSS, particularmente cuando se utilizan junto con anotadores humanos. Si bien hay margen de mejora, especialmente en tareas que requieren comprensión y generación complejas, los resultados son prometedores y sugieren que los LLM pueden ser un activo valioso en el conjunto de herramientas de las ciencias sociales computacionales.
¿Cómo Usar las API de LLM para Mi Propio Proyecto de Ciencias Sociales Computacionales?
Para usar las API de LLM en un proyecto de CSS, primero debes identificar las tareas específicas en las que los LLM pueden ayudar, como clasificación, análisis sintáctico, resumen o generación.
En segundo lugar, debes seleccionar un LLM que se alinee con los requisitos de tu proyecto, considerando factores como el tamaño del modelo, los datos de preentrenamiento y los paradigmas de ajuste fino (fine-tuning). Siguiendo las mejores prácticas de diseño de instrucciones (prompting) descritas por Ziems et al. (2024), puedes diseñar instrucciones para obtener el comportamiento deseado del modelo.
Novita AI proporciona a los desarrolladores una API de LLM equipada con diferentes modelos de LLM. De esta manera, puedes aprovechar fácilmente una amplia gama de sus fortalezas.
Además, la API de LLM de Novita AI ofrece parámetros ajustables y entrada de instrucciones del sistema (system prompt) para satisfacer tus necesidades específicas. Por ejemplo, para que tu LLM responda a tus preguntas como un director de cine, simplemente ingresa “Sé un director de cine”. En cuanto a los parámetros, con solo cambiar los números, puedes controlar aspectos de la salida del modelo como la creatividad, la repetición de palabras, la longitud de la respuesta, etc. ¡Pruébalo tú mismo en nuestro Playground!
Finalmente, también se recomienda utilizar un enfoque de supervisión humana (human-in-the-loop) para validar y refinar los resultados generados por los LLM. Este enfoque promueve un proceso iterativo de mejora, donde la retroalimentación humana se utiliza para mejorar el rendimiento del modelo, lo que conduce a resultados de investigación más confiables y válidos. También reconoce las limitaciones actuales de los LLM en el manejo de datos sociales complejos, como conversaciones y documentos completos, y subraya la importancia de la participación humana para abordar estos desafíos y mantener los estándares éticos de la investigación.
¿Cuáles Son las Direcciones Futuras de los Grandes Modelos de Lenguaje en las Ciencias Sociales Computacionales?
Aumento de la Anotación Humana
Los LLM pueden servir como anotadores de datos de cero disparos (zero-shot), asistiendo a los equipos de anotación humana al proporcionar etiquetas y resúmenes preliminares que pueden ser revisados y refinados por expertos humanos. Esta colaboración puede aumentar la eficiencia de los procesos de anotación de datos.
Impulso de Tareas de Generación Creativa
Los LLM tienen el potencial de mejorar tareas que requieren generación creativa, como explicar atributos subyacentes de un texto o generar explicaciones informativas para constructos de ciencias sociales.
Adaptación a Dominios Específicos
Los LLM pueden adaptarse para desempeñarse mejor en campos científicos específicos. Dado que el rendimiento del modelo puede variar entre diferentes disciplinas académicas, se sugiere la necesidad de ajuste fino (fine-tuning) o desarrollo de modelos específicos para cada dominio.
Mejora de Funcionalidades
Se espera que los LLM mejoren tanto en tareas de clasificación como de generación. Esto incluye ayudar con tareas de etiquetado, así como generar resúmenes y explicaciones para una variedad de fenómenos de ciencias sociales.
Metodología de Evaluación
Se necesita el desarrollo de nuevas métricas y procedimientos de evaluación para capturar la validez semántica de la codificación de formato libre con LLM, especialmente a medida que se acercan o superan el rendimiento humano en ciertas tareas.
Investigación Interdisciplinaria
Los LLM pueden permitir nuevos paradigmas de investigación interdisciplinaria al combinar las capacidades del aprendizaje supervisado y no supervisado, permitiendo así una generación y prueba de hipótesis más dinámicas.
Simulación y Análisis de Políticas
Los LLM se pueden utilizar para simular fenómenos sociales y predecir los efectos de cambios de políticas, aunque esto conlleva desafíos relacionados con la impredecibilidad de los sistemas sociales y la necesidad de una validación cuidadosa.
Aplicaciones Interculturales
La investigación futura debería explorar la utilidad de los LLM para aplicaciones interculturales de CSS, considerando la diversidad de idiomas y contextos culturales más allá de las poblaciones occidentales, educadas, industrializadas, ricas y democráticas (WEIRD, por sus siglas en inglés).
Conclusión
En el ámbito de las ciencias sociales computacionales, los grandes modelos de lenguaje están emergiendo como herramientas transformadoras que mejoran la forma en que analizamos e interpretamos datos sociales complejos. Estos modelos facilitan tareas como la clasificación de texto, la anotación de datos y la generación de modelos de comportamiento social, combinando el poder computacional de la IA con la experiencia humana para mejorar la precisión y eficiencia de la investigación.
Estudios empíricos, como los de Ziems et al. (2024), indican que, si bien los LLM aún no son superiores en todos los aspectos, se desempeñan de manera encomiable junto a anotadores humanos en tareas como el análisis de sentimientos y la detección de sesgos sociales. Esta asociación sugiere una vía prometedora tanto para las aplicaciones actuales como futuras de las CSS.
De cara al futuro, los LLM en las CSS están preparados para revolucionar el campo mejorando tanto la profundidad como el alcance de la investigación, abrazando contextos sociales más diversos y refinando metodologías. Esta integración incipiente promete hacer que la investigación en ciencias sociales sea más predictiva, inclusiva e impactante, señalando una nueva era de análisis computacional impulsada tanto por la perspicacia humana como por la inteligencia artificial.
Referencias
Ziems, C., Held, W., Shaikh, O., Chen, J., Zhang, Z., & Yang, D. (2024). Can Large Language Models Transform Computational Social Science? Computational Linguistics, 50(1). https://arxiv.org/abs/2305.03514
Novita AI, la plataforma integral para la creatividad sin límites que te brinda acceso a más de 100 API. Desde generación de imágenes y procesamiento de lenguaje hasta mejora de audio y manipulación de video, con pago por uso económico, te libera de las molestias del mantenimiento de GPU mientras construyes tus propios productos. ¡Pruébalo gratis!
