Einleitung
Können große Sprachmodelle die Computational Social Science verändern? Moment mal, was macht Computational Social Science eigentlich? Willkommen im dynamischen Feld der Computational Social Science (CSS), wo große Sprachmodelle (Large Language Models, LLMs) die Art und Weise revolutionieren, wie wir soziale Verhaltensweisen, Meinungen und Trends analysieren und interpretieren.
In diesem Blogbeitrag, der sich auf LLMs in der CSS konzentriert, werden wir die Rolle der Computational Social Science, die Übereinstimmung der Fähigkeiten von LLMs mit den Anforderungen von CSS-Aufgaben, die Leistung von LLMs in realen CSS-Aufgaben und zukünftige Richtungen von LLMs in der CSS untersuchen. Außerdem erfahren Sie, wie Sie LLM-APIs für Ihr eigenes Computational-Social-Science-Projekt nutzen können. Wenn Sie interessiert sind, lesen Sie weiter!
Welche Rolle spielt die Computational Social Science?
Stellen Sie sich eine Welt vor, in der Computer uns helfen, komplexe gesellschaftliche Probleme zu verstehen – etwa, warum sich ein Meme wie ein Lauffeuer verbreitet oder wie sich die öffentliche Meinung während Wahlen verändert. Das ist das Gebiet der Computational Social Science (CSS). Durch die Nutzung der heute verfügbaren enormen Rechenleistung erforscht CSS die riesigen Datenmengen, die wir täglich in sozialen Medien, Blogs und anderen Online-Plattformen generieren, um menschliches Verhalten und gesellschaftliche Trends detailliert und wissenschaftlich zu untersuchen.
Beispielsweise kann CSS verfolgen, wie ein bestimmter Hashtag zum Klimawandel im Laufe der Zeit an Dynamik gewinnt, und die globalen Regionen kartieren, die am stärksten in diese Diskussion eingebunden sind. Es kann Tweets analysieren, um die öffentliche Stimmung gegenüber neuen Regierungspolitiken zu verstehen oder Reaktionen auf globale Ereignisse wie die Olympischen Spiele oder die Oscars zu messen. Durch die Untersuchung von Mustern in Daten hilft CSS, Trends und sogar das Potenzial für gesellschaftliche Veränderungen vorherzusagen.
Darüber hinaus kann CSS in persönlichere Aspekte des Sozialverhaltens eintauchen, etwa wie sich Gemeinschaften online um bestimmte Interessen bilden – vom Stricken bis zur Quantenphysik – und wie sich diese Gemeinschaften im Laufe der Zeit entwickeln.
Im Kern nutzt CSS die Rechenleistung von Computern nicht nur zum Sammeln und Analysieren von Daten, sondern auch zum Erstellen umfassender Modelle menschlicher sozialer Interaktion und zur Vorhersage zukünftiger Verhaltensweisen und Trends auf der Grundlage aktueller Beobachtungen. Dieses tiefe Verständnis kann von Marketingkampagnen bis hin zur Politikgestaltung helfen und Führungskräften ermöglichen, fundierte Entscheidungen zu treffen, die mit den tatsächlichen Dynamiken ihrer Gesellschaften im Einklang stehen.
Wie können LLMs in der Computational Social Science helfen?
LLMs können in der CSS erhebliche Unterstützung bieten, indem sie ihre fortschrittlichen Fähigkeiten in der natürlichen Sprachverarbeitung nutzen. Hier sehen Sie, wie die Fähigkeiten von LLMs mit den Anforderungen von CSS-Aufgaben übereinstimmen:
Verbesserte Textklassifikation
LLMs können Texte in verschiedene Kategorien wie politische Ideologie, Stimmung und Themen einordnen, ohne zusätzliche Trainingsdaten zu benötigen – was für CSS-Forschung, die sich über verschiedene Themen erstreckt, unerlässlich ist.
Datenannotationsunterstützung
LLMs können als Zero-Shot-Annotatoren dienen, die vorläufige Labels oder Klassifikationen bereitstellen, die von menschlichen Experten überprüft werden können. Dies kann den Annotationsprozess in der CSS erheblich beschleunigen.
Zusammenfassung und Erklärung
LLMs können große Textmengen zusammenfassen und Erklärungen für komplexe soziale Phänomene generieren, was Forschern hilft, große Datenmengen zu verstehen.
Fragebeantwortung
LLMs können spezifische Fragen zu Texten beantworten und Einblicke liefern, die andernfalls eine umfangreiche manuelle Analyse erfordern würden.
Erkennung sozialer Verzerrungen
Sie können soziale Verzerrungen in der Sprache identifizieren und analysieren – ein wichtiger Aspekt, um Fairness in der CSS-Forschung zu gewährleisten.
Mensch-KI-Zusammenarbeit
LLMs können Seite an Seite mit menschlichen Forschern arbeiten und die Stärken beider kombinieren, um die Zuverlässigkeit und Effizienz der CSS-Analyse zu verbessern.
Modellauswahl und -anpassung
Das Verständnis der Leistung verschiedener LLMs bei CSS-Aufgaben kann Forschern helfen, die effektivsten Modelle für ihre spezifischen Anforderungen auszuwählen.
Wie gut schneiden LLMs bei diesen Computational-Social-Science-Aufgaben ab?
Die empirischen Belege von Ziems et al. (2024) mit dem Titel „Can Large Language Models Transform Computational Social Science?“ liefern eine umfassende Bewertung der Leistung von LLMs bei einer Vielzahl von Computational-Social-Science-Aufgaben. Die Studie umfasste eine umfangreiche Evaluierungspipeline, die die Zero-Shot-Leistung von 13 Sprachmodellen bei 25 repräsentativen englischen CSS-Benchmarks maß. Die Ergebnisse beleuchten die Stärken und Grenzen von LLMs im Kontext der CSS.
Leistung bei Klassifikationsaufgaben
Bei taxonomischen Labeling-Aufgaben, die der Klassifikation in den Sozialwissenschaften ähneln, übertrafen LLMs nicht die besten feinabgestimmten Modelle, erreichten aber dennoch ein faires Maß an Übereinstimmung mit menschlichen Annotatoren (Ziems et al., 2024). Ziems et al. berichteten, dass das beste Zero-Shot-Modell bei der Standpunkterkennung (Stance Detection) einen F1-Wert von 76,0 % erreichte, mit einer substanziellen Übereinstimmung (κ = 0,58) mit menschlichen Annotationen. Dies deutet darauf hin, dass LLMs zuverlässige Partner im Annotationsprozess sein können, insbesondere wenn sie zusammen mit menschlichem Urteilsvermögen eingesetzt werden.
Leistung bei Generierungsaufgaben
LLMs zeigten eine bemerkenswerte Fähigkeit bei Aufgaben zur freien Kodierung (Free-Form Coding), die Generierung beinhalten. Sie produzierten Erklärungen, die oft die Qualität der Goldreferenzen von Crowdworkern übertrafen (Ziems et al., 2024). So erreichten die führenden LLMs bei der Aufgabe, Erklärungen für Rückschlüsse auf soziale Verzerrungen zu generieren, eine Gleichwertigkeit mit der Qualität der Datensatzreferenzen und wurden in 50 % der Fälle von menschlichen Evaluatoren bevorzugt. Dies zeigt, dass LLMs bei kreativen Generierungsaufgaben wertvoll sein können, z. B. bei der Erklärung zugrunde liegender Attribute eines Textes.
Übereinstimmung mit menschlichen Annotatoren
Eine wichtige Metrik zur Bewertung der Leistung von LLMs ist ihre Übereinstimmung mit menschlichen Annotatoren. Ziems et al. (2024) fanden heraus, dass Modelle bei 8 von 17 Klassifikationsaufgaben moderate bis gute Übereinstimmungswerte zwischen κ = 0,40 und 0,65 erreichten. Dies zeigt, dass LLMs ein brauchbares Werkzeug zur Ergänzung menschlicher CSS-Annotationen sein können, insbesondere bei Aufgaben mit expliziten und allgemein anerkannten Definitionen wie Emotionskategorien und politischen Positionen.
Fehleranalyse
Ziems et al. (2024) führten auch eine Fehleranalyse durch, die ergab, dass die Fehler der LLMs in einigen Fällen auf Annotationsfehler im Golddatensatz zurückzuführen waren und nicht auf Modellmängel. Dieses Ergebnis deutet darauf hin, dass die Integration von LLMs in den Annotationsprozess die Qualität der Annotationen potenziell verbessern könnte, indem eine zusätzliche Validierungsebene bereitgestellt wird.
Praktikabilität des Few-Shot-Lernens
Das Papier untersuchte auch die Praktikabilität des Few-Shot-Lernens, bei dem LLMs eine kleine Anzahl von Beispielen zur Verfügung gestellt wird, um ihre Leistung bei einer Aufgabe zu verbessern. Die Ergebnisse waren gemischt und zeigten, dass Few-Shot-Lernen zwar die Leistung bei einigen Aufgaben verbessern kann, aber nicht gleichmäßig die Leistung bei allen CSS-Aufgaben steigert (Ziems et al., 2024).
Zusammenfassend zeigen die empirischen Belege von Ziems et al. (2024), dass LLMs bei der Durchführung verschiedener CSS-Aufgaben effektiv sein können, insbesondere wenn sie zusammen mit menschlichen Annotatoren eingesetzt werden. Es gibt zwar Verbesserungspotenzial, insbesondere bei Aufgaben, die komplexes Verständnis und Generierung erfordern, aber die Ergebnisse sind vielversprechend und deuten darauf hin, dass LLMs ein wertvolles Werkzeug im Werkzeugkasten der Computational Social Science sein können.
Wie verwende ich LLM-APIs für mein eigenes Computational-Social-Science-Projekt?
Um LLM-APIs für ein CSS-Projekt zu verwenden, sollten Sie zunächst die spezifischen Aufgaben identifizieren, bei denen LLMs helfen können, wie Klassifikation, Parsing, Zusammenfassung oder Generierung.
Zweitens sollten Sie dann ein LLM auswählen, das den Anforderungen Ihres Projekts entspricht, wobei Faktoren wie Modellgröße, Vortrainingsdaten und Feinabstimmungsparadigmen zu berücksichtigen sind. Indem Sie die Best Practices für Prompting von Ziems et al. (2024) befolgen, können Sie Prompts entwerfen, um das gewünschte Verhalten des Modells hervorzurufen.
Novita AI bietet Entwicklern eine LLM-API an, die mit verschiedenen LLM-Modellen ausgestattet ist. Auf diese Weise können Sie problemlos auf eine breite Palette ihrer Stärken zurückgreifen.
Darüber hinaus bietet die Novita AI LLM-API anpassbare Parameter und System-Prompt-Eingaben, um Ihren spezifischen Anforderungen gerecht zu werden. Wenn Sie beispielsweise möchten, dass Ihr LLM Ihre Fragen wie ein Filmregisseur beantwortet, geben Sie einfach „Sei ein Filmregisseur“ ein. Was die Parameter betrifft, können Sie durch einfaches Ändern der Zahlen Aspekte der Modellausgabe wie Kreativität, Wortwiederholung, Antwortlänge usw. steuern. Probieren Sie es selbst auf unserem Playground aus!
Schließlich wird auch empfohlen, einen Human-in-the-Loop-Ansatz zu verwenden, um die von LLMs generierten Ausgaben zu validieren und zu verfeinern. Dieser Ansatz fördert einen iterativen Verbesserungsprozess, bei dem menschliches Feedback genutzt wird, um die Leistung des Modells zu verbessern, was zu zuverlässigeren und validen Forschungsergebnissen führt. Er erkennt auch die derzeitigen Einschränkungen von LLMs bei der Verarbeitung komplexer sozialer Daten wie Gesprächen und vollständigen Dokumenten an und unterstreicht die Bedeutung menschlicher Beteiligung bei der Bewältigung dieser Herausforderungen und der Wahrung ethischer Forschungsstandards.
Was sind die zukünftigen Richtungen großer Sprachmodelle in der Computational Social Science?
Erweiterung der menschlichen Annotation
LLMs können als Zero-Shot-Datenannotatoren dienen und menschliche Annotationsteams unterstützen, indem sie vorläufige Labels und Zusammenfassungen bereitstellen, die von menschlichen Experten überprüft und verfeinert werden können. Diese Zusammenarbeit kann die Effizienz von Datenannotationsprozessen erhöhen.
Initialisierung kreativer Generierungsaufgaben
LLMs haben das Potenzial, Aufgaben zu verbessern, die kreative Generierung erfordern, wie das Erklären zugrunde liegender Attribute eines Textes oder das Generieren informativer Erklärungen für sozialwissenschaftliche Konstrukte.
Domänenspezifische Anpassung
LLMs können angepasst werden, um in bestimmten wissenschaftlichen Bereichen besser abzuschneiden. Da die Modellleistung in verschiedenen akademischen Disziplinen variieren kann, besteht ein Bedarf an domänenspezifischer Feinabstimmung oder Modellentwicklung.
Funktionserweiterung
Es wird erwartet, dass sich LLMs sowohl bei Klassifikations- als auch bei Generierungsaufgaben verbessern. Dies umfasst die Unterstützung bei Labeling-Aufgaben sowie die Generierung von Zusammenfassungen und Erklärungen für eine Reihe sozialwissenschaftlicher Phänomene.
Evaluierungsmethodik
Die Entwicklung neuer Evaluierungsmetriken und -verfahren ist erforderlich, um die semantische Validität der freien Kodierung mit LLMs zu erfassen, insbesondere wenn sie bei bestimmten Aufgaben die menschliche Leistung erreichen oder übertreffen.
Interdisziplinäre Forschung
LLMs könnten neue interdisziplinäre Forschungsparadigmen ermöglichen, indem sie die Fähigkeiten des überwachten und unüberwachten Lernens kombinieren und so eine dynamischere Hypothesengenerierung und -testung erlauben.
Simulation und Politikanalyse
LLMs können verwendet werden, um soziale Phänomene zu simulieren und die Auswirkungen von Politikänderungen vorherzusagen, obwohl dies mit Herausforderungen in Bezug auf die Unberechenbarkeit sozialer Systeme und die Notwendigkeit einer sorgfältigen Validierung verbunden ist.
Interkulturelle Anwendungen
Zukünftige Forschung sollte den Nutzen von LLMs für interkulturelle CSS-Anwendungen untersuchen und dabei die Vielfalt der Sprachen und kulturellen Kontexte jenseits der westlichen, gebildeten, industrialisierten, reichen und demokratischen (WEIRD) Bevölkerungen berücksichtigen.
Fazit
Im Bereich der Computational Social Science entwickeln sich große Sprachmodelle zu transformativen Werkzeugen, die unsere Fähigkeit verbessern, komplexe soziale Daten zu analysieren und zu interpretieren. Diese Modelle erleichtern Aufgaben wie Textklassifikation, Datenannotation und die Generierung von Modellen sozialen Verhaltens, indem sie die Rechenleistung der KI mit menschlichem Fachwissen kombinieren, um die Forschungsgenauigkeit und -effizienz zu verbessern.
Empirische Studien, wie die von Ziems et al. (2024), zeigen, dass LLMs, auch wenn sie noch nicht in allen Aspekten überlegen sind, bei Aufgaben wie Sentimentanalyse und Erkennung sozialer Verzerrungen beachtliche Leistungen zusammen mit menschlichen Annotatoren erbringen. Diese Partnerschaft deutet auf einen vielversprechenden Weg für aktuelle und zukünftige CSS-Anwendungen hin.
Mit Blick auf die Zukunft sind LLMs in der CSS bereit, das Feld zu revolutionieren, indem sie sowohl die Tiefe als auch die Breite der Forschung verbessern, vielfältigere soziale Kontexte einbeziehen und Methoden verfeinern. Diese aufkeimende Integration verspricht, die sozialwissenschaftliche Forschung vorhersagbarer, inklusiver und wirkungsvoller zu machen und signalisiert eine neue Ära der computergestützten Analyse, die sowohl von menschlicher Einsicht als auch von künstlicher Intelligenz angetrieben wird.
Referenzen
Ziems, C., Held, W., Shaikh, O., Chen, J., Zhang, Z., & Yang, D. (2024). Can Large Language Models Transform Computational Social Science? Computational Linguistics, 50(1). https://arxiv.org/abs/2305.03514
Novita AI, die One-Stop-Plattform für grenzenlose Kreativität, die Ihnen Zugang zu über 100 APIs bietet. Von Bildgenerierung und Sprachverarbeitung bis hin zu Audioverbesserung und Videobearbeitung – kostengünstig nach Pay-as-you-go-Modell befreit Sie von der Mühsal der GPU-Wartung, während Sie Ihre eigenen Produkte entwickeln. Probieren Sie es noch heute aus!
