引言
大语言模型能否变革计算社会科学？等等，计算社会科学是做什么的？欢迎来到计算社会科学（CSS）这个充满活力的领域，在这里，大语言模型（LLM）正彻底改变我们分析和解读社会行为、观点及趋势的方式。
在本博客中，我们将围绕 CSS 中的 LLM，探讨计算社会科学的角色、LLM 能力与 CSS 任务需求的契合度、LLM 在实际 CSS 任务中的表现以及 LLM 在 CSS 中的未来方向。此外，您还将了解如何将 LLM API 用于自己的计算社会科学项目。如果您感兴趣，请继续阅读！
计算社会科学扮演什么角色？
想象一个世界，计算机帮助我们理解复杂的社会问题——比如是什么让一个表情包像野火一样传播，或者公众舆论在选举期间如何转变。这就是计算社会科学（CSS）的领域。通过利用当今强大的计算能力，CSS 探索我们在社交媒体、博客和其他在线平台上每天产生的海量数据，以详细、科学的方式研究人类行为和社会趋势。
例如，CSS 可以追踪某个与气候变化相关的特定话题标签如何随着时间的推移获得关注，并绘制出参与该对话最活跃的全球区域。它可以分析推文以了解公众对新政府政策的态度，或评估对奥运会或奥斯卡等全球事件的反应。通过检查数据中的模式，CSS 有助于预测趋势甚至社会变革的可能性。
此外，CSS 可以深入探究社会行为中更个人化的方面，比如围绕特定兴趣（从编织到量子物理）的在线社区如何形成，以及这些社区如何随时间演化。
本质上，CSS 利用计算机的力量不仅收集和分析数据，还构建人类社会互动的综合模型，并根据当前观察预测未来的行为和趋势。这种深刻理解有助于从营销活动到政策制定等各个领域，帮助领导者做出与所在社会实际动态相协调的明智决策。
LLM 如何在计算社会科学中发挥作用？
LLM 可以通过其先进的自然语言处理能力，为 CSS 提供重要帮助。以下是 LLM 的能力如何与 CSS 任务需求相契合：
增强文本分类
LLM 可以将文本分类为政治意识形态、情感和主题等多种类别，而无需额外的训练数据，这对涵盖不同主题的 CSS 研究至关重要。
数据标注辅助
LLM 可以作为零样本标注器，为人类专家提供初步标签或分类以供审查。这可以显著加快 CSS 中的标注过程。
摘要与解释
LLM 可以总结大量文本，并为复杂的社会现象生成解释，帮助研究人员理解海量数据。
问答
LLM 可以回答关于文本的具体问题，提供原本需要大量人工分析的洞察。
检测社会偏见
它们可以识别和分析语言中的社会偏见，这是确保 CSS 研究公正性的重要方面。
人机协作
LLM 可以与人类研究人员一同工作，结合双方优势，提升 CSS 分析的可靠性和效率。
模型选择与适配
了解不同 LLM 在 CSS 任务上的表现，可以帮助研究人员为特定需求选择最有效的模型。
LLM 在这些计算社会科学任务中表现如何？
Ziems 等人（2024）的实证研究题为“大语言模型能否变革计算社会科学？”，对 LLM 在各种计算社会科学任务上的表现进行了全面评估。该研究设计了一个广泛评估流程，测量了 13 个语言模型在 25 个代表性英文 CSS 基准上的零样本性能。结果揭示了 LLM 在 CSS 中的优势与局限。
分类任务表现
在与社会科学分类相似的分类标注任务中，LLM 的表现并未超越最优微调模型，但仍达到了与人类标注者相当的一致水平（Ziems 等，2024）。Ziems 等人报告称，在立场检测任务中，最佳零样本模型的 F1 得分为 76.0%，与人类标注的实质性一致（κ = 0.58）。这表明 LLM 可以成为标注过程中可靠的伙伴，尤其是与人类判断结合使用时。
生成任务表现
LLM 在涉及生成的自由编码任务中展现出卓越能力。它们生成的解释通常超过了众包工作者黄金参考的质量（Ziems 等，2024）。例如，在为社会偏见推理生成解释的任务中，领先的 LLM 达到了与数据集参考质量相当的水平，并且有 50% 的情况下人类评估者更偏好它们。这表明 LLM 在创造性生成任务（如解释文本的潜在属性）中具有重要价值。
与人类标注者的一致性
评估 LLM 性能的一个重要指标是它们与人类标注者的一致性。Ziems 等人（2024）发现，在 17 个分类任务中，有 8 个任务模型达到了中等至良好的一致性分数（κ = 0.40 到 0.65）。这表明 LLM 可以作为增强人类 CSS 标注的可行工具，特别是在定义明确且广泛认可的任务中，如情感类别和政治立场。
错误分析
Ziems 等人（2024）还进行了错误分析，发现某些情况下 LLM 的错误源于黄金数据集中的标注错误而非模型缺陷。这一发现表明，将 LLM 整合到标注过程中，可以通过提供额外的验证层来提高标注质量。
少样本学习的可行性
该论文还探讨了少样本学习的可行性，即为 LLM 提供少量示例以提高其在特定任务上的性能。结果好坏参半，表明虽然少样本学习可以提升某些任务的表现，但并不能在所有 CSS 任务上均匀提高性能（Ziems 等，2024）。
总之，Ziems 等人（2024）的实证证据表明，LLM 可以有效地执行各种 CSS 任务，尤其是与人类标注者结合使用时。尽管在需要复杂理解和生成的任务中仍有改进空间，但结果令人鼓舞，表明 LLM 可以成为计算社会科学工具箱中的宝贵资产。
如何为自己的计算社会科学项目使用 LLM API？
要在 CSS 项目中使用 LLM API，首先应确定 LLM 可以协助的具体任务，例如分类、解析、摘要或生成。
其次，根据项目需求选择合适的 LLM，考虑模型规模、预训练数据和微调范式等因素。按照 Ziems 等人（2024）概述的提示工程最佳实践，设计提示以引导模型产生期望的行为。
Novita AI 为开发者提供了 LLM API ，其中包含不同的 LLM 模型。通过这种方式，您可以轻松利用这些模型的广泛优势。
此外，Novita AI LLM API 提供了可调节的参数和系统提示输入，以满足您的特定需求。例如，要让您的 LLM 像电影导演一样回答问题，只需输入“Be a film director”。至于参数，只需更改数字，您就可以控制模型输出的各个方面，如创造力、词语重复、响应长度等。在我们的 Playground 上亲自尝试吧！
最后，建议采用人在回路（human-in-the-loop）的方法来验证和优化 LLM 生成的输出。这种方法促进了不断改进的迭代过程，利用人类反馈提升模型性能，从而获得更可靠、更有效的研究成果。它也承认了 LLM 在处理复杂社会数据（如对话和完整文档）方面的当前局限性，并强调了人类参与在应对这些挑战和维持研究伦理标准中的重要性。
大语言模型在计算社会科学中的未来方向是什么？
增强人类标注
LLM 可以作为零样本数据标注器，通过提供初步标签和摘要来辅助人类标注团队，然后由人类专家审查和优化。这种协作可以提高数据标注过程的效率。
启动创造性生成任务
LLM 有潜力增强需要创造性生成的任务，例如解释文本的潜在属性或为社会科学构念生成信息丰富的解释。
领域特定适配
LLM 可能被适配以在特定科学领域表现更好。由于模型性能在不同学科间存在差异，因此需要针对特定领域的微调或模型开发。
功能增强
预计 LLM 将在分类和生成任务上都有改进。这包括协助标注任务，以及生成各种社会科学现象的摘要和解释。
评估方法论
需要开发新的评估指标和流程，以捕捉 LLM 自由编码的语义有效性，尤其是在它们接近或超越人类在某些任务上的表现时。
跨学科研究
LLM 可能通过结合监督和无监督学习的能力，催生新的跨学科研究范式，从而实现更动态的假设生成和检验。
模拟与政策分析
LLM 可用于模拟社会现象并预测政策变化的影响，但这面临着社会系统不可预测性和需要仔细验证的挑战。
跨文化应用
未来研究应探索 LLM 在跨文化 CSS 应用中的实用性，考虑超越西方、教育程度高、工业化、富裕和民主（WEIRD）人群的语言和文化多样性。
结论
在计算社会科学领域，大语言模型正成为变革性工具，增强我们分析和解读复杂社会数据的方式。这些模型促进了文本分类、数据标注和社会行为模型生成等任务，将人工智能的计算能力与人类专业知识相结合，提高了研究的准确性和效率。
实证研究（如 Ziems 等人，2024）表明，尽管 LLM 并非在所有方面都占优，但在情感分析和社会偏见检测等任务中，它们与人类标注者一起表现得值得称赞。这种合作关系为当前和未来的 CSS 应用预示了有前景的途径。
展望未来，CSS 中的 LLM 有望通过提高研究的深度和广度、拥抱更多样化的社会背景以及改进方法论来彻底改变这一领域。这种新兴的整合将使得社会科学研究更具预测性、包容性和影响力，标志着由人类洞察力和人工智能共同驱动的新计算分析时代的到来。
参考文献
Ziems, C., Held, W., Shaikh, O., Chen, J., Zhang, Z., & Yang, D. (2024). Can Large Language Models Transform Computational Social Science? Computational Linguistics, 50(1). https://arxiv.org/abs/2305.03514
Novita AI 是一个一站式平台，为您提供无限创造力，可访问 100 多个 API。从图像生成和语言处理到音频增强和视频处理，价格低廉，按需付费，让您在构建自己产品的同时摆脱 GPU 维护的烦恼。免费试用。
