介紹
大型語言模型能否改變計算社會科學？等等，計算社會科學是做什麼的？歡迎來到計算社會科學（CSS）這個充滿活力的領域，大型語言模型（LLM）正在徹底改變我們分析和解讀社會行為、意見和趨勢的方式。
在這篇以LLM為核心的部落格中，我們將探討計算社會科學的角色、LLM的能力如何與CSS任務的需求相匹配、LLM在真實CSS任務中的表現，以及LLM在CSS中的未來方向。此外，您還可以了解如何為自己的計算社會科學專案使用LLM API。如果您感興趣，請繼續閱讀！
計算社會科學的角色是什麼？
想像一個世界，電腦幫助我們理解複雜的社會問題，例如是什麼讓一個迷因像野火般傳播，或者公眾輿論在選舉期間如何轉變。這就是計算社會科學（CSS）的領域。透過利用當今強大的運算能力，CSS探索我們每天在社群媒體、部落格和其他線上平台上產生的大量數據，以詳細且科學的方式研究人類行為和社會趨勢。
例如，CSS可以追蹤一個與氣候變遷相關的特定標籤如何隨著時間獲得動力，並繪製出最參與此對話的全球區域。它可以分析推文以了解公眾對新政府政策的看法，或衡量對奧運會或奧斯卡等全球事件的反應。透過檢查數據中的模式，CSS有助於預測趨勢，甚至社會變遷的可能性。
此外，CSS可以深入探討社會行為的更多個人層面，例如線上社群如何圍繞特定興趣（從編織到量子物理）形成，以及這些社群如何隨著時間演化。
本質上，CSS不僅利用電腦來收集和分析數據，還建立人類社會互動的全面模型，並根據當前的觀察預測未來的行為和趨勢。這種深刻的理解可以幫助從行銷活動到政策制定的各個方面，幫助領導者做出與其社會實際動態相符的明智決策。
LLM如何在計算社會科學中提供幫助？
LLM可以透過其在自然語言處理方面的先進能力，在CSS中提供顯著的幫助。以下是LLM的能力如何與CSS任務的需求相匹配：
增強文本分類
LLM可以將文本分類為各種類別，如政治意識形態、情感和主題，無需額外的訓練數據，這對於涵蓋不同主題的CSS研究至關重要。
數據標註輔助
LLM可以作為零樣本標註者，為人類專家提供初步標籤或分類以供審查。這可以大大加快CSS中的標註過程。
摘要與解釋
LLM可以摘要大量文本，並為複雜的社會現象生成解釋，幫助研究人員理解海量數據。
問答
LLM可以回答關於文本的具體問題，提供原本需要大量人工分析的見解。
檢測社會偏見
它們可以識別和分析語言中的社會偏見，這是確保CSS研究公平的重要方面。
人機協作
LLM可以與人類研究人員合作，結合雙方的優勢，提高CSS分析的信賴度和效率。
模型選擇與適應
了解不同LLM在CSS任務上的表現，可以幫助研究人員為其特定需求選擇最有效的模型。
LLM在這些計算社會科學任務中表現如何？
來自 Ziems 等人（2024）的實證研究，題為 “Can Large Language Models Transform Computational Social Science?”，對LLM在各種計算社會科學任務中的表現進行了全面評估。該研究涉及一個廣泛的評估流程，測量了13種語言模型在25個代表性英文CSS基準上的零樣本表現。結果揭示了LLM在CSS背景下的優勢和限制。
分類任務中的表現
在類似於社會科學分類的分類標註任務中，LLM並未超越最佳的微調模型，但與人類標註者達到了相當程度的一致性（Ziems et al., 2024）。Ziems 等人報告，在立場檢測方面，最佳零樣本模型達到了76.0%的F1分數，與人類標註有顯著的一致性（κ = 0.58）。這表明LLM可以成為標註過程中的可靠夥伴，特別是在與人類判斷結合使用時。
生成任務中的表現
LLM在涉及生成的自由編碼任務中展現了卓越的能力。它們產生的解釋往往超過了眾包工作者的黃金參考品質（Ziems et al., 2024）。例如，在為社會偏見推斷生成解釋的任務中，領先的LLM與數據集參考的品質相當，並且有50%的時間被人類評估者偏好。這表明LLM在創造性生成任務中很有價值，例如解釋文本的潛在屬性。
與人類標註者的一致性
評估LLM表現的一個重要指標是它們與人類標註者的一致性。Ziems 等人（2024）發現，在17個分類任務中，有8個模型的κ值在0.40到0.65之間，達到了中等至良好的一致性分數。這表明LLM可以成為增強人類CSS標註的可行工具，特別是在具有明確且廣泛認可定義的任務中，例如情感類別和政治立場。
錯誤分析
Ziems 等人（2024）也進行了錯誤分析，揭示在某些情況下，LLM的錯誤是由於黃金數據集中的標註錯誤，而非模型缺陷。這一發現表明，將LLM整合到標註過程中，可能透過提供額外的驗證層來提高標註的品質。
少量學習的可行性
該論文也探討了少量學習的可行性，即為LLM提供少量範例以提高其在任務上的表現。結果好壞參半，表明雖然少量學習可以在某些任務中提高表現，但並非在所有CSS任務中都均勻提升表現（Ziems et al., 2024）。
總之，來自 Ziems 等人（2024）的實證表明，LLM可以有效執行各種CSS任務，特別是在與人類標註者結合使用時。儘管在需要複雜理解和生成的任務中仍有改進空間，但結果令人鼓舞，表明LLM可以成為計算社會科學工具箱中的一項寶貴資產。
如何為自己的計算社會科學專案使用LLM API？
要為CSS專案使用LLM API，您首先應確定LLM可以協助的具體任務，例如分類、解析、摘要或生成。
其次，您應選擇與專案需求相符的LLM，考慮模型大小、預訓練數據和微調範式等因素。遵循Ziems等人（2024）概述的提示最佳實踐，您可以設計提示以引導模型產生所需的行為。
Novita AI 為開發人員提供 LLM API，配備多種LLM模型。這樣，您可以輕鬆利用它們的廣泛優勢。
此外，Novita AI LLM API 提供可調整的參數和系統提示輸入，以滿足您的特定需求。例如，要讓您的LLM像電影導演一樣回答問題，只需輸入「扮演電影導演」。至於參數，只需更改數字，您就可以控制模型輸出的各個方面，例如創造力、詞彙重複、回應長度等。在我們的 Playground 上親自試試看！
最後，也建議採用人在迴圈中的方法來驗證和完善LLM生成的輸出。該方法促進迭代改進過程，利用人類回饋來提高模型性能，從而獲得更可靠和有效的研究結果。它也承認了LLM在處理複雜社會數據（如對話和完整文檔）方面的當前局限性，並強調了人類參與應對這些挑戰以及維護研究倫理標準的重要性。
大型語言模型在計算社會科學中的未來方向是什麼？
增強人類標註
LLM可以作為零樣本數據標註者，透過提供初步標籤和摘要，協助人類標註團隊進行審查和完善。這種協作可以提高數據標註過程的效率。
啟動創造性生成任務
LLM有可能增強需要創造性生成的任務，例如解釋文本的潛在屬性或為社會科學建構生成資訊豐富的解釋。
特定領域的適應
LLM可能被調整以在特定科學領域表現更好。由於模型性能可能因不同學科而異，因此需要針對特定領域進行微調或模型開發。
功能增強
LLM預計在分類和生成任務上都將改進。這包括協助標註任務以及為一系列社會科學現象生成摘要和解釋。
評估方法
需要開發新的評估指標和程序來捕捉LLM自由編碼的語義有效性，特別是當它們在某些任務中接近或超越人類表現時。
跨學科研究
LLM可能透過結合監督和非監督學習的能力，實現新的跨學科研究範式，從而允許更動態的假設生成和測試。
模擬與政策分析
LLM可用於模擬社會現象並預測政策變化的影響，儘管這伴隨著社會系統不可預測性以及需要謹慎驗證的挑戰。
跨文化應用
未來的研究應探索LLM在跨文化CSS應用中的效用，考慮到西方、教育、工業、富裕和民主（WEIRD）人口之外的語言和文化背景的多樣性。
結論
在計算社會科學領域，大型語言模型正在成為變革性工具，增強我們分析和解讀複雜社會數據的方式。這些模型促進了文本分類、數據標註和社會行為模型生成等任務，將AI的計算能力與人類專業知識相結合，提高了研究的準確性和效率。
實證研究，如 Ziems 等人（2024）的研究，表明雖然LLM在所有方面尚未優越，但在情感分析和社會偏見檢測等任務中，它們與人類標註者一起表現出色。這種合作關係為當前和未來的CSS應用指明了一個有前景的方向。
展望未來，LLM在CSS中有望透過提高研究的深度和廣度、擁抱更多元的社會背景以及完善方法論，來徹底改變這個領域。這種新興的整合預示著社會科學研究將變得更加具預測性、包容性和影響力，標誌著一個由人類洞察力和人工智慧共同驅動的計算分析新時代。
參考文獻
Ziems, C., Held, W., Shaikh, O., Chen, J., Zhang, Z., & Yang, D. (2024). Can Large Language Models Transform Computational Social Science? Computational Linguistics, 50(1). https://arxiv.org/abs/2305.03514
Novita AI，一站式平台提供無限創意，讓您存取 100 多個 API。從圖像生成、語言處理到音訊增強和影片操作，價格低廉且按量付費，在建立自己的產品的同時，免除 GPU 維護的麻煩。免費試用。
