소개
대규모 언어 모델이 전산 사회과학을 변화시킬 수 있을까? 잠깐만, 전산 사회과학은 무엇을 하는 걸까? 전산 사회과학(CSS)의 역동적인 분야에 오신 것을 환영합니다. 이 분야에서는 대규모 언어 모델(LLM)이 사회적 행동, 의견, 트렌드를 분석하고 해석하는 방식을 혁신하고 있습니다.
이 블로그에서는 CSS에서의 LLM을 중심으로, 전산 사회과학의 역할, CSS 작업의 요구 사항과 LLM 역량의 정렬, 실제 CSS 작업에서의 LLM 성능, 그리고 CSS에서의 LLM 미래 방향에 대해 살펴보겠습니다. 또한, 자신의 전산 사회과학 프로젝트에 LLM API를 사용하는 방법도 알아볼 수 있습니다. 관심이 있으시다면 계속 읽어보세요!
전산 사회과학의 역할은 무엇일까?
컴퓨터가 밈이 어떻게 빠르게 퍼지는지, 선거 기간 동안 여론이 어떻게 변하는지와 같은 복잡한 사회 문제를 이해하도록 돕는 세상을 상상해 보세요. 이것이 바로 전산 사회과학(CSS)의 영역입니다. 오늘날의 막대한 컴퓨팅 능력을 활용하여 CSS는 소셜 미디어, 블로그 및 기타 온라인 플랫폼에서 우리가 매일 생성하는 방대한 양의 데이터를 탐구하여 인간 행동과 사회적 트렌드를 상세하고 과학적인 방식으로 연구합니다.
예를 들어, CSS는 기후 변화와 관련된 특정 해시태그가 시간이 지남에 따라 어떻게 주목을 받는지 추적하고, 이 대화에 가장 활발히 참여하는 글로벌 지역을 파악할 수 있습니다. 트윗을 분석하여 새로운 정부 정책에 대한 대중의 감정을 이해하거나 올림픽이나 오스카상과 같은 글로벌 이벤트에 대한 반응을 측정할 수 있습니다. 데이터 패턴을 조사함으로써 CSS는 트렌드와 사회적 변화 가능성까지 예측하는 데 도움을 줍니다.
또한, CSS는 뜨개질부터 양자 물리학까지 온라인에서 특정 관심사를 중심으로 커뮤니티가 어떻게 형성되고, 시간이 지남에 따라 이러한 커뮤니티가 어떻게 진화하는지와 같은 사회적 행동의 더 개인적인 측면을 탐구할 수 있습니다.
본질적으로 CSS는 컴퓨터의 힘을 사용하여 데이터를 수집하고 분석할 뿐만 아니라 인간 사회적 상호작용의 포괄적인 모델을 구축하고 현재 관찰을 기반으로 미래 행동과 트렌드를 예측합니다. 이러한 깊은 이해는 마케팅 캠페인부터 정책 결정에 이르기까지 다양한 분야에서 리더들이 사회의 실제 역학에 부합하는 정보에 기반한 결정을 내리는 데 도움을 줄 수 있습니다.
LLM이 전산 사회과학에 어떻게 도움을 줄 수 있을까?
LLM은 자연어 처리의 고급 기능을 활용하여 CSS에 상당한 도움을 제공할 수 있습니다. LLM의 능력이 CSS 작업의 요구 사항과 어떻게 일치하는지는 다음과 같습니다.
향상된 텍스트 분류
LLM은 추가 학습 데이터 없이도 텍스트를 정치 이념, 감정, 주제 등 다양한 범주로 분류할 수 있으며, 이는 다양한 주제를 다루는 CSS 연구에 필수적입니다.
데이터 주석 지원
LLM은 제로샷 주석자 역할을 하여 인간 전문가가 검토할 예비 레이블이나 분류를 제공할 수 있습니다. 이는 CSS에서 주석 프로세스를 크게 가속화할 수 있습니다.
요약 및 설명
LLM은 대량의 텍스트를 요약하고 복잡한 사회적 현상에 대한 설명을 생성하여 연구자들이 방대한 양의 데이터를 이해하는 데 도움을 줄 수 있습니다.
질문 응답
LLM은 텍스트에 대한 특정 질문에 답변하여 광범위한 수동 분석이 필요할 수 있는 통찰력을 제공할 수 있습니다.
사회적 편향 탐지
LLM은 언어에서 사회적 편향을 식별하고 분석할 수 있으며, 이는 CSS 연구에서 공정성을 보장하는 중요한 측면입니다.
인간-AI 협업
LLM은 인간 연구자와 함께 작업하여 양자의 강점을 결합함으로써 CSS 분석의 신뢰성과 효율성을 향상시킬 수 있습니다.
모델 선택 및 적응
CSS 작업에서 다양한 LLM의 성능을 이해하면 연구자들이 특정 요구에 가장 효과적인 모델을 선택하는 데 도움이 될 수 있습니다.
LLM은 이러한 전산 사회과학 작업에서 얼마나 잘 수행할까?
Ziems 외 (2024)의 실증적 증거는 “대규모 언어 모델이 전산 사회과학을 변화시킬 수 있을까?”라는 제목으로, 다양한 전산 사회과학 작업에서 LLM의 성능에 대한 포괄적인 평가를 제공합니다. 이 연구는 13개의 언어 모델을 25개의 대표적인 영어 CSS 벤치마크에서 제로샷 성능을 측정하는 광범위한 평가 파이프라인을 포함했습니다. 결과는 CSS 맥락에서 LLM의 강점과 한계를 조명합니다.
분류 작업에서의 성능
사회 과학에서 분류와 유사한 분류 레이블링 작업에서 LLM은 최고의 미세 조정 모델을 능가하지는 못했지만 인간 주석자와의 일치도에서 상당한 수준을 달성했습니다 (Ziems 외, 2024). Ziems 외는 입장 탐지(task)에서 최고의 제로샷 모델이 F1 점수 76.0%를 기록했으며, 인간 주석과 상당한 일치(κ = 0.58)를 보였다고 보고했습니다. 이는 LLM이 특히 인간 판단과 함께 사용될 때 주석 프로세스에서 신뢰할 수 있는 파트너가 될 수 있음을 시사합니다.
생성 작업에서의 성능
LLM은 생성을 포함하는 자유 형식 코딩 작업에서 놀라운 능력을 보여주었습니다. 이들은 종종 크라우드워커의 골드 참조 품질을 초과하는 설명을 생성했습니다 (Ziems 외, 2024). 예를 들어, 사회적 편향 추론에 대한 설명을 생성하는 작업에서 선도적인 LLM은 데이터셋 참조의 품질과 동등한 수준을 달성했으며, 인간 평가자들은 50%의 경우 이들을 선호했습니다. 이는 LLM이 텍스트의 기본 속성을 설명하는 것과 같은 창의적 생성 작업에서 가치가 있을 수 있음을 나타냅니다.
인간 주석자와의 일치
LLM의 성능을 평가하는 중요한 지표는 인간 주석자와의 일치입니다. Ziems 외 (2024)는 17개의 분류 작업 중 8개에서 모델이 κ = 0.40에서 0.65 범위의 중간에서 좋은 일치 점수를 달성했다는 것을 발견했습니다. 이는 LLM이 특히 감정 범주나 정치적 입장과 같이 명시적이고 널리 인정된 정의가 있는 작업에서 인간 CSS 주석을 보강하는 실행 가능한 도구가 될 수 있음을 나타냅니다.
오류 분석
Ziems 외 (2024)는 또한 오류 분석을 수행하여, 일부 경우 LLM의 오류가 모델 결함이 아니라 골드 데이터셋의 주석 오류로 인한 것임을 밝혀냈습니다. 이 발견은 LLM을 주석 프로세스에 통합하면 추가 검증 계층을 제공함으로써 주석 품질을 잠재적으로 향상시킬 수 있음을 시사합니다.
퓨샷 학습의 실행 가능성
이 논문은 또한 LLM에 소수의 예제를 제공하여 작업 성능을 향상시키는 퓨샷 학습의 실행 가능성을 탐구했습니다. 결과는 엇갈렸으며, 퓨샷 학습이 일부 작업에서는 성능을 향상시킬 수 있지만 모든 CSS 작업에서 균일하게 성능을 향상시키지는 않는다는 것을 나타냅니다 (Ziems 외, 2024).
요약하자면, Ziems 외 (2024)의 실증적 증거는 LLM이 다양한 CSS 작업을 수행하는 데 효과적일 수 있음을 보여줍니다, 특히 인간 주석자와 함께 사용될 때 더욱 그렇습니다. 복잡한 이해와 생성을 요구하는 작업에서는 개선의 여지가 있지만, 결과는 유망하며 LLM이 전산 사회과학 도구함에서 귀중한 자산이 될 수 있음을 시사합니다.
나만의 전산 사회과학 프로젝트에 LLM API를 어떻게 사용할까?
CSS 프로젝트에 LLM API를 사용하려면 먼저 LLM이 도움을 줄 수 있는 특정 작업(분류, 파싱, 요약, 생성 등)을 식별해야 합니다.
둘째, 프로젝트 요구 사항에 맞는 LLM을 선택해야 하며, 모델 크기, 사전 학습 데이터, 미세 조정 패러다임 등의 요소를 고려해야 합니다. Ziems 외 (2024)가 개괄한 프롬프트 모범 사례를 따라 모델이 원하는 동작을 이끌어내도록 프롬프트를 설계할 수 있습니다.
Novita AI는 개발자에게 다양한 LLM 모델을 갖춘 LLM API를 제공합니다. 이렇게 하면 다양한 모델의 강점을 쉽게 활용할 수 있습니다.
또한, Novita AI LLM API는 특정 요구 사항을 충족하기 위해 조정 가능한 매개변수와 시스템 프롬프트 입력을 제공합니다. 예를 들어, LLM이 영화 감독처럼 질문에 답변하도록 하려면 “Be a film director”라고 입력하기만 하면 됩니다. 매개변수의 경우 숫자만 변경하면 창의성, 단어 반복, 응답 길이 등 모델 출력의 다양한 측면을 제어할 수 있습니다. Playground에서 직접 시도해 보세요!
마지막으로, LLM이 생성한 출력을 검증하고 개선하기 위해 인간이 참여하는 접근 방식(human-in-the-loop)을 사용하는 것이 좋습니다. 이 접근 방식은 인간의 피드백을 사용하여 모델 성능을 향상시키는 반복적인 개선 프로세스를 촉진하여 더 신뢰할 수 있고 타당한 연구 결과를 이끌어냅니다. 또한 대화 및 전체 문서와 같은 복잡한 사회 데이터를 처리하는 데 있어 LLM의 현재 한계를 인정하고, 이러한 문제를 해결하고 연구의 윤리적 기준을 유지하는 데 인간의 참여가 중요함을 강조합니다.
전산 사회과학에서 대규모 언어 모델의 미래 방향은?
인간 주석 보강
LLM은 제로샷 데이터 주석자 역할을 하여 인간 전문가가 검토하고 개선할 수 있는 예비 레이블과 요약을 제공함으로써 인간 주석 팀을 도울 수 있습니다. 이러한 협업은 데이터 주석 프로세스의 효율성을 높일 수 있습니다.
창의적 생성 작업 부트스트래핑
LLM은 텍스트의 기본 속성을 설명하거나 사회 과학 구성에 대한 정보 제공 설명을 생성하는 등 창의적 생성을 요구하는 작업을 향상시킬 잠재력이 있습니다.
도메인별 적응
LLM은 특정 과학 분야에서 더 잘 수행되도록 적응될 수 있습니다. 모델 성능은 다양한 학문 분야에 따라 달라질 수 있으므로 도메인별 미세 조정 또는 모델 개발이 필요함을 시사합니다.
기능 향상
LLM은 분류 및 생성 작업 모두에서 개선될 것으로 예상됩니다. 여기에는 레이블링 작업 지원뿐만 아니라 다양한 사회 과학 현상에 대한 요약 및 설명 생성이 포함됩니다.
평가 방법론
LLM이 특정 작업에서 인간 성능에 접근하거나 초과함에 따라, 특히 자유 형식 코딩의 의미론적 타당성을 포착하기 위해 새로운 평가 지표와 절차의 개발이 필요합니다.
학제간 연구
LLM은 지도 학습과 비지도 학습의 기능을 결합하여 보다 동적인 가설 생성 및 테스트를 가능하게 함으로써 새로운 학제간 연구 패러다임을 가능하게 할 수 있습니다.
시뮬레이션 및 정책 분석
LLM은 사회적 현상을 시뮬레이션하고 정책 변화의 효과를 예측하는 데 사용될 수 있지만, 이는 사회 시스템의 예측 불가능성과 신중한 검증의 필요성과 관련된 어려움이 따릅니다.
교차 문화적 응용
향후 연구는 서구, 교육, 산업, 부유, 민주적(WEIRD) 인구를 넘어 다양한 언어와 문화적 맥락을 고려하여 교차 문화적 CSS 응용을 위한 LLM의 유용성을 탐구해야 합니다.
결론
전산 사회과학 영역에서 대규모 언어 모델은 복잡한 사회 데이터를 분석하고 해석하는 방식을 향상시키는 변혁적인 도구로 떠오르고 있습니다. 이러한 모델은 텍스트 분류, 데이터 주석, 사회적 행동 모델 생성과 같은 작업을 용이하게 하여 AI의 컴퓨팅 능력과 인간 전문성을 결합하여 연구 정확성과 효율성을 향상시킵니다.
Ziems 외 (2024)와 같은 실증 연구에 따르면 LLM이 모든 측면에서 아직 우월하지는 않지만, 감정 분석 및 사회적 편향 탐지와 같은 작업에서 인간 주석자와 함께 사용될 때 칭찬할 만한 성능을 보여줍니다. 이러한 협력은 현재와 미래의 CSS 응용 모두에 유망한 길을 제시합니다.
미래를 내다보면, CSS에서의 LLM은 연구의 깊이와 범위를 모두 개선하고, 더 다양한 사회적 맥락을 수용하며, 방법론을 개선함으로써 이 분야에 혁명을 일으킬 준비가 되어 있습니다. 이러한 급성장하는 통합은 사회 과학 연구를 더 예측 가능하고, 포괄적이며, 영향력 있게 만들어 인간의 통찰력과 인공 지능 모두에 의해 추진되는 전산 분석의 새로운 시대를 알릴 것입니다.
참고문헌
Ziems, C., Held, W., Shaikh, O., Chen, J., Zhang, Z., & Yang, D. (2024). Can Large Language Models Transform Computational Social Science? Computational Linguistics, 50(1). https://arxiv.org/abs/2305.03514
Novita AI, 무한한 창의성을 위한 원스톱 플랫폼으로 100개 이상의 API에 액세스할 수 있습니다. 이미지 생성, 언어 처리, 오디오 향상, 비디오 조작에 이르기까지 저렴한 종량제 요금제로 GPU 유지 관리의 번거로움 없이 자신의 제품을 구축할 수 있습니다. 지금 무료로 사용해 보세요.
