학계 최전선에 뛰어들기: 대규모 언어 모델 차등 프라이버시 소개

소개

머신러닝 기술이 점점 더 보편화됨에 따라, 이러한 LLM 을 학습시키는 데 사용되는 데이터의 프라이버시와 보안을 보장해야 할 필요성이 중요한 문제로 대두되었습니다. 이 문제를 해결하는 주요 접근 방식 중 하나는 차등 프라이버시(DP) 기법을 사용하는 것입니다.

이 글에서는 대규모 언어 모델 차등 프라이버시 의 개념을 깊이 있게 살펴보고, 그것이 어떻게 작동하는지, 관련된 과제, 그리고 연구자들이 탐구하고 있는 잠재적 해결책을 알아보겠습니다. LLM을 위한 DP의 복잡성을 이해함으로써, 프라이버시를 보존하는 머신러닝의 광범위한 의미에 대한 통찰력을 얻을 수 있습니다.

대규모 언어 모델 차등 프라이버시란 무엇인가?

차등 프라이버시(DP)는 GPT-3 및 BERT와 같은 대규모 언어 모델을 포함한 머신러닝 모델을 학습시킬 때 학습 데이터의 프라이버시를 증명 가능한 수준으로 보호하는 엄격한 수학적 프레임워크입니다. 핵심 원리는 모델의 출력이 학습 과정에서 사용된 개별 데이터 포인트에 대한 정보를 너무 많이 노출하지 않도록 하는 것입니다. 이는 모델 학습 파이프라인 전체에 적용되는 다양한 기법의 조합을 통해 달성됩니다.

대규모 언어 모델 차등 프라이버시는 어떻게 작동하는가?

1. 그래디언트 클리핑

그래디언트 클리핑은 언어 모델 학습 중 차등 프라이버시를 강제하는 핵심 기법입니다.

학습 데이터를 산맥으로, 그래디언트(모델 파라미터 업데이트)를 서로 다른 봉우리에 연결된 밧줄로 상상해 보세요. 클리핑이 없으면 일부 밧줄은 매우 두꺼워지는데, 이는 과도한 영향을 미치는 학습 예제에 해당합니다. 이로 인해 모델이 특정 데이터를 '기억’하게 되어 프라이버시가 손상될 수 있습니다.

그래디언트 클리핑은 이러한 밧줄의 두께에 엄격한 제한을 둡니다. 어떤 밧줄도 그 제한보다 두꺼울 수 없습니다. 이는 모델 업데이트가 모든 학습 데이터에서 균등하게 추출되도록 하여, 어떤 특정 예제도 지배하지 못하게 합니다.

마치 밧줄의 상한선을 두어 산봉우리를 더 평평하게 만드는 것과 같습니다. 이렇게 하면 특정 학습 데이터에 대한 정보를 식별하고 추출하는 것이 훨씬 어려워집니다.

2. 노이즈 추가

그래디언트(밧줄)를 고정된 두께로 클리핑한 후, 여기에 무작위 노이즈를 추가합니다. 각 밧줄에 미세한 안개를 뿌리는 것을 상상해 보세요. 이제 산들은 흐릿한 구름에 가려집니다. 이는 어떤 단일 학습 예제도 두드러지거나 식별되는 것을 방지하여 차등 프라이버시 보장을 강화합니다.

3. 프라이버시 손실 추적

모델이 학습됨에 따라 소비되는 '프라이버시 예산’을 주의 깊게 추적합니다. 모델 파라미터가 업데이트될 때마다, 즉 각 배치의 학습 데이터가 처리될 때마다 소량의 프라이버시 손실이 발생합니다. 이는 마치 계속해서 누적 합계를 유지하는 것과 같아서, 수백만 개의 학습 예제를 본 후에도 총 ‘소비된 프라이버시’ 양이 안전 한도를 초과하지 않도록 합니다. 이러한 엄격한 회계 처리는 최종 모델이 원하는 수준의 차등 프라이버시를 존중하도록 보장합니다.

최종 결과는 프라이버시를 보존하는 방식으로 학습된 언어 모델입니다. 이 모델은 생성에 사용된 개인들의 민감한 정보를 노출하지 않고 사용될 수 있습니다. 물론 일반적으로 모델의 전반적인 성능 측면에서 어느 정도의 트레이드오프가 있지만, 연구자들은 이를 최소화하기 위해 노력하고 있습니다.

대규모 언어 모델 차등 프라이버시의 문제점은 무엇인가?

모델 정확도에 대한 불균등한 영향

• 그래디언트 클리핑 및 노이즈 추가와 같은 차등 프라이버시(DP) 기법을 학습 과정에 적용하면, 데이터 내 과소대표되거나 소수 하위 그룹에 대한 대규모 언어 모델(LLM)의 정확도에 불균형적으로 부정적인 영향을 미칩니다.
• 예를 들어, 성별 및 연령 분류 작업에서 DP로 학습된 모델은 밝은 피부 톤에 비해 어두운 피부 톤의 얼굴에서 훨씬 낮은 정확도를 보였습니다. 이는 DP가 아닌 모델에서는 해당되지 않았습니다.
• '가난한 사람은 더 가난해진다’는 효과는 DP 학습이 원래 DP가 아닌 모델에서 이미 정확도가 낮았던 클래스나 하위 그룹의 정확도를 가장 크게 떨어뜨린다는 것을 의미합니다. 따라서 모델의 불공정성을 증폭시킵니다.
• 이는 그래디언트 클리핑 및 노이즈 추가와 같은 DP 메커니즘이 데이터의 과소대표되거나 학습하기 어려운 부분에서 오는 그래디언트와 학습 신호에 과도한 영향을 미치기 때문에 발생합니다. 결국 모델은 다수이거나 더 단순한 하위 그룹 쪽으로 더 편향됩니다.

대규모/복잡한 모델의 과제

• GPT-3나 BERT와 같은 현대의 대규모 언어 모델은 수십억 개의 파라미터와 엄청난 복잡성을 가지고 있습니다. 이러한 모델에 DP 기법을 적용하는 것은 계산적으로 매우 비용이 많이 들고 어렵습니다.
• 이러한 복잡한 모델의 그래디언트는 DP에 필요한 무작위 노이즈에 너무 민감할 수 있습니다. 이러한 민감성은 광범위한 하이퍼파라미터 튜닝 후에도 DP 학습으로 달성할 수 있는 정확도를 제한합니다. DP 모델의 성능은 단순히 DP가 아닌 버전에 훨씬 못 미치는 수준에서 정체됩니다.

프라이버시-유용성 트레이드오프

• 합리적인 프라이버시 예산(DP 파라미터 ε가 10 미만으로 측정됨)을 유지하기 위해, DP로 학습된 LLM은 DP가 아닌 모델에 비해 종종 상당한 정확도 저하를 겪습니다.
• 프라이버시 예산을 늘리면 모델의 정확도가 향상될 수 있지만, 이는 훨씬 더 높은 프라이버시 누출을 대가로 하며, 이는 많은 실제 애플리케이션에서 허용되지 않을 수 있습니다.
• 프라이버시를 보존하는 것과 언어 모델의 높은 유용성(정확도)을 유지하는 것 사이에는 근본적인 갈등이 있습니다. 두 가지를 동시에 달성하는 것은 매우 어렵습니다.

DP와 다른 공정성 기법의 결합 어려움

• 머신러닝 모델의 공정성을 개선하는 데 사용되는 표준 기법(예: 과소대표 그룹의 오버샘플링 또는 재가중치 부여)은 차등 프라이버시에 필요한 민감도 제약 조건과 호환되지 않습니다.
• 문서에서는 그래디언트 클리핑 및 노이즈 추가와 같은 DP 메커니즘이 본질적으로 이러한 공정성 촉진 기법의 효과를 무효화하거나 대체한다고 지적합니다.

프라이버시와 모델 성능을 모두 보장할 방법이 있는가?

일반적으로 DP-SGD와 같은 표준 차등 프라이버시(DP) 최적화 기법을 대규모 언어 모델 학습에 적용하면, 비공개 모델보다 성능이 훨씬 나빠집니다. 이는 프라이버시 보호를 위해 추가된 노이즈가 모델 크기에 비례하는 경향이 있고, 대규모 모델은 고차원 그래디언트를 가지기 때문입니다.

흥미롭게도, 스탠포드 대학교와 구글 리서치의 Xuechen Li, Florian Trame, Percy Liang, Tatsunori Hashimoto가 쓴 Large Language Models Can Be Strong Differentially Private Learners라는 제목의 논문에서는 프라이버시와 모델 성능 사이의 균형을 맞추는 방법을 제시했습니다. 이 균형을 얻기 위해 저자들은 몇 가지 현명한 접근 방식을 취했습니다. 연구 세부 사항에 관심이 없다면, 다음 섹션으로 건너뛰어 자신의 프로젝트에 대한 효율적인 솔루션을 확인하세요.

1. 사전 학습된 언어 모델 활용

저자들은 BERT 및 GPT-2와 같은 대규모 사전 학습된 언어 모델을 미세 조정의 시작점으로 사용하는 것이 새로운 모델을 처음부터 학습시키는 것보다 훨씬 더 효과적임을 발견했습니다. 이러한 사전 학습된 모델은 이미 풍부한 언어 지식을 학습했기 때문에, 제한된 개인 학습 데이터에서 모든 것을 학습하려고 시도하는 것보다 차등 프라이버시로 미세 조정하는 것이 더 쉽습니다.

2. DP-SGD(차등 프라이버시 확률적 경사 하강법) 하이퍼파라미터 튜닝

저자들은 DP-SGD가 하이퍼파라미터 선택에 매우 민감하다는 것을 발견했습니다. 비공개 미세 조정에서 사용되는 일반적인 작은 배치 크기와 학습률과는 대조적으로, 동일한 프라이버시 예산 하에서 훨씬 더 큰 배치 크기(예: 2048)와 학습률(예: 2^-5)을 사용하면 성능이 훨씬 더 향상된다는 것을 발견했습니다. 이는 비공개 학습에 대한 표준 하이퍼파라미터 설정이 DP 최적화에 적합하지 않음을 시사합니다.

3. 미세 조정 목표를 사전 학습과 일치시키기

저자들은 언어 모델의 원래 사전 학습 목표와 더 밀접하게 일치하는 미세 조정 목표가 차등 프라이버시 하에서 더 잘 작동하는 경향이 있음을 관찰했습니다. 예를 들어, 문장 분류 레이블만 예측하는 대신, 모델이 문장에서 누락된 단어도 예측하도록 했습니다. 이는 언어 모델링 사전 학습과 더 유사한 작업입니다. 이를 통해 모델이 사전 학습 중에 학습된 언어 이해 능력을 더 잘 활용할 수 있었습니다.

4. ‘고스트 클리핑’ 도입

DP-SGD의 주요 과제 중 하나는 클리핑 단계에서 예제별 그래디언트를 저장하는 데 필요한 높은 메모리 요구 사항입니다. 저자들은 '고스트 클리핑’이라는 새로운 메모리 효율적 기법을 개발하여 이러한 높은 메모리 비용 없이 대규모 Transformer 모델에서 DP-SGD를 실행할 수 있게 했습니다. 이 기법은 Goodfellow(2015) 트릭을 일반화하여 순차적 입력을 처리함으로써, 비공개 학습과 거의 동일한 메모리로 DP 미세 조정을 가능하게 합니다.

이러한 혁신을 통해 저자들은 차등 프라이버시 하에서 대규모 사전 학습된 언어 모델을 미세 조정하고, 강력한 비공개 기준 모델과 일치하거나 능가하는 모델을 얻을 수 있었습니다. 이는 성능을 크게 희생하지 않고 실용적인 비공개 언어 모델을 구축하는 것이 가능함을 보여줍니다.

대규모 언어 모델 차등 프라이버시의 미래 방향

표적화된 DP 학습 기법 개발

• 표준 DP 학습 접근 방식은 때때로 데이터에서 과소대표되는 그룹에 불균등한 영향을 미칠 수 있습니다.
• 클리핑 및 노이즈 추가와 같은 DP 메커니즘을 보다 표적화된 방식으로 조정하여, 과소대표 그룹의 모델 성능에 과도한 영향을 미치지 않으면서 프라이버시를 더 잘 보호하는 방안을 탐구하는 것이 아이디어입니다.
• 이는 다양한 데이터 하위 그룹의 요구에 더 민감한 새로운 DP 학습 알고리즘이나 수정을 포함할 수 있습니다.

DP와 다른 공정성 접근 방식의 결합

• 머신러닝에서 공정성과 프라이버시는 때로 상충될 수 있습니다.
• 이 방향은 적대적 디바이어싱이나 인과 모델링과 같은 다른 공정성 향상 기법과 DP를 결합하면서, DP의 프라이버시 보존 속성을 유지하는 방법을 조사하는 것을 목표로 합니다.
• 목표는 강력한 프라이버시 보장과 향상된 공정성 결과, 특히 과소대표 그룹에 대해 달성하는 하이브리드 접근 방식을 개발하는 것입니다.

DP와 공정성 개념 간의 상호 작용 이해

• 공정성은 평등한 기회 또는 인구통계학적 패리티와 같은 여러 방식으로 정의될 수 있습니다.
• 이 방향은 특히 대규모 언어 모델의 맥락에서 DP가 이러한 다양한 공정성 기준과 어떻게 상호 작용하는지 이해하는 데 초점을 맞춥니다.
• 이러한 상호 작용을 탐구하면 연구자와 실무자가 DP와 다양한 공정성 개념 간의 트레이드오프와 시너지를 탐색하는 데 도움이 될 수 있습니다.

모델 일반화에 대한 DP의 영향 분석

• DP 학습은 노이즈와 제약 조건을 도입하여, 특히 과소대표되고 복잡한 데이터 하위 그룹에 대해 모델의 일반화 능력에 영향을 미칠 수 있습니다.
• 이 방향은 DP가 모델의 전반적 및 하위 그룹별 일반화 성능에 어떻게 영향을 미치는지에 대한 이해를 심화하는 것을 목표로 합니다.
• 이러한 이해를 얻으면 특히 까다로운 데이터 하위 집합에 대해 프라이버시, 공정성 및 일반화의 균형을 맞추는 DP 기법을 설계하는 데 정보를 제공할 수 있습니다.

결론

대규모 언어 모델의 사용이 계속 증가함에 따라, 인상적인 기능과 강력한 프라이버시 보호의 균형을 맞춰야 할 필요성이 점점 더 중요해지고 있습니다. 이 글에서 개괄한 연구 노력은 LLM을 위한 보다 효과적이고 효율적인 차등 프라이버시 기법을 개발하려는 지속적인 작업을 강조하며, 과소대표 그룹에 대한 불균등한 영향을 완화하고 DP를 다른 공정성 향상 접근 방식과 결합하는 방법을 찾는 데 초점을 맞추고 있습니다.

계산 복잡성, 민감도 및 프라이버시-유용성 트레이드오프에 관한 주요 과제를 해결함으로써, 연구자들은 성능을 크게 희생하지 않고 실용적인 비공개 언어 모델을 구축하는 것이 가능함을 보여주었습니다. 이러한 발전이 계속됨에 따라, 최첨단 성능을 제공할 뿐만 아니라 엄격한 프라이버시 기준을 준수하는 LLM이 등장하여, AI 시스템이 최대한의 주의와 책임을 가지고 민감한 데이터를 처리할 수 있도록 신뢰할 수 있는 미래를 열어갈 것으로 기대합니다.

Novita AI는 무한한 창의성을 위한 원스톱 플랫폼으로, 100개 이상의 API에 액세스할 수 있습니다. 이미지 생성, 언어 처리, 오디오 향상 및 비디오 조작에 이르기까지 저렴한 종량제 요금제로, 자체 제품을 구축하면서 GPU 유지 관리의 번거로움에서 해방시켜 드립니다. 지금 무료로 사용해 보세요.