소규모 개발자도 집에서 DeepSeek R1을 배포할 수 있을까?

주요 요점

답은 ‘아니요’일 수 있습니다!

높은 GPU 요구 사항
DeepSeek R1은 다른 모델에 비해 GPU 요구 사항을 낮췄지만, 여전히 가정 환경에서는 상대적으로 높은 수준입니다.
복잡한 배포 과정
자체 배포는 AI 아키텍처를 구성해야 하므로 개인 개발자에게 시간이 많이 소요되고 까다로울 수 있습니다.
대안으로서의 Novita AI
Novita AI는 매우 비용 효율적인 클라우드 GPU 서비스와 API 솔루션 을 제공하여 개발자가 특수 하드웨어나 복잡한 설정 없이 DeepSeek R1에 액세스할 수 있도록 지원합니다.

DeepSeek R1은 최첨단 기능과 오픈소스 접근성으로 인정받은 고급 AI 추론 모델입니다. 중국 연구팀이 개발한 이 모델은 간단한 작업부터 복잡한 엔터프라이즈급 작업에 이르기까지 다양한 애플리케이션을 처리하도록 설계되었습니다. 그렇다면 이 OpenAI-o1 수준의 모델을 배포하려면 어떤 하드웨어가 필요할까요? 개인 개발자의 컴퓨터에서 실행할 수 있을까요? 이 글에서 그 답을 찾아보겠습니다.

소개

• 출시일: 2025년 1월 21일
• 모델 규모:
  • deepseek/deepseek-r1（671b）
  • deepseek/deepseek-r1-distill-llama-8b
  • deepseek/deepseek-r1-distill-qwen-14b
  • deepseek/deepseek-r1-distill-qwen-32b
  • deepseek/deepseek-r1-distill-llama-70b
• 주요 특징:
  • 모델 크기: 671B 파라미터 (토큰당 37B 활성)
  • 오픈소스
  • 토크나이저: 자기 반성 태그가 포함된 향상된 토크나이저
  • 지원 언어: 문화 적응이 포함된 다국어
  • 멀티모달: 텍스트 전용
  • 컨텍스트 윈도우: 128K 토큰
  • 저장 형식: Q8/Q5 양자화 지원
  • 아키텍처: MoE(Mixture of Experts) + RL 강화 학습 파이프라인
  • 학습 방법: V3 베이스에 RL 파이프라인(SFT → RL → SFT → RL) 적용
  • 학습 데이터: V3 베이스 + RL 최적화 데이터

상세 하드웨어 요구 사항 및 권장 GPU

**모델 **	** 파라미터 크기 **	GPU 구성
DeepSeek-R1-Distill-Llama-8B	4.9B	1 x NVIDIA RTX 4090 (24GB VRAM) + 모델 샤딩
DeepSeek-R1-Distill-Qwen-14B	9.0B	1 x NVIDIA A100 (40GB VRAM) 또는 2 x RTX 4090 (24GB VRAM) + 텐서 병렬 처리
DeepSeek-R1-Distill-Qwen-32B	32B	2 x NVIDIA A100 (40GB VRAM) 또는 1 x NVIDIA H100 (80GB VRAM) 또는 4 x RTX 4090 (24GB VRAM) + 텐서 병렬 처리
DeepSeek-R1-Distill-Llama-70B	70B	4 x NVIDIA A100 (40GB VRAM) 또는 2 x NVIDIA H100 (80GB VRAM) 또는 8 x RTX 4090 (24GB VRAM) + 대규모 병렬 처리
DeepSeek-R1:671b	671B (370억 개 활성 파라미터)	16 x NVIDIA A100 (40GB VRAM) 또는 8 x NVIDIA H100 (80GB VRAM), InfiniBand가 있는 분산 GPU 클러스터 필요

1.8B (80억 파라미터)

• 추론:
  • GPU:
    • 1x NVIDIA RTX 4090 (각 24GB VRAM) + 모델 샤딩.
  • CPU: 고성능 멀티코어 CPU (예: AMD Ryzen 9 5900X 또는 Intel i9-12900K).
  • RAM: 최소 64GB 시스템 메모리.
  • 디스크 공간: 모델 가중치 약 20GB.

2. 14B (140억 파라미터)

• 추론:
  • GPU:
    • 1 x NVIDIA A100 (각 40GB VRAM)
    • 또는 2 x RTX 4090 (각 24GB VRAM) + 텐서 병렬 처리.
  • CPU: 서버급 멀티코어 CPU (예: AMD EPYC 7003 시리즈 또는 Intel Xeon Platinum).
  • RAM: 128GB 시스템 메모리.
  • 디스크 공간: 모델 가중치 약 35GB.

3. 32B (320억 파라미터)

• 추론:
  • GPU:
    • 2 x NVIDIA A100 (각 40GB VRAM) 또는 1 x NVIDIA H100 (각 80GB VRAM).
    • 또는 4 x RTX4090 (각 24GB VRAM) + 텐서 병렬 처리.
  • CPU: 고성능 서버급 멀티코어 CPU.
  • RAM: 256GB 시스템 메모리.
  • 디스크 공간: 모델 가중치 약 80GB.

4. 70B (700억 파라미터)

• 추론:
  • GPU:
    • 4 x NVIDIA A100 (각 40GB VRAM) 또는 2 x NVIDIA H100 (각 80GB VRAM).
    • 또는 8 x RTX 4090 (각 24GB VRAM) + 대규모 병렬 처리.
  • CPU: 서버급 멀티코어 CPU (예: AMD EPYC 또는 Intel Xeon Platinum).
  • RAM: 512GB 시스템 메모리.
  • 디스크 공간: 모델 가중치 약 160GB.

5. 671B (6710억 파라미터) - 370억 개 활성 파라미터

• 추론:
  • GPU:
    • 16 x NVIDIA A100 (각 40GB VRAM) 또는 8 x NVIDIA H100 (각 80GB VRAM)
    • 통신을 위해 InfiniBand가 있는 분산 GPU 클러스터 필요.
  • CPU: 여러 노드에 걸친 고성능 멀티코어 서버 CPU. 예: AMD EPYC 7003 또는 Intel Xeon 4세대.
  • RAM: 노드 간 약 8TB 시스템 메모리.
  • 디스크 공간: 모델 가중치 약 1.5TB.

MoE(Mixture of Experts) 및 분산 학습과 같은 기술 덕분에 DeepSeek R1은 다른 모델에 비해 상당히 적은 하드웨어를 요구합니다. 하지만 사용 중 일부 파라미터만 활성화하여 계산 비용을 줄일 수 있지만, 배포 시에는 전체 파라미터 세트를 저장해야 합니다. 이로 인해 하드웨어 요구 사항이 높아 개인 개발자가 배포를 지원하기 어려울 수 있습니다.

홈 서버의 과제 및 최적화 방법

DeepSeek R1(671B)과 같은 고급 모델을 홈 서버에서 실행하려면 상당한 하드웨어 요구 사항이 따르므로 여러 가지 과제가 있습니다.

홈 서버의 과제

• 높은 VRAM 요구 사항: 전체 DeepSeek R1과 같은 대형 모델은 상당한 VRAM이 필요하며, 종종 멀티 GPU 설정이 필요하지만 이는 일반적으로 홈 서버에서 실용적이지 않습니다.
• 전력 및 냉각: 고급 GPU는 많은 전력을 소비하고 상당한 열을 발생시키므로 강력한 전원 공급 장치와 효과적인 냉각 솔루션이 필요합니다.
• 하드웨어 호환성: 멀티 GPU 시스템을 구성하려면 GPU, 마더보드 및 기타 시스템 구성 요소 간의 호환성을 보장하기 위한 세심한 계획이 필요합니다.
• 비용: 최신 GPU와 지원 하드웨어의 높은 가격은 개인 사용자에게 부담이 될 수 있으므로 많은 사용자가 이러한 설정에 접근하기 어렵습니다.

최적화 방법

이러한 과제를 해결하기 위해 여러 최적화 기법을 통해 하드웨어 요구 사항을 줄일 수 있습니다.

• 양자화: 모델 가중치의 정밀도를 낮추면(예: 4비트 양자화) 허용 가능한 성능을 유지하면서 VRAM 요구 사항을 크게 줄일 수 있습니다.
• 증류: 원본 모델의 더 작은 증류 버전을 활용하면 모델 성능을 많이 유지하면서 하드웨어 요구 사항을 줄일 수 있습니다.
• 오프로딩: 워크로드를 GPU, CPU 및 RAM에 분산하면 VRAM이 낮은 시스템에서도 모델을 실행할 수 있지만 처리 속도는 느려질 수 있습니다.
• 추론 최적화: 배치 크기 조정, 처리 설정 미세 조정, 최적화된 라이브러리 활용을 통해 제한된 하드웨어에서 성능을 개선할 수 있습니다.

이러한 최적화 방법을 결합하면 DeepSeek R1과 같은 대형 모델을 홈 서버에서 실행할 때 발생하는 과제를 완화할 수 있지만, 성능과 효율성 측면에서 일부 절충이 불가피할 수 있습니다.

더 편리한 선택 – 클라우드 GPU

GPU를 구매하는 것은 비용이 많이 들 수 있지만, 클라우드 GPU를 사용하는 것은 훨씬 더 편리하고 비용 효율적인 옵션입니다. 사용한 만큼만 비용을 지불하면 되며, GPU 설정이나 추론 프레임워크 최적화의 번거로움 없이 사용할 수 있습니다. 이렇게 하면 기술적 세부 사항에 신경 쓰지 않고 모델 사용에만 집중할 수 있습니다.

Novita AI는 이제 RTX 4090, A100, H100 등 다양한 GPU 모델을 제공합니다. 저희 가격은 시장에서 가장 경쟁력 있는 수준입니다.

지금 GPU 배포 시도하기

가장 편리한 방법 – API

Novita AI는 개발자가 간단한 API를 통해 AI 모델을 쉽게 배포할 수 있도록 지원하는 AI 클라우드 플랫폼입니다. 또한 구축 및 확장을 위한 저렴하고 안정적인 GPU 클라우드를 제공합니다.

1단계: 로그인 및 모델 라이브러리 액세스

계정에 로그인하고 Model Library 버튼을 클릭합니다.

2단계: 모델 선택

사용 가능한 옵션을 살펴보고 필요에 맞는 모델을 선택합니다.

3단계: 무료 체험 시작

선택한 모델의 기능을 살펴보기 위해 무료 체험을 시작합니다.

지금 DeepSeek R1 데모 사용해보기

4단계: API 키 받기

API 인증을 위해 새 API 키를 제공합니다. “Settings” 페이지로 이동하여 이미지에 표시된 대로 API 키를 복사합니다.

5단계: API 설치

프로그래밍 언어에 맞는 패키지 관리자를 사용하여 API를 설치합니다.

설치가 완료되면 필요한 라이브러리를 개발 환경에 가져옵니다. API 키로 API를 초기화하여 Novita AI LLM과 상호 작용을 시작합니다. 다음은 Python 사용자를 위한 채팅 완성 API 사용 예제입니다.

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="<YOUR Novita AI API Key>",
)

model = "deepseek/deepseek_r1"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  

가입 시 Novita AI가 $0.5 크레딧을 제공하여 시작할 수 있도록 도와드립니다!

무료 크레딧이 소진된 경우 결제 후 계속 사용할 수 있습니다.

DeepSeek R1은 강력한 AI 추론 기능을 제공하지만, 하드웨어 요구 사항은 모델과 크기에 따라 크게 달라질 수 있습니다. 전체 규모 모델은 고급 멀티 GPU 설정이 필요한 반면, 증류 버전은 리소스가 제한된 사용자에게 더 접근하기 쉬운 옵션을 제공합니다. 특수 하드웨어가 없는 사용자에게는 API를 통해 DeepSeek R1을 활용하는 것이 실용적이고 효율적인 솔루션입니다. 하드웨어 요구 사항과 사용 가능한 최적화 전략을 이해함으로써 개발자와 연구자는 DeepSeek R1을 효과적으로 활용하여 고유한 요구 사항을 충족할 수 있습니다.

자주 묻는 질문

DeepSeek R1의 학습 방법론은 무엇인가요?

DeepSeek R1은 다단계 학습 파이프라인을 사용합니다. DeepSeek-R1-Zero는 초기 SFT(Supervised Fine-Tuning) 없이 기본 모델에 대규모 강화 학습(RL)을 직접 적용하여 학습됩니다.

최적의 성능을 위해 DeepSeek R1에 프롬프트를 제공하는 모범 사례는 무엇인가요?

주요 이점으로는 작업 처리 효율성 향상, 개발자가 기능을 쉽게 업데이트할 수 있는 유연성, 대규모 변경 없이 새 기능을 추가할 수 있는 확장성, 개인화된 사용자 상호 작용이 있습니다. DeepSeek R1에서 최상의 성능을 얻으려면 시스템 프롬프트를 추가하지 말고 모든 지침을 사용자 프롬프트에 포함하세요.

Novita AI는 AI 비전을 실현하는 올인원 클라우드 플랫폼입니다. 통합 API, 서버리스, GPU 인스턴스 등 비용 효율적인 도구를 제공합니다. 인프라를 제거하고 무료로 시작하여 AI 비전을 현실로 만드세요.

추천 자료

• DeepSeek V3 액세스 가이드: 로컬 및 API
• DeepSeek V3 vs R1: 단계별 학습 vs 반복 SFT-RL 주기
• DeepSeek V3를 로컬에서 실행하기: 개발자 가이드