로컬 또는 API로 DeepSeek R1 액세스하는 방법: 완벽 가이드

주요 하이라이트

1. 고급 성능
뛰어난 추론: 수학(AIME 2024, MATH-500) 및 코딩(Codeforces) 벤치마크에서 탁월
아키텍처: MoE + RL 강화 훈련, 671B 파라미터(토큰당 37B 활성)

2. Ollama를 통한 로컬 액세스
Ollama 설치; ollama run deepseek-r1:7b 실행하여 다운로드; ollama list로 확인 및 터미널에서 상호작용

3. 로컬 배포의 과제
하드웨어: 24GB 이상의 VRAM을 갖춘 고성능 GPU(예: H800) 필요
메모리: 671B 파라미터로 인한 느린 로딩, 디스크 스와핑 위험
설정: 가중치, 라이브러리, 구성의 수동 설치 필요
증류 모델: 소형 버전(예: Qwen-32B)은 리소스는 줄이지만 성능을 희생

**4. API 액세스 **: Novita AI는 DeepSeek R1 용 API를 제공합니다. 무료 평가판에 가입하고 간단한 요청으로 API를 사용하세요.

DeepSeek R1은 특히 수학과 코딩 분야에서 강력한 추론 능력으로 유명한 최첨단 AI 모델입니다. 이 글에서는 로컬에서 실행하거나 API를 사용하는 등 DeepSeek R1에 액세스할 수 있는 다양한 방법을 안내합니다.

DeepSeek R1이란?

• 출시일: 2025년 1월 21일
• 모델 규모:
  • deepseek/deepseek-r1
  • deepseek/deepseek-r1-distill-qwen-14b
  • deepseek/deepseek-r1-distill-qwen-32b
• 주요 특징:
  • 모델 크기: 671B 파라미터(토큰당 37B 활성)
  • 토크나이저: 자기 반성 태그가 포함된 향상된 토크나이저
  • 지원 언어: 다국어 및 문화 적응
  • 멀티모달: 텍스트 전용
  • 컨텍스트 윈도우: 128K 토큰
  • 저장 형식: Q8/Q5 양자화 지원
  • 아키텍처: MoE(혼합 전문가) + RL 강화 훈련 파이프라인
  • 훈련 방법: V3 기반에 RL 파이프라인(SFT → RL → SFT → RL) 구축
  • 훈련 데이터: V3 기반 + RL 최적화 데이터

https://www.youtube.com/watch?v=ApvcIYDgXzg

벤치마크 비교

DeepSeek-R1은 대부분의 테스트, 특히 높은 정확도와 복잡한 추론이 필요한 작업(AIME 2024, Codeforces, MATH-500, MMLU 등)에서 뛰어난 성능을 보여줍니다. 이러한 영역에서 OpenAI-o1-1217 및 OpenAI-o1-mini와 같은 모델을 능가합니다. 그러나 GPQA Diamond 및 SWE-bench Verified와 같은 특정 작업에서는 OpenAI O1과 같은 모델에 비해 성능이 약간 떨어져 개선 여지가 있음을 보여줍니다.

응용 분야

• 수학 문제 해결 및 코드 생성
• 복잡한 논리적 추론 작업
• 복잡한 문제 진단 지원
• 다단계 시나리오 분석
• 대규모 데이터셋에서 인사이트 종합
• 고객 서비스 애플리케이션

로컬에서 DeepSeek R1에 액세스하는 방법

https://www.youtube.com/watch?v=pbCQnDDj-bo

단계별 설치 가이드

1. Ollama 설치

• Ollama 웹사이트를 방문하여 운영체제에 맞는 버전을 다운로드하고 설치합니다.

2. DeepSeek-R1 모델 다운로드

• 터미널을 열고 다음 명령어를 실행하세요(7B 파라미터 버전 예시): bashCopyollama run deepseek-r1:7b (네트워크 속도에 따라 다운로드 완료 시간이 다릅니다.)

ollama run deepseek-r1:7b

3. 설치 확인 및 실행

• 설치 확인:

ollama list  # 목록에 "deepseek-r1"이 나타나는지 확인

• 모델 시작:

ollama run deepseek-r1:7b

4. 사용 예시

• 질문하기: bashCopy>>> "양자 컴퓨팅을 간단한 용어로 설명해줘."
• 코드 생성하기: bashCopy>>> "피보나치 수열을 계산하는 Python 함수를 작성해줘."

로컬 배포의 과제

1. 하드웨어 제한 사항

• 높은 리소스 요구:
  • 상당한 VRAM/RAM을 갖춘 고성능 GPU/TPU(예: H800) 필요
• 메모리 제약:
  • 671B 파라미터(토큰당 37B 활성)로 인해 로딩 속도가 느림
  • VRAM/RAM이 부족하면 디스크 스와핑 또는 실패 발생

2. 설정 및 구성

• 복잡한 설치:
  • 수동 단계: 모델 가중치 다운로드(Hugging Face), 라이브러리(예: transformers) 설치, 프레임워크 구성
  • 최적화를 위한 기술적 전문 지식 필요
• 소프트웨어 최적화:
  • 적절한 추론 패턴을 보장하기 위해 응답이 thinking\으로 시작하도록 강제해야 함

3. 성능 병목 현상

• 느린 추론:
  • CPU/GPU 한계 및 메모리 대역폭이 처리 속도를 저하
• 유지보수 부담:
  • 새로운 모델 버전에 대한 수동 업데이트가 지속적인 노력 필요

4. 증류 모델의 트레이드오프

• 리소스 요구 감소:
  • 소형 버전(예: Qwen-32B, Llama-70B)은 하드웨어 요구 사항을 낮춤
  • 예: Qwen-32B는 벤치마크에서 OpenAI-o1-mini를 능가
• 성능 저하:
  • 전체 671B 모델에 비해 정확도나 성능이 떨어짐
  • 깊은 추론이 필요한 복잡한 작업에서 어려움을 겪을 수 있음

전체 기능을 원한다면: 하드웨어 및 설정의 어려움을 피하기 위해 API 액세스를 선택하세요.

Novita AI를 통해 DeepSeek R1에 액세스하는 방법

Novita AI는 AI 클라우드 플랫폼으로, 개발자가 간단한 API를 사용하여 AI 모델을 쉽게 배포할 수 있도록 하며, 또한 저렴하고 안정적인 GPU 클라우드를 구축 및 확장하는 데 제공합니다.

1단계: 로그인 및 모델 라이브러리 액세스

계정에 로그인하고 모델 라이브러리 버튼을 클릭하세요.

지금 DeepSeek R1 데모 체험하기!

2단계: 모델 선택

사용 가능한 옵션을 탐색하고 원하는 모델을 선택하세요.

3단계: 무료 평가판 시작

선택한 모델의 기능을 살펴보기 위해 무료 평가판을 시작하세요.

4단계: API 키 받기

API를 인증하기 위해 새로운 API 키를 제공해 드립니다. 설정 페이지로 이동하여 이미지에 표시된 대로 API 키를 복사하세요.

5단계: API 설치

프로그래밍 언어에 맞는 패키지 관리자를 사용하여 API를 설치하세요.

설치 후 개발 환경에 필요한 라이브러리를 임포트합니다. API 키로 API를 초기화하여 Novita AI LLM과 상호작용을 시작하세요. 다음은 Python 사용자를 위한 채팅 완료 API 사용 예시입니다.

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="<YOUR Novita AI API Key>",
)

model = "deepseek/deepseek_r1"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=&#91;
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices&#91;0].delta.content or "", end="")
else:
    print(chat_completion_res.choices&#91;0].message.content)
  
  

가입 시 Novita AI는 시작을 위해 $0.5 크레딧을 제공합니다!

무료 크레딧을 모두 사용하면 결제하여 계속 사용할 수 있습니다.

어떤 방법이 당신에게 적합할까요?

• 연구자: 일반적으로 실험의 유연성과 제어를 위해 로컬 액세스를 선호합니다.
• 개발자:
  • API 액세스는 애플리케이션 구축 및 빠른 프로토타이핑에 적합합니다.
  • 로컬 액세스는 미세 조정 및 사용자 정의 워크플로에 더 좋습니다.
• 기업: API 액세스는 높은 초기 비용 없이 서비스에 빠르게 통합하는 데 유리합니다. 로컬 배포는 일관된 요구 사항이 있고 인프라에 투자할 수 있는 팀에 적합할 수 있습니다.
• 소규모 팀/개인: 일반적으로 초기 비용이 낮기 때문에 API 액세스가 더 실용적입니다.
• 기술적 기술이 제한된 사용자: 깊은 기술적 지식이 필요 없으므로 API 액세스가 바람직합니다.

결론적으로, DeepSeek R1은 최첨단 추론 능력을 갖춘 인상적인 모델입니다. 로컬에서 실행하든 API를 사용하든, 제어, 비용 및 편의성 사이의 트레이드오프를 고려해야 합니다. 이러한 요소와 이 글의 구체적인 권장 사항을 신중히 고려하여 목표에 가장 적합한 액세스 방법을 선택할 수 있습니다.

자주 묻는 질문

DeepSeek R1이 OpenAI의 o1보다 더 나은가요?

DeepSeek R1은 특히 추론 작업에서 비슷한 성능을 제공하며, 오픈 소스이고 비용 효율적이라는 추가적인 이점이 있습니다.

DeepSeek R1을 어떻게 미세 조정할 수 있나요?

오픈 소스 모델인 DeepSeek R1은 특정 작업에 맞게 미세 조정할 수 있으며, 컴퓨팅 리소스와 데이터만 있으면 됩니다.

모델은 어떻게 훈련되나요?

DeepSeek R1은 OpenAI의 o1 모델보다 훨씬 저렴합니다.

Novita AI는 AI 야망을 실현하는 올인원 클라우드 플랫폼입니다. 통합 API, 서버리스, GPU 인스턴스 — 비용 효율적인 도구를 제공합니다. 인프라를 없애고, 무료로 시작하여 AI 비전을 현실로 만드세요.

추천 읽을거리

• DeepSeek V3: 오픈 소스 코드 모델 발전, 이제 Novita AI에서 사용 가능
• Deepseek v3 vs Llama 3.3 70b: 언어 작업 대 코드 및 수학
• Llama 3.2 3B vs DeepSeek V3: 효율성과 성능 비교