DeepSeek 모델은 LLM 분야에서 경쟁력 있는 비용으로 뛰어난 성능을 제공하는 매력적인 선택이 되었습니다. 강력한 기능을 갖추고 있지만, 성공적인 배포를 위해서는 견고하고 효율적인 인프라 솔루션이 필요합니다. 이 가이드에서는 Novita AI의 클라우드 플랫폼을 활용하여 DeepSeek 모델을 최적으로 배포하고, 높은 성능과 비용 효율성을 동시에 달성하는 방법을 보여줍니다.
모델 변형 개요
경량화 버전(Distilled Versions)
- 오픈소스 모델(Qwen2.5 및 Llama 시리즈) 기반
- 매개변수 범위: 1.5B, 7B, 8B, 14B, 32B, 70B
- 높은 성능을 유지하면서 효율적인 추론에 최적화
- 비용 효율적인 프라이빗 배포에 이상적
- Novita AI의 원클릭 솔루션으로 쉽게 배포 가능
전체 버전(Full-Scale Version)
- DeepSeek-R1-671B
- DeepSeek-V3 아키텍처 기반
- 최대 성능을 위해 671B 매개변수 제공
- 상당한 컴퓨팅 리소스 필요
- 최적화된 API 서비스를 통해 이용 가능
배포 가이드
1단계: Novita AI 플랫폼 접속
- Novita AI 공식 웹사이트 방문: https://novita.ai/
[지금 Novita AI 사용해보기](https://novita.ai/?utm_source=blogs_GPU&utm_medium=article&utm_campaign=Deploying DeepSeek Models on Novita AI Cloud Platform: A Comprehensive Guide)
- 계정을 생성하거나 기존 계정으로 로그인
2단계: GPU 인스턴스 설정 접근
- 메인 내비게이션에서 “GPUs” 를 클릭
- “Get Started” 를 클릭하여 진행
3단계: DeepSeek 모델 선택 및 설정
이 가이드에서는 DeepSeek-R1-Distill-Llama-32B를 예시로 사용합니다. 필요에 따라 템플릿을 선택할 수 있습니다. 이 템플릿은 모델의 기본 매개변수를 정의하며, 필요한 GPU 개수를 설정해야 합니다. 이 배포에서는 RTX 4090을 권장합니다. 모든 템플릿은 공식 DeepSeek 모델을 사용하며 기본 BF16 정밀도를 채택합니다. 권장 설정은 다음과 같습니다.
| 모델 | GPU | GPU | 수량 |
| DeepSeek-R1-Distill-Qwen-1.5B | BF16 | RTX 4090 | 1 |
| DeepSeek-R1-Distill-Qwen-7B | BF16 | RTX 4090 | 1 |
| DeepSeek-R1-Distill-Llama-8B | BF16 | RTX 4090 | 1 |
| DeepSeek-R1-Distill-Qwen-14B | BF16 | RTX 4090 | 2 |
| DeepSeek-R1-Distill-Qwen-32B | BF16 | RTX 4090 | 4 |
| DeepSeek-R1-Distill-Llama-70B | BF16 | RTX 4090 | 8 |
DeepSeek-R1-Distill-Qwen-32B 템플릿을 선택하고 GPU 4개를 설정한 후 “Deploy” 를 클릭하세요.
4단계: 배포 사용자 정의
템플릿 매개변수를 확인하고 HF_TOKEN 변수를 반드시 입력하세요.
다음 팁을 따라 HF_TOKEN을 얻을 수 있습니다:
-
오른쪽 상단의 “Log In” 을 클릭하여 로그인하거나 “Sign Up” 을 클릭하여 새 계정 생성
-
로그인 후 오른쪽 상단의 프로필 사진을 클릭하고 왼쪽 메뉴에서 “Access Tokens” 선택
- “New token” 을 클릭하여 새 액세스 토큰 생성
- 토큰 유형에서 “Read” 를 선택하고 토큰 이름(예: “text”)을 입력한 후 “Create token” 을 클릭하여 토큰 생성
- 생성된 토큰 문자열 복사
토큰을 얻은 후 템플릿의 HF_TOKEN 환경 변수에 입력하세요. 그런 다음 “Next” 를 클릭하세요.
5단계: 인스턴스 시작
“Launch Instance” 를 클릭하여 설정된 환경을 배포합니다.
인스턴스가 구성되고 관리되는 동안 몇 분 정도 기다리세요.
드롭다운 메뉴를 클릭하여 인스턴스 로그를 확인합니다.
인스턴스가 시작되면 모델을 가져오기(pull) 시작합니다. “Logs” --> “Instance Logs” 를 클릭하여 모델 다운로드 진행 상황을 모니터링하세요.
로그에 "INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)" 이 표시되면 시작이 성공한 것입니다. 이제 프라이빗 모델에 접속해 봅시다!
“Connect” 를 클릭한 후 --> “Connect to HTTP Service [Port 8000]” 를 클릭하세요. API 서비스이므로 주소를 복사해야 합니다.
프라이빗 모델에 요청을 보내려면 “https://f6d29cb6f71e585e-8000.us-ca-1.gpu-instance.novita.ai” 를 실제 노출된 주소로 바꾸세요. 다음 코드를 복사하여 프라이빗 모델에 접속하세요!
$ curl https://f6d29cb6f71e585e-8000.us-ca-1.gpu-instance.novita.ai/v1/chat/completions \
-H "Content-Type: application/json" -d '{
"model": "deepseek-ai/DeepSeek-R1-Distill-Qwen-32B",
"messages": [{"role": "user", "content": "hello"}]
}'
{"id":"chatcmpl-57b3296f87f54dd4b69cfb6d2196f48e","object":"chat.completion","created":1740711405,"model":"deepseek-ai/DeepSeek-R1-Distill-Qwen-32B","choices":[{"index":0,"message":{"role":"assistant","content":"Alright, the user said \"hello.\" That's a friendly greeting. I should respond in a welcoming manner.\
\
Maybe I can acknowledge their greeting and offer assistance.\
\
It's important to sound approachable and ready to help.\
\
I'll keep it simple and polite.\
response\
\
Hello! How can I assist you today?","tool_calls":[]},"logprobs":null,"finish_reason":"stop","stop_reason":null}],"usage":{"prompt_tokens":6,"total_tokens":70,"completion_tokens":64,"prompt_tokens_details":null},"prompt_logprobs":null}
Chatbox와 같은 애플리케이션에서 API 주소를 설정하면 나만의 개인 비서를 가질 수 있습니다!
[Novita AI](https://novita.ai/?utm_source=blogs_GPU&utm_medium=article&utm_campaign=Deploying DeepSeek Models on Novita AI Cloud Platform: A Comprehensive Guide)는 개발자가 간단한 API를 통해 AI 모델을 쉽게 배포할 수 있도록 지원하는 AI 클라우드 플랫폼이며, 확장성 있는 구축을 위해 합리적인 가격의 안정적인 GPU 클라우드도 제공합니다.
