DeepSeek V3.1은 DeepSeek의 최신 플래그십 모델로, 하이브리드 추론 아키텍처, 더 높은 사고 효율성 및 더 강력한 에이전트 기능을 통해 AI 성능을 향상시키도록 설계되었습니다. 이러한 혁신은 개발자에게 더 스마트한 애플리케이션을 구축하고 실제 작업을 간소화할 수 있는 강력한 기반을 제공합니다.
이 가이드에서는 DeepSeek V3.1을 소개하고, 핵심 기능과 벤치마크 강점을 강조하며, 로컬 배포, API 및 타사 플랫폼을 통해 액세스하는 방법을 보여줍니다.
기본 소개
| **기능 ** | ** 세부사항** |
| 총 파라미터 | 671B |
| 활성화 파라미터 | 37B |
| 컨텍스트 길이 | 128K |
| 아키텍처 | Transformer-based MoE |
| 사고 모드 | 하이브리드 사고 모드 (Think + Non-Think) |
| 라이선스 | MIT 라이선스 |
벤치마크
DeepSeek V3.1 (Reasoning) 은 AIME 대회 수학 및 GPQA 과학적 추론과 같은 까다로운 작업에서 더 강력한 논리적 체인 구성, 긴 컨텍스트 이해 및 더 일관된 답변을 제공하여 고정밀, 깊이 지향적 애플리케이션에 이상적입니다.
DeepSeek V3.1 (Non-Reasoning) 은 일반 작업 부하에 대해 더 큰 효율성과 비용 효율성으로 균형 잡힌 성능을 제공합니다. 함께 사용하면 개발자는 엄격한 추론 깊이와 실용적인 범용 효율성 사이에서 유연하게 선택할 수 있습니다.
주요 개선 사항
- 하이브리드 추론: DeepSeek V3.1은 하나의 모델에서 Think 및 Non-Think 모드를 통합합니다.
- 더 빠른 사고: DeepSeek V3.1 Think는 DeepSeek-R1-0528과 비슷한 답변 품질을 달성하면서도 더 빠르게 응답합니다.
- 더 강력한 에이전트 기술: DeepSeek V3.1은 사후 훈련을 활용하여 도구 사용을 개선하고 복잡한 다단계 작업을 처리합니다.
DeepSeek V3.1에 접근하는 방법: 로컬 배포
DeepSeek V3.1 요구 사항
| **유형 ** | VRAM (대략) | ** 권장 하드웨어** |
| 1-bit | 186 GB | 단일 고급 GPU / 다중 GPU 서버 |
| 2-bit | 219 GB | 다중 GPU 서버 |
| 3-bit | 319 GB | 다중 GPU 서버 |
| 4-bit | 404 GB | 다중 GPU 서버 |
| 8-bit | 713 GB | 대규모 GPU 클러스터 |
| 16-bit (BF16) | 1.34 TB | Nvidia H200 8-카드 클러스터 |
DeepSeek V3.1은 다음 하드웨어 및 오픈 소스 커뮤니티 소프트웨어를 사용하여 로컬 배포를 지원합니다.
- DeepSeek-Infer Demo: FP8 및 BF16 추론을 위한 간단하고 가벼운 데모.
- SGLang: BF16 및 FP8 모드에서 DeepSeek-V3를 완전 지원하며, Multi-Token Prediction이 곧 제공됩니다.
- LMDeploy: 로컬 및 클라우드 배포 모두를 위한 효율적인 FP8 및 BF16 추론 제공.
- TensorRT-LLM: 현재 BF16 추론 및 INT4/INT8 양자화를 지원하며, FP8 지원 예정.
- vLLM: FP8 및 BF16을 사용한 텐서 병렬화 및 파이프라인 병렬화로 DeepSeek-V3 지원.
- LightLLM: FP8 및 BF16을 위한 효율적인 단일 노드 또는 다중 노드 배포 제공.
- AMD GPU: SGLang을 통해 BF16 및 FP8 모드 모두에서 AMD GPU에서 DeepSeek-V3 실행.
- Huawei Ascend NPU: Huawei Ascend 장치에서 INT8 및 BF16 모드로 DeepSeek-V3 실행.
DeepSeek V3.1은 상당한 하드웨어 요구 사항으로 로컬 배포가 가능하지만, Novita AI 는 복잡한 인프라를 관리할 필요 없이 최적화된 ** 클라우드 GPU 솔루션 (H100 및 H200)** 도 제공합니다.
DeepSeek V3.1에 접근하는 방법: API 사용
Novita AI 는 DeepSeek V3.1 API를 **163.8K 컨텍스트 ** 와 함께 **$0.55 / 1M 입력 토큰 ** 및 $1.66 / 1M 출력 토큰 의 비용으로 제공합니다.
옵션 1: 직접 API 통합 (Python 예제)
1단계: 로그인 및 모델 라이브러리 액세스
계정에 로그인하거나 가입한 후 모델 라이브러리 버튼을 클릭하세요.
2단계: 모델 선택
사용 가능한 옵션을 검토하고 필요에 맞는 모델을 선택하세요.
3단계: 무료 체험 시작
선택한 모델의 기능을 탐색하기 위해 무료 체험을 시작하세요.
4단계: API 키 가져오기
API 인증을 위해 새로운 API 키를 제공합니다. “설정“ 페이지로 이동하여 이미지에 표시된 대로 API 키를 복사할 수 있습니다.
5단계: API 설치
프로그래밍 언어에 맞는 패키지 관리자를 사용하여 API를 설치하세요.
설치 후 필요한 라이브러리를 개발 환경에 가져오세요. API 키로 API를 초기화하여 Novita AI LLM과 상호 작용을 시작하세요. 다음은 Python 사용자를 위한 채팅 완료 API 사용 예제입니다.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/openai",
api_key="",
)
model = "deepseek/deepseek-v3.1"
stream = True # or False
max_tokens = 81920
system_content = "Be a helpful assistant"
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
옵션 2: OpenAI Agents SDK를 사용한 다중 에이전트 워크플로우
DeepSeek-V3.1의 이중 모드 기능을 활용하는 정교한 다중 에이전트 시스템을 구축하세요:
- 플러그 앤 플레이 통합: 모든 OpenAI Agents 워크플로우에서 DeepSeek V3.1 사용
- 고급 에이전트 기능: 핸드오프, 라우팅 및 도구 통합 지원
- 확장 가능한 아키텍처: DeepSeek V3.1의 기능을 활용하는 에이전트 설계
DeepSeek V3.1에 접근하는 방법: Claude Code 통합
1단계: Claude Code 설치
Claude Code를 설치하기 전에 시스템이 최소 요구 사항을 충족하는지 확인하세요. 로컬 환경에 Node.js 18 이상이 설치되어 있어야 합니다. 터미널에서 node --version을 실행하여 Node.js 버전을 확인할 수 있습니다.
명령 프롬프트(Windows) 또는 터미널(Mac/Linux)을 열고 다음을 실행하세요:
npm install -g @anthropic-ai/claude-code
전역 설치를 통해 시스템의 모든 디렉터리에서 Claude Code에 액세스할 수 있습니다. 설치 프로세스는 모든 플랫폼에서 필요한 종속성과 PATH 변수를 자동으로 구성합니다.
2단계: 환경 변수 설정
환경 변수는 Claude Code가 Novita AI의 API 엔드포인트를 통해 DeepSeek V3.1을 사용하도록 구성합니다. 이러한 변수는 Claude Code에 요청을 보낼 위치와 인증 방법을 알려줍니다.
- Windows의 경우
명령 프롬프트를 열고 다음 환경 변수를 설정하세요:
set ANTHROPIC_BASE_URL=https://api.novita.ai/anthropic
set ANTHROPIC_AUTH_TOKEN=<Novita API Key>
set ANTHROPIC_MODEL=deepseek/deepseek-v3.1
set ANTHROPIC_SMALL_FAST_MODEL=deepseek/deepseek-v3.1
<Novita API Key>를 Novita AI 플랫폼에서 얻은 실제 API 키로 바꾸세요. 이러한 변수는 현재 세션 동안 활성 상태로 유지되며 명령 프롬프트를 닫으면 다시 설정해야 합니다.
- Mac 및 Linux의 경우
터미널을 열고 다음 환경 변수를 내보내세요:
export ANTHROPIC_BASE_URL="https://api.novita.ai/anthropic"
export ANTHROPIC_AUTH_TOKEN="<Novita API Key>"
export ANTHROPIC_MODEL="deepseek/deepseek-v3.1"
export ANTHROPIC_SMALL_FAST_MODEL="deepseek/deepseek-v3.1"
3단계: Claude Code 시작
설치 및 구성이 완료되면 이제 프로젝트 디렉토리에서 Claude Code를 시작할 수 있습니다. cd 명령을 사용하여 원하는 프로젝트 위치로 이동하세요:
cd <your-project-directory>
claude .
점(.) 매개변수는 Claude Code가 현재 디렉토리에서 작동하도록 지시합니다. 시작 시 대화형 세션에 Claude Code 프롬프트가 표시됩니다.
이는 도구가 지침을 받을 준비가 되었음을 나타냅니다. 인터페이스는 자연어 프로그래밍 상호 작용을 위한 깔끔하고 직관적인 환경을 제공합니다.
4단계: 첫 번째 프로젝트 구축
Claude Code는 상세한 프로젝트 설명을 기능적인 애플리케이션으로 변환하는 데 탁월합니다. 프롬프트를 입력한 후 Enter를 눌러 작업을 시작하세요. Claude Code는 요구 사항을 분석하고 필요한 파일을 생성하며 기능을 구현하고 문서와 함께 완전한 프로젝트 구조를 제공합니다.
DeepSeek V3.1에 접근하는 방법: 다른 타사 플랫폼과 연결
개발 도구: OpenAI 호환 API 및 Anthropic 호환 API를 통해 Cursor, Trae, Qwen Code, Cline과 같은 인기 IDE 및 개발 환경과 원활하게 통합하세요.
오케스트레이션 프레임워크: 공식 커넥터를 사용하여 LangChain, Dify, CrewAI, Langflow 및 기타 AI 오케스트레이션 플랫폼에 연결하세요.
Hugging Face 통합: Novita AI는 Hugging Face의 공식 추론 제공자 역할을 하여 광범위한 에코시스템 호환성을 보장합니다.
FAQ
Novita AI는 개발자가 간단한 API를 사용하여 AI 모델을 쉽게 배포할 수 있는 방법을 제공하는 동시에 구축 및 확장을 위한 저렴하고 안정적인 GPU 클라우드를 제공하는 AI 클라우드 플랫폼입니다.
추천 자료
Novita AI에서 DeepSeek-V3.1 사용 가능: 향상된 컨텍스트 창 및 혁신적인 하이브리드 사고 모드
