오픈소스 혁신의 세계가 DeepSeek V3의 출시와 함께 큰 도약을 맞이했습니다. 이 고급 코드 생성 모델은 개발자들이 프로그래밍 작업에 접근하는 방식을 재정의할 것을 약속합니다. 이제 Novita AI에서 사용할 수 있는 이 획기적인 모델은 개발자, 연구자, 기술 애호가 모두에게 비할 데 없는 역량을 제공할 것입니다.
DeepSeek V3란 무엇인가?
DeepSeek V3는 최첨단 Mixture-of-Experts(MoE) 대규모 언어 모델로, 6710억 개의 파라미터를 보유하고 있으며, 추론 중에 토큰당 370억 개가 활성화됩니다. 오픈소스 모델로 출시되어 개발자가 코딩, 추론, 수학, 텍스트 생성 분야의 복잡한 문제를 해결할 수 있게 해줍니다.
DeepSeek V3는 효율적인 아키텍처와 비용 효율적인 학습으로 두드러집니다. 학습에 H800 GPU 시간 278만 8천 시간만 필요했으며, 약 550만 달러의 비용이 들었습니다. 이는 GPT-4와 같은 폐쇄형 소스 모델에 필요한 리소스보다 훨씬 적습니다. Multi-Head Latent Attention(MLA) 및 Multi-Token Prediction(MTP)과 같은 혁신적인 기술을 통합하여 DeepSeek V3는 확장 가능하고 접근 가능하면서도 탁월한 성능을 제공합니다.
DeepSeek V3의 주요 기능
1. Mixture-of-Experts (MoE) 아키텍처
DeepSeek V3는 세분화된 동적 부하 분산 기술을 갖춘 MoE 프레임워크를 사용합니다. 기존 MoE 모델과 달리 보조 손실이 필요 없어 성능 저하 없이 컴퓨팅 리소스가 효율적으로 분배됩니다.
2. Multi-Head Latent Attention (MLA)
MLA는 어텐션 키와 값을 압축하여 추론 효율성을 높이고 메모리 오버헤드를 줄이면서 높은 어텐션 품질을 유지합니다. 이를 통해 DeepSeek V3는 최대 128K 토큰의 긴 컨텍스트 윈도우를 처리할 수 있어 긴 텍스트 입력이 필요한 작업에 이상적입니다.
3. Multi-Token Prediction (MTP)
MTP 목표를 통해 DeepSeek V3는 여러 토큰을 동시에 예측할 수 있어 학습 효율성과 추론 속도를 모두 향상시킵니다. 이 기능은 긴 형식의 콘텐츠를 생성하거나 복잡한 문제를 해결하는 데 특히 유용합니다.
4. FP8 혼합 정밀도 학습
DeepSeek V3는 학습에 FP8(8비트 부동 소수점) 정밀도를 사용하여 메모리 및 컴퓨팅 비용을 절감하면서 수치적 안정성을 유지합니다. 이 혁신을 통해 모델이 대규모 하드웨어 설치 없이도 효율적으로 확장될 수 있습니다.
5. 영어 및 중국어 지원
DeepSeek V3는 영어와 중국어에 최적화되어 있어 이 두 널리 사용되는 언어를 위한 다국어 애플리케이션을 구축하는 개발자에게 탁월한 선택입니다. 다양한 언어를 지원하지는 않지만 이러한 특정 영역에서 뛰어난 성능을 발휘합니다.
DeepSeek V3의 벤치마크 성능
DeepSeek V3는 다양한 벤치마크에서 많은 오픈소스 및 폐쇄형 소스 모델을 지속적으로 능가합니다. 아래는 성능 비교입니다.
- 코딩 우수성:
- DeepSeek V3는 HumanEval-Mul (Pass@1)에서 82.6%, Codeforces에서 51.6% 를 달성하여 코드 생성 및 평가 작업에 강력한 솔루션입니다.
- LiveCodeBench (Pass@1-COT) 에서는 이전 모델을 크게 앞지르는 40.5% 를 기록하며 다른 모델과 경쟁력 있는 성능을 보여줍니다.
- 수학적 추론:
- DeepSeek V3는 MATH-500 (90.2%) 에서 선두를 달리고 CNMO 2024 (Pass@1) 및 AIME 2024 에서도 강력한 성능을 보여 고급 수학 문제 해결 능력을 입증합니다.
- 다국어 역량:
- CLUEWSC에서 90.9%, C-Eval에서 86.5% 를 기록하며 DeepSeek V3는 중국어 특화 작업에 탁월한 모델로 자리매김하고, MMLU (88.5%) 와 같은 영어 벤치마크에서도 강력한 성능을 유지합니다.
- 일반 지식 및 추론:
- DROP (3-shot F1)에서 91.6%, MMLU-Redux에서 89.1% 를 달성하여 지식 집약적인 애플리케이션에서 유용함을 보여줍니다.
DeepSeek V3 배포 옵션
DeepSeek V3는 유연한 배포 옵션을 제공하여 사용자가 워크플로에 원활하게 통합할 수 있습니다. 로컬에서 실행하든 클라우드에서 실행하든, 모델은 다양한 하드웨어와 오픈소스 커뮤니티 소프트웨어 도구를 지원합니다. 다음은 권장 배포 옵션입니다.
- DeepSeek-Infer 데모: FP8 및 BF16 추론을 위한 간단하고 가벼운 데모로 모델을 쉽게 테스트할 수 있습니다.
- SGLang: BF16 및 FP8 추론 모드에서 DeepSeek-V3 모델을 완전히 지원하며, 곧 Multi-Token Prediction도 지원할 예정입니다.
- LMDeploy: 로컬 및 클라우드 배포 모두에서 효율적인 FP8 및 BF16 추론을 가능하게 합니다.
- TensorRT-LLM: 현재 BF16 추론 및 INT4/INT8 양자화를 지원하며, 향후 업데이트에서 FP8 지원이 계획되어 있습니다.
- vLLM: FP8 및 BF16 모드에서 DeepSeek V3를 지원하며, 텐서 병렬 처리와 파이프라인 병렬 처리를 통해 효율적인 확장을 가능하게 합니다.
Novita AI를 통해 DeepSeek V3 API에 액세스하기
Novita AI 플랫폼은 사전 구성된 API와 저렴한 GPU 클라우드 인프라를 제공하여 DeepSeek V3 배포를 간소화합니다. 개발자는 하드웨어 설정이나 확장성에 대한 걱정 없이 모델을 애플리케이션에 원활하게 통합할 수 있습니다.
Novita AI에서 DeepSeek V3를 시작하려면 다음 단계를 따르세요.
1단계: Novita AI로 이동하여 Google, GitHub 계정 또는 이메일 주소로 로그인합니다.
2단계: DeepSeek V3 데모를 사용해 보세요.
3단계: Novita AI에서 모델의 LLM 메트릭 콘솔을 모니터링합니다.
4단계: API 키를 받으세요.
- 설정에서 “키 관리”로 이동합니다.
- 첫 로그인 시 기본 키가 생성됩니다.
- “+ 새 키 추가”를 클릭하여 추가 키를 생성합니다.
5단계: 개발 환경을 설정하고 콘텐츠, 역할, 이름, 프롬프트와 같은 옵션을 구성합니다.
API 통합
Novita AI는 Curl, Python 및 JavaScript용 클라이언트 라이브러리를 제공하여 프로젝트에 DeepSeek-R1 Instruct를 쉽게 통합할 수 있습니다.
Python 사용자용:
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "deepseek/deepseek_v3"
stream = True # or False
max_tokens = 8192
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
JavaScript 사용자용:
import OpenAI from "openai";
const openai = new OpenAI({
baseURL: "https://api.novita.ai/v3/openai",
apiKey: "<YOUR Novita AI API Key>",
});
const stream = true; // or false
async function run() {
const completion = await openai.chat.completions.create({
messages: [
{
role: "system",
content: "Be a helpful assistant",
},
{
role: "user",
content: "Hi there!",
},
],
model: "deepseek/deepseek_v3",
stream,
response_format: { type: "text" },
max_tokens: 8192,
temperature: 1,
top_p: 1,
min_p: 0,
top_k: 50,
presence_penalty: 0,
frequency_penalty: 0,
repetition_penalty: 1
});
if (stream) {
for await (const chunk of completion) {
if (chunk.choices[0].finish_reason) {
console.log(chunk.choices[0].finish_reason);
} else {
console.log(chunk.choices[0].delta.content);
}
}
} else {
console.log(JSON.stringify(completion));
}
}
run();
Curl 사용자용:
curl "https://api.novita.ai/v3/openai/chat/completions" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer <YOUR Novita AI API Key>" \
-d @- << 'EOF'
{
"model": "deepseek/deepseek_v3",
"messages": [
{
"role": "system",
"content": "Be a helpful assistant"
},
{
"role": "user",
"content": "Hi there!"
}
],
"response_format": { "type": "text" },
"max_tokens": 8192,
"temperature": 1,
"top_p": 1,
"min_p": 0,
"top_k": 50,
"presence_penalty": 0,
"frequency_penalty": 0,
"repetition_penalty": 1
}
EOF
지금 바로 DeepSeek V3의 강력한 기능을 활용하세요
DeepSeek V3는 확장성, 비용 효율성, 탁월한 성능을 결합한 오픈소스 AI의 획기적인 발전을 나타냅니다. GPU 및 클라우드 플랫폼 전반에 걸친 다양한 배포 옵션과 함께 DeepSeek V3는 개발자와 비즈니스 모두에게 강력한 도구입니다.
지금 Novita AI에서 DeepSeek V3를 시작하고 고급 AI의 잠재력을 프로젝트에 활용하세요.
Novita AI 소개
Novita AI는 개발자에게 간단한 API를 통해 AI 모델을 쉽게 배포할 수 있는 방법을 제공하고, 구축 및 확장을 위한 저렴하고 안정적인 GPU 클라우드를 제공하는 AI 클라우드 플랫폼입니다.
