주요 하이라이트
DeepSeek V3 0324는 논리적 추론, 수학 문제 해결, 함수 호출 정확도, 특화된 언어 능력에서 상당한 개선을 제공합니다.
Novita AI에서 무료 체험을 시작할 수 있습니다!
주요 특징은 확장된 128,000 토큰 컨텍스트 윈도우로, 더 나은 장문 이해를 가능하게 합니다.
가격은 매우 경쟁력 있습니다: 입력 토큰 100만 개당 $0.39, 출력 토큰 100만 개당 $1.3.
DeepSeek은 DeepSeek-V3-0324를 출시하여 인공지능의 기준을 다시 한 번 높였습니다. 이 오픈소스 언어 모델은 이전 모델보다 훨씬 뛰어난 성능을 보여주며, GPT-4.5 및 Claude 3.7 Sonnet과 같은 최고의 경쟁자를 손쉽게 능가합니다.
DeepSeek V3 0324란?
DeepSeek V3 0324 개요
| 기본 정보 | 출시일 | 2025년 3월 24일 |
| 모델 크기 | 671B 파라미터 (토큰당 37B 활성) | |
| 오픈 소스 | 공개 | |
| 아키텍처 | Mixture-of-Experts (MoE) | |
| 기능 | 함수 호출 지원 | |
| 언어 지원 | 지원 다국어 | 중국어 능력 향상 |
| 멀티모달 | 멀티모달 기능 | 텍스트-텍스트 |
| 훈련 | 훈련 데이터 | 14.8조 개의 다양한 토큰 |
| 정밀도별 모델 크기 | 텐서 유형 | BF16/F8_E4M3/F32 |
DeepSeek V3 0324의 주요 특징
프론트엔드 웹 개발
- 향상된 코드 실행 가능성:
- 시맨틱 HTML 사용, 코드 유지 관리, 버전 관리 등 최상의 관행을 따라 가독성과 유지보수성을 보장합니다.
- 더 아름다운 웹 페이지 및 게임 프론트엔드:
- 반응형 디자인과 CSS 프레임워크(예: Sass, Bootstrap)를 사용하여 시각적 매력과 다양한 기기에서의 레이아웃을 개선합니다.
중국어 작문 능력
- 향상된 스타일 및 콘텐츠 품질:
- 《난정서》의 우아한 문체와 같은 스타일을 연구하고 모방하여 글의 유창함과 우아함을 향상시킵니다.
- 중장문 작문 품질 향상:
- 기승전결과 같은 구조를 사용하여 명확하고 논리적인 글의 흐름을 만듭니다.
기능 향상
- 향상된 다중 턴 대화형 재작성:
- 자연어 처리를 활용한 도구를 개발하여 다중 턴 대화를 지원하고 상호작용성을 높입니다.
- 최적화된 번역 품질 및 편지 작성:
- DeepSeek과 같은 머신러닝 모델을 사용하여 번역 정확도를 높이고 편지에 대한 글쓰기 스타일 제안을 제공합니다.
Novita AI가 DeepSeek V3 0324 를 도입하여 더 긴 128,000 컨텍스트와 놀라운 가격(입력 토큰 100만 개당 $0.39, 출력 토큰 100만 개당 $1.3)을 제공합니다.
또한 이 버전은 함수 호출 을 완벽하게 지원합니다.
Novita AI에서 무료 체험을 시작할 수 있습니다!
로컬에서 DeepSeek V3 0324 사용하기
하드웨어 요구 사항
| 모델 | 모델 VRAM | GPU 필요 | GPU 필요 |
| DeepSeek V3 0324 | ~1532 GB | 24Xh100(80*24GB) | 1920GB |
| 4비트 모델 | ~386 GB | 8Xh100(80*24GB) | 640GB |
또는 다른 비트 방식을 사용할 수 있습니다:
출처: unsloth
단계별 가이드
1단계: llama.cpp 얻기 및 빌드
1. 리포지토리 복제 및 종속성 설치:
<code>sudo apt-get update sudo apt-get install -y pciutils build-essential cmake curl libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp</code>
2. llama.cpp 빌드:
<code>make llama.cpp -B llama.cpp/build \ -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON</code>
3. 바이너리 컴파일:
<code>cmake --build llama.cpp/build --config Release -j --clean-first --target llama-quantize llama-cli llama-gguf-split cp llama.cpp/build/bin/llama-* llama.cpp</code>
2단계: 모델 다운로드
1. 필요한 Python 라이브러리 설치:
<code>pip install huggingface_hub hf_transfer</code>
2. DeepSeek-V3-0324 GGUF 모델 다운로드:
import os
from huggingface_hub import snapshot_download
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
snapshot_download(
repo_id="unsloth/DeepSeek-V3-0324-GGUF",
local_dir="unsloth/DeepSeek-V3-0324-GGUF",
allow_patterns=["*UD-Q2_K_XL*"] # Dynamic 2.7-bit (230GB)
)
3단계: 모델 실행
하드웨어에 따라 매개변수 조정:
--threads: CPU 스레드 수 (예: 고코어 CPU의 경우 32).
--ctx-size: 컨텍스트 길이 (예: 대용량 메모리의 경우 16384).
--n-gpu-layers: GPU로 오프로드되는 레이어 수. 성능 향상을 위해 증가시키지만 GPU 메모리가 부족하면 줄입니다. CPU 전용 추론의 경우 생략합니다.
API를 통해 DeepSeek V3 0324 사용하기
Novita AI는 개발자가 간단한 API를 사용하여 AI 모델을 쉽게 배포할 수 있는 AI 클라우드 플랫폼이며, 구축 및 확장을 위한 저렴하고 안정적인 GPU 클라우드도 제공합니다.
1단계: 로그인 및 모델 라이브러리 접근
계정에 로그인하고 모델 라이브러리 버튼을 클릭합니다.
2단계: 모델 선택
사용 가능한 옵션을 살펴보고 필요에 맞는 모델을 선택합니다.
3단계: 무료 체험 시작
선택한 모델의 기능을 탐색하기 위해 무료 체험을 시작합니다.
4단계: API 키 얻기
API 인증을 위해 새로운 API 키를 제공합니다. ‘설정’ 페이지로 이동하여 이미지에 표시된 대로 API 키를 복사할 수 있습니다.
5단계: API 설치
프로그래밍 언어에 맞는 패키지 관리자를 사용하여 API를 설치합니다.
설치 후 필요한 라이브러리를 개발 환경으로 가져옵니다. API 키로 API를 초기화하여 Novita AI LLM과 상호작용을 시작합니다. 다음은 Python 사용자를 위한 채팅 완성 API 예시입니다.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="<YOUR Novita AI API Key>",
)
model = "deepseek/deepseek-v3-0324"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Chatbox를 통해 DeepSeek V3 0324 사용하기
1단계: Chatbox 설치
- ‘설정’ 옵션을 선택합니다. 이 설정은 Novita AI와 같은 OpenAI API 표준을 따르는 API와의 호환성을 보장합니다.
- 구성 필드를 입력합니다:
- 기본 URL:
https://api.novita.ai/v3/openai입력. - API 키: 여기에 Novita AI API 키를 붙여넣습니다.
- 모델 이름: 이전에 복사한 모델 이름을 붙여넣습니다 (예:
deepseek/deepseek-v3-0324).
- 기본 URL:
- 구성이 완료되면 완료 를 클릭합니다.
클라우드 GPU를 통해 DeepSeek V3 0324 사용하기
1단계: 계정 등록
Novita AI가 처음이라면 웹사이트에서 계정을 만드세요. 등록 후 ‘GPUs’ 탭으로 이동하여 사용 가능한 리소스를 확인하고 여정을 시작하세요.
2단계: 템플릿 및 GPU 서버 탐색
프로젝트 요구사항에 맞는 템플릿(예: PyTorch, TensorFlow, CUDA)을 선택하세요. 요구사항에 맞는 버전(예: PyTorch 2.2.1 또는 CUDA 11.8.0)을 선택하세요. 그런 다음 충분한 VRAM, RAM, 디스크 용량으로 까다로운 작업을 처리할 수 있는 강력한 성능을 제공하는 A100 GPU 서버 구성을 선택하세요.
3단계: 배포 맞춤 설정
템플릿과 GPU를 선택한 후 운영 체제 버전(예: CUDA 11.8)과 같은 매개변수를 조정하여 배포 설정을 사용자 지정합니다. 다른 구성을 조정하여 프로젝트의 특정 요구사항에 맞게 환경을 조정할 수도 있습니다.
4단계: 인스턴스 시작
템플릿과 배포 설정을 확정한 후 “Launch Instance” 를 클릭하여 GPU 인스턴스를 설정합니다. 그러면 환경 설정이 시작되어 AI 작업에 GPU 리소스를 사용할 수 있습니다.
Novita AI, 15개 플랫폼 통합
Novita AI는 15개 플랫폼과 통합되었으며, 자세한 튜토리얼은 문서에서 확인할 수 있습니다.
DeepSeek V3 0324는 AI 기능의 중요한 발전을 나타내며, 높은 성능과 저렴한 가격 구조를 제공합니다. 다국어 능력, 확장된 컨텍스트 윈도우, 함수 호출 지원으로 개발자에게 다재다능한 도구입니다. 로컬로 사용하든 Novita AI API를 통해 사용하든 DeepSeek V3 0324는 자연어 처리부터 멀티모달 애플리케이션에 이르기까지 다양한 AI 작업에 강력한 솔루션을 제공합니다.
자주 묻는 질문
DeepSeek V3 0324의 가격은 어떻게 되나요?
가격은 입력 토큰 100만 개당 $0.39, 출력 토큰 100만 개당 $1.3으로, Novita AI에서 개발자에게 비용 효율적입니다.
로컬에서 DeepSeek V3 0324를 실행하려면 어떤 하드웨어가 필요한가요?
이 모델은 약 1532GB의 VRAM과 각각 80GB인 24x H100 GPU(총 1920GB)를 포함한 상당한 하드웨어 리소스가 필요합니다.
DeepSeek V3 0324는 함수 호출을 지원하나요?
네, 함수 호출을 완전히 지원하므로 개발자가 더 복잡한 워크플로우에 통합할 수 있습니다.
Novita AI는 개발자가 간단한 API를 사용하여 AI 모델을 쉽게 배포할 수 있는 AI 클라우드 플랫폼이며, 구축 및 확장을 위한 저렴하고 안정적인 GPU 클라우드도 제공합니다.
