Novita AI에서 DeepSeek 모델이 이전 128K 한도에서 크게 향상된 160K 콘텐츠 길이를 지원하도록 업그레이드되었음을 알리게 되어 기쁩니다. 이번 업그레이드를 통해 이제 한 번에 더 큰 데이터 세트를 처리하고 분석할 수 있어 시간을 절약하고 효율성을 높일 수 있습니다. 한정된 기간 동안 신규 사용자는 $10 무료 크레딧 을 받아 Novita AI에서 업그레이드된 DeepSeek 모델과 다양한 기타 LLM API를 사용해 볼 수 있습니다.
DeepSeek-R1-0528
소개
DeepSeek R1 0528 은 **2025년 5월 28일 ** 에 출시된 약 **6850억 개의 파라미터 ** 를 가진 **오픈소스 대형 모델 ** 입니다. Mixture-of-Experts (MoE) 아키텍처를 사용하며 추론 시 토큰당 약 **370억 개의 파라미터 ** 를 활성화합니다. 최대 컨텍스트 길이는 128K 토큰 을 지원합니다.
이 모델은 **채팅 **, ** 추론 **, ** 코딩 **, ** 수학 ** 및 ** 함수 호출 **에서 뛰어난 성능을 보이며, 추가로 JSON ** 출력 **과 ** 함수 호출 인터페이스 **를 지원하여 ** 복잡한 작업 **을 처리하는 능력을 크게 향상시킵니다. ** 웹 콘텐츠 **, ** 코드 **, ** 수학 데이터 ** 및 ** 문서 **를 포함한 **10조 개 이상의 토큰 ** 으로 훈련되었으며, **영어 ** 와 **중국어 ** 의 이중 언어 능력에 중점을 둡니다.
훈련에는 전통적인 인간 피드백을 통한 강화 학습 (RLHF) 및 ** 미세 조정 방법 **이 사용되었으며, 후반 단계에서는 상당한 ** 컴퓨팅 자원 **과 ** 알고리즘 최적화 **가 결합되었습니다. 이 접근 방식은 효율성보다 ** 정확성 **과 ** 신뢰성 **을 우선시하여, 특히 ** 복잡한 추론 **과 ** 높은 정밀도 가 필요한 ** 엔터프라이즈 애플리케이션에 매우 적합합니다.
벤치마크
DeepSeek-V3-0324
소개
DeepSeek V3 0324는 2025년 3월 25일에 출시된 약 6710억 개의 파라미터를 가진 오픈소스 대형 모델로, 추론 시 토큰당 약 370억 개의 파라미터를 활성화합니다. Mixture-of-Experts (MoE) 아키텍처를 사용하며 최대 컨텍스트 길이 160K 토큰 을 지원하여 초장기 입력을 처리하고 확장된 출력을 생성하는 데 매우 적합합니다.
이 모델은 **다중 턴 대화 **, ** 심층 추론 **, ** 코딩 생성 ** 및 ** 수학 문제 해결 **과 같은 작업에서 뛰어난 성능을 발휘하도록 설계되었습니다. 특히 ** 중국어 **에 대한 다국어 지원이 강화되었으며, ** 텍스트-텍스트 멀티모달 ** 기능은 활용성을 더욱 확장합니다. 훈련 데이터는 웹 콘텐츠, 코드베이스 및 기술 문서를 포함한 다양한 소스의 14.8조 토큰 으로 구성되어 복잡한 응용 프로그램을 위한 강력한 지식 기반을 보장합니다.
DeepSeek V3 0324는 특정 사용 사례에 맞춰진 고급 **사전 훈련 기술 ** 과 **사후 훈련 미세 조정 ** 을 사용합니다. 이 포괄적인 접근 방식과 광범위한 컴퓨팅 자원은 정확성, 일관성 및 신뢰성을 우선시하여 **장문 콘텐츠 생성 , ** 복잡한 문제 해결 ** 및 ** 엔터프라이즈급 성능이 필요한 산업에 이상적인 모델입니다.
벤치마크
콘텐츠 길이
콘텐츠 길이란 무엇인가요?
DeepSeek과 같은 AI 모델에서 콘텐츠 길이 는 모델이 한 번의 상호 작용에서 처리하고 생성할 수 있는 최대 토큰(단어, 구두점 또는 기호) 수를 나타냅니다. 이는 모델이 한 번에 이해할 수 있는 입력의 양과 생성할 수 있는 출력의 양을 정의합니다. 더 큰 컨텍스트 창을 통해 AI 모델은 더 긴 입력을 처리하고 각 출력에 더 많은 정보를 통합할 수 있습니다.
콘텐츠 길이는 성능에 어떤 영향을 미치나요?
콘텐츠 길이는 모델의 다음 능력에 상당한 영향을 미칩니다.
- 컨텍스트 이해: 더 긴 컨텍스트 창을 통해 모델은 입력에서 더 많은 정보를 참조할 수 있어 중요한 세부 사항을 놓칠 가능성을 줄입니다.
- 일관된 출력 생성: 전체 컨텍스트에 접근할 수 있으므로 모델은 더 긴 출력에서 논리적 일관성을 유지하는 응답을 생성할 수 있습니다.
- 복잡한 추론 활성화: 코딩, 기술 분석 또는 심층 연구와 같이 다단계 추론이나 상태 추적이 필요한 작업은 확장된 컨텍스트의 이점을 크게 누릴 수 있습니다.
160K 토큰 확장의 이점
이번 업그레이드를 통해 DeepSeek-V3-0324 및 DeepSeek-R1-0528 은 이제 이전 128K 컨텍스트 창에서 크게 도약한 160K 토큰 한도 를 지원합니다. 이러한 확장은 몇 가지 주요 이점을 제공합니다.
- 초장기 대화 지원: 확장된 컨텍스트 창을 통해 이전 상호 작용을 놓치지 않고 원활한 다중 턴 대화가 가능하므로 장기적인 일관성과 기억이 필요한 작업에 이상적입니다.
- 심층 에이전트 분석 촉진: 이제 에이전트는 더 큰 데이터 세트를 분석하거나 장기간에 걸쳐 더 깊은 추론을 수행할 수 있어 비즈니스 인텔리전스나 과학 연구와 같은 응용 분야에 새로운 가능성을 열어줍니다.
- 긴 출력 애플리케이션 지원: ** 코딩 생성 , ** 문서 요약 ** 또는 ** 상세 보고서 생성과 같은 작업에서 더 크고 복잡한 입력을 처리하여 단일 출력으로 포괄적인 결과를 제공할 수 있습니다.
콘텐츠 길이를 확장함으로써 DeepSeek은 다양한 산업의 사용자에게 강력한 도구가 되어 현대 워크플로우의 요구 사항을 더 잘 처리할 수 있게 되었습니다.
Novita AI를 통해 DeepSeek 사용하기
1단계: 로그인 및 모델 라이브러리 접속
계정에 로그인하고 모델 라이브러리 버튼을 클릭합니다.
2단계: 모델 선택
사용 가능한 옵션을 탐색하고 필요에 맞는 모델을 선택합니다.
3단계: 무료 체험 시작
선택한 모델의 기능을 탐색하기 위해 무료 체험을 시작합니다.
4단계: API 키 받기
API 인증을 위해 새로운 API 키를 제공합니다. “설정” 페이지로 이동하여 이미지에 표시된 대로 API 키를 복사할 수 있습니다.
5단계: API 설치
프로그래밍 언어에 맞는 패키지 관리자를 사용하여 API를 설치합니다.
설치 후 개발 환경에 필요한 라이브러리를 불러옵니다. API 키로 API를 초기화하여 Novita AI LLM과 상호 작용을 시작합니다. 다음은 Python 사용자가 DeepSeek R1 0528에 접근하기 위해 채팅 완료 API를 사용하는 예제입니다.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="session_r5eB9eC3oBfDyuGn69eevTLAudts6AFa3JeHeml91oVyVe6uZnGUmAh7aO9rZxUSRocPWUBszQaiC39g4VGiAg==",
)
model = "deepseek/deepseek-r1-0528"
stream = True # or False
max_tokens = 65536
system_content = "Be a helpful assistant"
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
Novita AI 는 확장된 컨텍스트 길이를 갖춘 DeepSeek R1 0528 및 DeepSeek V3 0324를 모두 제공하여 더 긴 대화와 더 복잡한 프로젝트를 처리할 수 있도록 지원합니다. DeepSeek R1 0528은 100만 입력/출력 토큰당 $0.7/$2.5 의 가격으로 제공되며, DeepSeek V3 0324는 100만 토큰당 $0.28/$1.14 로 더욱 저렴하게 이용할 수 있습니다. 한정된 기간 동안 신규 사용자는 $10 무료 크레딧 을 받아 Novita AI에서 업그레이드된 DeepSeek 모델과 다양한 기타 LLM API를 사용해 볼 수 있습니다.
자주 묻는 질문
Deepseek V3 0324란 무엇인가요?
Deepseek V3 0324는 DeepSeek의 최첨단 대형 언어 모델로, 일반 대화, 이해 및 고급 추론을 위해 설계되었습니다.
확장된 컨텍스트 길이가 코딩 프로젝트에 어떤 이점을 주나요?
확장된 컨텍스트를 통해 전체 코드베이스를 공유하고, 여러 파일 간의 컨텍스트를 유지하며, 코드의 여러 부분 간의 종속성과 관계를 놓치지 않고 복잡한 리팩토링 작업을 수행할 수 있습니다. 이를 통해 AI가 정확하고 상황에 맞는 제안을 제공하는 능력이 크게 향상됩니다.
LLM에 적합한 컨텍스트 길이는 얼마인가요?
대부분의 응용 분야에서 32K-128K 토큰이 뛰어난 성능을 제공하며, Novita AI의 업그레이드된 160K 컨텍스트 길이는 제한 없이 가장 복잡한 문서와 확장된 대화를 처리할 수 있도록 보장합니다.
Novita AI 소개
Novita AI는 개발자가 간단한 API를 사용하여 AI 모델을 쉽게 배포할 수 있는 AI 클라우드 플랫폼이며, 동시에 경제적이고 신뢰할 수 있는 GPU 클라우드를 제공하여 구축을 지원합니다.
