Novita AI의 DeepSeek-V3.2-Exp: 희소 주의(Sparse Attention)로 장문 컨텍스트 AI 처리 비용 절반, 속도 대폭 향상

DeepSeek가 방금 DeepSeek-V3.2-Exp를 출시했습니다. 이 실험용 모델은 AI의 가장 큰 과제 중 하나인 장문 문서의 효율적이고 저렴한 처리를 해결합니다.

DeepSeek-V3.1-Terminus를 기반으로 구축된 이 새 모델은 DeepSeek 희소 주의(DeepSeek Sparse Attention, DSA)를 도입했습니다. 이는 장문 컨텍스트 시나리오에서 비용을 절반으로 줄이고 속도를 크게 향상시키는 획기적인 기술입니다.

Novita AI에서는 사용하기 쉬운 API 플랫폼을 통해 개발자에게 이 최신 모델을 제공합니다. 문서 분석 도구, 코드 어시스턴트, 전체 대화를 기억해야 하는 챗봇을 구축하든, DeepSeek-V3.2-Exp는 품질을 희생하지 않고 필요한 효율성과 비용 절감을 제공합니다.

DeepSeek V3.2 Exp 데모 체험

DeepSeek-V3.2-Exp가 특별한 이유는 무엇인가요?

DeepSeek-V3.2-Exp는 전통적인 모델보다 장문 문서와 대화를 더 효율적으로 처리하도록 설계된 실험용 AI 모델입니다.

"Exp"는 실험용을 의미합니다. DeepSeek는 실제 애플리케이션에서 얼마나 잘 작동하는지 테스트하기 위해 새로운 접근 방식을 시험하고 있습니다.

해결하는 문제

전통적인 AI 모델은 장문 텍스트를 처리할 때 속도가 크게 느려집니다.

100페이지 분량의 문서를 읽거나 긴 대화를 유지하는 것은 비용이 많이 들고 시간이 오래 걸립니다. 이는 표준 모델이 모든 단어를 다른 모든 단어와 관련지어 처리해야 하기 때문입니다. 텍스트가 길수록 필요한 계산량이 늘어납니다.

해결책: 희소 주의(Sparse Attention)

DeepSeek-V3.2-Exp는 DeepSeek 희소 주의(DSA)를 도입했는데, 이는 스마트 필터처럼 작동합니다.

모든 단어를 다른 모든 단어와 분석하는 대신, 모델은 가장 관련성 높은 부분만 식별하고 집중합니다. 속독과 비슷하다고 생각하시면 됩니다: 모든 단어를 똑같이 주의 깊게 읽지 않고, 가장 중요한 부분에 집중하는 것이죠.

주요 기능

• 컨텍스트 길이: 최대 128,000 토큰 처리 가능 (약 96,000 단어 또는 300페이지 이상)
• 비용 절반: 장문 컨텍스트 처리 시 DeepSeek-V3.1-Terminus 대비 50% 저렴한 비용
• 속도 대폭 향상: 특히 장문 컨텍스트 시나리오에서 훈련 및 추론 모두에서 효율성이 크게 개선됨
• 아키텍처: DeepSeek 희소 주의를 추가해 DeepSeek-V3.1-Terminus를 기반으로 구축됨
• 동일한 품질: DeepSeek-V3.1-Terminus와 유사한 수준의 성능을 유지

이 모델은 이미 128K 컨텍스트 길이를 지원하는 검증된 DeepSeek-V3.1-Terminus 기반 위에 구축되며, 추가 훈련을 통해 이 지능형 효율성 레이어를 더했습니다.

비용 효율성 혁신

DeepSeek 희소 주의(DSA)는 핵심 주의(attention) 복잡도를 O(L²)에서 O(Lk)로 줄입니다. 여기서 k는 선택된 토큰 수로, L보다 훨씬 작습니다.

번개 인덱서(lightning indexer)는 여전히 O(L²) 복잡도를 가지지만, 주요 주의 메커니즘에 비해 훨씬 적은 계산이 필요합니다. 최적화된 구현과 결합해 DSA는 장문 컨텍스트 시나리오에서 상당한 종단간(end-to-end) 속도 향상을 달성합니다.

DeepSeek는 H800 GPU에서 시간당 2 USD의 임대 가격으로 실제 서비스에 배포된 DeepSeek-V3.1-Terminus와 DeepSeek-V3.2-Exp를 벤치마크했습니다.

결과는 컨텍스트 길이가 길어질수록 특히 효율성 개선이 극명하게 드러났습니다.

아키텍처 및 구현 세부 정보는 공식 기술 문서에서 확인하세요.

성능: 실제로 작동하나요?

DeepSeek는 다양한 역량을 다루는 벤치마크 모음에서 이 모델을 평가했습니다.

전반적으로 DeepSeek-V3.2-Exp는 DeepSeek-V3.1-Terminus에 비해 실질적인 성능 저하를 보이지 않았습니다.

일반 지식

벤치마크	DeepSeek-V3.1-Terminus	DeepSeek-V3.2-Exp
MMLU-Pro	85.0	85.0
GPQA-Diamond	80.7	79.9
Humanity’s Last Exam	21.7	19.8

참고: GPQA, HLE, HMMT 2025에서의 성능이 낮은 이유는 DeepSeek-V3.2-Exp가 생성하는 추론 토큰 수가 적기 때문입니다. 유사한 토큰 수를 생성하는 중간 체크포인트에서는 성능 격차가 줄어드는 것을 확인할 수 있습니다.

웹 검색 및 에이전트

벤치마크	DeepSeek-V3.1-Terminus	DeepSeek-V3.2-Exp
BrowseComp	38.5	40.1
BrowseComp_zh	45.0	47.9
SimpleQA	96.8	97.1

흥미롭게도, 이 모델은 검색 작업에서 오히려 성능이 향상되었습니다! 이는 희소 주의가 긴 컨텍스트에서 답변을 검색할 때 관련 정보에 집중하도록 모델을 도울 수 있음을 시사합니다.

코드 생성

벤치마크	DeepSeek-V3.1-Terminus	DeepSeek-V3.2-Exp
LiveCodeBench (2408-2505)	74.9	74.1
Codeforces-Div1 Rating	2046	2121
Aider-Polyglot	76.1	74.5

이 모델은 강력한 코딩 역량을 보여주며, 심지어 경쟁 프로그래밍 평점(Codeforces에서 2121은 전문가 수준)이 더 높게 나타났습니다.

코드 에이전트

벤치마크	DeepSeek-V3.1-Terminus	DeepSeek-V3.2-Exp
SWE Verified (Agent 모드)	68.4	67.8
SWE-bench Multilingual (Agent 모드)	57.8	57.9
Terminal-bench (Terminus 1 프레임워크)	36.7	37.7

이 모델은 실제 소프트웨어 엔지니어링 작업을 해결하기 위한 강력한 에이전트 역량을 유지합니다.

수학

벤치마크	DeepSeek-V3.1-Terminus	DeepSeek-V3.2-Exp
AIME 2025	88.4	89.3
HMMT 2025	86.1	83.6

이 모델은 AIME 2025(도전적인 고등학교 수학 경시대회)에서 뛰어난 성적을 거두었으며, 문제의 89.3%를 해결했습니다.

훈련 안정성

DeepSeek는 BrowseComp와 SWE Verified에서 두 모델의 강화 학습 훈련 곡선을 비교했습니다.

두 모델 모두 훈련 과정 전반에 걸쳐 꾸준히 성능이 향상되었으며 곡선이 거의 일치해 DSA의 훈련 안정성을 반영했습니다.

Novita AI에서 시작하기

Novita AI를 통해 DeepSeek-V3.2-Exp에 접근하면 다양한 기술 수준과 사용 사례에 맞춘 여러 경로를 제공합니다.

AI 역량을 탐색하는 비즈니스 사용자이든 프로덕션 애플리케이션을 구축하는 개발자이든, Novita AI는 필요한 도구를 제공합니다.

플레이그라운드 사용 (코딩 불필요)

• 즉시 접근: 가입 후 몇 초 만에 DeepSeek-V3.2-Exp로 실험을 시작하세요
• 인터랙티브 인터페이스: 프롬프트를 테스트하고 실시간으로 출력 결과를 시각화하세요
• 모델 비교: 특정 사용 사례에 맞춰 DeepSeek-V3.2-Exp를 다른 주요 모델과 비교하세요

플레이그라운드를 사용하면 별도의 기술 설정 없이 다양한 프롬프트를 테스트하고 즉시 결과를 확인할 수 있습니다.

프로토타이핑, 아이디어 테스트, 전체 구현 전 모델 역량을 파악하기에 완벽합니다.

DeepSeek V3.2 Exp 데모 체험

API로 통합 (개발자용)

Novita AI의 통합 REST API를 사용해 DeepSeek-V3.2-Exp를 애플리케이션에 연결하세요.

옵션 1: 직접 API 통합

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/openai",
    api_key="session_lnrv9fuPcmgAz_fk3YmwpmOhfIpYY11iFpvaauxsvknzSam5bSQasB-eIUbv9o2PGSF_tpNcC44ez9wAxUyuDA==",
)

model = "deepseek/deepseek-v3.2-exp"
stream = True # or False
max_tokens = 81920
system_content = "Be a helpful assistant"
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  
  

옵션 2: OpenAI Agents SDK를 활용한 멀티 에이전트 워크플로우

DeepSeek-V3.2-Exp의 역량을 활용해 정교한 멀티 에이전트 시스템을 구축하세요:

• 플러그 앤 플레이 통합: 모든 OpenAI Agents 워크플로우에서 DeepSeek-V3.2-Exp 사용 가능
• 고급 에이전트 역량: 핸드오프, 라우팅, 도구 통합 지원
• 확장 가능한 아키텍처: DeepSeek-V3.2-Exp의 효율적인 장문 컨텍스트 처리 역량을 활용하는 에이전트 설계

서드파티 플랫폼 연동

• 개발 도구: OpenAI 호환 API 및 Anthropic 호환 API를 통해 Cursor, Codex, Claude Code, Trae, Qwen Code, Cline 등 인기 IDE 및 개발 환경과 원활하게 통합됩니다.
• 오케스트레이션 프레임워크: 공식 커넥터를 사용해 LangChain, Dify, CrewAI, Langflow 등 AI 오케스트레이션 플랫폼과 연결할 수 있습니다.
• Hugging Face 연동: Novita AI는 Hugging Face의 공식 추론 제공자로, 광범위한 생태계 호환성을 보장합니다.

결론

DeepSeek-V3.2-Exp는 효율적이고 저렴한 장문 컨텍스트 AI 처리의 중요한 발전을 나타냅니다.

DeepSeek 희소 주의를 통해 이 모델은 DeepSeek-V3.1-Terminus 대비 비용을 절반으로 줄이고, 특히 장문 컨텍스트 시나리오에서 훈련 및 추론 모두에서 상당한 효율성 개선과 속도 향상을 달성하면서도 DeepSeek-V3.1-Terminus와 유사한 성능을 유지합니다.

DeepSeek는 희소 주의 아키텍처의 잠재적 한계를 파악하기 위해 실제 시나리오에서 추가 대규모 테스트를 적극적으로 진행하고 있습니다.

Novita AI는 개발자 친화적인 API 플랫폼을 통해 이 실험용 기술에 접근하는 과정을 단순화했습니다. 인프라 복잡성 없이, 50% 비용 절감과 함께 강력한 AI를 손쉽게 이용할 수 있습니다.

효율적이고 저렴한 장문 컨텍스트 AI의 미래를 경험할 준비가 되셨나요? 오늘 플레이그라운드에서 DeepSeek-V3.2-Exp를 탐색해 보세요.

Novita AI는 간단한 API를 통해 AI 모델을 손쉽게 배포할 수 있는 방법을 개발자에게 제공하는 AI 클라우드 플랫폼으로, 구축 및 확장을 위한 합리적인 가격의 신뢰할 수 있는 GPU 클라우드도 함께 제공합니다.