Qwen3-235B-A22B-Thinking-2507, 이제 Novita AI에서 이용 가능

알리바바의 혁신적인 Qwen3-235B-A22B-Thinking-2507이 이제 Novita AI에서 제공됩니다.

이 사고 모델은 추론 벤치마크에서 OpenAI O4-mini, Claude4 Opus 및 다른 업계 선두 모델들을 능가하며 비용은 극히 일부에 불과합니다. AIME25에서 92.3%를 기록하고 기본 256K 컨텍스트를 지원하여 복잡한 문제 해결에 새로운 기준을 제시합니다. 이 모델은 235B 파라미터(22B 활성화)를 갖추고 있으며 수학적 추론, 코딩 및 분석 작업을 위한 향상된 사고 기능을 제공합니다.

현재 Novita AI 가격: 131072 컨텍스트, 입력 토큰당 $0.3/M, 출력 토큰당 $3/M.

235B-A22B-Thinking-2507 데모 사용해 보기

Qwen3-235B-A22B-Thinking-2507이란?

Qwen3-235B-A22B-Thinking-2507은 알리바바의 주력 235B 파라미터 모델의 향상된 사고 버전입니다. 3개월간의 지속적인 최적화를 통해 이 모델은 추론 깊이, 수학적 문제 해결 및 복잡한 분석 작업에서 상당한 개선을 제공합니다.

이 모델은 Qwen3-235B-A22B 아키텍처를 기반으로 하여 사고 기능에 특화된 개선 사항을 적용했습니다. 학술 벤치마크에서 오픈소스 사고 모델 중 최고 수준의 결과를 달성합니다.

** 획기적인 개선 사항 **

** 획기적인 사고 개선 ** 논리적 추론, 수학, 과학 및 코딩에서 극적인 도약. 이 모델은 일반적으로 인간 전문 지식이 필요한 학술 벤치마크에서 탁월한 성능을 발휘합니다.

** 향상된 일반 기능 ** 명령 수행, 도구 사용 및 텍스트 생성이 현저히 개선되었습니다. 구조화된 사고 프로세스를 유지하면서 인간 선호도에 더 잘 정렬되었습니다.

** 확장된 컨텍스트 숙달 ** 256K 긴 컨텍스트 이해는 전체 문서, 연구 논문 및 확장된 추론 체인에서 완벽한 일관성을 유지합니다.

** 참고:** 복잡한 추론 작업에는 확장된 사고 기능을 사용하는 것이 좋습니다.

주요 특징 및 기능

기술 사양

• 유형: 인과 언어 모델
• 학습 단계: 사전 학습 및 사후 학습
• 총 파라미터: 235B (22B 활성화)
• 파라미터 수(비임베딩): 234B
• 아키텍처: 94개 레이어
• 어텐션 헤드(GQA): Q용 64, KV용 4
• 전문가: 총 128개 (8개 활성화)
• 컨텍스트 길이: 기본 262,144 토큰
• 모드: 사고 모드 전용 (자동 thinking 태그 포함)

성능 벤치마크

Qwen3-235B-A22B-Thinking-2507은 업계 리더와 경쟁할 뿐만 아니라 압도합니다. 이 사고 모델은 종합 평가 벤치마크에서 프리미엄 모델들을 일관되게 능가합니다.

** 종합 성능 결과 **

** 출처:** Qwen 공식 Hugging Face

주요 성능 하이라이트

** 수학적 우수성 ** AIME25에서 92.3%를 달성하여 OpenAI O4-mini(92.7%)에 근접하고 다른 모든 모델을 능가합니다. HMMT25에서 83.9%를 기록하여 Gemini-2.5 Pro(82.5%)를 초과하고 Claude4 Opus Thinking(58.3%)을 크게 앞섭니다.

** 뛰어난 지식 이해 ** GPQA에서 81.1%에 도달하여 Deepseek-R1 및 OpenAI O4-mini 수준에 근접합니다. SuperGPQA에서 필드 선도적인 64.9%를 달성하여 Gemini-2.5 Pro(62.3%)를 포함한 모든 경쟁사를 능가합니다.

** 코딩 리더십 ** LiveCodeBench v6에서 74.1%로 압도하여 Gemini-2.5 Pro(72.5%) 및 OpenAI O4-mini(71.8%)를 포함한 모든 모델을 능가합니다. 평가된 모든 모델 중 가장 높은 CFEval 점수 2134를 달성했습니다.

** 추론 숙달 ** LiveBench에서 78.4%를 기록하여 최고 모델들과 경쟁합니다. HLE(텍스트 전용 하위 집합)에서 18.2%를 달성하여 OpenAI O4-mini(18.1%)에 근접하고 이전 Qwen3 버전(11.8%)을 능가합니다.

** 사용자 선호도 정렬 ** Arena-Hard v2에서 79.7%를 달성하여 OpenAI O3(80.8%) 다음으로 높고 Deepseek-R1(72.2%)을 능가합니다. WritingBench에서 88.3%로 가장 높은 점수를 기록하여 모든 경쟁사를 초과했습니다.

** 다국어 우수성 ** MultiIF에서 80.6%로 선두를 차지하여 OpenAI O3(80.3%)를 제외한 대부분의 모델을 능가합니다. PolyMATH에서 획기적인 60.1%를 달성하여 Gemini-2.5 Pro(52.2%)를 포함한 모든 경쟁사를 크게 앞질렀습니다.

Novita AI에서 Qwen3-235B-A22B-Thinking-2507에 액세스하는 방법

개발자와 연구원이 Novita AI에서 Qwen3-235B-A22B-Thinking-2507을 시작하는 것은 간단합니다.

** 플레이그라운드 사용(코딩 불필요)**

• 즉시 액세스: 가입하고 몇 초 안에 Qwen3-235B-A22B-Thinking-2507을 실험해 보세요.
• 대화형 인터페이스: 복잡한 추론 프롬프트를 테스트하고 실시간으로 구조화된 출력을 시각화하세요.
• 모델 비교: 특정 사용 사례에 대해 Qwen3-235B-A22B-Thinking-2507을 다른 주요 모델과 비교하세요.

** API를 통한 통합(개발자용)**

Novita AI의 통합 REST API를 사용하여 Qwen3-235B-A22B-Thinking-2507을 애플리케이션에 연결하세요.

** 옵션 1: 직접 API 통합(Python 예제)**

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="session_CnjsV-lI2tqhCbXYRCfnfGoFieN4Ubn2A-5n07_AE0vOcfoffz0egjxrlijiCdtsOlBLaPuCbLNhDmP3naR3Dg==",
)

model = "qwen/qwen3-235b-a22b-thinking-2507"
stream = True # or False
max_tokens = 65536
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  

** 주요 기능:**

• 원활한 통합을 위한 OpenAI 호환 API
• 미세 조정을 위한 유연한 파라미터 제어
• 실시간 응답을 위한 스트리밍 지원

** 옵션 2: OpenAI Agents SDK를 사용한 다중 에이전트 워크플로우 **

Qwen3-235B-A22B-Instruct-2507을 사용하여 정교한 다중 에이전트 시스템을 구축하세요:

• 플러그 앤 플레이 통합: Novita AI의 모델을 모든 OpenAI Agents 워크플로우에서 사용하세요.
• 고급 에이전트 기능: 핸드오프, 라우팅 및 도구 통합 지원
• 확장 가능한 아키텍처: 작업을 위임하고 복잡한 함수를 실행할 수 있는 에이전트 설계

타사 플랫폼과 연결

• 개발 도구: OpenAI 호환 API를 통해 Cursor, Trae 및 Cline과 같은 인기 IDE 및 개발 환경과 원활하게 통합하세요.
• 오케스트레이션 프레임워크: 공식 커넥터를 사용하여 LangChain, Dify, Langflow 및 기타 AI 오케스트레이션 플랫폼에 연결하세요.
• Hugging Face 통합: Novita AI 엔드포인트를 통해 Spaces, 파이프라인 또는 Transformers 라이브러리에서 Qwen3-235B-A22B-Instruct-2507을 사용하세요.

최적 성능을 위한 모범 사례

최적의 성능을 위해 다음 공식 Qwen 팀 지침을 따르세요.

** 권장 샘플링 파라미터 **

• Temperature: 0.6
• TopP: 0.95
• TopK: 20
• MinP: 0

presence_penalty를 0-2 사이로 조정하여 반복을 줄이세요. 값이 높으면 가끔 언어 혼합이 발생할 수 있습니다.

** 출력 길이 지침 **

• 표준 쿼리: 32,768 토큰
• 복잡한 문제: 수학 및 프로그래밍 대회의 경우 81,920 토큰
• 충분한 공간은 상세한 사고 과정과 포괄적인 응답을 보장합니다.

** 출력 형식 표준화 **

• 수학 문제: "Please reason step by step, and put your final answer within \oxed{}."를 추가하세요.
• 객관식: JSON 구조를 포함하세요: “Please show your choice in the answer field with only the choice letter, e.g., “answer”: “C”.”

** 다중 턴 대화 **

이전 출력은 사고 내용을 제외해야 합니다. 대화 기록에는 최종 응답만 포함됩니다. Jinja2 채팅 템플릿이 이를 자동으로 처리합니다.

결론

Qwen3-235B-A22B-Thinking-2507은 오픈소스 AI가 상용 사고 모델에 필적할 수 있음을 증명합니다. AIME25에서 92.3%, LiveCodeBench에서 74.1%를 기록하여 비용 대비 OpenAI O4-mini 및 Claude4 Opus에 필적합니다. 256K 컨텍스트 윈도우와 향상된 사고 아키텍처는 복잡한 추론 작업에 탁월합니다. Novita AI에서 입력 토큰당 $0.15/M의 가격으로 최첨단 AI 추론에 대한 접근성을 민주화합니다.

지금 Novita AI에서 Qwen3-235B-A22B-Thinking-2507을 사용해 보세요.

Novita AI는 개발자가 간단한 API를 사용하여 AI 모델을 쉽게 배포할 수 있도록 하면서도 구축 및 확장을 위한 저렴하고 안정적인 GPU 클라우드를 제공하는 AI 클라우드 플랫폼입니다.