Novita AI의 GPT OSS: API로 OpenAI 오픈소스 모델에 액세스

Novita AI는 OpenAI의 획기적인 오픈 가중치 언어 모델인 GPT OSS가 이제 당사의 추론 API를 통해 제공된다는 소식을 발표하게 되어 기쁩니다. GPT OSS 제품군은 gpt-oss-120b 와 gpt-oss-20b 라는 두 가지 최첨단 추론 모델로 구성되며, 두 모델 모두 Apache 2.0 라이선스 하에 출시됩니다.

OpenAI에 따르면, 이번 릴리스는 AI의 혜택을 폭넓게 제공하겠다는 명시된 사명에 따라 오픈소스 생태계에 대한 그들의 약속에 있어 의미 있는 한 걸음입니다. 이 모델들은 에이전트 워크플로, 도구 사용, 복잡한 추론 작업에 맞게 설계되어 독점 시스템의 제약 없이 정교한 AI 애플리케이션을 구축하는 데 이상적입니다.

Novita AI는 다음 가격에 GPT OSS를 제공합니다.

gpt-oss-120b: 입력 100만 토큰 당 $0.10 / 출력 100만 토큰 당 $0.50

gpt-oss-20b: 입력 100만 토큰 당 $0.05 / 출력 100만 토큰 당 $0.20

모델 개요 및 기능

GPT OSS 모델은 4비트 양자화 방식(MXFP4)을 사용하는 mixture-of-experts(MoE)입니다. 이를 통해 리소스 사용량을 낮게 유지하면서 빠른 추론이 가능합니다. 두 모델 모두 조정 가능한 추론 노력 수준을 갖춘 chain-of-thought 추론, 명령 따르기, 도구 사용 기능을 지원합니다.

모델	레이어	총 파라미터	토큰당 활성 파라미터	전체 전문가	토큰당 활성 전문가	컨텍스트 길이
gpt-oss-120b	36	117B	5.1B	128	4	128k
gpt-oss-20b	24	21B	3.6B	32	4	128k

gpt-oss-120b: 고성능 추론

gpt-oss-120b 모델은 117B의 총 파라미터와 5.1B의 활성 파라미터를 갖추고 있습니다. 최적화된 인프라에서 효율적으로 실행되면서 핵심 추론 벤치마크에서 OpenAI o4-mini와 거의 동등한 성능을 달성합니다.

이 모델은 경쟁 코딩(Codeforces), 일반 문제 해결(MMLU 및 HLE), 도구 호출(TauBench)에서 OpenAI o3-mini를 능가하고 OpenAI o4-mini와 동등하거나 그 이상의 성능을 보여줍니다.

플레이그라운드에서 gpt-oss-120b 테스트하기

gpt-oss-20b: 효율적인 엣지 추론

gpt-oss-20b 모델은 21B의 총 파라미터와 3.6B의 활성 파라미터를 포함합니다. 효율적인 배포 시나리오를 위해 설계되었습니다. 120B 모델은 단일 H100 GPU에 맞고, 20B 모델은 16GB 메모리 내에서 실행되므로 소비자 하드웨어 및 온디바이스 애플리케이션에 완벽합니다.

더 작은 크기임에도 불구하고 경쟁 수학(AIME 2024 및 2025) 및 건강 관련 쿼리(HealthBench)에서 더 나은 성능을 보이며, 표준 벤치마크에서 OpenAI o3-mini와 동등하거나 그 이상의 성능을 발휘합니다.

플레이그라운드에서 gpt-oss-20b 테스트하기

핵심 기능 및 기술 사양

아키텍처 세부 정보

• 21B 및 117B 총 파라미터, 각각 3.6B 및 5.1B 활성 파라미터
• 4비트 양자화 방식: mxfp4 형식을 사용하며 MoE 가중치에만 적용됨
• Token-choice MoE: SwiGLU 활성화 및 전문가 선택을 위한 softmax-after-topk 사용
• RoPE 어텐션: 모든 어텐션 레이어에 128K 컨텍스트 길이 적용
• 교차 어텐션 레이어: 전체 컨텍스트와 슬라이딩 128토큰 윈도우 패턴
• 학습된 어텐션 싱크: 헤드별로 개선된 긴 컨텍스트 성능 제공

주요 기능

추론 모델: chain-of-thought 및 조정 가능한 추론 노력 수준(“낮음”, “중간”, “높음”)을 갖춘 텍스트 전용 모델

도구 사용 지원: 웹 검색, Python 코드 실행, 사용자 정의 도구 통합 지원 내장

구조화된 출력: 스키마 검증이 포함된 JSON, XML 및 기타 구조화된 데이터 형식 기본 지원

Responses API 호환성: OpenAI의 Responses API와 완벽하게 호환되며, 이는 채팅 모델을 위한 가장 진보된 OpenAI 인터페이스로 더 유연하고 직관적인 상호작용을 위해 설계되었습니다.

Apache 2.0 라이선스: 상업적 및 연구 목적을 위한 최대한의 유연성. OpenAI에 따르면, 그들은 도구가 안전하고 책임감 있으며 민주적으로 사용되도록 하고, 사용자가 도구를 사용하는 방식에 대한 통제권을 최대화하는 것을 목표로 합니다. gpt-oss를 사용함으로써 사용자는 모든 관련 법률을 준수하는 데 동의합니다.

벤치마크 성능

안전 평가 결과

OpenAI는 Preparedness Framework에 따라 포괄적인 안전 테스트를 수행했으며, 여기에는 적대적 미세 조정된 버전의 gpt-oss-120b 테스트도 포함되었습니다. 그들의 방법론은 외부 전문가의 검토를 받았으며 오픈 가중치 모델에 대한 새로운 안전 표준을 설정하는 진전을 나타냅니다.

• 확장 가능한 능력 평가: OpenAI는 기본 모델이 세 가지 추적 범주(생물학적 및 화학적 능력, 사이버 능력, AI 자기 개선) 중 어느 것에서도 높은 능력에 대한 지표 임계값에 도달하지 않음을 확인했습니다.
• 적대적 미세 조정 테스트: OpenAI의 현장 최고 수준의 훈련 스택을 활용한 강력한 미세 조정에도 불구하고, gpt-oss-120b는 생물학적 및 화학적 위험 또는 사이버 위험에서 높은 능력에 도달하지 못했습니다.
• 프론티어 위험 평가: 대부분의 평가에서, 기존 오픈 모델의 기본 성능은 gpt-oss-120b의 적대적 미세 조정 성능에 근접합니다.
• 외부 검토: OpenAI의 안전 자문 그룹(SAG)이 이 테스트를 검토했으며 모델이 안전 기준을 충족한다고 결론지었습니다.

Novita AI를 통한 API 액세스

Novita AI는 서버리스 및 전용 엔드포인트를 통해 GPT OSS 모델에 대한 포괄적인 액세스를 제공하며, 완전한 OpenAI API 호환성을 갖추고 있습니다.

가격 및 모델 세부 정보

모델 이름: openai/gpt-oss-120b

• 입력/출력 가격 (Novita AI):
  • 입력: 100만 토큰 당 $0.10
  • 출력: 100만 토큰 당 $0.50
• 컨텍스트 크기: 131,072
• 지금 사용해보기: 플레이그라운드에서 gpt-oss-120b 테스트

모델 이름: openai/gpt-oss-20b

• 입력/출력 가격 (Novita AI):
  • 입력: 100만 토큰 당 $0.05
  • 출력: 100만 토큰 당 $0.20
• 컨텍스트 크기: 131,072
• 최대 출력: 32,768
• 지금 사용해보기: 플레이그라운드에서 gpt-oss-20b 테스트

Novita AI 시작하기

플레이그라운드 사용 (코딩 불필요)

• 즉시 액세스: 회원가입하고 몇 초 안에 GPT OSS 모델을 실험해보세요.
• 대화형 인터페이스: 복잡한 추론 프롬프트를 테스트하고 chain-of-thought 출력을 실시간으로 시각화하세요.
• 모델 비교: 특정 사용 사례에 대해 GPT OSS를 다른 주요 모델과 비교해보세요.

API를 통한 통합 (개발자용) Novita AI의 통합 REST API를 사용하여 GPT OSS를 애플리케이션에 연결하세요.

옵션 1: 직접 API 통합 (Python 예제)

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="<YOUR_API_KEY>",
)

model = "openai/gpt-oss-120b"
stream = True # or False
max_tokens = 65536
system_content = "Be a helpful assistant"
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

주요 기능:

• OpenAI 호환 API 로 원활한 통합 제공
• 유연한 파라미터 제어 로 응답 미세 조정 가능
• 스트리밍 지원 으로 실시간 응답 제공

옵션 2: OpenAI Agents SDK를 사용한 멀티 에이전트 워크플로 GPT OSS를 사용하여 정교한 멀티 에이전트 시스템을 구축하세요.

• 플러그 앤 플레이 통합: 모든 OpenAI Agents 워크플로에서 GPT OSS 사용
• 고급 에이전트 기능: 뛰어난 추론 성능으로 핸드오프, 라우팅, 도구 통합 지원
• 확장 가능한 아키텍처: GPT OSS의 통합 추론, 코딩 및 에이전트 기능을 활용하는 에이전트 설계

타사 플랫폼 연결

• 개발 도구: OpenAI 호환 API를 통해 Cursor, Trae, Cline과 같은 인기 IDE 및 개발 환경과 원활하게 통합
• 오케스트레이션 프레임워크: 공식 커넥터를 사용하여 LangChain, Dify, CrewAI, Langflow 및 기타 AI 오케스트레이션 플랫폼에 연결
• Hugging Face 통합: Novita AI는 Hugging Face의 공식 추론 제공자 역할을 합니다.

모델 아키텍처 및 훈련

사전 훈련 및 모델 개발

이 모델들은 강화 학습과 o3 및 기타 프론티어 시스템을 포함한 OpenAI의 가장 발전된 내부 모델에서 얻은 기술을 혼합하여 훈련되었습니다. 추론 노력의 일부로 도구 사용을 활용하도록 광범위하게 훈련되었습니다.

사후 훈련 최적화

인간 피드백 기반 강화 학습(RLHF): 유용하고 해롭지 않으며 정직한 응답을 위한 포괄적인 정렬 훈련

안전 훈련: 책임 있는 배포를 보장하기 위한 광범위한 안전 평가 및 적대적 테스트

추론 보정: 다양한 작업 복잡성에 맞게 최적화할 수 있도록 미세 조정된 추론 노력 제어

기술 혁신

역사적인 오픈소스 복귀: 이는 GPT-2(5년 이상 전에 출시) 이후 OpenAI의 첫 번째 오픈 가중치 언어 모델로, 오픈소스 생태계에 대한 그들의 약속에 있어 의미 있는 진전을 나타냅니다.

고급 MoE 아키텍처: 토큰 선택 라우팅 및 최적화된 전문가 선택 패턴을 갖춘 정교한 mixture-of-experts 구현

효율적인 양자화: mxfp4 형식의 기본 4비트 양자화를 사용하여 리소스 사용량을 낮추면서 빠른 추론이 가능하며, 120B 모델은 단일 80GB GPU에, 20B 모델은 16GB 메모리에 맞습니다.

결론

OpenAI의 GPT OSS 모델은 Apache 2.0 라이선스 하에 프론티어 수준의 추론 기능을 제공하며 오픈소스 AI의 획기적인 발전을 나타냅니다. Novita AI의 API 인프라를 통해 개발자는 완전한 OpenAI 호환성을 갖춘 서버리스 및 전용 엔드포인트를 통해 이러한 강력한 모델에 액세스할 수 있습니다.

에이전트 워크플로를 구축하든, 연구를 수행하든, 프로덕션 애플리케이션을 개발하든, GPT OSS는 차세대 AI 솔루션의 기반을 제공합니다. 고급 추론, 도구 사용 지원, 유연한 라이선싱을 통해 이 모델들은 산업 전반에 걸쳐 AI 혁신을 위한 전례 없는 기회를 창출합니다.

시작할 준비가 되셨나요? 코딩 없이 Novita AI 모델 플레이그라운드에서 GPT OSS 모델을 즉시 경험해보세요. 지금 회원가입하고 OpenAI의 가장 진보된 오픈소스 모델로 구축을 시작하세요.

Novita AI는 개발자가 간단한 API를 사용하여 AI 모델을 쉽게 배포할 수 있도록 하고, 저렴하고 안정적인 GPU 클라우드를 제공하여 구축 및 확장을 지원하는 AI 클라우드 플랫폼입니다.