Llama 4, 이제 Novita AI에서 사용 가능: 멀티모달 MoE 성능 공개

Meta가 방금 획기적인 Llama 4 모델 제품군을 공개했습니다. 이는 기본 멀티모달 및 MoE(Mixture-of-Experts) 아키텍처를 통해 AI 역량의 비약적인 도약을 의미합니다.

오늘, 저희는 Llama 4 Scout 와 Llama 4 Maverick 이 이제 Novita AI에서 사용 가능하다는 소식을 전하게 되어 기쁩니다. 이를 통해 기업과 개발자는 간단한 API 통합을 통해 이러한 강력한 모델을 활용할 수 있습니다.

Novita AI는 Llama 4 모델 제품군 중 첫 번째 모델을 다음과 같은 가격으로 제공합니다:

Llama 4 Scout: 입력 토큰 100만 개당 $0.1, 출력 토큰 100만 개당 $0.5
Llama 4 Maverick: 입력 토큰 100만 개당 $0.2, 출력 토큰 100만 개당 $0.85

Llama 4 제품군 이해하기

Llama 4 릴리스는 각기 다른 요구 사항과 컴퓨팅 제약 조건에 맞게 설계된 세 가지 모델을 소개합니다:

모델	활성 파라미터	전체 파라미터	전문가 수	컨텍스트 길이	주요 강점
Llama 4 Scout	17B	109B	16	1,000만 토큰	긴 컨텍스트, 이미지 그라운딩, 단일 H100 GPU에서 실행 가능
Llama 4 Maverick	17B	400B	128	100만 토큰	멀티모달 우수성, 창의적 글쓰기
Llama 4 Behemoth	288B	~2T	16	—	증류용 교사 모델

Llama 4 Scout 는 16명의 전문가를 갖추고 있으며, 해당 클래스에서 최첨단 성능을 제공합니다. 업계 최고 수준인 1,000만 토큰 컨텍스트 길이를 지원하므로 전체 코드베이스나 방대한 문서를 포함한 대량의 데이터를 처리하는 데 이상적입니다.

Llama 4 Maverick 은 Meta의 실무용 모델로, 128명의 전문가를 통합하여 광범위한 작업에서 뛰어난 성능을 제공합니다. 정밀한 이미지 이해와 창의적 글쓰기에 탁월하며 최대 100만 토큰의 컨텍스트를 지원합니다.

Llama 4 Behemoth 는 16명의 전문가로 구성된 Llama 4 제품군의 교사 모델 역할을 합니다. 아직 학습 중이므로 공개적으로 출시되지는 않았지만, Behemoth는 여러 STEM 중심 벤치마크에서 GPT-4.5, Claude Sonnet 3.7, Gemini 2.0 Pro를 능가합니다.

참고: Novita AI에서 Llama 4 Scout의 컨텍스트 창은 131,072 토큰이고, Llama 4 Maverick의 컨텍스트 창은 1,048,576 토큰입니다.

주요 특징 및 기능

기본 멀티모달

Llama 4 모델은 초기 융합(early fusion)을 통해 텍스트와 비전 토큰을 통합된 모델 백본에 원활하게 통합합니다. 이를 통해 레이블이 없는 대량의 텍스트, 이미지, 비디오 데이터를 사용한 공동 사전 학습이 가능합니다.

MetaCLIP을 기반으로 하지만 LLM 통합에 더욱 최적화된 향상된 비전 인코더를 통해 추가 엔지니어링 없이도 모델이 텍스트 프롬프트와 함께 여러 이미지를 처리할 수 있습니다.

확장된 컨텍스트 길이

Llama 4의 가장 중요한 발전 중 하나는 비정상적으로 긴 컨텍스트를 지원한다는 점입니다:

• Llama 4 Scout: 1,000만 토큰
• Llama 4 Maverick: 100만 토큰

이러한 컨텍스트 길이의 도약은 이전에는 실용적이지 않았던 다음과 같은 애플리케이션을 가능하게 합니다:

• 다중 문서 요약 및 분석
• 광범위한 코드베이스에 대한 추론
• 개인화된 경험을 위한 방대한 사용자 활동 데이터 분석
• 단일 프롬프트로 전체 연구 자료 처리

다국어 및 추론 능력

Llama 4 모델은 200개 언어로 사전 학습되었으며, 아랍어, 스페인어, 독일어, 힌디어를 포함한 12개 언어에 대해 전용 미세 조정을 지원합니다. 이 중 100개 이상의 언어는 각각 10억 개 이상의 학습 토큰을 보유하여 Llama 3보다 10배 더 많은 다국어 커버리지를 제공합니다.

이러한 광범위한 학습을 통해 모델은 다양한 언어에서 뛰어난 성능을 발휘하므로 글로벌 애플리케이션에 적합합니다.

또한 전문 학습 레시피 덕분에 모델은 향상된 추론 능력을 보여줍니다. Maverick의 경우 중간~고난이도 프롬프트에 초점을 맞춘 적응형 데이터 필터링을 통한 지속적인 온라인 RL(강화 학습) 전략이 포함되었습니다.

성능 벤치마크 및 사용 사례

벤치마크

Meta의 공식 벤치마크 데이터에 따르면 Llama 4 모델은 아래 표에서 볼 수 있듯이 다양한 작업에서 탁월한 성능을 보여줍니다:

Llama 4 Scout 벤치마크

Llama 4 Maverick 벤치마크

Llama 4 제품군의 이상적인 사용 사례

Llama 4 Scout는 긴 컨텍스트 애플리케이션에 가장 적합하고, Llama 4 Maverick은 멀티모달 이해를 포함한 복잡한 추론 및 창의적 작업에 탁월합니다. 다음은 각 모델의 강점에 따른 이상적인 사용 사례입니다:

Llama 4 Scout:

• 법률 또는 재무 분석을 위한 다중 문서 요약
• 광범위한 사용자 데이터를 활용한 개인화된 작업 자동화
• 경량 멀티모달 애플리케이션을 위한 효율적인 이미지 처리

Llama 4 Scout 데모 지금 살펴보기

Llama 4 Maverick:

• 시각적 컨텍스트를 활용한 다국어 고객 지원
• 멀티모달 입력을 기반으로 한 마케팅 콘텐츠 생성
• 텍스트, 다이어그램, 표를 결합한 고급 문서 인텔리전스
• 정밀한 이미지 이해를 통한 창의적 글쓰기 및 콘텐츠 생성

Llama 4 Maverick 데모 지금 살펴보기

두 모델 모두 멀티모달 이해, 광범위한 컨텍스트 추론, 다국어 기능이 필요한 상황에서 탁월한 성능을 발휘합니다.

Novita AI에서 Llama 4 시작하기

Novita AI의 모델 라이브러리를 통해 애플리케이션에 Llama 4 모델을 통합하는 것은 몇 줄의 코드만으로 간단하게 수행할 수 있습니다. 시작하는 방법은 다음과 같습니다:

환경 설정

먼저 Novita AI의 API 키가 있는지 확인하세요. 아직 키가 없다면 가입하고 Novita AI 대시보드에서 API 키를 생성하세요.

Python으로 통합

Novita AI는 원활한 통합을 위해 OpenAI 호환 엔드포인트를 제공합니다. 다음은 Python 클라이언트를 사용한 간단한 예시입니다:

from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="<YOUR Novita AI API Key>",
)

model = "meta-llama/llama-4-maverick-17b-128e-instruct-fp8"
stream = True # or False
max_tokens = 2048
system_content = """Be a helpful assistant"""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  

더 자세한 예제와 포괄적인 통합 가이드는 LLM API 문서를 방문하세요.

결론

Novita AI에 Llama 4가 도입된 것은 고급 AI 기능의 민주화에 있어 중요한 이정표입니다.

기본 멀티모달, 확장된 컨텍스트 길이, 효율적인 MoE 아키텍처를 통해 이러한 모델은 이전에는 실용적이지 않거나 엄두도 못 냈던 새로운 유형의 애플리케이션을 가능하게 합니다.

문서 처리, 다국어 커뮤니케이션, 창의적 콘텐츠 생성 등 어떤 애플리케이션을 구축하든 상관없이 Llama 4는 지능적이고 반응성 있는 경험을 만드는 데 필요한 도구를 제공합니다.

지금 Novita AI의 간편한 통합 프로세스와 경쟁력 있는 가격으로 시작하여 Llama 4의 강력함을 여러분의 애플리케이션과 사용자에게 제공하세요.

Novita AI 소개

Novita AI는 개발자에게 간편한 API를 통해 AI 모델을 배포할 수 있는 쉬운 방법을 제공하면서도, 구축과 확장을 위한 합리적이고 안정적인 GPU 클라우드를 제공하는 AI 클라우드 플랫폼입니다.