ERNIE 4.5 300B A47B Base가 Novita AI 플랫폼에 정식 출시되어, 28개 벤치마크 중 22개에서 DeepSeek V3 671B를 능가하는 모델을 사용자에게 제공합니다. DeepSeek R1과 같은 최상위 애플리케이션과 비교해도 ERNIE 4.5는 뛰어난 성능을 보여줍니다. 더욱 흥미로운 것은 가격이 매우 경쟁력 있다는 점입니다!
| 모델명 | 컨텍스트 길이 | 입력 가격 | 출력 가격 |
|---|---|---|---|
| ERNIE 4.5 VL 28B A3B | 30k | 무료 | 무료 |
| ERNIE 4.5 VL 424B A47B | 123k | $0.42 / 1M 토큰 | $1.25 / 1M 토큰 |
| ERNIE 4.5 0.3B | 120k | 무료 | 무료 |
| ERNIE 4.5 21B A3B | 120k | 무료 | 무료 |
| ERNIE 4.5 300B A47B Paddle | 123k | $0.30 / 1M 토큰 | $1.00 / 1M 토큰 |
| DeepSeek R1 0528 | 163k | $0.70 / 1M 토큰 | $2.50 / 1M 토큰 |
| DeepSeek V3 0324 | 163k | $0.28 / 1M 토큰 | $1.14 / 1M 토큰 |
하지만 이러한 가격 인하가 하드웨어 요구 사항, 특히 VRAM도 줄어든다는 의미일까요? 아니면 이렇게 강력한 모델을 실행하는 데 여전히 상당한 리소스가 필요할까요? 다음 섹션에서는 ERNIE 4.5가 네이티브로 얼마나 많은 VRAM을 필요로 하는지 자세히 분석합니다.
ERNIE 모델 제품군
| 모델명 | 기본 파라미터 | 활성 파라미터 | 모델 유형 | 양식 | 학습 유형 |
|---|---|---|---|---|---|
| ERNIE 4.5 VL 424B A47B | 424B | 47B | MoE | 텍스트 및 비전 | PT |
| ERNIE 4.5 VL 424B A47B Base | 424B | 47B | MoE | 텍스트 및 비전 | Base |
| ERNIE 4.5 VL 28B A3B | 28B | 3B | MoE | 텍스트 및 비전 | PT |
| ERNIE 4.5 VL 28B A3B Base | 28B | 3B | MoE | 텍스트 및 비전 | Base |
| ERNIE 4.5 300B A47B | 300B | 47B | MoE | 텍스트 | PT |
| ERNIE 4.5 300B A47B Base | 300B | 47B | MoE | 텍스트 | Base |
| ERNIE 4.5 21B A3B | 21B | 3B | MoE | 텍스트 | PT |
| ERNIE 4.5 21B A3B Base | 21B | 3B | MoE | 텍스트 | Base |
| ERNIE 4.5 0.3B | 0.3B | - | Dense | 텍스트 | PT |
| ERNIE 4.5 0.3B Base | 0.3B | - | Dense | 텍스트 | Base |
ERNIE 제품군의 혁신
ERNIE 제품군의 뛰어난 성능
ERNIE 4.5 사전 훈련 모델의 성능
- 일반: ERNIE 4.5 21B A3B Base와 300B A7B Base는 일부 C-Eval, CMMU 등에서 더 나은 성능을 보입니다. Qwen3 30B A3B Base는 다른 부분에서 강세를 보입니다.
- 추론: Qwen3 30B A3B Base는 ARC 시리즈에서 선두를 달리고, ERNIE 4.5 21B A3B Base는 BBH, Drop에서 좋은 성능을 보입니다.
- 수학: ERNIE 4.5 21B A3B Base와 300B A7B Base는 GSM8K, CMATH 등의 일부에서 탁월하며, Qwen3 30B A3B Base도 장점이 있습니다.
- 지식: ERNIE 4.5 21B A3B Base는 SimpleQA, ChineseSimpleQA에서 우수한 성능을 보입니다.
- 코딩: ERNIE 4.5 21B A3B Base와 300B A7B Base는 HumanEval+, MultiPLE에서 경쟁력을 갖추고 있습니다.
비사고 모드에서 사후 훈련된 멀티모달 모델의 성능
Qwen2.5
- 장점: 기본 시각적 질의응답, 일부 멀티모달 추론, 간단한 비디오 작업에 탁월합니다. MMBench cn/en에서 강세를 보입니다.
- 약점: 복잡한 문서/차트 작업, 심층 멀티모달 추론, 세부 시각적 인식에 어려움을 겪습니다. 자막 기반 비디오 이해 능력이 떨어집니다.
ERNIE 4.5
- 장점: 복잡한 문서/차트 작업, 심층 멀티모달 추론, 정밀한 시각적 인식 및 자막-비디오 이해에서 우위를 점합니다. 전반적인 멀티모달 복잡성에서 강력합니다.
- 약점: 기본 시각적 질의응답과 간단한 비디오 작업에서는 경쟁력이 떨어집니다.
그렇다면 ERNIE에는 얼마나 많은 VRAM이 필요할까요?
🚀 FP16 정밀도
| 모델 | 파라미터 (활성) | 필요 VRAM | 이상적인 GPU |
|---|---|---|---|
| ERNIE 4.5 VL 424B | 424B (47B 활성) | ~945 GB | NVIDIA H100 (80GB) × 12 |
| ERNIE 4.5 300B | 300B (47B 활성) | ~668 GB | NVIDIA H100 (80GB) × 9 |
| ERNIE 4.5 VL 28B | 28B (3B 활성) | ~64 GB | NVIDIA A100/H100 (80GB) |
| ERNIE 4.5 21B | 21B (3B 활성) | ~48 GB | NVIDIA RTX 6000 Ada (48GB) |
| ERNIE 4.5 0.3B | 300M | ~2.5 GB | NVIDIA RTX 4060 (8GB) / RTX 3060 (12GB) |
| Gemma 3 27B | 27B | ~65.2 GB | NVIDIA A100/H100 (80GB) |
⚡ INT4 정밀도
| 모델 | 파라미터 (활성) | 필요 VRAM | 이상적인 GPU |
|---|---|---|---|
| ERNIE 4.5 VL 424B | 424B (47B 활성) | ~237 GB | NVIDIA H100 (80GB) × 3 |
| ERNIE 4.5 300B | 300B (47B 활성) | ~168 GB | NVIDIA H100 (80GB) × 3 |
| ERNIE 4.5 VL 28B | 28B (3B 활성) | ~17 GB | NVIDIA RTX 4090 (24GB) / A10G (24GB) |
| ERNIE 4.5 21B | 21B (3B 활성) | ~13 GB | NVIDIA RTX 4080 (16GB) / A10G (24GB) |
| ERNIE 4.5 0.3B | 300M | ~1.8 GB | 4GB 이상 VRAM을 가진 대부분의 GPU |
| Gemma 3 27B | 27B | ~14.1 GB | ≥16GB VRAM을 가진 고급 GPU |
높은 VRAM 요구 사항의 단점과 실용적인 팁
높은 VRAM 요구 사항은 사용자에게 여러 가지 문제를 야기합니다. 첫째, **하드웨어 비용 ** 이 급등할 수 있습니다. NVIDIA H100 같은 최상위 GPU는 비싸고, 대규모 모델을 실행하려면 여러 GPU 클러스터가 필요하여 개인이나 소규모 조직이 감당하기 어렵습니다. 둘째, GPU가 많을수록 **전력 소비와 발열 ** 이 증가하여 운영 비용이 높아지고 냉각 솔루션이 더 복잡해집니다. 셋째, 이러한 설정은 유지 관리가 어려울 수 있으며, 하드웨어, 분산 컴퓨팅, 소프트웨어 구성에 대한 기술적 전문 지식이 필요합니다.
이러한 문제는 접근성을 제한 할 수도 있습니다. 많은 연구자, 개발자, 애호가가 필요한 인프라에 접근하지 못해 혁신과 실험이 느려질 수 있습니다.
높은 VRAM 수요를 극복하기 위한 팁:
- 양자화된 모델 사용: INT4 또는 기타 압축/양자화 버전을 선택하면 VRAM 필요량을 크게 줄일 수 있으며, 많은 작업에서 성능에 미치는 영향이 최소화됩니다.
- 클라우드 솔루션: 고가의 하드웨어에 투자하는 대신 필요할 때만 고성능 GPU를 임대할 수 있는 클라우드 플랫폼을 고려하세요.
- 모델 오프로딩 및 스트리밍: 모든 데이터가 동시에 GPU VRAM에 상주할 필요가 없도록 모델 오프로딩, 분할 또는 스트리밍을 지원하는 도구나 플랫폼을 사용하세요.
Novita AI: VRAM 0으로 ERNIE에 접속하세요
Novita AI에서 ERNIE 4.5를 시작하는 것은 간단하고 위험이 없습니다.
신규 사용자에게는 $10 상당의 무료 크레딧 이 제공되며, 초기 비용 없이 ERNIE 4.5를 체험할 수 있습니다.
플레이그라운드 사용하기 (코딩 불필요)
- 즉시 접속: 가입하고 무료 크레딧을 받아 몇 초 안에 ERNIE 4.5 및 다른 최고 모델을 실험해보세요.
- 대화형 UI: 프롬프트, 사고 사슬 추론을 테스트하고 결과를 실시간으로 시각화하세요.
- 모델 비교: ERNIE 4.5, Qwen 3, Llama 4, DeepSeek 등 사이를 손쉽게 전환하여 필요에 맞는 완벽한 모델을 찾으세요.
API를 통한 통합 (개발자용)
Novita AI의 통합 REST API를 사용하여 ERNIE 4.5를 애플리케이션, 워크플로우 또는 챗봇에 원활하게 연결하세요. 모델 가중치 관리나 인프라 걱정은 필요 없습니다. Novita AI는 다국어 SDK와 고급 파라미터 제어를 제공합니다.
1.직접 API 통합 (Python 예제)
curl "https://api.novita.ai/v3/openai/chat/completions" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer " \
-d @- << 'EOF'
{
"model": "baidu/ernie-4.5-300b-a47b-paddle",
"messages": [
{
"role": "system",
"content": "Be a helpful assistant"
},
{
"role": "user",
"content": "Hi there!"
}
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="",
)
model = "baidu/ernie-4.5-300b-a47b-paddle"
stream = True # or False
max_tokens = 6000
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
"response_format": { "type": "text" },
"max_tokens": 32768,
"temperature": 1,
"top_p": 1,
"min_p": 0,
"top_k": 50,
"presence_penalty": 0,
"frequency_penalty": 0,
"repetition_penalty": 1
}
EOF
2. OpenAI Agents SDK를 사용한 멀티 에이전트 워크플로우
Novita AI를 OpenAI Agents SDK와 통합하여 고급 멀티 에이전트 시스템을 구축하세요.
- 플러그 앤 플레이: 모든 OpenAI Agents 워크플로우에서 Novita AI의 ERNIE 4.5를 사용하세요.
- 핸드오프, 라우팅 및 도구 사용 지원: ERNIE 4.5의 기능으로 위임, 분류 또는 함수 실행이 가능한 에이전트를 설계하세요.
- Python 통합: SDK를 Novita 엔드포인트(
https://api.novita.ai/v3/openai)로 지정하고 API 키를 사용하기만 하면 됩니다.
타사 플랫폼에서 ERNIE 4.5 API 연결하기
-
Hugging Face: Novita AI 엔드포인트를 통해 Spaces, 파이프라인 또는 Transformers 라이브러리에서 ERNIE 4.5를 사용하세요.
-
에이전트 및 오케스트레이션 프레임워크: 공식 커넥터와 단계별 통합 가이드를 통해 Continue, AnythingLLM, LangChain, Dify 및 Langflow 같은 파트너 플랫폼과 Novita AI를 쉽게 연결하세요.
-
OpenAI 호환 API: Cline 및 Cursor와 같은 도구와 OpenAI API 표준에 맞춰 설계된 간편한 마이그레이션 및 통합을 즐기세요.
ERNIE 4.5를 자체 하드웨어에서 실행하려면 매우 강력하고 비싼 GPU가 필요하지만, Novita AI를 사용하면 사용자 측에서 VRAM이 전혀 필요 없이 이러한 대규모 모델을 쉽게 사용할 수 있습니다. 이를 통해 초보자부터 개발자까지 모든 사람이 고급 AI에 접근할 수 있습니다.
자주 묻는 질문
ERNIE 4.5가 다른 대형 AI 모델보다 정말 더 나은가요?
네, ERNIE 4.5는 대부분의 벤치마크에서 DeepSeek V3 671B보다 높은 점수를 기록하며 다른 최고 모델들과 매우 경쟁력 있습니다.
ERNIE 4.5를 코딩 및 수학 작업에 사용할 수 있나요?
네, ERNIE 4.5 모델은 코딩(HumanEval+) 및 수학(GSM8K, CMATH) 벤치마크에서 좋은 성능을 보입니다.
ERNIE 4.5를 실행하려면 얼마나 많은 VRAM이 필요한가요?
ERNIE 4.5의 가장 큰 버전(424B 또는 300B)을 실행하려면 수백 GB의 VRAM과 여러 개의 고급 GPU가 필요합니다. 소형 또는 양자화된 버전은 훨씬 적은 VRAM이 필요합니다.
Novita AI는 AI 야망을 실현하는 올인원 클라우드 플랫폼입니다. 통합 API, 서버리스, GPU 인스턴스 — 비용 효율적인 도구를 제공합니다. 인프라 걱정 없이 무료로 시작하여 AI 비전을 현실로 만드세요.
