ERNIE 4.5는 강력한 텍스트 및 멀티모달 처리를 위한 Baidu의 고급 AI 모델 제품군입니다. 대규모 및 경량화 배포 옵션을 모두 제공하는 ERNIE 4.5는 개발자와 기업에게 효율적인 성능과 비용 효율적인 접근을 제공합니다. 텍스트, 이미지 또는 둘 다 작업할 때 ERNIE 4.5는 웹 인터페이스, API 및 클라우드 플랫폼을 통해 복잡한 설정 없이 쉽게 접근할 수 있습니다.
ERNIE 4.5 간단 소개
ERNIE 4.5는 Baidu가 개발한 고급 AI 모델 제품군으로, 효율적인 멀티모달 및 텍스트 기반 처리에 중점을 둡니다. 이 모델들은 대형 변종에는 Mixture of Experts(MoE) 아키텍처를, 소형 변종에는 밀집 아키텍처를 사용합니다. 텍스트와 비전 모달리티를 지원하며, 사전 학습(PT) 및 기본(Base) 버전을 제공합니다. 아래는 주요 모델 변종 표와 AI 학습 흐름에서 ERNIE 혁신을 강조한 다이어그램입니다.
| 모델 | 기본 | 활성 | 유형 | 모달리티 | 학습 |
|---|---|---|---|---|---|
| ERNIE 4.5 VL 424B A47B | 424B | 47B | MoE | T+V | PT |
| ERNIE 4.5 VL 424B A47B Base | 424B | 47B | MoE | T+V | Base |
| ERNIE 4.5 VL 28B A3B | 28B | 3B | MoE | T+V | PT |
| ERNIE 4.5 VL 28B A3B Base | 28B | 3B | MoE | T+V | Base |
| ERNIE 4.5 VL 28B A3B Thinking | 28B | 3B | MoE | T+V | PT |
| ERNIE 4.5 300B A47B | 300B | 47B | MoE | Text | PT |
| ERNIE 4.5 300B A47B Base | 300B | 47B | MoE | Text | Base |
| ERNIE 4.5 21B A3B | 21B | 3B | MoE | Text | PT |
| ERNIE 4.5 21B A3B Base | 21B | 3B | MoE | Text | Base |
| ERNIE 4.5 21B A3B Thinking | 21B | 3B | MoE | Text | PT |
| ERNIE 4.5 0.3B | 0.3B | – | Dense | Text | PT |
| ERNIE 4.5 0.3B Base | 0.3B | – | Dense | Text | Base |
AI 학습 흐름: ERNIE 혁신 강조
1. 멀티모달 이종 MoE 사전 학습
이종 MoE 구조, 모달리티 분리 라우팅 및 균형 잡힌 멀티모달 손실을 사용한 공동 텍스트 및 비전 사전 학습.
2. 확장 효율적인 인프라
하이브리드 병렬 처리, 계층적 로드 밸런싱, 전문가 병렬 처리, 메모리 최적화 스케줄링 및 무손실 양자화를 통해 높은 처리량과 효율적인 추론 구현.
3. 모달리티 특화 사후 학습
텍스트 또는 비전 작업을 위한 미세 조정 지원, SFT, DPO 및 UPO를 지원하여 다양한 실제 애플리케이션 요구 사항 충족.
성능 비교: ERNIE 4.5 대 GPT-4o
ERNIE 4.5는 GPT-4o에 비해 뛰어난 성능과 탁월한 비용 효율성을 제공하여 대규모 AI 배포에 매우 경쟁력 있는 선택입니다. 이 가격은 Novita AI 기준입니다!
-
- 입력 토큰 100만 개당 $0.336
- 출력 토큰 100만 개당 $1
-
- 입력 토큰 100만 개당 $0.224
- 출력 토큰 100만 개당 $0.88
-
ERNIE 4.5 21B A3B / ERNIE-4.5-21B-A3B-Thinking
- 입력 토큰 100만 개당 $0.056
- 출력 토큰 100만 개당 $0.224
-
- 입력 토큰 100만 개당 $0.112
- 출력 토큰 100만 개당 $0.448
-
- 입력 토큰 100만 개당 $0.39
- 출력 토큰 100만 개당 $0.39
Baidu 플랫폼을 통해 ERNIE 4.5에 접근하기 (무료 체험)
Baidu 플랫폼의 웹 인터페이스를 통해 설치 없이 바로 사용해볼 수 있습니다. 웹사이트를 방문하여 즉시 무료 체험을 시작하세요.
또는 Novita API Playground를 사용하여 개발자 친화적인 환경에서 ERNIE 4.5를 실험할 수 있습니다.
로컬에서 ERNIE 4.5에 접근하기
ERNIE 4.5를 사용하기 위한 시스템 요구 사항은 무엇인가요?
FP16 정밀도
| 모델 | 매개변수(활성) | 필요 VRAM | 권장 GPU |
|---|---|---|---|
| ERNIE 4.5 VL 424B | 424B (47B 활성) | ~945 GB | NVIDIA H100 (80GB) × 12 |
| ERNIE 4.5 300B | 300B (47B 활성) | ~668 GB | NVIDIA H100 (80GB) × 9 |
| ERNIE 4.5 VL 28B / ERNIE 4.5 VL 28B A3B Thinking | 28B (3B 활성) | ~80 GB | NVIDIA A100/H100 (80GB) |
| ERNIE 4.5 21B / ERNIE 4.5 21B A3B Thinking | 21B (3B 활성) | ~48GB | NVIDIA RTX 4090 (24GB) × 2 |
| ERNIE 4.5 0.3B | 300M | ~2.5 GB | NVIDIA RTX 4090 (8GB) / RTX 3060 (12GB) |
INT4 정밀도
| 모델 | 매개변수(활성) | 필요 VRAM | 권장 GPU |
|---|---|---|---|
| ERNIE 4.5 VL 424B | 424B (47B 활성) | ~237 GB | NVIDIA H100 (80GB) × 3 |
| ERNIE 4.5 300B | 300B (47B 활성) | ~168 GB | NVIDIA H100 (80GB) × 3 |
| ERNIE 4.5 VL 28B / ERNIE 4.5 VL 28B A3B Thinking | 28B (3B 활성) | ~17 GB | NVIDIA RTX 4090 (24GB) / A10G (24GB) |
| ERNIE 4.5 21B / ERNIE 4.5 21B A3B Thinking | 21B (3B 활성) | ~13 GB | NVIDIA RTX 4080 (16GB) / A10G (24GB) |
| ERNIE 4.5 0.3B | 300M | ~1.8 GB | VRAM 4GB 이상의 대부분 GPU |
공식 ERNIEToolkit 및 오픈소스 릴리스 기준:
- OS: Linux 강력 권장 (Ubuntu 또는 유사).
- 프레임워크: PaddlePaddle (최신 버전) 필요.
- 추론/훈련: ERNIEKit 사용 (PaddlePaddle 기반).
- FastDeploy 로 배포 가속화 가능.
- 종속성:
- Python 3.8+
- GPU 설정에 맞는 CUDA 및 cuDNN.
- PyTorch 환경:
transformers로trust_remote_code=True설정하여 모델 사용 가능.
GPU 구매가 부담스럽다면 Novita AI의 비용 효율적이고 안정적인 클라우드 GPU 서비스를 활용할 수 있습니다. 예를 들어, 80GB VRAM의 1x H100 SXM 80GB 인스턴스를 시간당 $2.56에 이용하거나 8GPU로 확장하여 시간당 $20.48에 사용할 수 있습니다.
Python 애플리케이션에서 ERNIE 4.5에 접근하기
-
Hugging Face: Novita AI 엔드포인트를 통해 Spaces, 파이프라인 또는 Transformers 라이브러리에서 ERNIE 4.5를 사용하세요.
-
에이전트 및 오케스트레이션 프레임워크: 공식 커넥터 및 단계별 통합 가이드를 통해 Continue, AnythingLLM, LangChain, Dify 및 Langflow와 같은 파트너 플랫폼과 Novita AI를 쉽게 연결하세요.
-
OpenAI 호환 API: Cline 및 Cursor와 같은 도구와 OpenAI API 표준에 맞춰 번거로움 없이 마이그레이션 및 통합할 수 있습니다.
자세한 내용은 Docs에서 확인하세요.
API를 통해 ERNIE 4.5에 접근하기
1단계: 로그인 및 모델 라이브러리 접근
계정에 로그인하고 모델 라이브러리 버튼을 클릭하세요.
2단계: 모델 선택
제공된 옵션을 살펴보고 필요에 맞는 모델을 선택하세요.
3단계: 무료 체험 시작
선택한 모델의 기능을 탐색하기 위해 무료 체험을 시작하세요.
4단계: API 키 받기
API 인증을 위해 새 API 키를 제공해 드립니다. “설정” 페이지에 들어가면 이미지에 표시된 대로 API 키를 복사할 수 있습니다.
5단계: API 설치
프로그래밍 언어에 맞는 패키지 관리자를 사용하여 API를 설치하세요.
설치 후 개발 환경에 필요한 라이브러리를 가져옵니다. API 키로 클라이언트를 초기화하여 Novita AI LLM과 상호 작용을 시작하세요. 다음은 Python 사용자를 위한 채팅 완성 API 사용 예시입니다.
from openai import OpenAI
client = OpenAI(
base_url="https://api.novita.ai/v3/openai",
api_key="",
)
model = "baidu/ernie-4.5-300b-a47b-paddle"
stream = True # or False
max_tokens = 6000
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }
chat_completion_res = client.chat.completions.create(
model=model,
messages=[
{
"role": "system",
"content": system_content,
},
{
"role": "user",
"content": "Hi there!",
}
],
stream=stream,
max_tokens=max_tokens,
temperature=temperature,
top_p=top_p,
presence_penalty=presence_penalty,
frequency_penalty=frequency_penalty,
response_format=response_format,
extra_body={
"top_k": top_k,
"repetition_penalty": repetition_penalty,
"min_p": min_p
}
)
if stream:
for chunk in chat_completion_res:
print(chunk.choices[0].delta.content or "", end="")
else:
print(chat_completion_res.choices[0].message.content)
ERNIE 4.5에 접근하는 것은 유연하고 간단합니다. 즉각적인 웹 체험부터 강력한 API 통합 및 로컬 배포까지 워크플로에 맞는 방법을 선택하세요. 뛰어난 성능과 효율적인 가격으로 ERNIE 4.5는 차세대 AI 애플리케이션을 위한 실용적인 선택입니다.
자주 묻는 질문
ERNIE 4.5가 다른 대형 AI 모델보다 정말 뛰어난가요?
네, ERNIE 4.5는 대부분의 벤치마크에서 DeepSeek V3 671B보다 높은 점수를 기록하며 다른 최고 모델들과 매우 경쟁력 있습니다.
로컬에서 ERNIE 4.5를 실행하기 위한 시스템 요구 사항은 무엇인가요?
모델 크기에 따라 요구 사항이 다르지만, Linux 시스템, Python 3.8+, PaddlePaddle 및 호환되는 NVIDIA GPU가 필요합니다. 로컬 하드웨어가 없는 경우 클라우드 GPU 옵션을 사용할 수 있습니다.
ERNIE 4.5를 실행하는 데 얼마나 많은 VRAM이 필요한가요?
가장 큰 버전(424B 또는 300B 등)의 ERNIE 4.5를 실행하려면 수백 GB의 VRAM과 여러 개의 고급 GPU가 필요합니다. 더 작거나 양자화된 버전은 훨씬 적은 VRAM을 필요로 합니다.
Novita AI는 AI 야망을 실현하는 올인원 클라우드 플랫폼입니다. 통합 API, 서버리스, GPU 인스턴스 — 필요한 비용 효율적인 도구를 제공합니다. 인프라를 제거하고, 무료로 시작하며, AI 비전을 현실로 만드세요.
