ERNIE VRAM：本地需求高，Novita AI 需求为零

ERNIE 模型家族
那么，ERNIE 究竟需要多少 VRAM？
高 VRAM 需求的弊端与实用建议
Novita AI：0 VRAM 即可访问 ERNIE
常见问题

ERNIE 4.5 300B A47B Base 已正式在 Novita AI 平台上线，用户现在可以使用这款在 28 项基准测试中 22 项超越 DeepSeek V3 671B 的模型。即便与 DeepSeek R1 等顶级应用相比，ERNIE 4.5 也展现出卓越性能。更令人兴奋的是，其定价极具竞争力！

模型名称	上下文长度	输入价格	输出价格
ERNIE 4.5 VL 28B A3B	30k	免费	免费
ERNIE 4.5 VL 424B A47B	123k	$0.42 / 1M tokens	$1.25 / 1M tokens
ERNIE 4.5 0.3B	120k	免费	免费
ERNIE 4.5 21B A3B	120k	免费	免费
ERNIE 4.5 300B A47B Paddle	123k	$0.30 / 1M tokens	$1.00 / 1M tokens
DeepSeek R1 0528	163k	$0.70 / 1M tokens	$2.50 / 1M tokens
DeepSeek V3 0324	163k	$0.28 / 1M tokens	$1.14 / 1M tokens

但这次降价是否意味着硬件需求——尤其是 VRAM——也随之降低了？或者说，运行如此强大的模型是否仍然需要大量资源？接下来，我们将详细拆解 ERNIE 4.5 在本地运行所需的 VRAM 容量。

ERNIE 模型家族

模型名称	基础参数	激活参数	模型类型	模态	训练类型
ERNIE 4.5 VL 424B A47B	424B	47B	MoE	文本与视觉	PT
ERNIE 4.5 VL 424B A47B Base	424B	47B	MoE	文本与视觉	Base
ERNIE 4.5 VL 28B A3B	28B	3B	MoE	文本与视觉	PT
ERNIE 4.5 VL 28B A3B Base	28B	3B	MoE	文本与视觉	Base
ERNIE 4.5 300B A47B	300B	47B	MoE	文本	PT
ERNIE 4.5 300B A47B Base	300B	47B	MoE	文本	Base
ERNIE 4.5 21B A3B	21B	3B	MoE	文本	PT
ERNIE 4.5 21B A3B Base	21B	3B	MoE	文本	Base
ERNIE 4.5 0.3B	0.3B	-	Dense	文本	PT
ERNIE 4.5 0.3B Base	0.3B	-	Dense	文本	Base

ERNIE 家族的创新

ERNIE 家族的卓越性能

ERNIE 4.5 预训练模型性能

通用: ERNIE 4.5 21B A3B Base 与 300B A7B Base 在 C-Eval、CMMU 等部分测试中表现优异；Qwen3 30B A3B Base 在其他方面表现强劲。
推理: Qwen3 30B A3B Base 在 ARC 系列中领先；ERNIE 4.5 21B A3B Base 在 BBH、Drop 中表现良好。
数学: ERNIE 4.5 21B A3B Base 与 300B A7B Base 在 GSM8K、CMATH 等部分表现出色；Qwen3 30B A3B Base 也有其优势。
知识: ERNIE 4.5 21B A3B Base 在 SimpleQA、ChineseSimpleQA 中表现良好。
编码: ERNIE 4.5 21B A3B Base 与 300B A7B Base 在 HumanEval+、MultiPLE 中具有竞争力。

非思考模式下后训练多模态模型性能

Qwen2.5

优势: 在基础视觉问答、部分多模态推理及轻度视频任务中表现出色。在 MMBench cn/en 上表现强劲。
弱点: 在复杂文档/图表任务、深度多模态推理以及精细视觉感知方面存在困难。字幕视频理解能力较弱。

ERNIE 4.5

优势: 在复杂文档/图表任务、深度多模态推理、精细视觉感知以及字幕视频理解方面占据主导地位。整体多模态复杂任务中表现强劲。
弱点: 在基础视觉问答和简单视频任务方面竞争力较弱。

那么，ERNIE 究竟需要多少 VRAM？

🚀 FP16 精度

模型	参数（激活）	所需 VRAM	推荐 GPU
ERNIE 4.5 VL 424B	424B（47B 激活）	~945 GB	NVIDIA H100 (80GB) × 12
ERNIE 4.5 300B	300B（47B 激活）	~668 GB	NVIDIA H100 (80GB) × 9
ERNIE 4.5 VL 28B	28B（3B 激活）	~64 GB	NVIDIA A100/H100 (80GB)
ERNIE 4.5 21B	21B（3B 激活）	~48 GB	NVIDIA RTX 6000 Ada (48GB)
ERNIE 4.5 0.3B	300M	~2.5 GB	NVIDIA RTX 4060 (8GB) / RTX 3060 (12GB)
Gemma 3 27B	27B	~65.2 GB	NVIDIA A100/H100 (80GB)

⚡ INT4 精度

模型	参数（激活）	所需 VRAM	推荐 GPU
ERNIE 4.5 VL 424B	424B（47B 激活）	~237 GB	NVIDIA H100 (80GB) × 3
ERNIE 4.5 300B	300B（47B 激活）	~168 GB	NVIDIA H100 (80GB) × 3
ERNIE 4.5 VL 28B	28B（3B 激活）	~17 GB	NVIDIA RTX 4090 (24GB) / A10G (24GB)
ERNIE 4.5 21B	21B（3B 激活）	~13 GB	NVIDIA RTX 4080 (16GB) / A10G (24GB)
ERNIE 4.5 0.3B	300M	~1.8 GB	大多数 VRAM >4GB 的 GPU
Gemma 3 27B	27B	~14.1 GB	任何 VRAM ≥16GB 的高端 GPU

高 VRAM 需求的弊端与实用建议

高 VRAM 需求给用户带来诸多挑战。首先，硬件成本 ** 可能飙升——像 NVIDIA H100 这样的顶级 GPU 价格昂贵，且运行最大模型通常需要多 GPU 集群，个人或小型组织难以承受。其次，随着 GPU 数量增加，功耗和发热 ** 也会上升，导致更高的运营成本和更复杂的散热方案。第三，此类配置维护困难，需要硬件、分布式计算和软件配置方面的专业技术。

这些挑战还会 限制可及性：许多研究人员、开发者和爱好者根本无法获得必要的基础设施，从而阻碍了创新和实验。

应对高 VRAM 需求的小贴士：

使用量化模型： 选择 INT4 或其他压缩/量化版本，可显著降低 VRAM 需求，且在多数任务中性能影响极小。
云解决方案： 考虑使用云平台，按需租用高端 GPU，而非投资昂贵硬件。
模型卸载与流式传输： 使用支持模型卸载、分片或流式传输的工具或平台，使数据无需同时驻留于 GPU VRAM 中。

Novita AI：0 VRAM 即可访问 ERNIE

在 Novita AI 上开始使用 ERNIE 4.5 简单无风险。

新用户可获得 $10 免费额度——足以零成本探索 ERNIE 4.5。

立即尝试 Novita AI!

使用 Playground（无需编码）

即时访问：注册，领取免费额度，几秒钟内即可开始体验 ERNIE 4.5 及其他顶级模型。
交互式 UI：实时测试提示词、思维链推理，可视化结果。
模型对比：轻松在 ERNIE 4.5、Qwen 3、Llama 4、DeepSeek 等模型间切换，找到最适合您需求的模型。

通过 API 集成（面向开发者）

使用 Novita AI 统一的 REST API，将 ERNIE 4.5 无缝接入应用、工作流或聊天机器人。无需管理模型权重或操心基础设施——Novita AI 提供多语言 SDK 和高级参数控制。

1.直接 API 集成（Python 示例）

curl "https://api.novita.ai/v3/openai/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer " \
  -d @- << 'EOF'
{
    "model": "baidu/ernie-4.5-300b-a47b-paddle",
    "messages": [
        {
            "role": "system",
            "content": Be a helpful assistant
        },
        {
            "role": "user",
            "content": "Hi there!"
        }
from openai import OpenAI
  
client = OpenAI(
    base_url="https://api.novita.ai/v3/openai",
    api_key="",
)

model = "baidu/ernie-4.5-300b-a47b-paddle"
stream = True # or False
max_tokens = 6000
system_content = ""Be a helpful assistant""
temperature = 1
top_p = 1
min_p = 0
top_k = 50
presence_penalty = 0
frequency_penalty = 0
repetition_penalty = 1
response_format = { "type": "text" }

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": system_content,
        },
        {
            "role": "user",
            "content": "Hi there!",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
    temperature=temperature,
    top_p=top_p,
    presence_penalty=presence_penalty,
    frequency_penalty=frequency_penalty,
    response_format=response_format,
    extra_body={
      "top_k": top_k,
      "repetition_penalty": repetition_penalty,
      "min_p": min_p
    }
  )

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)
  
      "response_format": { "type": "text" },
    "max_tokens": 32768,
    "temperature": 1,
    "top_p": 1,
    "min_p": 0,
    "top_k": 50,
    "presence_penalty": 0,
    "frequency_penalty": 0,
    "repetition_penalty": 1
}
EOF

2. 使用 OpenAI Agents SDK 构建多 Agent 工作流

将 Novita AI 与 OpenAI Agents SDK 集成，构建高级多 Agent 系统：

即插即用： 在任何 OpenAI Agents 工作流中使用 Novita AI 的 ERNIE 4.5
支持交接、路由和工具调用： 设计能够委托、分类或运行函数的 Agent，全部由 ERNIE 4.5 的能力驱动
Python 集成： 只需将 SDK 指向 Novita 的终结点（https://api.novita.ai/v3/openai）并使用您的 API Key 即可

在第三方平台上连接 ERNIE 4.5 API

Hugging Face：通过 Novita AI 端点在 Spaces、Pipeline 或 Transformers 库中使用 ERNIE 4.5。
Agent 与编排框架： 通过官方连接器和逐步集成指南，轻松将 Novita AI 与 Continue、AnythingLLM、LangChain、Dify 和 Langflow 等伙伴平台连接。
兼容 OpenAI 的 API： 无缝迁移并集成到 Cline 和 Cursor 等工具中，专为 OpenAI API 标准设计。

虽然在自己的硬件上运行 ERNIE 4.5 需要非常强大（且昂贵）的 GPU，但 Novita AI 让您可以轻松使用这些大型模型，而无需在本地占用任何 VRAM。这使得先进的 AI 对从初学者到开发者的每个人都是可及的。

常见问题

ERNIE 4.5 真的比其他大模型更好吗？

是的，ERNIE 4.5 在大多数基准测试中得分高于 DeepSeek V3 671B，并且与其他顶级模型相比具有很强的竞争力。

ERNIE 4.5 能否用于编码和数学任务？

可以，ERNIE 4.5 模型在编码（如 HumanEval+）和数学基准（如 GSM8K、CMATH）中表现良好。

运行 ERNIE 4.5 需要多少 VRAM？

运行最大版本的 ERNIE 4.5（如 424B 或 300B）需要极高的 VRAM——数百 GB 和多个高端 GPU。较小或量化版本所需的 VRAM 则少得多。

Novita AI 是一个一体化云平台，助力您的 AI 雄心。集成 API、Serverless、GPU 实例——经济高效的工具应有尽有。免除基础设施烦恼，免费开始，让您的 AI 愿景成为现实。

ERNIE VRAM：本地需求高，Novita AI 需求为零

ERNIE 模型家族

ERNIE 家族的创新

ERNIE 家族的卓越性能

那么，ERNIE 究竟需要多少 VRAM？

🚀 FP16 精度

⚡ INT4 精度

高 VRAM 需求的弊端与实用建议

Novita AI：0 VRAM 即可访问 ERNIE

使用 Playground（无需编码）

通过 API 集成（面向开发者）

1.直接 API 集成（Python 示例）

2. 使用 OpenAI Agents SDK 构建多 Agent 工作流

在第三方平台上连接 ERNIE 4.5 API

常见问题

推荐阅读

Product

RESOURCES

Partners

Company

ERNIE 模型家族

ERNIE 家族的创新

ERNIE 家族的卓越性能

那么，ERNIE 究竟需要多少 VRAM？

🚀 FP16 精度

⚡ INT4 精度

高 VRAM 需求的弊端与实用建议

Novita AI：0 VRAM 即可访问 ERNIE

使用 Playground（无需编码）

通过 API 集成（面向开发者）

1.直接 API 集成（Python 示例）

2. 使用 OpenAI Agents SDK 构建多 Agent 工作流

在第三方平台上连接 ERNIE 4.5 API

常见问题

推荐阅读

相关文章

Product

RESOURCES

Partners

Company