Novita AI 正在推出“Build Month”活动,为开发者提供所有主要产品最高20%的独家优惠!
现代开发者越来越难以将图表、截图和技术文档等视觉密集型输入集成到代码工作流中,同时还要保持低延迟和可控成本。传统的视觉语言模型要么在工具循环中速度太慢,要么在结构化推理方面能力不足,无法指导实际的工程决策。
本文解释了 ERNIE-4.5-VL-28B-A3B-Thinking 如何通过结合强大的视觉语言推理基准和 A3B 架构(支持快速、重复推理)来弥补这一差距,并展示了这些特性如何使其适用于工具增强的代码工作流。
ERNIE-4.5-VL-28B-A3B 的架构
通过每个 token 仅从 28B 密集参数池中激活 30 亿参数,该模型以边缘级推理成本实现了旗舰级智能。
模型名称中的“A3B”代表 Active 3B,表示一种专为极致效率设计的混合专家(MoE)架构。
-
总参数量: 28-300 亿(稀疏 MoE)
-
激活参数量: 30 亿(每个 token 推理)
-
上下文窗口: 128k tokens
-
核心增强:
- 图像思考: 与将图像处理为静态 token 的标准视觉语言模型不同,该模型可以在图像内迭代“缩放”和“搜索”,以解析细粒度细节。
- GSPO 和 IcePop RL: 使用先进的强化学习(基于群体的自我博弈优化)来稳定 MoE 训练,确保专家被正确路由以处理复杂逻辑。
案例 1:ERNIE-4.5-VL-28B-A3B 的图像思考能力
人行道旁边墙上蓝色背景的标牌上写着什么文字?

来源:百度
案例:求解桥式电路以计算等效电阻
在此示例中,模型被呈现一个非平凡的桥式电路,并被要求计算节点 A 和 B 之间的等效电阻。

来源:百度
为什么 ERNIE-4.5-VL-28B-A3B-Thinking 能改进工具增强的代码工作流
基准测试分数显示其在 STEM 推理、文档理解和视觉定位方面具有持续优势,这直接对应了实际代码工作流中最困难的认知步骤。
在文档理解和结构化推理基准测试中,ERNIE-4.5-VL-A3B 经常达到或超过 Gemini-2.5-Pro 和 GPT-5-High 的 95% 分位数范围,尽管每个 token 激活的参数要少得多。
| 基准测试 | ERNIE-4.5-VL-A3B | Gemini-2.5-Pro | GPT-5-High | 对开发者的意义 |
|---|---|---|---|---|
| MathVista | 82.5 | 82.7 | 81.3 | 可靠的多步符号推理 |
| MathVerse | 81.0 | 82.9 | 84.1 | 约束下的强抽象能力 |
| MMMU | 72.2 | 81.7 | 84.2 | 多模态问题分解 |
| ChartQA | 87.1 | 78.3 | 78.2 | 结构化数据提取 |
| DocVQA (val) | 93.6 | 91.2 | 94.2 | 精确文档定位 |
| OCRBench | 85.8 | 86.4 | 81.0 | 从视觉中稳健识别文本 |
| CharXiv-DQ | 90.3 | 91.2 | 93.5 | 长形式技术推理 |
| CV-Bench | 83.8 | 84.8 | 85.0 | 视觉逻辑一致性 |
| 平均(全部) | 73.1 | 75.4 | 76.6 | 紧凑模型,接近旗舰推理能力 |
尽管该模型有 28B 参数,但每个 token 仅激活 3B,从而实现了适合在工具循环内重复调用的快速、低延迟推理。
与用户相关的关键特性:
- 激活参数: 每个 token 3B
- 有效延迟: 与中小型模型相当
- 上下文长度: 最高 128k tokens,支持系统级推理
A3B 设计实现了:
- 频繁推理而无需高昂成本
- 在代理工作流中保持稳定延迟
- 作为始终在线的推理 API 进行实际部署
立即尝试 ERNIE-4.5-VL-28B-A3B-Thinking!
ERNIE-4.5-VL-28B-A3B-Thinking 在代码工具工作流中的实际作用
ERNIE-4.5-VL-28B-A3B-Thinking 将视觉视为推理输入,而不仅仅是特征提取器,使开发者能够将截图、图表和文档直接集成到代码工作流中。这不仅仅是 OCR 加文本生成。该模型基于视觉结构进行推理,并将其与意图对齐。
1. 图表与架构理解
该模型可以解释系统图,并将视觉结构转换为与代码决策相关的逻辑关系。
视觉语言能力提供的功能
- 从图表中识别组件、边界和数据流
- 将视觉元素与文本描述对齐
- 在推理中保留结构关系
示例
- 输入:微服务架构图 + 简短设计说明
- 输出:服务依赖关系和通信路径的解释
- 影响:代码工具被引导到正确的模块,而不是扫描整个代码库
2. 基于截图的代码上下文理解
该模型可以基于 UI 或 IDE 截图进行推理,以推断底层逻辑和意图。
视觉语言能力提供的功能
- 从截图中读取 UI 布局、日志和错误状态
- 将视觉状态与可能的代码路径关联
- 处理不完整或部分文本信息
示例
- 输入:包含部分错误消息的失败仪表板截图
- 输出:关于前后端不匹配和相关 API 层的假设
- 影响:无需完整日志复现即可更快调试
3. 文档驱动的代码推理
该模型擅长从混合文本、表格和视觉的技术文档中提取可操作的逻辑。
视觉语言能力提供的功能
- 解析规范、PDF 和研究类文档
- 将图表和表格与实现逻辑关联
- 在长文档中保持对齐
示例
- 输入:包含表格和流程图的 API 规范 PDF
- 输出:端点、约束和边缘情况的结构化摘要
- 影响:代码生成工具从正确、有依据的理解开始
4. 用于问题分解的视觉推理
视觉输入用于驱动多步推理,而不仅仅是识别。
视觉语言能力提供的功能
- 将视觉问题转换为符号表示
- 在推理步骤中保持一致性
- 在实现之前支持抽象
示例
- 输入:数据管道流程图
- 输出:处理阶段和故障点的逐步分解
- 影响:实现有针对性的工具调用,而不是广泛调试
立即尝试 ERNIE-4.5-VL-28B-A3B-Thinking!
如何以优惠价格访问 ERNIE-4.5-VL-28B-A3B-Thinking?
Novita AI 提供 ERNIE-4.5-VL-28B-A3B-Thinking API,具有 30K 上下文窗口,输入价格为 $0.112,输出价格为 $0.448,支持结构化输出和函数调用。
步骤 1:登录并访问模型库
登录您的账户,点击 模型库 按钮。

步骤 2:选择您的模型
浏览可用选项,选择适合您需求的模型。

立即尝试 ERNIE-4.5-VL-28B-A3B-Thinking!
步骤 3:开始免费试用
开始免费试用,探索所选模型的能力。

步骤 4:获取您的 API 密钥
为了通过 API 进行身份验证,我们将为您提供一个新的 API 密钥。进入“设置”页面,您可以按照图片所示复制 API 密钥。

from openai import OpenAI
client = OpenAI(
api_key="<Your API Key>",
base_url="https://api.novita.ai/openai"
)
response = client.chat.completions.create(
model="baidu/ernie-4.5-vl-28b-a3b",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Hello, how are you?"}
],
max_tokens=8000,
temperature=0.7
)
print(response.choices[0].message.content)
ERNIE-4.5-VL-28B-A3B-Thinking 在仅激活每个 token 3B 参数的情况下实现了接近旗舰的视觉语言推理性能,从而在工具工作流中实现低延迟、高频率的推理。其在文档理解、视觉定位和 STEM 推理方面的基准测试优势使其能够充当推理协调器,而非语法引擎。因此,它非常适合需要将图表、截图和技术文档集成到代码工具中,同时又不牺牲速度或成本效益的开发者。
常见问题
ERNIE-4.5-VL-28B-A3B-Thinking 最适合哪种类型的推理任务?
ERNIE-4.5-VL-28B-A3B-Thinking 最适合视觉语言推理任务,如图表解读、文档理解和结构化问题分解,而非纯语法级别的代码生成。
ERNIE-4.5-VL-28B-A3B-Thinking 能否取代专门用于代码的 LLM?
不能。ERNIE-4.5-VL-28B-A3B-Thinking 旨在通过处理视觉理解、规划和验证来补充专门用于代码的模型,而非低级代码执行。
ERNIE-4.5-VL-28B-A3B-Thinking 的视觉语言能力与基于 OCR 的模型有何不同?
ERNIE-4.5-VL-28B-A3B-Thinking 基于视觉结构和意图进行推理,能够完成基于图表的系统理解和截图驱动的调试等任务,而不仅仅是简单的文本提取。
Novita AI 是一个一体化云平台,助力您的 AI 雄心。集成 API、无服务器、GPU 实例——您所需的经济高效工具。消除基础设施,免费开始,让您的 AI 愿景成为现实。
