如何将ERNIE-4.5-VL-A3B集成到工具增强的工作流中

如何将ERNIE-4.5-VL-A3B集成到工具增强的工作流中

Novita AI 正在推出“Build Month”活动,为开发者提供所有主要产品最高20%的独家优惠!

立即参与 Build Month!

现代开发者越来越难以将图表、截图和技术文档等视觉密集型输入集成到代码工作流中,同时还要保持低延迟和可控成本。传统的视觉语言模型要么在工具循环中速度太慢,要么在结构化推理方面能力不足,无法指导实际的工程决策。

本文解释了 ERNIE-4.5-VL-28B-A3B-Thinking 如何通过结合强大的视觉语言推理基准和 A3B 架构(支持快速、重复推理)来弥补这一差距,并展示了这些特性如何使其适用于工具增强的代码工作流。

ERNIE-4.5-VL-28B-A3B 的架构

通过每个 token 仅从 28B 密集参数池中激活 30 亿参数,该模型以边缘级推理成本实现了旗舰级智能。

模型名称中的“A3B”代表 Active 3B,表示一种专为极致效率设计的混合专家(MoE)架构。

  • 总参数量: 28-300 亿(稀疏 MoE)

  • 激活参数量: 30 亿(每个 token 推理)

  • 上下文窗口: 128k tokens

  • 核心增强:

    • 图像思考: 与将图像处理为静态 token 的标准视觉语言模型不同,该模型可以在图像内迭代“缩放”和“搜索”,以解析细粒度细节。
    • GSPO 和 IcePop RL: 使用先进的强化学习(基于群体的自我博弈优化)来稳定 MoE 训练,确保专家被正确路由以处理复杂逻辑。

案例 1:ERNIE-4.5-VL-28B-A3B 的图像思考能力

人行道旁边墙上蓝色背景的标牌上写着什么文字?

ERNIE-4.5-VL-28B-A3B 的思考能力

来源:百度

案例:求解桥式电路以计算等效电阻

在此示例中,模型被呈现一个非平凡的桥式电路,并被要求计算节点 AB 之间的等效电阻。

ERNIE-4.5-VL-28B-A3B 的思考能力

来源:百度

为什么 ERNIE-4.5-VL-28B-A3B-Thinking 能改进工具增强的代码工作流

基准测试分数显示其在 STEM 推理、文档理解和视觉定位方面具有持续优势,这直接对应了实际代码工作流中最困难的认知步骤。

在文档理解和结构化推理基准测试中,ERNIE-4.5-VL-A3B 经常达到或超过 Gemini-2.5-Pro 和 GPT-5-High 的 95% 分位数范围,尽管每个 token 激活的参数要少得多。

基准测试 ERNIE-4.5-VL-A3B Gemini-2.5-Pro GPT-5-High 对开发者的意义
MathVista 82.5 82.7 81.3 可靠的多步符号推理
MathVerse 81.0 82.9 84.1 约束下的强抽象能力
MMMU 72.2 81.7 84.2 多模态问题分解
ChartQA 87.1 78.3 78.2 结构化数据提取
DocVQA (val) 93.6 91.2 94.2 精确文档定位
OCRBench 85.8 86.4 81.0 从视觉中稳健识别文本
CharXiv-DQ 90.3 91.2 93.5 长形式技术推理
CV-Bench 83.8 84.8 85.0 视觉逻辑一致性
平均(全部) 73.1 75.4 76.6 紧凑模型,接近旗舰推理能力

尽管该模型有 28B 参数,但每个 token 仅激活 3B,从而实现了适合在工具循环内重复调用的快速、低延迟推理。

与用户相关的关键特性:

  • 激活参数: 每个 token 3B
  • 有效延迟: 与中小型模型相当
  • 上下文长度: 最高 128k tokens,支持系统级推理

A3B 设计实现了:

  • 频繁推理而无需高昂成本
  • 在代理工作流中保持稳定延迟
  • 作为始终在线的推理 API 进行实际部署

立即尝试 ERNIE-4.5-VL-28B-A3B-Thinking!

ERNIE-4.5-VL-28B-A3B-Thinking 在代码工具工作流中的实际作用

ERNIE-4.5-VL-28B-A3B-Thinking 将视觉视为推理输入,而不仅仅是特征提取器,使开发者能够将截图、图表和文档直接集成到代码工作流中。这不仅仅是 OCR 加文本生成。该模型基于视觉结构进行推理,并将其与意图对齐。

1. 图表与架构理解

该模型可以解释系统图,并将视觉结构转换为与代码决策相关的逻辑关系。

视觉语言能力提供的功能

  • 从图表中识别组件、边界和数据流
  • 将视觉元素与文本描述对齐
  • 在推理中保留结构关系

示例

  • 输入:微服务架构图 + 简短设计说明
  • 输出:服务依赖关系和通信路径的解释
  • 影响:代码工具被引导到正确的模块,而不是扫描整个代码库

2. 基于截图的代码上下文理解

该模型可以基于 UI 或 IDE 截图进行推理,以推断底层逻辑和意图。

视觉语言能力提供的功能

  • 从截图中读取 UI 布局、日志和错误状态
  • 将视觉状态与可能的代码路径关联
  • 处理不完整或部分文本信息

示例

  • 输入:包含部分错误消息的失败仪表板截图
  • 输出:关于前后端不匹配和相关 API 层的假设
  • 影响:无需完整日志复现即可更快调试

3. 文档驱动的代码推理

该模型擅长从混合文本、表格和视觉的技术文档中提取可操作的逻辑。

视觉语言能力提供的功能

  • 解析规范、PDF 和研究类文档
  • 将图表和表格与实现逻辑关联
  • 在长文档中保持对齐

示例

  • 输入:包含表格和流程图的 API 规范 PDF
  • 输出:端点、约束和边缘情况的结构化摘要
  • 影响:代码生成工具从正确、有依据的理解开始

4. 用于问题分解的视觉推理

视觉输入用于驱动多步推理,而不仅仅是识别。

视觉语言能力提供的功能

  • 将视觉问题转换为符号表示
  • 在推理步骤中保持一致性
  • 在实现之前支持抽象

示例

  • 输入:数据管道流程图
  • 输出:处理阶段和故障点的逐步分解
  • 影响:实现有针对性的工具调用,而不是广泛调试

立即尝试 ERNIE-4.5-VL-28B-A3B-Thinking!

如何以优惠价格访问 ERNIE-4.5-VL-28B-A3B-Thinking?

Novita AI 提供 ERNIE-4.5-VL-28B-A3B-Thinking API,具有 30K 上下文窗口,输入价格为 $0.112,输出价格为 $0.448,支持结构化输出和函数调用。

步骤 1:登录并访问模型库

登录您的账户,点击 模型库 按钮。

登录您的账户,点击模型库按钮。

步骤 2:选择您的模型

浏览可用选项,选择适合您需求的模型。

浏览可用选项,选择适合您需求的模型。

立即尝试 ERNIE-4.5-VL-28B-A3B-Thinking!

步骤 3:开始免费试用

开始免费试用,探索所选模型的能力。

开始免费试用,探索所选模型的能力。

步骤 4:获取您的 API 密钥

为了通过 API 进行身份验证,我们将为您提供一个新的 API 密钥。进入“设置”页面,您可以按照图片所示复制 API 密钥。

获取 API 密钥

from openai import OpenAI

client = OpenAI(
    api_key="<Your API Key>",
    base_url="https://api.novita.ai/openai"
)

response = client.chat.completions.create(
    model="baidu/ernie-4.5-vl-28b-a3b",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Hello, how are you?"}
    ],
    max_tokens=8000,
    temperature=0.7
)

print(response.choices[0].message.content)

ERNIE-4.5-VL-28B-A3B-Thinking 在仅激活每个 token 3B 参数的情况下实现了接近旗舰的视觉语言推理性能,从而在工具工作流中实现低延迟、高频率的推理。其在文档理解、视觉定位和 STEM 推理方面的基准测试优势使其能够充当推理协调器,而非语法引擎。因此,它非常适合需要将图表、截图和技术文档集成到代码工具中,同时又不牺牲速度或成本效益的开发者。

常见问题

ERNIE-4.5-VL-28B-A3B-Thinking 最适合哪种类型的推理任务?

ERNIE-4.5-VL-28B-A3B-Thinking 最适合视觉语言推理任务,如图表解读、文档理解和结构化问题分解,而非纯语法级别的代码生成。

ERNIE-4.5-VL-28B-A3B-Thinking 能否取代专门用于代码的 LLM?

不能。ERNIE-4.5-VL-28B-A3B-Thinking 旨在通过处理视觉理解、规划和验证来补充专门用于代码的模型,而非低级代码执行。

ERNIE-4.5-VL-28B-A3B-Thinking 的视觉语言能力与基于 OCR 的模型有何不同?

ERNIE-4.5-VL-28B-A3B-Thinking 基于视觉结构和意图进行推理,能够完成基于图表的系统理解和截图驱动的调试等任务,而不仅仅是简单的文本提取。

Novita AI 是一个一体化云平台,助力您的 AI 雄心。集成 API、无服务器、GPU 实例——您所需的经济高效工具。消除基础设施,免费开始,让您的 AI 愿景成为现实。

推荐阅读