RL 智能体沙箱应通过隔离状态、控制资源、记录动作和输出，以及在试验之间重置环境，使实验可重复。这一点对于强化学习、评估循环、编码智能体、浏览器智能体，以及任何智能体可以运行命令、修改文件、调用工具或改变其学习环境的试错系统都至关重要。
为什么 RL 智能体需要沙箱
强化学习建立在交互之上。智能体观察环境、选择动作、接收反馈，并更新其策略或决策过程。在玩具模拟器中，这个循环可能只是在网格上移动一个标记。在现代智能体系统中，动作可能包括运行 Python、安装包、编辑代码仓库、点击 Web 应用、调用工具，或生成一个由评分器评估的文件。
这使得运行时成为实验的一部分。如果两次试验共享文件系统、缓存、浏览器会话、后台进程或部分修改的代码仓库，那么第二次试验就不会从与第一次相同的状态开始。奖励的提升可能是因为智能体学到了东西，也可能是因为环境意外保留了依赖项、凭据、编译后的二进制文件、浏览器 Cookie 或生成的辅助文件。没有隔离和重置行为，就很难区分两者。
沙箱为每次试验提供了一个明确的执行边界。它本身不是完整的安全策略，也不能替代奖励设计、策略审核、访问控制或人工审批的需求。它为建设者提供了一个可控的环境来运行智能体动作、观察副作用、捕获产物，并在下次尝试前重置环境。
对于 RL 风格的智能体工作，有用的问题不仅仅是“这个沙箱安全吗？”更好的问题是：这个运行时能否支持可重复的实验，而不会让一次试验悄悄污染下一次？
可重置性对 RL 智能体试验意味着什么
可重置性是指在新回合、评估或训练批次之前，将环境恢复到已知基线的能力。实际上，该基线不仅仅是干净的目录。
一个 RL 智能体沙箱可能需要重置：
- 试验期间创建、编辑、删除或下载的文件。
- 已安装的包、构建缓存、编译产物和临时文件。
- 正在运行的进程、端口、套接字、浏览器会话和后台作业。
- 环境变量和作用域凭据。
- 数据库夹具、本地服务、队列或模拟 API。
- 网络策略、包注册表配置和工具权限。
- 评估状态、奖励日志和评分器输入。
重置机制取决于工作负载。编码基准测试可能需要恢复代码仓库的检出状态和测试夹具。浏览器任务可能需要清除 Cookie、本地存储、下载内容和浏览器配置文件。数据分析智能体可能需要重置输入数据集，同时仅保留批准的输出产物。多步骤智能体评估可能需要暂停、检查，然后要么恢复要么丢弃沙箱。
常见的错误是将重置视为在结束时运行的清理脚本。清理脚本会失败。智能体可能会杀死它们、在运行前挂起、填满磁盘、留下后台进程，或创建脚本未知的路径。更健壮的设计是从已知的模板或快照开始每次试验，记录哪些发生了变化，然后销毁或重置整个运行时边界。
可重复环境与状态快照
可重复的 RL 试验需要清晰的基线。该基线应定义操作系统镜像、语言运行时、包、数据集版本、环境变量、文件、网络策略、资源限制和入口命令。
有三种常见的基线模式：
| 模式 | 最佳适用场景 | 注意 |
|---|---|---|
| 从模板创建全新沙箱 | 独立回合、批量评估、编码任务、浏览器任务 | 启动时间和包安装时间可能主导短试验 |
| 快照与恢复 | 需要预先准备好环境的多步骤任务 | 快照漂移可能隐藏变化，如果快照没有版本控制 |
| 带有受控检查点的长期运行沙箱 | 交互式调试、课程任务、人在回路中修正 | 状态可能在试验间泄漏，除非检查点明确 |
当大多数试验从相同的已知镜像开始时，模板很有用。快照在昂贵的设置后很有用：安装依赖项、下载公共夹具、编译项目或打开一个已准备好浏览器的 workspace。长期运行会话可以帮助那些真正需要记忆和状态的智能体工作流，但除非状态模型是实验的一部分，否则它们不应成为评估的默认选择。
一条实用规则：在试验开始前定义允许持久化的内容。如果答案是“除了批准的产物外什么都不保留”，则使用全新沙箱或快照恢复。如果答案是“智能体应基于之前的尝试构建”，则将这种持久性视为实验的一部分并记录。
确定性与非确定性运行
并非每次智能体试验都能完全确定。语言模型采样、外部 API、浏览器时序、包注册表可用性、并行进程和网络延迟都可能变化。尽管如此，沙箱可以减少可避免的变化来源。
为了更可重复的运行，控制你能控制的部分：
- 锁定包版本、容器镜像、数据集、提示、评估器代码和模型配置。
- 记录模型、环境或评估器支持的随机种子。
- 冻结基准测试夹具和预期输出。
- 通过批准的注册表或缓存路由包安装。
- 避免将实时生产系统作为奖励来源，除非任务明确涉及实时集成。
- 捕获运行期间使用的确切命令、工具调用、文件和网络目标。
然后区分确定性故障和随机行为。如果试验 7 失败是因为智能体选择了不同的计划，这是有用信息。如果试验 7 失败是因为之前的试验在同一个端口上留下了一个进程，那是环境污染。如果试验 7 失败是因为包注册表返回了不同的版本，那是依赖漂移。
沙箱应使这些差异可见。目标不是假装每次 RL 智能体运行都是确定的。目标是移除隐藏状态，并保留足够的证据来解释运行发生变化的原因。
试验循环的资源与时间限制
RL 和评估循环可能运行许多次试验。一个智能体错误可能迅速放大：无限循环、失控的包安装、分叉进程、大量下载、无界的日志或重复的浏览器会话。资源控制可以防止一次糟糕的试验消耗整个评估预算。
在沙箱级别设置限制，而不仅仅在智能体提示内部：
| 限制 | 对 RL 智能体的重要性 |
|---|---|
| 墙钟超时 | 防止挂起的回合阻塞整个批次 |
| CPU 和内存配额 | 确保一个试验不会饿死相邻试验 |
| 磁盘配额 | 控制日志、缓存、包安装和生成的产物 |
| 进程限制 | 减少失控子进程和后端作业故障 |
| 网络策略 | 防止意外调用、下载或内部访问 |
| 输出大小限制 | 保持模型上下文和遥测管道可用 |
| 并发沙箱上限 | 保护预算和扫描期间的共享基础设施 |
超时需要细致处理。硬超时适用于短基准回合。长时间运行的任务可能需要暂停、恢复或检查点，以便人工在决定是否继续之前检查进度。重要的是运行时策略是明确的。仅仅因为奖励循环没有结束，智能体不应获得无限的计算资源。
用于奖励、评估和调试的遥测
奖励信号只有在能够解释时才有用。在智能体系统中，一个分数通常结合了许多因素：任务成功、测试结果、命令退出码、文件差异、浏览器状态、延迟、令牌使用、人工标签和评分器输出。沙箱应捕获理解分数所需的证据，而不存储不必要的秘密或私人数据。
有用的遥测包括：
- 沙箱 ID、试验 ID、任务 ID、模板或快照版本以及开始时间。
- 用于运行的模型和智能体配置。
- 工具调用、shell 命令、退出码和运行时长。
- 读取、写入、创建、删除或导出的文件。
- 网络域名联系和安装的包名称。
- 浏览器动作、截图、下载内容以及相关时的最终页面状态。
- 评估器输入、奖励输出、测试结果和评分器错误。
- 为审查而复制到沙箱外的产物。
保持原始日志的范围。完整的命令输出、原始提示、浏览器截图和生成的文件可能包含敏感信息。对于许多系统，更好的默认选择是结构化遥测加上选择性保留的产物。存储足够的信息来重现和调试运行；避免将日志变成第二个充满凭据、客户数据和未审核模型输出的数据湖。
奖励设计也应考虑沙箱限制。如果智能体不允许访问公共互联网，不要因为实时网站不可用而将其评为失败。如果沙箱有较小的磁盘配额，衡量智能体是否处理了这一约束，而不是它是否能够暴力存储。环境策略和奖励函数应保持一致。
文件、网络和危险动作边界
当沙箱缩小智能体可以触及的范围时，它最有帮助。对于 RL 风格的试验，首先假设智能体可能会发现令人惊讶的动作。它可能会运行提示中未提及的命令、检查隐藏文件、重试被阻止的网络路径、安装包，或生成改变后续步骤行为的脚本。
使用与任务匹配的文件系统边界：
- 当智能体只需要检查时，将输入挂载为只读。
- 将生成的输出放在单独的写入目录中。
- 将凭据、主机配置、浏览器配置文件及部署密钥保留在工作区之外。
- 在试验之间重置可写目录。
- 默认只复制批准的产物，而不是整个工作区。
网络策略需要同样的精确性。编码基准测试可能不需要互联网访问。包安装任务可能需要注册表白名单。浏览器智能体评估可能需要特定的公共网站和阻止的内部元数据端点。数据智能体工作流可能需要窄 API 而不是广泛的私有网络可达性。
危险动作应留在自动循环之外，除非实验明确包含它们并且审查路径清晰。例子包括生产部署、面向客户的消息、计费变更、访问控制编辑、大量导出、破坏性数据库写入和基础设施修改。沙箱可以包含运行时副作用；它不能决定哪些业务操作需要批准。
产物捕获与人工审查
RL 智能体试验的结束应产生可审查的记录。这并不意味着保留一切。它意味着保留评分、审计和从试验中学习所需的产物。
对于编码智能体，这可能是一个补丁、测试日志、生成的报告和工作区最终差异。对于浏览器智能体，可能是一个截图序列、下载的文件、最终 URL 和 DOM 摘要。对于数据分析智能体，可能是一个 notebook、图表、转换后的数据集和评估器分数。对于安全敏感的工作流，可能包括被拒绝的动作和审批请求。
人工审查应位于沙箱实验本会影响外部系统的边界处。良好的审查点包括：
- 将文件从沙箱导出到生产工作区之前。
- 发送消息、创建工单、发布页面或部署代码之前。
- 授予新的网络、文件系统或秘密权限之前。
- 在真实用户或客户数据上使用已学习的策略之前。
- 在重复失败表明奖励黑客、提示注入或环境滥用之后。
审查应设计在循环中，而不是在智能体获得广泛访问权后附加。沙箱应使提议的动作、支持产物和试验历史易于检查。
Novita Agent Sandbox 的适用场景
Novita Agent Sandbox 是一个云沙箱运行时，适用于需要隔离环境进行代码执行、文件系统操作、浏览器式工作流和长时间运行任务的 AI 智能体。目前的 Novita 文档描述了沙箱能力，例如命令执行、文件操作、模板、快照、暂停和恢复、后台执行以及 SDK/CLI 生命周期管理。
对于 RL 风格的智能体工作，这些原语映射到核心环境需求：
| RL 智能体要求 | 要查找的沙箱原语 |
|---|---|
| 从已知基线开始每次试验 | 基于模板或快照的沙箱创建 |
| 在无主机访问的情况下运行智能体动作 | 隔离的命令执行和作用域文件系统 |
| 仅保留选定的输出 | 文件操作和产物导出策略 |
| 支持长时间运行的评估 | 后台执行、暂停/恢复、超时策略 |
| 调试失败或意外的试验 | 日志、命令结果、文件差异和捕获的产物 |
| 将评估与应用逻辑分离 | 每次运行周围的 SDK/CLI 生命周期控制 |
保持产品边界清晰。Novita Agent Sandbox 提供运行时原语，可以支持评估和 RL 智能体基础设施，但建设者仍需定义奖励函数、环境模板、工具策略、网络规则、遥测模式、秘密处理和人工审批工作流。不要将任何沙箱提供商视为自主智能体的完整安全层。
RL 智能体沙箱检查清单
在运行重复的 RL 风格试验或大型评估批次之前，请使用此检查清单：
| 领域 | 要回答的问题 |
|---|---|
| 基线 | 每次试验从哪个模板、快照、数据集、依赖集和评估器版本开始？ |
| 重置 | 试验之间清除哪些状态，又有哪些状态是有意保留的？ |
| 确定性 | 哪些种子、包版本、模型设置和夹具被锁定？ |
| 文件系统 | 哪些路径是只读、可写、隐藏或导出的？ |
| 网络 | 出站流量是被阻止、允许列表、代理、记录还是针对特定任务？ |
| 资源 | CPU、内存、磁盘、进程、超时和并发限制是什么？ |
| 工具 | 智能体可以调用哪些命令、包管理器、浏览器和 API？ |
| 奖励 | 什么证据为奖励提供输入，能否从捕获的产物中解释分数？ |
| 遥测 | 是否记录了命令、文件更改、网络调用、输出和评估器结果，而又不存储秘密？ |
| 产物 | 哪些输出被复制出来、保留、编辑或丢弃？ |
| 人工审查 | 哪些动作在离开沙箱或触及外部系统之前需要批准？ |
如果有一行不明确，先修复它再扩展循环。小的模糊性在数百或数千次试验中会变得代价高昂。
常见问题
什么是 RL 智能体沙箱？
RL 智能体沙箱是一个隔离的运行时，智能体可以在其中执行动作、接收反馈，并在试验之间重置到已知的环境状态。它用于保持实验可重复、包含副作用，并捕获用于评分和调试的证据。
为什么可重置性对强化学习智能体很重要？
可重置性防止一个试验的文件、进程、缓存、浏览器会话或已安装包影响下一个试验。如果没有可靠的重置，奖励变化可能反映隐藏的环境漂移，而不是更好的智能体行为。
RL 智能体沙箱能使自主智能体安全吗？
不能。沙箱可以减少运行时影响范围，并使副作用更容易观察，但它不是完整的安全保证。建设者仍需要作用域权限、网络策略、秘密处理、奖励设计、监控以及对外部敏感动作的人工审查。
是否每个 RL 试验都应从全新的沙箱开始？
不一定。全新沙箱最适合独立评估。快照恢复在昂贵设置后可能更高效。长时间运行的沙箱可能适合交互式或课程式工作，但持久状态应明确并记录。
RL 智能体沙箱应记录什么？
记录试验 ID、沙箱基线、命令、工具调用、退出码、文件更改、网络目标、资源使用、评估器输入、奖励输出和批准的产物。默认避免记录原始秘密、不必要的客户数据或完整的未审核文件内容。
