在 Novita Agent Sandbox 上執行 Harbor Agent 評估

在 Novita Agent Sandbox 上執行 Harbor Agent 評估

Harbor 是一個用於評估並最佳化 Agent 與語言模型的框架。其設計圍繞基準任務、容器化環境、平行試驗,以及用於最佳化工作流程的 rollout 生成。對於評估程式碼 Agent 或工具使用 Agent 的團隊而言,執行環境絕非次要細節:它決定了任務如何建構、指令如何執行、檔案如何進出,以及驗證器日誌如何收集。

本文將探討 Harbor 中的 Novita 環境程式碼路徑,以及它如何對應到 Novita Agent Sandbox。本文範圍刻意限縮:這是一份以實作為導向的概述,並非合作公告、基準測試或成本比較。

Harbor 對雲端沙盒的需求

Harbor 任務定義了指令、測試、可選的解決方案邏輯以及環境。環境通常由 environment/ 目錄下的檔案表示。Harbor 的任務文件說明,所需檔案取決於選定的環境類型。Docker 可以使用 Dockerfile 或 Compose 檔案,而大多數雲端沙盒供應商只支援 Dockerfile 定義的環境,不支援 Docker Compose。

這個模型對於 Agent 評估至關重要。Harbor 的執行流程需要建立隔離的任務環境、執行 Agent 與驗證器指令、傳輸測試與構件等檔案,最後清理運行環境。當執行規模從少數本機試驗擴展到大量遠端試驗時,沙盒供應商便成為評估框架的一部分。

Novita Agent Sandbox 的角色

Novita Agent Sandbox 是一個專為執行生成程式碼的 AI Agent 所設計的雲端沙盒運行環境。產品文件描述了安全隔離的沙盒環境、多語言執行支援、暫停/恢復、背景執行,以及 SDK/CLI 管理。在 Harbor 的脈絡中,相關的運行時介面相當實務:建立沙盒、執行指令、移動檔案,以及管理沙盒生命週期。

Harbor 原始碼樹在主分支中包含 Novita 環境程式碼/路徑,包括 novita 環境類型、harbor.environments.novita.NovitaEnvironment 的工廠接線,以及 Novita Agent Sandbox 的原始碼級選擇性依賴接線。請將其視為原始碼樹的狀態,而非已發布的 PyPI 支援。

整合架構

總體而言,Harbor 中的 Novita 環境路徑將 Harbor 任務環境對應到 Novita 沙盒模板與運行時工作階段:

  • Harbor 讀取任務環境定義,通常來自 environment/Dockerfile
  • Novita 環境實作會為該環境建立或重複使用 Novita 沙盒模板。
  • Harbor 從該模板建立沙盒,供評估試驗使用。
  • Agent、驗證器以及設定指令均在沙盒內執行。
  • 根據 Harbor 任務生命週期的需求,將檔案上傳至沙盒或從沙盒下載。
  • 試驗完成時,沙盒會被停止或清理。

這項設計之所以實用,是因為它保留了 Harbor 的評估抽象。任務作者仍以 Harbor 的術語思考:指令、測試、獎勵檔案、構件與環境檔案。沙盒供應商則在該介面背後處理遠端執行環境。

目前發布狀態

Harbor 原始碼樹在主分支中包含 Novita 環境程式碼/路徑。其中包括 novita 環境類型的原始碼、NovitaEnvironment 實作,以及 Novita Agent Sandbox 的原始碼級選擇性依賴接線。目前請將其視為原始碼樹的指引,而非可執行的 PyPI 快速入門。

根據目前的發布檢查,Harbor PyPI 釋出版本 0.7.0 並未包含 novita extra,不會透過 Harbor 的 Novita extra 安裝 novita-sandbox,也不會將 novita 暴露為有效的 CLI 環境值。在 Harbor 發布包含此介面的版本之前,請勿發布要求讀者安裝 Harbor Novita extra 或使用 Novita CLI 環境執行 Harbor 的指令。

給讀者的安全指引是:Harbor 原始碼樹在主分支中包含了 Novita 環境程式碼/路徑,但已發布的 PyPI 套件尚未提供該介面。一旦 Harbor 發布包含 Novita extra 與 CLI 環境的版本,本文將以測試過的安裝與執行指令進行更新。

最小任務心智模型

一個 Harbor 任務通常包含:

  • instruction.md:提供給 Agent 的任務說明。
  • task.toml:任務元資料與執行期設定。
  • environment/:容器環境定義。
  • tests/:驗證器邏輯。
  • 可選的 solution/ 目錄:用於 oracle 或健全性檢查工作流程。

對於雲端沙盒供應商,請保持環境定義的可移植性。Harbor 文件指出,大多數雲端沙盒供應商僅支援 Dockerfile 定義的環境,因此基於 Docker Compose 的任務在假定可遠端執行前應先進行審查。

本文未主張的內容

此整合路徑應精確描述。目前基於公開原始碼的主張僅涉及 Harbor 主分支的程式碼層級狀態以及 Novita Agent Sandbox 的產品能力,而非商業或基準測試主張。請避免聲稱 Novita 與 Harbor 已宣布正式合作(除非有公開公告)。請避免聲稱 Novita 路徑比其它 Harbor 環境供應商更快、更便宜或更可靠(除非有基準測試或價格比較可引用)。請避免暗示 Harbor 的公開文件目前推薦 Novita 作為預設雲端供應商。

最強而有力的可發布陳述更狹窄但更有用:Harbor 原始碼樹在主分支中包含 Novita 環境程式碼/路徑,而 Novita Agent Sandbox 提供了 Harbor 評估環境所需的沙盒運行環境基本功能:隔離執行、指令執行、檔案操作、基於模板的設定以及生命週期管理。

今日如何使用

請將本文視為架構概述與發布狀態說明,而非可直接複製貼上的快速入門。如果您目前正從 PyPI 套件評估 Harbor,請先檢查已安裝的 Harbor 版本與 CLI 幫助資訊,再假設 Novita 環境可用。如果已安裝的版本未暴露 Novita extra 或 CLI 環境,請等候 Harbor 發布包含該介面的版本,然後再發布可執行的指令或將該路徑加入正式評估文件。

對於最終的 Novita 公告,在 Harbor 發布包含 Novita extra 與 CLI 環境的版本後,可以加入經過測試的指令區塊。在此之前,本文應保持界限清晰:Harbor 主分支包含 Novita 環境程式碼路徑,而目前的 PyPI 使用者不應被導向執行 Novita 特定的 Harbor 指令。

常見問題

Harbor 是否支援 Novita Agent Sandbox?

Harbor 的主分支包含一條 Novita 環境路徑,可將 Harbor 評估環境對應到 Novita Agent Sandbox。在 Harbor 發布包含 Novita extra 與 CLI 環境的版本前,請將其視為原始碼樹支援。

我現在可以從 PyPI 安裝帶有 Novita 支援的 Harbor 嗎?

無法從目前驗證過的 PyPI 版本安裝。最新檢查的 Harbor 套件 harbor 0.7.0 並未包含 Novita extra 或 Novita 環境實作,因此本文不將其呈現為可立即執行的安裝路徑。

為什麼本文沒有可執行的 Harbor 指令?

可執行的指令會暗示 Novita 路徑已存在於已發布的 Harbor 套件中。在套件與 CLI 介面發布並測試完成之前,更安全的做法是說明整合架構與目前的發布界限。

Harbor 發布 Novita 支援後會有何變化?

在 Harbor 發布包含 Novita extra 與 CLI 環境的版本後,本文應更新為實用的快速入門,包含經過驗證的安裝步驟、環境變數、基於 Dockerfile 的任務範例,以及預期的驗證輸出。

參考資料