Harbor — это фреймворк для оценки и оптимизации агентов и языковых моделей. Он построен вокруг бенчмарк-задач, контейнеризированных сред, параллельных испытаний и генерации прогонов для рабочих процессов оптимизации. Для команд, оценивающих кодовых агентов или агентов, использующих инструменты, среда выполнения — не второстепенная деталь: она определяет, как создаются задачи, как выполняются команды, как файлы перемещаются внутрь и наружу, и как собираются логи верификатора.
Этот пост рассматривает путь кода среды Novita в Harbor и то, как он отображается на Novita Agent Sandbox. Объем намеренно узок: это обзор, ориентированный на реализацию, а не анонс партнерства, не бенчмарк и не сравнение стоимости.
Что Harbor требует от облачной песочницы
Задачи Harbor определяют инструкцию, тесты, опциональную логику решения и среду. Среда обычно представлена файлами в директории environment/. Документация задач Harbor объясняет, что требуемые файлы зависят от выбранного типа среды. Docker может использовать Dockerfile или Compose-файл, в то время как большинство облачных провайдеров песочниц поддерживают среды, определенные через Dockerfile, а не через Docker Compose.
Эта модель важна для оценок агентов. Прогону Harbor необходимо создать изолированную среду задачи, выполнить команды агента и верификатора, передать файлы (например, тесты и артефакты), а затем очистить среду выполнения. Когда прогон масштабируется от нескольких локальных испытаний до множества удаленных, провайдер песочницы становится частью оценочного оборудования.
Где подходит Novita Agent Sandbox
Novita Agent Sandbox — это облачная среда выполнения для AI-агентов, исполняющих сгенерированный код. В документации продукта описаны безопасная изолированная среда, поддержка выполнения на нескольких языках, пауза/возобновление, фоновое выполнение и управление через SDK/CLI. В контексте Harbor релевантная поверхность выполнения практична: создать песочницу, выполнить команды, перемещать файлы и управлять жизненным циклом песочницы.
Дерево исходного кода Harbor включает код/путь среды Novita в основной ветке, включая тип среды novita, фабричную обвязку для harbor.environments.novita.NovitaEnvironment и обвязку опциональных зависимостей на уровне исходников для Novita Agent Sandbox. Это следует описывать как состояние дерева исходников, а не как поддержку в опубликованном пакете PyPI.
Форма интеграции
На высоком уровне путь среды Novita в Harbor отображает среду задачи Harbor на шаблон песочницы Novita и сеанс выполнения:
- Harbor читает определение среды задачи, обычно из
environment/Dockerfile. - Реализация среды Novita собирает или повторно использует шаблон песочницы Novita для этой среды.
- Harbor создает песочницу из шаблона для испытания оценки.
- Команды агента, верификатора и настройки выполняются внутри песочницы.
- Файлы загружаются в песочницу и скачиваются из нее по мере необходимости в жизненном цикле задачи Harbor.
- Песочница останавливается или очищается после завершения испытания.
Это полезно, поскольку сохраняет абстракцию оценки Harbor нетронутой. Авторы задач по-прежнему мыслят в терминах Harbor: инструкции, тесты, файлы вознаграждений, артефакты и файлы среды. Провайдер песочницы обрабатывает удаленную среду выполнения за этим интерфейсом.
Текущий статус релиза
Дерево исходного кода Harbor включает код/путь среды Novita в основной ветке. Это включает исходный код для типа среды novita, реализацию NovitaEnvironment и обвязку опциональных зависимостей на уровне исходников для Novita Agent Sandbox. Воспринимайте это как руководство по дереву исходников на данный момент, а не как готовый к запуску quickstart через PyPI.
На момент текущей публикации пакет Harbor на PyPI версии 0.7.0 не включает дополнительную опцию novita, не устанавливает novita-sandbox через дополнительную опцию Harbor Novita и не предоставляет novita как допустимое значение среды в CLI. Не публикуйте команды, предлагающие читателям установить дополнительную опцию Harbor для Novita или запустить Harbor с CLI-средой Novita, используя пакет PyPI, до тех пор, пока не выйдет релиз Harbor, содержащий этот интерфейс.
Безопасная рекомендация для читателей: дерево исходного кода Harbor включает код/путь среды Novita в основной ветке, в то время как опубликованный пакет PyPI пока не включает этот интерфейс. Как только Harbor опубликует релиз, включающий дополнительную опцию Novita и CLI-среду, эту статью можно будет обновить протестированными командами установки и запуска.
Ментальная модель минимальной задачи
Задача Harbor обычно включает:
instruction.md— инструкция для агента.task.toml— метаданные задачи и конфигурация выполнения.environment/— определение контейнерной среды.tests/— логика верификатора.- Опциональная директория
solution/для эталонных или проверочных рабочих процессов.
Для облачного провайдера песочниц сохраняйте определение среды переносимым. В документации Harbor отмечается, что большинство облачных провайдеров песочниц поддерживают только среды, определенные через Dockerfile, поэтому задачу, основанную на Docker Compose, следует пересмотреть, прежде чем предполагать, что она может выполняться удаленно.
Что этот пост не утверждает
Этот путь интеграции следует описывать точно. Текущие утверждения, основанные на публичных исходниках, касаются состояния кода в основной ветке Harbor и возможностей продукта Novita Agent Sandbox, а не деловых или бенчмарковых заявлений. Избегайте утверждений о том, что Novita и Harbor объявили об официальном партнерстве, если нет публичного анонса. Избегайте утверждений, что путь Novita быстрее, дешевле или надежнее других провайдеров сред Harbor, если нет бенчмарка или сравнения цен для цитирования. Избегайте намеков на то, что публичная документация Harbor в настоящее время рекомендует Novita как облачного провайдера по умолчанию.
Наиболее сильное утверждение, которое можно опубликовать, более узкое и полезное: дерево исходного кода Harbor включает код/путь среды Novita в основной ветке, а Novita Agent Sandbox предоставляет примитивы среды выполнения песочницы, необходимые среде оценки Harbor: изолированное выполнение, выполнение команд, файловые операции, настройка на основе шаблонов и управление жизненным циклом.
Как использовать это сегодня
Используйте эту статью как архитектурный обзор и заметку о статусе релиза, а не как quickstart для копирования и вставки. Если вы оцениваете Harbor сегодня, используя текущий пакет PyPI, проверьте установленную версию Harbor и справку CLI, прежде чем предполагать, что среда Novita доступна. Если установленный релиз не предоставляет дополнительную опцию Novita или CLI-среду, дождитесь релиза Harbor, который включает этот интерфейс, прежде чем публиковать выполняемые команды или добавлять этот путь в документацию по производственным оценкам.
Для финальной публикации от Novita протестированные блоки команд можно будет добавить после того, как Harbor выпустит релиз, содержащий дополнительную опцию Novita и CLI-среду. До тех пор статья должна четко обозначать границу: основная ветка Harbor содержит путь кода среды Novita, в то время как текущим пользователям PyPI не следует предлагать запускать команды Harbor, специфичные для Novita.
Часто задаваемые вопросы
Поддерживает ли Harbor Novita Agent Sandbox?
Основная ветка Harbor включает путь среды Novita, который отображает среды оценки Harbor на Novita Agent Sandbox. Считайте это поддержкой на уровне дерева исходников до тех пор, пока не выйдет релиз Harbor с дополнительной опцией Novita и CLI-средой.
Могу ли я установить Harbor с поддержкой Novita из PyPI сегодня?
Нет, из текущего проверенного релиза PyPI. Последний проверенный пакет Harbor, harbor 0.7.0, не включает дополнительную опцию Novita и реализацию среды Novita, поэтому этот пост не представляет его как готовый к установке путь.
Почему в этом посте нет выполняемых команд Harbor?
Выполняемые команды подразумевали бы, что путь Novita доступен в опубликованном пакете Harbor. Пока пакет и CLI-интерфейс не выпущены и не протестированы, более безопасной рекомендацией будет объяснить форму интеграции и текущие границы релиза.
Что изменится после того, как Harbor выпустит поддержку Novita?
После того как Harbor опубликует релиз с дополнительной опцией Novita и CLI-средой, эту статью следует обновить до практического quickstart с проверенными шагами установки, переменными окружения, примером задачи на основе Dockerfile и ожидаемыми результатами проверки.
Источники
- README Harbor
- Реализация среды Novita в Harbor
- Исходный код типа среды в Harbor
- Фабрика сред Harbor
- Опциональные зависимости Harbor
- Документация задач/сред Harbor
- Обзор Novita Agent Sandbox
- Документация SDK/CLI Novita Agent Sandbox
- Quickstart первой песочницы Novita
- Документация совместимости Novita с E2B
