Harbor est un framework pour évaluer et optimiser les agents et les modèles de langage. Il est conçu autour de tâches de benchmark, d’environnements conteneurisés, d’exécutions parallèles et de génération de rollouts pour les workflows d’optimisation. Pour les équipes qui évaluent des agents de codage ou des agents utilisant des outils, l’environnement d’exécution n’est pas un détail secondaire : il détermine comment les tâches sont construites, comment les commandes s’exécutent, comment les fichiers entrent et sortent, et comment les logs de vérification sont collectés.
Cet article examine le chemin de code de l’environnement Novita dans Harbor et la façon dont il se rapporte à Novita Agent Sandbox. Le périmètre est volontairement restreint : il s’agit d’une vue d’ensemble orientée implémentation, et non d’une annonce de partenariat, d’un benchmark ou d’une comparaison de coûts.
Ce dont Harbor a besoin d’un sandbox cloud
Les tâches Harbor définissent une instruction, des tests, une logique de solution optionnelle et un environnement. L’environnement est généralement représenté par des fichiers sous un répertoire environment/. La documentation des tâches Harbor explique que les fichiers requis dépendent du type d’environnement choisi. Docker peut utiliser un Dockerfile ou un fichier Compose, tandis que la plupart des fournisseurs de sandbox cloud ne supportent que les environnements définis par Dockerfile, et non Docker Compose.
Ce modèle est important pour les évaluations d’agents. Une exécution Harbor doit créer un environnement de tâche isolé, exécuter les commandes de l’agent et du vérificateur, transférer des fichiers tels que les tests et les artefacts, puis nettoyer l’exécution. Lorsqu’une exécution passe de quelques essais locaux à de nombreux essais distants, le fournisseur de sandbox devient une partie du harnais d’évaluation.
Où se situe Novita Agent Sandbox
Novita Agent Sandbox est un environnement d’exécution cloud sandbox pour les agents IA qui exécutent du code généré. La documentation produit décrit un environnement sandbox sécurisé et isolé, la prise en charge de l’exécution multi-langage, la pause/reprise, l’exécution en arrière-plan et la gestion via SDK/CLI. Dans un contexte Harbor, la surface d’exécution pertinente est pratique : créer un sandbox, exécuter des commandes, déplacer des fichiers et gérer le cycle de vie du sandbox.
L’arborescence source de Harbor inclut le code/chemin de l’environnement Novita sur la branche principale, notamment un type d’environnement novita, le câblage d’usine pour harbor.environments.novita.NovitaEnvironment, et le câblage de dépendances optionnelles au niveau source pour Novita Agent Sandbox. Ceci doit être décrit comme un état de l’arborescence source, et non comme un support PyPI publié.
Forme de l’intégration
À un niveau élevé, le chemin d’environnement Novita dans Harbor fait correspondre un environnement de tâche Harbor à un modèle de sandbox Novita et à une session d’exécution :
- Harbor lit la définition de l’environnement de la tâche, généralement à partir d’un
environment/Dockerfile. - L’implémentation de l’environnement Novita construit ou réutilise un modèle de sandbox Novita pour cet environnement.
- Harbor crée un sandbox à partir du modèle pour l’essai d’évaluation.
- Les commandes de l’agent, du vérificateur et de configuration s’exécutent à l’intérieur du sandbox.
- Les fichiers sont téléchargés vers et depuis le sandbox selon les besoins du cycle de vie de la tâche Harbor.
- Le sandbox est arrêté ou nettoyé une fois l’essai terminé.
Ceci est utile car cela maintient l’abstraction d’évaluation de Harbor intacte. Les auteurs de tâches raisonnent toujours en termes Harbor : instructions, tests, fichiers de récompense, artefacts et fichiers d’environnement. Le fournisseur de sandbox gère l’environnement d’exécution distant derrière cette interface.
État actuel de la version
L’arborescence source de Harbor inclut le code/chemin de l’environnement Novita sur la branche principale. Cela inclut le code source pour un type d’environnement novita, une implémentation NovitaEnvironment, et le câblage de dépendances optionnelles au niveau source pour Novita Agent Sandbox. Considérez ceci comme une directive basée sur l’arborescence source pour le moment, et non comme un guide de démarrage rapide via PyPI.
Au moment de la vérification de la publication actuelle, la version PyPI 0.7.0 de Harbor n’inclut pas l’extra novita, n’installe pas novita-sandbox via un extra Harbor Novita, et n’expose pas novita comme valeur d’environnement CLI valide. Ne publiez pas de commandes qui demandent aux lecteurs d’installer un extra Harbor Novita ou d’exécuter Harbor avec un environnement CLI Novita à partir du package PyPI tant qu’une version de Harbor contenant cette interface n’est pas disponible.
Le conseil prudent pour les lecteurs est : l’arborescence source de Harbor inclut le code/chemin de l’environnement Novita sur la branche principale, tandis que le package PyPI publié n’a pas encore livré cette interface. Une fois que Harbor publiera une version incluant l’extra Novita et l’environnement CLI, cet article pourra être mis à jour avec des commandes d’installation et d’exécution testées.
Un modèle mental minimal d’une tâche
Une tâche Harbor inclut généralement :
instruction.mdpour la tâche destinée à l’agent.task.tomlpour les métadonnées de la tâche et la configuration d’exécution.environment/pour la définition de l’environnement conteneurisé.tests/pour la logique du vérificateur.- Un répertoire
solution/optionnel pour les workflows oracle ou de vérification de cohérence.
Pour un fournisseur de sandbox cloud, gardez la définition de l’environnement portable. La documentation de Harbor note que la plupart des fournisseurs de sandbox cloud ne prennent en charge que les environnements définis par Dockerfile, donc une tâche basée sur Docker Compose doit être examinée avant de supposer qu’elle peut être exécutée à distance.
Ce que cet article ne prétend pas
Ce chemin d’intégration doit être décrit précisément. Les affirmations actuelles basées sur le code source public concernent l’état du code sur la branche principale de Harbor et les capacités du produit Novita Agent Sandbox, et non des affirmations commerciales ou de benchmark. Évitez de dire que Novita et Harbor ont annoncé un partenariat officiel à moins qu’une annonce publique n’existe. Évitez de dire que le chemin Novita est plus rapide, plus abordable ou plus fiable que les autres fournisseurs d’environnement Harbor sauf si un benchmark ou une comparaison de prix peut être cité. Évitez d’impliquer que la documentation publique de Harbor recommande actuellement Novita comme fournisseur cloud par défaut.
La déclaration publiable la plus solide est plus étroite et plus utile : l’arborescence source de Harbor inclut le code/chemin de l’environnement Novita sur la branche principale, et Novita Agent Sandbox fournit les primitives d’exécution sandbox dont un environnement d’évaluation Harbor a besoin : exécution isolée, exécution de commandes, opérations sur les fichiers, configuration basée sur des modèles et gestion du cycle de vie.
Comment utiliser ceci aujourd’hui
Utilisez cet article comme un aperçu architectural et une note sur l’état de version, et non comme un guide de démarrage rapide à copier-coller. Si vous évaluez Harbor aujourd’hui à partir du package PyPI actuel, vérifiez la version installée de Harbor et l’aide CLI avant de supposer que l’environnement Novita est disponible. Si la version installée n’expose pas l’extra Novita ou l’environnement CLI, attendez une version de Harbor qui livre cette interface avant de publier des commandes exécutables ou d’ajouter le chemin à la documentation d’évaluation de production.
Pour la publication finale de Novita, des blocs de commandes testés pourront être ajoutés après que Harbor ait publié une version contenant l’extra Novita et l’environnement CLI. Jusque-là, l’article doit garder la limite claire : la branche principale de Harbor contient le chemin de code de l’environnement Novita, tandis que les utilisateurs actuels de PyPI ne doivent pas être dirigés pour exécuter des commandes Harbor spécifiques à Novita.
FAQ
Est-ce que Harbor supporte Novita Agent Sandbox ?
La branche principale de Harbor inclut un chemin d’environnement Novita qui fait correspondre les environnements d’évaluation Harbor à Novita Agent Sandbox. Considérez-le comme un support au niveau de l’arborescence source jusqu’à ce qu’une version de Harbor livre l’extra Novita et l’environnement CLI.
Puis-je installer Harbor avec le support Novita depuis PyPI aujourd’hui ?
Pas à partir de la version PyPI vérifiée actuelle. Le dernier package Harbor vérifié, harbor 0.7.0, n’inclut pas l’extra Novita ni l’implémentation de l’environnement Novita, donc cet article ne le présente pas comme un chemin d’installation prêt à l’emploi.
Pourquoi n’y a-t-il pas de commandes Harbor exécutables dans cet article ?
Des commandes exécutables sous-entendraient que le chemin Novita est disponible dans le package Harbor publié. Tant que le package et la surface CLI ne sont pas publiés et testés, la directive la plus prudente est d’expliquer la forme de l’intégration et la limite de version actuelle.
Qu’est-ce qui change après que Harbor publie le support Novita ?
Après que Harbor ait publié une version avec l’extra Novita et l’environnement CLI, cet article devrait être mis à jour en un guide de démarrage rapide pratique avec des étapes d’installation vérifiées, des variables d’environnement, un exemple de tâche basée sur Dockerfile et une sortie de validation attendue.
Sources
- README de Harbor
- Implémentation de l’environnement Novita dans Harbor
- Source du type d’environnement Harbor
- Usine d’environnement Harbor
- Dépendances optionnelles de Harbor
- Documentation des tâches/environnements Harbor
- Vue d’ensemble de Novita Agent Sandbox
- Documentation SDK/CLI de Novita Agent Sandbox
- Premier sandbox Novita - guide de démarrage
- Documentation de compatibilité Novita E2B
