Как StarSling создает самоулучшающийся CI с помощью Novita Agent Sandbox

Как StarSling создает самоулучшающийся CI с помощью Novita Agent Sandbox

StarSling — это AI-ориентированная CI-платформа для R&D-команд, чьи конвейеры GitHub Actions сталкиваются с высокой нагрузкой сборки, длительным ожиданием и сложными тестовыми сценариями. Ее цель — не просто ускорить CI, но сделать CI самоулучшающимся: анализировать прогоны, предлагать оптимизации, безопасно тестировать их и превращать успешные изменения в готовые к production pull request’ы. Чтобы сделать этот цикл практичным, StarSling использует Novita Agent Sandbox в качестве уровня выполнения для изолированных микро-ВМ, эластичных вычислений, экспериментов с агентами и воспроизводимой оценки.

Такое сочетание важно, потому что оптимизация CI по своей природе экспериментальна. Изменение кэширования, распараллеливания, шардинга тестов или структуры рабочего процесса может помочь одному репозиторию и навредить другому. StarSling нужен способ опробовать изменения в реальных условиях, не подвергая риску системы клиентов. Novita Agent Sandbox предоставляет каждому эксперименту контролируемую рабочую область, а решение о продвижении оставляет на основе доказательств и ревью.

В этом кейсе вы узнаете, почему автоматизировать оптимизацию CI сложно, как StarSling запускает свой цикл агентов, что меняет изолированное выполнение и как ту же архитектуру можно применить к другим AI-рабочим процессам.

Почему автоматизировать оптимизацию CI сложно

Многие инженерные команды уже знают, чем оборачивается медленный CI: задержки слияния, простой циклов ревью, медленная обратная связь и меньше времени на разработку продукта. Обычные исправления тоже известны: кэшировать зависимости, шардировать тесты, распараллеливать задачи, сокращать дублирующую работу, убирать flaky-проверки и перестраивать конвейеры так, чтобы важная обратная связь приходила раньше.

Сложность не в том, чтобы назвать эти идеи. Сложность в том, чтобы доказать, какое изменение безопасно и эффективно для конкретного репозитория. Файл рабочего процесса кодирует исторические ограничения, предпочтения организации, временные допущения и зависимости, которые могут быть неочевидны из одних логов. Две команды с похожим временем сборки могут нуждаться в разных исправлениях. Одной нужно лучшее кэширование, другой — изоляция тестов, больше параллелизма или более короткий критический путь.

Ручная оптимизация также плохо масштабируется на множество репозиториев и клиентов. Кто-то должен просматривать логи, формировать гипотезу, редактировать workflow, перезапускать задачи, сравнивать результаты и повторять. Этот процесс требует времени экспертов и затрудняет сохранение того, что сработало, по мере развития конвейеров.

Здесь могут помочь AI-агенты, но только если у них есть безопасная граница выполнения. Агенты StarSling анализируют рабочие процессы и телеметрию, генерируют изменения для оптимизации и тестируют их перед предложением. Запуск такого цикла непосредственно внутри production CI сделал бы эксперименты рискованными и трудноконтролируемыми. Агенту нужно действовать, терпеть неудачу, повторять и измерять, не становясь операционной угрозой.

Как StarSling запускает цикл оптимизации

StarSling рассматривает CI как систему, которая может наблюдать за собой и улучшать себя. Рабочий процесс начинается с данных: время сборки, поведение тестов, логи, использование ресурсов и структура конвейера. На основе этих данных StarSling может выявить потенциальные узкие места, такие как повторяющаяся настройка, плохо распределенные тесты, излишняя последовательность или шаги workflow, которые занимают больше времени, чем должны.

Следующий этап — экспериментирование. StarSling создает предложение по оптимизации и проверяет, действительно ли оно улучшает конвейер. Уменьшает ли оно время выполнения? Снижает ли стоимость? Сохраняет ли корректность? Корректно ли завершается при изменении условий? Эти вопросы требуют выполнения, а не только статического анализа.

Как только эксперимент проходит успешно, результат может стать конкретным изменением для ревью: обновление workflow, настройка кэша, изменение шардинга тестов или другое улучшение конвейера. Оформление результата в виде pull request’а дает инженерам четкий артефакт для проверки перед тем, как он попадет в production.

StarSling сообщает, что клиенты наблюдали ускорение CI до 6 раз и удешевление до 13 раз. Это результаты клиентов, а не универсальные гарантии; результаты зависят от структуры репозитория, набора тестов, инфраструктуры и типов узких мест. Тем не менее, подход полезен: объединить автоматизацию с измерениями, чтобы улучшения подтверждались наблюдаемым поведением конвейера, а не догадками.

Что предоставляет Novita Agent Sandbox

Novita Agent Sandbox предоставляет StarSling изолированные микро-ВМ для рабочих нагрузок агентов. Вместо того чтобы разделять выполнение напрямую с CI-системами клиентов или внутренними сервисами, каждый запуск агента может иметь свою собственную контролируемую среду. Такое разделение снижает вероятность того, что исследовательские команды, зависимости или неудачные эксперименты повлияют на другую работу.

Второе свойство — эластичность. Эксперименты по оптимизации CI имеют взрывной характер: может быть много запусков во время исследования и меньше, когда изменение готово к ревью. Вычисления в sandbox позволяют StarSling запускать эксперименты по мере необходимости, не заставляя каждую клиентскую реализацию ждать ограниченных внутренних ресурсов.

Третье свойство — воспроизводимость. Воспроизведение эксперимента помогает отличить реальное улучшение от шума. В изолированной среде StarSling может оценивать действия агента в одинаковых условиях, проверять изменения и с большей уверенностью решать, когда оптимизация готова к дальнейшему продвижению.

Вместе эти свойства превращают цикл агента в практичный рабочий процесс продукта, а не в ad hoc-скрипт. Sandbox — это не место, где исчезает человеческое решение. Это место, где кандидатов можно безопасно протестировать, чтобы принять полезное решение.

Результаты для AI-ориентированного CI

Подход приносит три связанных преимущества.

Более быстрые эксперименты по оптимизации. StarSling может сократить время между выявлением узкого места и отправкой исправления. Вместо ожидания ручных циклов исследования, изменения-кандидаты проходят через структурированный цикл: предложение, выполнение, измерение и ревью.

Стабильное выполнение агентов. Изолированные среды снижают операционный риск по мере масштабирования автоматизации на основе агентов. Агенты могут запускаться многократно и безопасно завершаться с ошибкой, что необходимо, когда сам workflow отвечает за тестирование изменений CI.

Упрощенное масштабирование на множество клиентов. Novita Agent Sandbox снижает барьер для внедрения AI-оптимизации в реальные CI-конвейеры. StarSling может поддерживать больше клиентов без перестройки фундамента выполнения для каждого нового репозитория или сценария использования.

Даниэль Ворку, технический директор StarSling, описал операционный эффект:

“Novita Sandbox предоставил нам изолированную среду для безопасного и воспроизводимого выполнения CI-нагрузок в масштабе. Их инженеры мирового класса и реализуют все, что мы просим, за дни, а не недели.”

Эта цитата указывает на более широкий урок: инфраструктура агентов должна быть надежной, прежде чем агентная автоматизация станет полезной. Изоляция, эластичность и повторяемость — это не детали реализации; это условия, позволяющие AI-рабочим процессам работать вблизи production-систем.

Как применить эту архитектуру

Вы можете использовать этот паттерн для любого рабочего процесса агента, которому требуется безопасное изменение реальных систем.

Во-первых, разделите плоскость анализа и плоскость выполнения. Логи и метрики могут информировать о кандидате на изменение, но изменение должно быть протестировано в ограниченной среде, прежде чем попасть в production.

Во-вторых, определите артефакт, подлежащий ревью. В оптимизации CI это обычно diff workflow или изменение конфигурации. В генерации кода это может быть патч. В работе с данными — запрос, блокнот или отчет. Проверяемый артефакт делает работу агента аудитируемой.

В-третьих, измеряйте до и после. Для CI отслеживайте длительность, стоимость, частоту отказов, flaky-тесты, время в очереди и время до обратной связи. Одно число скорости может скрыть регрессии в других местах.

В-четвертых, держите разрешения узкими. Агенту оптимизации не нужен неограниченный сетевой доступ, production-секреты или разрешение на слияние. Дайте ему минимальный доступ, необхдимый для запуска эксперимента и получения доказательств.

В-пятых, сохраняйте человеческий шлюз для продвижения. Sandbox может проверить, что изменение повело себя как ожидалос в тестовых условиях. Люди и существующие процессы ревью должны по-прежнему решать, подходит ли это изменение для production.

FAQ

Что такое StarSling?

StarSling — это AI-ориентированная CI-платформа. Она анализирует CI-нагрузки, предлагает улучшения, такие как кэширование, распараллеливание и шардинг тесов, и генерирует pull request’ы с оптимизацией для инженерных команд.

Как StarSling использует Novita Agent Sandbox?

StarSling использует Novita Agent Sandbox для запуска рабочих процессов агенов в изолированных микро-ВМ, доступ к эластичным вычислениям для многократных экспериментов и оценки изменений CI-оптимизации в воспроизводимых условиях.

Распространяется ли ускорение в 6 раз на все CI-конвейеры?

Нет. StarSling сообщает, что некоторые клиенты наблюдали ускорение CI до 6 раз и удешевление до 13 раз. Результаты зависят от конвейера, набора тесов, структуры репозитория и участвующих узких мест.

Почему агену оптимизации CI нуже сандбокс?

Сандбокс дает агенту место для запуска команд и тестирования изменений без прямого вмешательства в CI-системы клиентов или общую инфраструктуру. Он также обеспечивает более чистые сравнения между экспериментами.

Рекомендованные стати

Источники