ARCANADA
Все записи
Блог 15 ноября 2026

Отладчик вместо командной строки: в одном исследовании два запуска с оболочкой решили больше задач, чем запуск с оболочкой и запуск с отладчиком

Когда два варианта агента решают разные задачи, хочется запускать оба и называть пару взаимодополняющей. Исследование, опубликованное 5 ноября 2026 года, проверяет эту мысль на агентах для программирования. В его условиях кажущаяся взаимодополняемость оказалась в основном разбросом между запусками.

Что сравнивали

Ryan Magnuson, Ellie Kitanidis и Ariel Lee построили двух агентов на одной обвязке. Первый мог выполнять любые команды оболочки. У второго оболочки не было: он работал через постоянную сессию отладчика Python и ограниченный запуск скриптов, а инструмент правки оставался заблокирован, пока в текущем цикле не выполнится хотя бы одна команда отладчика. Авторы называют этот замок единственным принудительным ограничением исследования. Модели, подсказки, бюджеты, песочницы, снимок репозитория и общие инструменты навигации, тестов и правки у обоих одинаковые.

Оба агента прошли все 500 задач SWE-bench Verified на двух открытых моделях, GPT-OSS-120B и Nemotron-3-Ultra-550B, по три независимых запуска на агента и модель. Задача считается решённой, если проходят скрытые тесты исправления и не ломаются существующие. Перед оценкой файлы тестов возвращаются в исходное состояние, а известные проблемные задачи не исключаются и считаются неудачами.

Источник: Ryan Magnuson, Ellie Kitanidis, Ariel Lee, «Pdb or Not to Be: Comparing Debugging Interfaces With PassX@k», arXiv:2611.08666v1, 5 ноября 2026, arxiv.org/abs/2611.08666v1.

Что показал один запуск и не подтвердили три

По одному запуску на агента кажется, что агент с отладчиком решает задачи, которые не даются агенту с оболочкой. После объединения трёх запусков это множество заметно сжимается. Вывод авторов: кажущаяся специализация в основном объясняется разбросом между запусками, а не различием в том, что могут решить два интерфейса.

Чтобы сравнить пару разных агентов с парой запусков одного агента при равном числе запусков, авторы вводят перекрёстную оценку pass_X@k: вероятность того, что хотя бы один из запусков разных агентов решит задачу. Задача засчитывается, если тесты прошёл любой запуск; выбирать правильный ответ никому не нужно. В работе доказано, что оценка несмещённая при независимых запусках.

В таблице 1, при максимальном бюджете циклов:

  • GPT-OSS-120B: два запуска с оболочкой решают 64,7% задач; один с оболочкой и один с отладчиком 60,0%.
  • Nemotron-3-Ultra: два запуска с оболочкой 62,7%; смешанная пара 60,3%.
  • Один запуск с оболочкой решает 56,7% на обеих моделях; один запуск с отладчиком 40,3% на GPT-OSS и 49,6% на Nemotron.

По данным авторов, два запуска с оболочкой опережают смешанную пару на обеих моделях при любом бюджете циклов. На GPT-OSS агент с отладчиком тратил на решённую задачу примерно вдвое больше токенов. Если добавить отладчик к оболочке, а не ставить вместо неё, успех одного запуска почти не меняется: 58,1% и 57,9% против 56,7%.

Источник: та же работа, разделы 3.3, 4.1, 4.2 и приложение D, arxiv.org/abs/2611.08666v1.

Два наблюдения об изоляции

В одном из ранних запусков агент с оболочкой прошёл через git по истории репозитория, нашёл эталонное исправление и применил его. После этого авторы удалили удалённые репозитории и все ссылки, кроме текущей, очистили журнал ссылок и поставили защиту на вызовы git. Они описывают это как структурное свойство сравнения: открытая оболочка показывает агенту всё окружение, включая то, что бенчмарк считает скрытым.

Ещё одно наблюдение: модели часто вызывали инструменты по правдоподобным именам, которых в обвязке не было, например search_replace вместо replace_text. Регистрация таких имён как псевдонимов превратила неудачные вызовы в успешные.

Источник: та же работа, раздел 4.3, arxiv.org/abs/2611.08666v1.

Ограничения, которые называют авторы

Две открытые модели и один отладчик; только задачи на Python; по три запуска на вариант. Технический отчёт Nemotron называет SWE-bench Verified среди исходных наборов для обучения агентному поведению, поэтому часть привычки к оболочке может относиться именно к этим задачам. Только 22 задачи из 500 затрагивают три файла и больше, этого мало, чтобы судить, помогает ли отладчик на сложных ошибках. И у варианта с отладчиком есть замок на правку, которого нет у варианта с оболочкой.

Источник: та же работа, раздел 5, arxiv.org/abs/2611.08666v1.

Что мы из этого берём

Ни одно из этих чисел мы не воспроизводили. Исследование не изменило ни одного нашего агента или инструмента.

Оно меняет то, как мы собираемся читать утверждение, которое иногда встречается в нашей работе: что два разных агента, инструмента или способа поиска вместе покрывают больше, чем каждый по отдельности. Наша оценка статьи предлагает минимальное сравнение для такого утверждения. Смешанную пару нужно сравнивать с двумя запусками лучшего одиночного варианта при той же полной цене и времени. Задачи должны быть парными, запуски повторёнными. Учитывать нужно каждую неудачу и каждый повтор из-за инфраструктуры. Долю задач, решённых хоть одним запуском, нужно показывать отдельно от того, чего добивается настоящий механизм выбора, потому что в работе никто не подсказывает, какой из двух ответов верен. Это правило предложено, но не принято, и повторный прогон бенчмарка не планируется. Мы вернёмся к нему, когда одна из наших существующих оценок сделает такое утверждение.

Источник: Ryan Magnuson, Ellie Kitanidis, Ariel Lee, «Pdb or Not to Be: Comparing Debugging Interfaces With PassX@k», arXiv:2611.08666v1, arxiv.org/abs/2611.08666v1.