ARCANADA
Все записи
Блог 13 ноября 2026

Три агента в споре предложили меньше неверных связей, чем один, и пропустили больше верных

Какие файлы реализуют это требование? Агентам теперь задают этот вопрос напрямую, передавая в контекст весь репозиторий. Новая работа измеряет, как на него отвечает один агент и что меняется, когда другие агенты критикуют и пересматривают ответ или о нём спорят трое. Мы результаты не воспроизводили. Ниже о том, что измерено и что в статье означает слово «стоимость», потому что речь не о деньгах.

Один агент, весь репозиторий, без шага поиска

Сартхак Банерджи, Саллам Абуалхайджа, Доменико Бьянкулли и Лионель Бриан (Sarthak Banerjee, Sallam Abualhaija, Domenico Bianculli, Lionel Briand) исходят из известной слабости обычной схемы: файлы сначала отбирают по сходству и только потом классифицируют, поэтому нужный файл, который поиск пропустил, уже не вернуть. Их схема с одним агентом обходится без поиска и передаёт модели одно требование и всю кодовую базу.

Проверка идёт на трёх открытых проектах на Java с эталонными связями: туристическая система с 58 требованиями, 116 файлами кода и 308 связями; медицинская система со 131 требованием, 226 файлами и 286 связями; система управления дронами с 57 требованиями, 184 файлами и 393 связями. Везде используется одна версия модели с нулевой температурой. Точка сравнения: опубликованный метод на основе поиска, запущенный с той же моделью.

Связь считается верной, если она есть в эталоне проекта. В среднем по трём проектам один агент восстановил 80,9% настоящих связей, на 38,6 процентного пункта больше, чем метод на основе поиска. Точность при этом упала на 25,8 пункта, до 17,8%: из предложенных им связей в эталоне оказалось меньше одной из пяти.

Источник: Sarthak Banerjee, Sallam Abualhaija, Domenico Bianculli, Lionel Briand, «Rethinking Requirement-to-Code Traceability Through Single-Agent and Multi-Agent Approaches», arXiv:2611.09162v1.

Второе мнение убирает неверные связи и часть верных

Первая многоагентная схема использует три роли: агент поиска связей предлагает кандидатов, критик отмечает слабые обоснования, автор пересматривает исходные предложения. Точность выросла с 17,8% до 26,9%. Полнота упала с 80,9% до 66,5%. Схема может повысить точность, но не восстанавливает верные связи, которых не было среди первоначальных кандидатов. Авторы называют эту схему менее привлекательной на практике, чем одного агента: вычислений больше, выигрыш небольшой.

Вторая схема устроена как спор. Один агент доказывает, какие файлы связаны с требованием, другой доказывает, какие не связаны, каждый один раз видит вывод другого, а судья составляет итоговый список. Все трое получают всю кодовую базу. С более подробной из двух инструкций спор дал точность 24,5% и полноту 71,0%. По сравнению с одним агентом на той же инструкции это на 6,7 пункта больше точности и на 9,9 пункта меньше полноты. В аннотации для этой схемы приведена сводная оценка, в которой полнота весит больше точности: 49,5%, на 7,5 пункта выше метода на основе поиска.

Спор также сократил список, который пришлось бы проверять человеку: с примерно 17% всех возможных пар «требование и файл» до 12% на туристическом проекте, с 7% до 5% на медицинском и с 14% до 7% на проекте с дронами. Платой стали пропущенные настоящие связи: по данным авторов, не восстановлено около 17% эталонных связей на первом проекте и 50% на третьем. Эта доля считается от настоящих связей, а не от всех возможных пар.

Источник: та же работа, раздел IV-H и аннотация, arXiv:2611.09162v1.

Что в этой работе значит «стоимость»

Столбец стоимости показывает долю всех возможных пар «требование и файл», которую аналитику пришлось бы просмотреть, если бы он проверял только то, что вернул метод. Это мера нагрузки на человека, и авторы отмечают, что она предполагает одинаковые усилия на проверку каждой связи.

Это не цена запуска агентов. Мы искали в тексте число токенов и цены и не нашли; о вычислениях сказано только то, что схема с тремя ролями дороже одного агента. Поэтому работа не показывает, выигрывают ли три агента у одного при равном бюджете. В споре вся кодовая база проходит через трёх агентов в два круга; один агент с таким же бюджетом не проверялся.

Авторы называют и другие ограничения. Все три системы написаны на Java, и авторы считают нужными исследования на других языках и на более крупных системах. Использована одна коммерческая модель, и её ответы могут отличаться от запуска к запуску. Качественная часть работы подсказывает, где уместна каждая схема: поиск, когда требование повторяет словарь кода; один агент, когда код хорошо документирован и последовательно назван; спор, когда свидетельства косвенные, противоречивые или разбросаны по файлам.

Что это значит для нашей работы. Наших агентов просят связать требование, изменение, которое его реализует, и свидетельство, что оно работает. Эта работа говорит, чего ждать от списка таких связей, составленного агентом: высокий охват приходит вместе с множеством неверных записей, а дополнительные агенты меняют охват на более короткий список. Такой список представляет собой набор кандидатов на проверку, а не утверждение об охвате. Испытание на одном из наших репозиториев, где при равном бюджете сравнивались бы детерминированный поиск, один агент и спор, предложено и отложено: его никто не принял, и ничего не запускалось.

Источник: та же работа, разделы IV-D, IV-I и V, arXiv:2611.09162v1.