ARCANADA
Все записи
Блог 17 ноября 2026

На четырёх длинных задачах десять команд по десять агентов обошли одну команду из ста: исследование о том, как тратить бюджет агентов, когда каждую попытку может оценить программа

Есть сто агентов и одна задача. Два очевидных способа их использовать: дать каждому работать в одиночку и взять лучший результат или собрать всех в одну команду. Исследование, поданное 6 ноября 2026 года, измеряет оба способа и показывает, что третий, несколько небольших команд без связи между собой, набрал больше отдельных агентов на 10 задачах из 12 и больше одной большой команды на четырёх задачах, где большую команду запускали.

Условия: решает оценщик

Цзюньлинь Ван (Junlin Wang), Хаочжэ Чэнь (Haozhe Chen), Ан Ли (Ang Li), Рахул Чаламала (Rahul Chalamala) и Чжуан Лю (Zhuang Liu) рассматривают задачи, в которых важен только лучший результат и программа может выставить балл каждой попытке: самое быстрое ядро для GPU или законченное формальное доказательство. Они берут 12 длинных задач оптимизации из шести наборов в девяти областях. Агент получает описание, рабочую среду и оценщик, который можно вызывать, и 12 часов улучшает своё решение в отдельной изолированной среде. Основная модель называется Qwen3.8-27B.

Сравниваются три способа потратить одно и то же число агентов. Параллельные агенты работают поодиночке, оценщик оставляет лучший результат. Одна большая команда пользуется общим форумом. Параллельные команды состоят из небольших групп, у каждой свой форум, связи между группами нет; оценщик оставляет результат лучшей команды. На каждую задачу приходится около 100 независимых запусков одиночных агентов и 10 команд по десять.

Источник: Junlin Wang, Haozhe Chen, Ang Li, Rahul Chalamala, Zhuang Liu, «Test-Time Compute Scales Better with Parallel Agent Teams», arXiv:2611.09798v1, 6 ноября 2026 года, arxiv.org/abs/2611.09798v1.

Что измерено

При бюджете в 100 агентов лучшая из десяти команд по десять набрала больше, чем лучший из 100 отдельных агентов, на 10 задачах из 12. В среднем по 12 задачам ожидаемый лучший балл параллельных команд был на 10% выше, чем у параллельных агентов, при бюджете в 10 агентов и на 27% выше при бюджете в 100. Формулу этих средних статья не приводит; на её графике усреднённых кривых балл каждой задачи нормирован на результат десяти агентов, а исходные баллы разных задач имеют разные единицы.

Отдельные агенты после раннего этапа дают мало прироста: в запусках авторов 50 агентов уже достигают от 81% до 100% прироста, который дают 100 агентов. На четырёх задачах, где запускали одну большую команду, её балл упал при переходе от 64 к 100 агентам, а десять команд по десять обошли одну команду из 100 на величину от 8% до 30%. На двух из этих задач команда из 100 набрала меньше, чем лучший из 100 отдельных агентов.

Наибольший разрыв возник там, где одиночный агент редко справляется. В задаче на формализацию лучший из 100 агентов набрал 19,0 из 100, а лучшая команда 54,8.

Источник: та же работа, разделы 1 и с 3.1 по 3.3, arxiv.org/abs/2611.09798v1.

Почему выигрывает середина: модель авторов

В статистической модели авторов ожидаемый лучший из нескольких образцов равен среднему одного образца плюс прибавка, которая растёт с разбросом баллов и числом образцов. Отдельные агенты дают больше всего образцов, но среднее у каждого низкое. У одной большой команды среднее выше, но это один образец, и разброс ей ничего не даёт. Небольшие команды поднимают среднее и всё же оставляют несколько образцов для выбора.

Авторы считают, что агент на 12 часов стоит столько же, сколько два агента по 6 часов: в обоих случаях это 12 агент-часов, а не измеренное равенство полных затрат. На одной задаче средний балл агента вырос только с 52,0 за 6 часов до 52,7 за 12, тогда как команда из двух за те же часы подняла среднее на 5,4 пункта. Авторы отмечают, что этот прирост получен в основном за счёт второй попытки, а не обмена, и что баллы за 6 часов взяты из 12-часовых запусков.

Источник: та же работа, разделы 4 и 5, приложение G, arxiv.org/abs/2611.09798v1.

Менеджер ухудшил работу команд

Внутри команды агенты в основном сообщают, что пробовали и какой балл получили. Чтобы проверить плоское устройство, авторы заменили форум одним агентом, который раздаёт работу и собирает отчёты, а исполнители друг друга не слышат. На трёх задачах, по которым приведены результаты, такие управляемые команды оставались ниже и плоских команд, и отдельных агентов при любом бюджете. На одной задаче лучшая из десяти управляемых команд набрала 68,4, меньше среднего результата плоской команды, 76,5. Объяснение авторов: исполнители ждут менеджера и делятся находками только через него.

Источник: та же работа, раздел 6, arxiv.org/abs/2611.09798v1.

Ограничения, названные авторами

В выборке команд всего 10 или 11 запусков на задачу. Команды больше десяти запускались на четырёх задачах, от одного до пяти запусков на каждый размер. У команд из 64 и 100 агентов индекс форума показывал заголовки 100 последних сообщений и все непрочитанные; команды до десяти агентов видели весь индекс. Это различие ограничивает интерпретацию сравнения. Использована одна оболочка агента, длительность сессии менялась на одной задаче. Статистическая модель лишь качественная там, где многие попытки проваливаются или баллы упираются в потолок. Весь метод зависит от оценщика: без него, пишут авторы, выбор лучшей команды сам становится задачей. Одна оговорка наша, авторы не относят её к ограничениям: в сравнении с передовой моделью при равных затратах в долларах команды малой модели выиграли на четырёх задачах из восьми, когда одна сторона оценена по времени GPU, а другая по токенам; при оценке обеих сторон по токенам авторы сообщают о шести из восьми.

Источник: та же работа, разделы 8 и 3.4, приложения D и J, arxiv.org/abs/2611.09798v1.

Что мы из этого берём

Мы не воспроизводили ни одно из этих чисел и не меняли устройство работы наших агентов.

Наша оценка: работа отложена. Её результат применим там, где можно изолированно получить много безопасных вариантов решения и дешёвый надёжный оценщик способен выбрать из них. У большей части нашей работы, например у исследовательских обзоров, текстов для клиентов и публикаций, такого оценщика нет; там лишние варианты переносят труд в оценку. Вывод о менеджере получен в опыте, где исполнителей лишили связи друг с другом. Это не довод убирать координацию или персональную ответственность.

Два вопроса из работы стоит сохранить для возможного будущего опыта с зафиксированным оценщиком: учитывает ли бюджет всё, включая неудачные запуски и оценку, и может ли отложенный оценщик обнаружить решение, подогнанное под многократную оценку. Опыт не запланирован, и ни один владелец его не принял.

Источник: Junlin Wang, Haozhe Chen, Ang Li, Rahul Chalamala, Zhuang Liu, «Test-Time Compute Scales Better with Parallel Agent Teams», arXiv:2611.09798v1, arxiv.org/abs/2611.09798v1.