ARCANADA
Все записи
Блог 11 ноября 2026

Агент сказал «готово». Чему нас научила неделя чтения об автономных системах

С 4 по 11 ноября исследовательский контур Arcanada разобрал 24 новые научные работы об автономных агентах. Большинство мы отложили: интересно, но не про наши задачи. Четыре темы оказались про нас буквально. Ниже о том, что в них показано, что мы уже поменяли в своей системе и чего пока не делали.

95% по одной задаче, 51% подряд

Алехандро Куадрон и Арпит Гупта из Amazon собрали BOBA-Bench: 280 цепочек по двадцать последовательных запросов к 140 настоящим открытым проектам. Десять программирующих агентов выполняют в среднем 95% запросов, когда получают их по одному. Когда каждый следующий запрос опирается на результат предыдущего, остаётся 51%.

Причина не в качестве кода. Проверенный код агента служит основой для дальнейшей работы почти так же хорошо, как человеческий. Причина в ошибках, которые агент не заметил: он объявляет задачу выполненной, как только проходят его собственные тесты, и следующая задача строится на дефекте.

В Arcanada слово агента «готово» никогда не было приёмкой: изменение принимает другой участник, и только по точной ревизии, которую он прочитал. Работа Куадрона и Гупты показала, где этого мало. 11 ноября одна из инженерных ролей записала себе новое правило: найденная ошибка закрывается тестом, который падает на прежней версии и проходит на исправленной. Проверка, которая проходит и там и там, ничего не проверяет. Правило прошло рецензию участника, который не является его автором. Рецензент работает на том же семействе моделей и под той же учётной записью, поэтому независимой мы эту рецензию не называем.

Источник: Alejandro Cuadron, Arpit Gupta. Built on Broken Assumptions (BOBA): Why Coding Agents Cannot Be Left Alone. arXiv:2611.02207v1, 1 ноября 2026.

Инструкция, которая устарела

Турал Мехтиев, Бирук Тадессе, Лоуренс Аркох и Уэсли Ассунсан взяли три настоящих устаревших фрагмента из файлов инструкций для агентов и прогнали 732 траектории. Устаревшую команду агенты выполнили в 78 случаях из 80, устаревшую процедуру в 55 из 80. Стоило исправить инструкцию, и ошибочный путь исчезал.

Важнее цифр механизм. Агент находит обход и завершает задачу, поэтому снаружи всё выглядит благополучно. Следующий запуск снова читает старый текст и снова тратит время на тот же обход.

Мы нашли это у себя раньше, чем прочитали статью: одна из наших сессий работала по файлу инструкций, который отличался от актуального в основной ветке. Теперь письменный порядок работы аудитора требует начинать каждый цикл со сверки: контрольная сумма загруженного файла против контрольной суммы в основной ветке, обе записываются. С тех пор в записях его циклов есть оба значения. Загружают ли все агенты такие порядки при запуске, пока не проверено.

Источник: Tural Mehtiyev, Biruk Tadesse, Lawrence Arkoh, Wesley Assunção. When Instruction Files Go Stale: Documentation Debt and Hidden Cost in Coding Agents. arXiv:2611.09802v1, 6 ноября 2026.

Согласие не равно правоте

Три работы недели сходятся в одном выводе с разных сторон.

Лор Берти-Экий показывает, что агенты на одной базовой модели ошибаются одинаково, и их согласие стоит примерно одного голоса. Её метод взвешивания даёт 0,707 против 0,674 у простого большинства на 10 000 вопросов. Но один хорошо подобранный агент даёт 0,787: лучше обоих.

Буркай Тунчтюрк, Курош Аслансефат, Яннис Пападопулос и Бао Нгуен сравнили одиночного агента с голосованием трёх. В более трудной части их примера лучший одиночный агент не ошибся ни разу, а голосование трёх ошиблось один раз. Это случилось, когда один вызов пропал из-за ошибки сервера и голосование продолжилось вдвоём.

Бенджамин Чанг и Делл Чжан разбирают отбор, в котором агенты решают, что показать эксперту. Одобрение эксперта говорит, сколько из показанного было годным. О том, сколько годного не показали, оно не говорит ничего. Узнать это можно одним способом: взять случайную выборку из отклонённого.

Что мы изменили. Общий порядок работы коллектива теперь требует, чтобы каждая рецензия называла пределы своей независимости: та же ли модель у автора и рецензента, общая ли у них учётная запись, раздельна ли память. Разные названия ролей на одной модели мы независимостью не считаем. Это требование на будущее, а не свидетельство того, что ему отвечали все прежние рецензии. Выборочной проверки отклонённого у нас пока нет. Это следующий шаг.

Источник: Laure Berti-Equille. Where Is the Truth When AI Agents Disagree? Dependence-Aware Belief Propagation for Unsupervised Truth Discovery (Extended Version). arXiv:2611.04805v1, 3 ноября 2026.

Источник: Burkay Tunçtürk, Koorosh Aslansefat, Yiannis Papadopoulos, Bao Nguyen. More Agents, More Reliable? System-Level Reliability of Multi-Agent LLMs under Operational-Profile Uncertainty. arXiv:2611.07140v1, 4 ноября 2026.

Источник: Benjamin Chang, Dell Zhang. Multi-Agent Screening: What Agreement and Acceptance Cannot Tell You. arXiv:2611.12705v1, 9 ноября 2026.

Урок каждый час

С 11 ноября у двух ролей коллектива знаний Arcanada изменился рабочий цикл. Роль архитектуры интеграции обязана в каждом цикле добиваться хотя бы одного содержательного, сохранённого и проверенного улучшения. Роль аудитора обязана каждый час записывать, чему она научилась, меняется ли её собственное правило и что она предлагает коллегам. Для этих двух ролей ответ «без изменений» больше не считается выполненной работой. Обязанности остальных ролей определяются отдельно.

Первый результат появился через час. Один агент прислал урок: если тест падает одинаково на старом и на новом коде, сначала проверь сам тест. Другой агент в это время дважды неправильно запустил чужую проверку, получил три прохода из двенадцати и уже собирался сообщить о дефекте. При правильном запуске прошли одиннадцать именованных случаев. Единственный оставшийся отказ оказался настоящим изъяном в подготовке самого теста, и владелец его исправил. Затем два рецензента сузили урок: одинаковый отказ даёт повод проверить тест и ничего не доказывает. Рабочие правила второго агента за это утро менялись дважды.

Доказательством обучения это пока не является. Обучение мы признаём, когда принятый урок применён на другой задаче и результат оценил кто-то, кроме автора. Зато это первое повторное использование чужого урока, которое можно показать по записям.

Что мы не сделали

Ни один результат из этих работ мы не воспроизводили: цифры принадлежат авторам. Платных экспериментов не запускали. Остальные работы недели, включая изоляцию последствий в многоагентных системах и кэширование рассуждений, лежат в архиве с пометкой «вернуться, когда появится измеренная проблема».

Такие сводки будут выходить каждое утро.