ARCANADA
Все записи
Блог 12 ноября 2026

План ещё не работа. Повтор не бесплатный

В агентной системе есть две вещи, которые легко не заметить: когда с ними что-то не так, ничего не падает. Слабый план всё равно даёт результат. Повторённый вызов может в итоге вернуть ответ. Две недавние статьи измеряют и то и другое. Обе темы мы отложили и ниже говорим, что заставит нас к ним вернуться.

Написать план: отдельное умение

Zheng Jiang, Fang Niu, Bo Peng, Houde Qian, Wenyi Li, Deyao Hong, Mingju Gao, Yizhe Chi, Youjie Zheng, Kaisen Yang, Calvin Xiao, Lifeng Sun и Huan-ang Gao собрали WorkflowArena: 145 длинных задач в 8 профессиональных областях, от программной инженерии и формальной математики до юридического анализа и 3D-производства. В каждой задаче агент получает рабочее пространство и должен сдать один результат из взаимозависимых частей. Агент сам решает, передавать ли работу другим агентам и как. Каждая передача записывается.

Задача считается решённой, когда сданный результат удовлетворяет всем критериям приёмки; проверяет это скрытый от агента верификатор. По этой мере сильнейшая из 25 испытанных конфигураций решила 36,95% задач в среднем по областям. Ни одна конфигурация не была лучшей во всех областях.

Для нас важнее второй опыт. На подмножестве из 32 трудных задач авторы зафиксировали исполнителя и меняли только автора плана. Модель-источник писала рабочий процесс, не трогая рабочее пространство; все исполнители были более слабой моделью. Планы одного источника подняли оценку всех четырёх моделей-исполнителей: в среднем на 6,41 пункта, когда план писался один раз заранее, и на 6,27, когда его можно было пересматривать. Планы другого источника, модели, которая в одиночку решает намного больше задач, чем любой из исполнителей, изменили среднее на −2,53 и +1,34 пункта и снизили оценку двух исполнителей в обоих режимах. Это пункты непрерывной оценки, а не доли решённых задач.

Ограничения авторы называют сами, мы их повторяем. Каждая конфигурация запускалась на задаче один раз, поэтому у близких различий нет оценки разброса. В подмножестве 32 задачи и два источника. Текстовые и 3D-результаты оценивала языковая модель-судья, согласие которой с людьми не измерялось. И в план входят инструкции для каждого исполнителя, поэтому выигрыш может идти как от лучшей организации, так и от знаний о задаче, переданных в этих инструкциях.

Что это значит для нас. Когда один агент делит задачу, а другие её выполняют, успех или неудачу обычно приписывают исполнителю. Эта работа показывает, как задать другой вопрос: зафиксировать исполнителя, исходное состояние и бюджет, менять только план и оставить решение независимой проверке. Такого сравнения мы не проводили. В нашей исследовательской дорожной карте тема отложена до тех пор, пока сравнение оркестрации не будет действительно назначено или пока не появится версия набора с повторными прогонами. Мы ничего не воспроизводили.

Источник: Zheng Jiang, Fang Niu, Bo Peng, Houde Qian, Wenyi Li, Deyao Hong, Mingju Gao, Yizhe Chi, Youjie Zheng, Kaisen Yang, Calvin Xiao, Lifeng Sun, Huan-ang Gao. WorkflowArena: Benchmarking Executable Workflow Orchestration in LLM-Based Multi-Agent Systems. arXiv:2611.12856v1, 9 ноября 2026.

Повтор может запустить второе исполнение

Xindan Zhang и Fei Wang посмотрели, что происходит, когда клиент перестаёт ждать медленный вызов модели и отправляет его заново. Клиент ушёл. Если повтор не объединён с уже идущим исполнением, движок может продолжать первую попытку и одновременно запустить второе исполнение.

Авторы ненадолго перегружали движок vLLM на трёх открытых моделях, а затем подавали вызовы ниже его пропускной способности. При включённых повторах передача отмены в движок не восстановила обслуживание ни в одном прогоне: из вызовов, пришедших после перегрузки, было доставлено от 12 до 38%. Трассы планировщика для одной модели показывают, куда ушла работа. Исполнения, которые движок позже прервал, заняли от 79 до 85% вычисленных им токенов запроса, а собственный счётчик движка не учёл от трети до половины всех вычисленных токенов запроса.

Два средства сработали по-разному. Бюджет повторов восстановил обслуживание, отбрасывая повторы, и оставил недоставленными многие вызовы времён перегрузки. Присоединение повтора к уже идущему исполнению того же вызова доставило все вызовы, часть с опозданием, если отмена не успела прервать это исполнение.

Ограничения названы авторами: одна версия движка, один тип графического ускорителя, синтетические одноходовые запросы.

Что это значит для нас. Наши агенты обращаются к моделям через несколько слоёв, и повторять может не один из них. Полезно само различение: логический вызов, попытка его доставить и исполнение в движке суть три разные вещи, и расход или сбой относится к одной из них. Поведение повторов и отмены мы нигде не меняли. Предложенный первый шаг ничего не стоит: прочитать уже имеющиеся журналы и понять, различимы ли в них эти три уровня и какой слой повторяет. Тема отложена до измеренного инцидента с тайм-аутами или до найденного случая, когда два слоя делят один бюджет повторов.

Источник: Xindan Zhang, Fei Wang. Cancellation Is Not Enough: What Retries Leave Behind in an Overloaded LLM Engine. arXiv:2611.08684v1, 5 ноября 2026.

Что дальше

У обеих тем общая привычка, которую мы хотим сохранить: прежде чем сказать, что что-то помогло, назвать, что было зафиксировано и кто определял исход. Для планов это исполнитель и проверка. Для повторов это уровень, на котором считали расход. Когда любая из тем выйдет из отложенных, мы сообщим здесь, с каким измерением.