智能体系统里有两件事很容易被忽略,因为出了问题也不会报错。计划写得差,照样有结果。调用重试之后,最终可能返回回答。最近两篇论文分别测量了这两件事。我们把两个题目都暂时搁置,下面说明什么情况会让我们重新启动。
写计划是一项独立的能力
Zheng Jiang、Fang Niu、Bo Peng、Houde Qian、Wenyi Li、Deyao Hong、Mingju Gao、Yizhe Chi、Youjie Zheng、Kaisen Yang、Calvin Xiao、Lifeng Sun 和 Huan-ang Gao 构建了 WorkflowArena:145 个长任务,覆盖 8 个专业领域,从软件工程、形式化数学到法律分析和 3D 制作。每个任务给智能体一个工作区,要求交付一个由相互依赖的部分组成的成果。是否把工作交给其他智能体、怎么交,由智能体自己决定。每一次委派都有记录。
提交的成果满足全部验收标准时,任务才算解决;由智能体看不到的验证器判定。按这个标准,25 个被测配置中最强的一个在各领域平均解决了 36.95% 的任务。没有任何配置在所有领域都最好。
对我们更重要的是第二个实验。在 32 个难题组成的子集上,作者固定执行者,只更换写计划的模型。来源模型只写工作流,不接触工作区;所有执行者都是较弱的模型。其中一个来源写的计划提高了全部四个执行模型的得分:计划一次写定时平均提高 6.41 分,可以修订时提高 6.27 分。另一个来源自己单独解决的任务远多于任何执行者,它写的计划却使平均分变化 -2.53 和 +1.34 分,并在两种模式下都拉低了其中两个执行者的得分。这里的分数是连续评分,不是解决任务的比例。
作者自己列出了局限,我们照录。每个配置在每个任务上只运行一次,相近的差异没有方差估计。子集只有 32 个任务和两个来源。内容类和 3D 类成果由语言模型评审打分,它与人工评审的一致性没有测量。计划里还包含给每个执行者的指令,所以收益可能来自更好的组织,也可能来自指令中传递的任务知识。
这对我们意味着什么。一个智能体拆分任务、其他智能体执行时,人们通常把成败归于执行者。这项工作给出了提出另一个问题的方法:固定执行者、初始状态和预算,只更换计划,由独立检查来判定。我们没有做过这样的比较。在我们的研究路线图中,这个题目处于搁置状态,直到真正安排一次编排比较,或者出现带重复运行的基准版本。我们没有复现任何结果。
来源:Zheng Jiang, Fang Niu, Bo Peng, Houde Qian, Wenyi Li, Deyao Hong, Mingju Gao, Yizhe Chi, Youjie Zheng, Kaisen Yang, Calvin Xiao, Lifeng Sun, Huan-ang Gao. WorkflowArena: Benchmarking Executable Workflow Orchestration in LLM-Based Multi-Agent Systems. arXiv:2611.12856v1,2026 年 11 月 9 日。
重试可能触发第二次执行
Xindan Zhang 和 Fei Wang 研究了这样一种情况:客户端等不及一次缓慢的模型调用,放弃后重新发送。客户端已经离开。如果重试没有并入已有执行,引擎可能一边继续第一次计算,一边启动第二次执行。
他们在三个开源模型上让 vLLM 引擎短时间过载,然后以低于其容量的速度发送调用。开启重试时,把取消信号传到引擎在任何一次运行中都没有恢复服务:过载之后到达的调用只有 12% 到 38% 被送达。对其中一个模型的调度器追踪显示了计算量的去向。后来被引擎中止的执行占用了它计算的提示词元的 79% 到 85%,而引擎自己的提示词元计数器漏掉了其中三分之一到一半。
两种控制手段效果不同。重试预算通过丢弃重试恢复了服务,但过载期间的许多调用没有送达。把重试并入同一调用正在进行的执行,则送达了全部调用,部分有延迟,前提是取消没有先中止那次执行。
作者说明了局限:一个引擎版本,一种 GPU,合成的单轮提示。
这对我们意味着什么。我们的智能体经过多层才到达模型,其中不止一层可能重试。论文中有用的是这个区分:逻辑调用、送达它的一次尝试、引擎中的一次执行,是三件不同的事,成本或故障属于其中之一。我们没有在任何地方改变重试或取消的行为。建议的第一步不花成本:读已有的日志,看这三个层次能否区分,以及是哪一层在重试。这个题目搁置到出现一次有测量的超时事件,或者发现两层共用一个重试预算为止。
来源:Xindan Zhang, Fei Wang. Cancellation Is Not Enough: What Retries Leave Behind in an Overloaded LLM Engine. arXiv:2611.08684v1,2026 年 11 月 5 日。
接下来
两个题目有一个共同的习惯,我们想保留下来:在说某件事有帮助之前,先说明固定了什么,由谁判定结果。对计划来说,是执行者和检查。对重试来说,是在哪一层计算成本。任何一个题目结束搁置时,我们会在这里报告,并给出测量结果。