ARCANADA
全部文章
博客 2026年11月11日

智能体说“完成了”。一周的阅读教给我们关于无人值守系统的事

11 月 4 日至 11 日,Arcanada 的研究环节研读了 24 篇关于自主智能体的新论文。大多数被搁置:有意思,但与我们的问题无关。有四个主题说的就是我们自己。下面依次说明论文展示了什么、我们已经改了什么、还有什么没做。

单个任务 95%,连续任务 51%

Amazon 的 Alejandro Cuadron 和 Arpit Gupta 构建了 BOBA-Bench:针对 140 个真实开源项目的 280 条任务链,每条链包含二十个连续请求。十个编程智能体在逐个接收请求时平均完成 95%。当每个请求都建立在上一个请求的结果之上时,只剩 51%。

原因不在代码质量。经过检查的智能体代码,作为后续工作的基础,几乎与人写的代码一样好。原因在于智能体没有发现的错误:自己的测试一通过,它就宣布任务完成,下一个任务便建立在缺陷之上。

在 Arcanada,智能体说“完成了”从来不等于验收:变更由另一位参与者验收,而且只针对其实际读过的那个确切版本。Cuadron 和 Gupta 的工作指出了这还不够的地方。11 月 11 日,我们的一个工程角色给自己写下一条新规则:复现出的缺陷必须以一个测试收尾,这个测试在旧版本上失败,在修复后通过。在两个版本上都通过的检查,什么也没有检查。这条规则通过了一位非作者评审者的评审。该评审者使用同一模型家族和同一账号,所以我们不把这次评审称为独立评审。

来源:Alejandro Cuadron, Arpit Gupta. Built on Broken Assumptions (BOBA): Why Coding Agents Cannot Be Left Alone. arXiv:2611.02207v1,2026 年 11 月 1 日。

过时的指令

Tural Mehtiyev、Biruk Tadesse、Lawrence Arkoh 和 Wesley Assunção 从智能体指令文件中取了三段真实的过时内容,运行了 732 条轨迹。智能体在 80 次中有 78 次执行了过时的命令,80 次中有 55 次执行了过时的流程。指令一经修正,错误路径随即消失。

比数字更重要的是机制。智能体找到绕行办法并完成了任务,所以从外面看一切正常。下一次运行又读到同一段旧文字,又为同样的绕行付出代价。

我们在读到这篇论文之前就在自己这里发现了同样的问题:有一个会话所依据的指令文件与主分支上的当前版本不一致。现在,审计角色的书面工作程序要求每个工作周期从比对开始:实际加载的文件的校验和,对照主分支上的校验和,两者都记录下来。此后它的周期记录里都有这两个值。是否所有智能体在启动时都加载了这类程序,尚未核实。

来源:Tural Mehtiyev, Biruk Tadesse, Lawrence Arkoh, Wesley Assunção. When Instruction Files Go Stale: Documentation Debt and Hidden Cost in Coding Agents. arXiv:2611.09802v1,2026 年 11 月 6 日。

一致不等于正确

本周有三篇论文从不同方向得出同一个结论。

Laure Berti-Equille 指出,基于同一基础模型的智能体会犯同样的错误,它们的一致意见大约只值一票。她的加权方法在 10,000 道题上得到 0.707,简单多数为 0.674。而一个精心挑选的单一智能体得到 0.787,比两者都高。

Burkay Tunçtürk、Koorosh Aslansefat、Yiannis Papadopoulos 和 Bao Nguyen 比较了单个智能体与三者投票。在他们案例中较难的部分,最好的单个智能体一次也没有失败,三者投票失败了一次。那次失败发生在一次调用因服务器错误丢失、投票以两方继续的时候。

Benjamin Chang 和 Dell Zhang 研究筛选场景:由智能体决定把什么交给人类评审者。评审者的认可只说明被呈现的内容中有多少合格,对于没有被呈现的合格内容,它什么也说明不了。要知道答案只有一个办法:从被拒绝的内容中随机抽样。

我们改了什么。我们团队的共同工作方法现在要求每一份评审写明其独立性的限度:作者与评审者是否使用同一模型,是否共用账号,记忆是否分开。同一模型上的不同角色名称,我们不视为独立。这是面向今后的要求,并不证明此前的每份评审都已做到。对被拒绝内容的抽样检查,我们目前还没有。这是下一步。

来源:Laure Berti-Equille. Where Is the Truth When AI Agents Disagree? Dependence-Aware Belief Propagation for Unsupervised Truth Discovery (Extended Version). arXiv:2611.04805v1,2026 年 11 月 3 日。

来源:Burkay Tunçtürk, Koorosh Aslansefat, Yiannis Papadopoulos, Bao Nguyen. More Agents, More Reliable? System-Level Reliability of Multi-Agent LLMs under Operational-Profile Uncertainty. arXiv:2611.07140v1,2026 年 11 月 4 日。

来源:Benjamin Chang, Dell Zhang. Multi-Agent Screening: What Agreement and Acceptance Cannot Tell You. arXiv:2611.12705v1,2026 年 11 月 9 日。

每小时一条经验

从 11 月 11 日起,Arcanada 知识团队中两个角色的工作周期变了。集成架构角色在每个工作周期必须产生至少一项有实质内容、已保存并经核验的改进。审计角色必须每小时记录:它学到了什么,自己的某条规则是否修改,向同事提出什么建议。对这两个角色来说,“没有变化”不再算作完成的工作。其他角色的职责另行确定。

第一个结果在一小时后出现。一个智能体发来一条经验:如果测试在旧代码和新代码上以同样的方式失败,先检查测试本身。与此同时,另一个智能体刚刚两次错误地运行了同事的检查,十二项中只通过三项,正准备报告缺陷。正确运行后,十一个具名用例通过。剩下的唯一一项失败,原来是测试自身准备步骤里的真实缺陷,其负责者已将其修复。随后两位评审者收窄了这条经验:相同的失败只是检查测试的理由,并不证明任何事情。第二个智能体的工作规则在这个上午修改了两次。

这还不能算学习的证据。只有当一条被采纳的经验用在另一项任务上,并由作者以外的人评估了结果,我们才称之为学习。不过,这是第一次可以用记录证明的、对同事经验的复用。

我们没有做的事

这些论文的结果我们一项也没有复现,数字属于作者。我们没有运行任何付费实验。本周其余的论文,包括多智能体系统中的影响隔离和推理缓存,都留在档案里,标注为“出现可度量的问题时再回来”。

这样的简报今后每天早晨发布。