ARCANADA
全部文章
博客 2026年11月13日

三个智能体辩论,提出的错误链接比单个智能体少,漏掉的正确链接更多

哪些文件实现了这条需求?现在人们直接向智能体提出这个问题,并把整个代码仓库放进上下文。一项新研究测量了单个智能体如何回答,以及当其他智能体批评并修订答案、或三个智能体围绕答案辩论时会发生什么变化。我们没有复现这些结果。下面说明测量了什么,以及论文中“成本”一词的含义,因为它指的不是钱。

一个智能体,整个仓库,没有检索步骤

Sarthak Banerjee、Sallam Abualhaija、Domenico Bianculli 和 Lionel Briand 从常规流程的一个已知弱点出发:先按相似度检索文件,再进行分类,所以检索漏掉的相关文件再也找不回来。他们的单智能体设计跳过检索,把一条需求和完整的代码库一起交给模型。

他们在三个带有标准答案链接的公开 Java 项目上测试:一个旅游系统,有 58 条需求、116 个代码文件和 308 条链接;一个医疗系统,有 131 条需求、226 个文件和 286 条链接;一个无人机控制系统,有 57 条需求、184 个文件和 393 条链接。全程使用同一个模型版本,温度设为零。比较对象是一种已发表的基于检索的方法,用同一个模型运行。

一条链接出现在项目的标准答案中,就算正确。三个项目平均下来,单个智能体找回了 80.9% 的真实链接,比基于检索的方法高 38.6 个百分点。它的精确率下降了 25.8 个百分点,降到 17.8%:它提出的链接中,出现在标准答案里的不到五分之一。

来源:Sarthak Banerjee、Sallam Abualhaija、Domenico Bianculli、Lionel Briand,《Rethinking Requirement-to-Code Traceability Through Single-Agent and Multi-Agent Approaches》,arXiv:2611.09162v1。

第二意见去掉了错误链接,也去掉了一些正确链接

第一种多智能体设计包含三个角色:追踪智能体提出候选链接,批评智能体指出证据不足之处,修订智能体据此重新审视初始候选。精确率从 17.8% 升到 26.9%。召回率从 80.9% 降到 66.5%。这种设计可以提高精确率,却无法找回初始候选集中根本没有的真实链接。作者认为这种设计在实践中不如单个智能体有吸引力:计算更多,收益有限。

第二种设计是一场辩论。一个智能体论证哪些文件与需求相关,另一个论证哪些不相关,双方各看一次对方的输出,再由一个裁判给出最终列表。三者都拿到完整的代码库。使用两个提示词中较详细的那个时,辩论得到 24.5% 的精确率和 71.0% 的召回率。与使用同一提示词的单个智能体相比,精确率高 6.7 个百分点,召回率低 9.9 个百分点。摘要中给出了这一设计的一个综合得分,其中召回率的权重高于精确率:49.5%,比基于检索的方法高 7.5 个百分点。

辩论还缩短了需要人工检查的列表:在旅游项目上,从全部可能的“需求与文件”配对的约 17% 降到 12%;在医疗项目上从 7% 降到 5%;在无人机项目上从 14% 降到 7%。代价是漏掉真实链接:按作者的报告,第一个项目约有 17% 的标准答案链接没有被找回,第三个项目为 50%。这个比例以真实链接为分母,而不是全部可能的配对。

来源:同一论文,第 IV-H 节和摘要,arXiv:2611.09162v1。

这篇论文里的“成本”是什么意思

成本一栏是指:如果分析人员只审查方法返回的结果,他需要检查的配对占全部可能的“需求与文件”配对的比例。它衡量的是人工审查的负担,作者也指出,它假定检查每条链接所需的工作量相同。

它不是运行智能体的价格。我们在正文中查找了 token 数量和价格,没有找到;关于计算量,只提到三角色的设计比单个智能体开销更大。所以论文并没有说明,在相同预算下三个智能体是否胜过一个智能体。辩论让完整的代码库经过三个智能体、两轮处理;给予同样预算的单个智能体没有被测试。

作者还指出了其他局限。三个系统都用 Java 编写,作者认为还需要在其他语言和更大的系统上进行研究。只使用了一个商业模型,它的输出在不同运行之间可能有差异。论文的定性分析部分提示了每种设计适合的场合:需求沿用了代码中的词汇时适合检索;代码文档完善、命名一致时适合单个智能体;证据间接、相互矛盾或分散在多个文件中时适合辩论。

这对我们的工作意味着什么。我们的智能体需要把需求、实现它的变更以及证明它有效的证据关联起来。这项研究说明了对智能体给出的这类链接列表应有怎样的预期:高覆盖伴随着大量错误条目,增加更多智能体是用覆盖换取更短的列表。这样的列表是一组待核查的候选项,而不是关于覆盖率的陈述。在我们自己的一个代码仓库上、以相同预算比较确定性搜索、单个智能体和辩论的一项试验已经提出,目前搁置:没有人接手,也没有运行过任何内容。

来源:同一论文,第 IV-D、IV-I 和 V 节,arXiv:2611.09162v1。