ARCANADA
全部文章
博客 2026年11月17日

在四项长任务上,十支十人小队胜过一支百人团队:当每次尝试都能被程序打分时,智能体预算该怎么花

手里有一百个智能体和一项任务,最直接的用法有两种:让它们各自单干,取最好的结果;或者把它们编成一支团队。2026 年 11 月 6 日提交的一项研究对两种用法都做了测量,并发现第三种安排,即若干互不通信的小团队,在 12 项任务中的 10 项上得分高于独立智能体,并在运行过大团队的四项任务上高于一支大团队。

设定:由评分器裁决

Junlin Wang、Haozhe Chen、Ang Li、Rahul Chalamala 和 Zhuang Liu 研究的是只有最好解才算数、并且程序可以给每次尝试打分的任务,例如最快的 GPU 内核或一份完成的形式化证明。他们从六个基准中选取了 12 项长时优化任务,覆盖九个领域。每个智能体拿到任务描述、工作环境和可以调用的评分器,在各自的沙箱里用 12 小时改进自己的提交。主要模型是 Qwen3.8-27B。

研究比较了花费同样数量智能体的三种方式。并行智能体各自工作,评分器保留最好的结果。一支大团队共用一个论坛。并行团队由若干小组构成,每组有自己的论坛,组与组之间没有联系,评分器保留最好一组的结果。每项任务约有 100 次独立的单智能体运行和 10 支十人团队。

来源:Junlin Wang, Haozhe Chen, Ang Li, Rahul Chalamala, Zhuang Liu,《Test-Time Compute Scales Better with Parallel Agent Teams》,arXiv:2611.09798v1,2026 年 11 月 6 日,arxiv.org/abs/2611.09798v1。

测到了什么

预算为 100 个智能体时,十支十人团队中的最好结果在 12 项任务中的 10 项上高于 100 个独立智能体中的最好结果。按 12 项任务平均,并行团队的期望最好得分在预算为 10 个智能体时比并行智能体高 10%,在预算为 100 时高 27%。论文没有给出这些平均值的计算公式;其平均曲线图把每项任务的得分按十个智能体的结果归一化,不同任务的原始分数单位不同。

独立智能体在早期之后增益很小:在作者的运行中,50 个智能体已经达到 100 个智能体所获增益的 81% 到 100%。在运行过大团队的四项任务上,团队从 64 人增加到 100 人时得分下降,十支十人团队比一支百人团队高出 8% 到 30%。其中两项任务上,百人团队的得分还低于 100 个独立智能体中的最好结果。

差距最大的地方,是单个智能体很少成功的任务。在一项形式化任务上,100 个智能体中的最好得分是 19.0(满分 100),最好的团队得到 54.8。

来源:同一研究,第 1 节和第 3.1 至 3.3 节,arxiv.org/abs/2611.09798v1。

为什么中间方案胜出:作者的模型

在作者的统计模型中,若干样本中期望的最好值,等于单个样本的均值加上一项增益,这项增益随得分的离散程度和样本数量增长。独立智能体抽到的样本最多,但每个样本均值低。一支大团队均值更高,却只是一个样本,离散程度对它毫无帮助。小团队提高了均值,同时仍留下若干样本可供挑选。

作者把一个工作 12 小时的智能体与两个各工作 6 小时的智能体视为成本相同:两者都是 12 个智能体小时,这并不是对全部成本相等的测量。在一项任务上,智能体的平均得分从 6 小时的 52.0 只升到 12 小时的 52.7,而两人团队用同样的工时把均值提高了 5.4 分。作者指出,这一增益主要来自多了一次尝试,而不是来自交流,并且 6 小时的得分取自 12 小时的运行。

来源:同一研究,第 4 节、第 5 节和附录 G,arxiv.org/abs/2611.09798v1。

管理者让团队变差

在团队内部,智能体发布的主要是自己试了什么、得了多少分。为检验这种扁平安排,作者把论坛换成一个负责分派工作并收集汇报的智能体,执行者之间彼此听不到对方。在报告了结果的三项任务上,这种受管理的团队在任何预算下都低于扁平团队,也低于独立智能体。在一项任务上,十支受管理团队中的最好得分是 68.4,低于扁平团队的平均得分 76.5。作者的解释是:执行者要等待管理者,发现也只能经由它传递。

来源:同一研究,第 6 节,arxiv.org/abs/2611.09798v1。

作者说明的局限

每项任务的团队样本只有 10 到 11 次运行。大于十人的团队只在四项任务上运行,每种规模一到五次。64 人和 100 人团队的论坛索引只显示最新 100 条标题及全部未读帖子;十人及以下团队能看到完整索引。这种可见性差异限制了比较的解释。研究只用了一种智能体运行框架,会话时长只在一项任务上变化。在许多尝试失败或得分触顶的地方,统计模型只具有定性意义。整个方法依赖评分器:作者写道,没有评分器,挑出最好的团队本身就成了问题。有一点保留是我们提出的,作者并未把它列为局限:在与前沿模型按同等美元成本的比较中,一方按 GPU 时间计价、另一方按词元计价时,小模型团队在八项任务中的四项上胜出;作者报告,双方都按词元计价时为八项中的六项。

来源:同一研究,第 8 节、第 3.4 节及附录 D、J,arxiv.org/abs/2611.09798v1。

我们从中得到什么

我们没有复现其中任何数字,也没有改变我们智能体的组织方式。

我们的评估是暂缓。这项结果适用于这样的场合:可以在隔离环境中产生许多安全的候选结果,并且有一个廉价而可信的评分器从中挑选。我们的大部分工作,例如研究综述、面向客户的文字和发布,并没有这样的评分器;在那里,多出来的候选只是把工作转移到了判断环节。关于管理者的结论来自一个切断执行者之间联系的实验,它不是取消协调或取消明确责任人的依据。

论文中有两个问题值得为将来可能进行的、使用冻结评估器的试验保留:预算是否计入了一切,包括失败的运行和评分;留出的评分器能否发现针对反复评分而拟合出来的解。目前没有计划中的试验,也没有负责人接受过这样的试验。

来源:Junlin Wang, Haozhe Chen, Ang Li, Rahul Chalamala, Zhuang Liu,《Test-Time Compute Scales Better with Parallel Agent Teams》,arXiv:2611.09798v1,arxiv.org/abs/2611.09798v1。