当智能体的策略被切成若干独立技能、并且一次只加载一个时,某项任务可能需要一个条款,而这个条款所在的技能智能体从未打开。在 2026 年 11 月 11 日发布的一篇论文中,一个基于 Gemma 4 12B、从按需技能读取 τ²-bench 航空策略的智能体得到 56.0 的 pass^1;同一个未经训练的模型在参考框架中把整套策略放在系统提示词中,得到 67.5,高出 11.5 个百分点。这里 pass^1 指 50 个官方航空任务、每个运行 4 次时单次尝试的期望成功率,成功与否由基准对最终数据库和所传达信息的检查决定,客户由 LLM 模拟。在策略各部分相互独立的零售领域,拆分框架的 pass^1 为 72.6,对照为 73.2。我们没有复现或运行任何内容;下文关于论文的所有数字均来自作者。
固定了什么,改变了什么
论文的主题是一个无需更强教师模型就能改进的智能体:它根据失败的对话把规则写进自己的技能,并用 GRPO 强化学习在自身对话上训练一个 LoRA 适配器。
对于这个反例,未训练的模型、基准和用户模拟器都是固定的;改变的是框架。除了把策略移入技能,H0 还改写了智能体指令,增加了 load_skill 工具和两个领域共用、带加载规则的技能目录,并在每个加载的文档末尾附加严格遵循的提示;论文没有把这些因素分开。参考智能体把整套策略放在系统提示词中。起始系统 H0-M0 拿到的是同一套策略,被逐字切分为一个入口文档,再加上每种数据库写操作各一个技能(航空:预订、修改、取消、补偿),并附有目录规则:加载最具体的适用技能。作者把缺陷定位在这套框架上,而不是模型上。
来源:Yujia Zhang, Xinqi Ren, Shixiong Zhou, Jia Meng, "Knowledge in the Harness, Reliability in the Weights: Teacher-Free Co-Evolution of an LLM Agent", arXiv:2611.15268v1, 摘要,第 3.2、3.3、5.5 节及附录 D, arxiv.org/abs/2611.15268v1.
成功如何计数
只有当最终数据库与参考状态一致、并且所需信息已传达时,一次对话才记 1 分。用户模拟器为 DeepSeek-V4.1-Flash。航空任务的所需信息通过子串匹配检查;零售任务中的自然语言断言由 GPT-4.1 评判。官方任务集为 114 个零售任务和 50 个航空任务,每个运行 4 次。
作者称其为自定义设置,其绝对分数不能与公开排行榜直接比较。
来源:同一论文,第 3.1、3.2、3.3 节,附录 A 及 Limitations 部分, arxiv.org/abs/2611.15268v1.
丢失的义务存放在哪里
航空策略在预订部分规定了免费行李额度、每件额外行李 50 美元的费用以及保险范围,而修改和取消同样需要这些条款。据作者所述,逐字拆分加上“加载最具体技能”的规则,使得修改或取消任务在没有加载预订技能时无法获得这些条款。
航空领域 11.5 个百分点的差距(表 2)附有按任务计算的 95% 配对自助法区间:比参考低 4.5 至 19.0 个百分点。作者称零售的各部分相互独立,那里没有出现这种差距。
作者用十个航空行李任务说明这一机制(每个系统 40 次对话,表 13)。H0-M0 在其 40 次对话中的 30% 加载了预订技能。加载了的 12 次对话中成功 6 次,未加载的 28 次中成功 0 次。参考智能体 40 次中成功 18 次。
来源:同一论文,第 5.1、5.5 节,表 2 及表 13(附录 E), arxiv.org/abs/2611.15268v1.
差距如何被弥合
缺陷是由智能体自己的编辑循环发现的:日志记录了每次写操作前加载了哪些技能,因此循环把这些失败标为“未加载”。它添加了一条路由规则(修改行李时同时加载修改技能和预订技能),把行李额度公式复制到修改技能中,并在取消技能中加入保险条件。
预订技能的加载率只从 30% 升到 40%,但跳过该技能的对话开始成功(24 次中 6 次),加载了该技能的对话则从 12 次中 6 次升到 16 次中 12 次。按我们的理解,在这十个任务上,相当一部分提升来自让所需条款出现在使用它的地方。
在全部 50 个航空任务上,采用第一轮规则和未训练权重的系统(H1-M0)达到 67.0 的 pass^1,参考智能体为 67.5。
来源:同一论文,第 5.5 节,表 4、表 5(附录 B)及表 13(附录 E), arxiv.org/abs/2611.15268v1.
训练结果及其边界
经过两轮规则和训练,零售领域的 pass^1 从 72.6 升至 85.1(12.5 个百分点),航空领域从 56.0 升至 75.5(19.5 个百分点);作者报告所有区间都高于零。在他们的消融实验中(表 3,每个任务 4 次尝试的独立运行),在起始系统 4 次全部失败的任务上(零售 8 个、航空 15 个;作者指出零售这一组很小),最终规则加基础权重的平均成功率为 44% 和 27%,训练后权重加原始技能为 25% 和 5%。在 4 次全部成功的任务上(零售 55 个、航空 19 个),仅用权重保持在 95% 和 99%,仅用规则为 87% 和 93%。作者报告,15 个从未解决的航空任务中有 14 个依赖于技能拆分。
作者自己说明了边界:一个基础模型,一个基准的两个领域,两轮;大多数单次更新单独看并不显著。
来源:同一论文,第 5.2、5.4 节,表 2 和表 3,及 Limitations 部分, arxiv.org/abs/2611.15268v1.
我们如何处理
11 月 18 日,我们的研究组阅读了这篇论文,并提出一项有边界的试验:约 20 个合成的、已授权的工作项,其要求跨越多个技能(例如修改与新建、访问与保留策略、取消与原始合同),固定的求解器、证据和预算。试验将比较当前的扁平策略与一份带版本的依赖关系图,测量必需条款的覆盖率、经独立核验的最终状态、未经授权的操作、拒绝和 UNKNOWN、延迟和 token 数。缺失关键的继承条款、权限提升或不可恢复的回退都判为失败。
建议:对依赖与闭包防护进行试验;任何 GPU 再训练暂缓。状态:已提议。尚无负责人决定。没有运行、训练或复现任何内容。
有一点是我们的解读,而非论文的结论:检索到的低可信度技能不得凌驾于已验证的系统约束之上。
来源:同一论文,arxiv.org/abs/2611.15268v1.