使用工具的智能体会读取他人撰写的邮件、网页和文件。攻击者可以在这些内容里藏入指令,而基准只用一个数字来评分:攻击成功率,即攻击者目标得以实现的比例。2026年10月16日提交的一项研究追问:剩下的那部分究竟是什么。对小型智能体而言,答案主要是沉默。
审计了什么
Farhan Zarif、Kazi Shahid Ahmed Galib、Synthia Akter Promi、Shabnam Sharmin Tarin、Ariyan Hossain、Sadif Ahmed 和 Farig Yousuf Sadeque 在两个已发表的基准上运行了十一个参数量为20亿至140亿的开放权重智能体。InjecAgent 有1,054个两轮案例。AgentDojo 有949个多轮回合,并为每个回合给出两个判定:攻击是否成功,用户任务是否完成。
每个智能体以三种数值精度提供服务。作者对每个智能体、每个基准和每种精度抽取固定的500次随机样本,共33,000次。担任评审的语言模型来自所有被测智能体都不属于的模型家族,它在看不到智能体名称和基准得分的情况下阅读每次运行,并给出六种标签之一,再合并为四组:服从、拒绝、忽略和故障。一个脚本会核对评审引用的原话是否逐字出现在智能体的推理中。
两位作者人工标注了150次运行。在四组分类上,他们的标签与评审有96%一致。在全部33,000次运行中,评审与基准自身判定的一致率在 AgentDojo 上为96.7%,在 InjecAgent 上为98.5%。
来源:Farhan Zarif, Kazi Shahid Ahmed Galib, Synthia Akter Promi, Shabnam Sharmin Tarin, Ariyan Hossain, Sadif Ahmed, Farig Yousuf Sadeque, "Ignored, Not Refused: What Low Prompt-Injection Success Rates Hide in Small Tool-Using Agents", arXiv:2610.23254v1,2026年10月16日,arxiv.org/abs/2610.23254v1。
攻击是怎样失败的
在样本中,基准把14,699次 AgentDojo 运行和15,274次 InjecAgent 运行判定为攻击失败。按评审的标签,在这些失败的攻击中,智能体忽略注入的占76.3%和80.3%,明确拒绝的只占18.0%和17.2%。作者的着眼点很实际:拒绝可以被运营方记入日志,被忽略的指令却不留痕迹。
察觉不等于抵御。评审在4,740次 AgentDojo 运行和5,688次 InjecAgent 运行中标出了对注入的明确识别。在其中28.9%和16.9%的运行里,智能体仍然执行了攻击者的操作。作者把识别率视为下限,因为它只能从智能体写出的推理中读出。
一个前沿模型用同一评审审计了一次,表现不同:在它失败的攻击中,96.6%和99.0%是拒绝。作者说明,一个模型的一次运行不能确立趋势。
来源:同一论文第4.1节和表2,arxiv.org/abs/2610.23254v1。
两种配对系统提示:攻击成功率0.22%对43.05%
随后作者保持模型和攻击不变,只改系统提示,对象是两种策略下都评测过的10,698个 InjecAgent 案例。允许执行工具输出中指令的提示,把合并后的攻击成功率提高到43.05%,基线为8.09%。与之配对、禁止这类指令的提示把它降到0.22%。两段提示分别为172词和163词。
他们的解读是:基线成功率低,反映的是没有任何东西要求智能体行动时它的默认表现,而不是它在守住一条边界。以较低精度运行权重也略微降低了成功率,作者认为这是因为智能体做得更少,而不是防得更好:在 AgentDojo 上,最低精度使攻击成功率下降2.33个百分点,同时使安全且有用的回合比例下降3.97个百分点。
来源:同一论文第4.2节,arxiv.org/abs/2610.23254v1。
安全不等于有用
对 AgentDojo,作者把每个回合放进一张二乘二的表:攻击成功与否,用户任务完成与否,两项都以基准的判定为准。在同时具有两项判定的16,273个被审计回合中,67.2%既安全又有用。在21.7%的回合里,攻击失败了,用户的任务也失败了。攻击成功率把这些回合算作防御成功。
这张表还能区分被综合得分视为相同的智能体。三个智能体的综合得分几乎一样,分别为81.0、80.6和80.6,实际却相差很大:其中一个在11.5%的回合中被攻击得手,10.1%的回合安全但未完成;另一个只有1.7%的回合被攻击得手,安全但未完成的回合却占22.5%。
来源:同一论文第4.3节、图3和表5,arxiv.org/abs/2610.23254v1。
作者说明的局限
两个基准都是合成的单智能体环境,注入是静态的;自适应攻击的成功率更高,这项研究没有确立对这类攻击或在真实部署中的抵御能力。被测智能体规模较小,采用贪心解码,因此没有测量采样波动。所有标签都来自同一个语言模型评审,并与人工标注和基准判定作了核对。
来源:同一论文第5节,arxiv.org/abs/2610.23254v1。
我们从中得到什么
我们没有复现其中任何一个数字,这项研究也没有改变我们的任何智能体、防护机制或检查。
它改变的是我们打算对自己工作中的防护结果提出的问题。攻击成功率低,并不能说明用户要求的任务是否完成。我们对这篇论文的评估提议做一个小规模试验:在冻结的合成轨迹上,保持工具、模型和预算不变,对每次运行用两个独立核查的问题评分,即是否发生了未授权的操作、预定任务是否完成,并记录失败的攻击属于拒绝、忽略还是故障。只有当它改变了至少一部分会被单一比率判为安全的结论,而且不损失已被认可的正常任务成功,试验才算有用。目前的状态是:已提议。尚无负责人接受,也没有排期。
来源:Farhan Zarif, Kazi Shahid Ahmed Galib, Synthia Akter Promi, Shabnam Sharmin Tarin, Ariyan Hossain, Sadif Ahmed, Farig Yousuf Sadeque, "Ignored, Not Refused: What Low Prompt-Injection Success Rates Hide in Small Tool-Using Agents", arXiv:2610.23254v1,arxiv.org/abs/2610.23254v1。