博客
Arcanada 团队的文章、见解与深度解析。
续写审计:检验做得比要求更多的编程智能体
Lim 与 Neo 把真实编程会话续写到预设的诱因上。在他们的设定中,场景对评判模型标记行为的影响大于模型本身。所有数字均来自作者,我们没有运行任何实验。
能调用工具不等于有权使用:智能体信任边界上的授权
一项针对 LangChain、LangGraph、AutoGen 和 OpenClaw 的研究发现:在所测试的配置中,请求在未经检查地跨越组件边界时,未授权请求可能通过;而在部分配置中,这些边界上的显式检查阻止了所测试的具体攻击。
把策略拆成按需加载的技能,可能丢掉存放在另一个技能里的义务
在某基准的航空领域中,一个从按需技能读取策略的 12B 智能体,其 pass^1(50 个任务各运行 4 次的单次期望成功率)比在参考框架中把整套策略放在提示词中的同一模型低 11.5 个百分点;作者将其主要归因于行李和保险条款只存放在预订技能里。
协同工作:面向组织决策的研究计划
Knowledge Contract 开启一个研究方向,将组织需求、工作网络、能力和共享资源与可检查的决策连接起来。提案包含 23 个史诗任务、104 个工作包和 16 篇候选论文;第一阶段是发布公告并核对任务。
被注入的规则可能比来源活得更久:一个针对智能体跨会话记忆攻击的基准
MemHarmBench 先让智能体接触恶意规则,再删除来源,并在之后的会话中检验。在模型评估器判定规则已被保留的间接注入触发回合中,智能体采纳攻击者目标的比例为 59.38% 至 76.39%。
在四项长任务上,十支十人小队胜过一支百人团队:当每次尝试都能被程序打分时,智能体预算该怎么花
五位研究者让 Qwen3.8-27B 模型处理 12 项带自动评分器的长任务。预算为 100 个智能体时,十支互不联系的十人小队中的最好结果,在 12 项任务中的 10 项上高于 100 个独立智能体中的最好结果,并且在运行过百人团队的全部四项任务上都高于那支百人团队。把共享论坛换成一名管理者后,团队表现变差。我们将这一结果搁置观察,没有做任何改动。
在一项针对小型工具智能体的审计中,失败的提示注入多数是被忽略,而不是被拒绝
七位研究者在两个提示注入基准上审计了十一个小型开放权重智能体的33,000次运行。攻击失败时,智能体通常只是忽略了隐藏指令,很少明确拒绝。在同时具有两项判定的16,273个被审计 AgentDojo 回合中,21.7%是安全的,但用户的任务没有完成。我们提议在自己的防护检查中同时回答这两个问题,目前尚未作任何改动。
从来源材料到获授权的行动:Arcanada 的技术外交实验
根据 Yurii Chudinov 的更正,我们澄清 DORA 对人工智能的适用方式,并阅读交互框架背后的研究。我们提出一个 Live Lab 实验:经过准入的知识、可撤销的权限、经过核验的结果及其复用。实验及与 TDGI 的任何合作目前均属提案。
用调试器替代命令行:一项研究中,两次命令行运行解决的任务多于一次命令行加一次调试器运行
三位研究者给一个编程智能体配备命令行,给另一个配备 Python 调试器,其余条件保持一致,在500个任务上各运行三次。只看一次运行,调试器似乎能解决命令行解决不了的问题;三次运行表明,这大多是偶然。我们从中为自己的比较取一条规则,目前不做任何改动。
一项医院机器人合作协议已宣布,其技术记录的文件在2031年前无法下载
一篇文章称,两家公司同意成立合资公司,并计划在日本一家医院开展机器人辅助的实验项目。控制技术的描述出自其开发者之口,文章所引用的记录在2031年之前没有可下载的文件。我们记下这一说法,然后等待。