Mythos、OpenClaw、GLM-5.1 连续出现后，Agent 系统的测试边界开始重写

导读Anthropic 没有把 Mythos 直接面向公众开放而是放进 Project Glasswing 做受限测试OpenClaw 的最新研究把持久状态投毒攻击成功率推到了 64% 到 74%GLM-5.1 开始强调长任务连续执行Codex 的使用规模继续扩大Google 则在推进 LiteRT-LM 这类端侧推理框架。把这些信息放到同一个视角下看变化其实很清楚AI 系统正在从“调用一个模型”转向“运行一套长期工作、带状态、会调用工具、会影响真实环境的工程系统”。对测试岗位来说验证对象也在同步变化。目录为什么最近几条消息值得测试人放在一起看Mythos 和 OpenClaw暴露了 Agent 安全的新边界Skill 变多不代表 Agent 在真实环境里更稳长任务 Agent 开始进入工程交付端侧部署起来以后测试环境也要跟着重做测试岗位接下来要补的能力1. 为什么最近几条消息值得测试人放在一起看很多人平时看 AI 行业信息第一反应还是模型榜单、参数规模、价格变化和发布节奏。但最近连续出现的这些消息更值得从工程视角理解。它们共同指向的是同一个方向AI 正在从“回答问题的模型”变成“持续执行任务的系统”。一旦系统具备长期运行、状态记忆、工具调用、端侧部署这些特征测试工作就不可能再停留在提示词验证、接口返回和页面检查上而必须转向执行链路、权限边界、状态污染、环境一致性和结果可回放。过去很多团队评估 AI重点还是回答质量、推理能力、上下文长度和调用成本。现在越来越多产品开始强调长任务、持续运行、工具调用、状态管理、自动修复和本地部署。这意味着行业竞争的重心正在从模型单点能力转向系统级可交付能力。这个变化对测试和质量保障的影响远比单纯的模型排名变化更大。2. Mythos 和 OpenClaw暴露了 Agent 安全的新边界先看 Mythos。Anthropic 这次没有直接把 Mythos 当成一次普通模型发布而是放进了受限测试框架里。这本身就说明一个问题这类模型的能力已经不只是“会不会聊天”“会不会写代码”而是开始触碰更高风险的安全边界。对于测试行业来说这个变化的关键不在于“AI 更会找漏洞了”这么简单而在于安全测试的参与者开始发生变化。过去漏洞分析、渗透验证、利用链构造默认前提还是人工专家主导工具做辅助。现在前沿模型已经在代码理解、漏洞定位、链路推演和利用生成上表现出越来越强的连续能力。未来的软件安全测试不可能再把大模型仅仅当成问答工具而是要把它放进红队验证、漏洞回归、安全门禁的正式流程里。再看 OpenClaw 相关研究。这项研究更值得测试人警惕的地方在于它没有停留在提示词注入这种单轮问题上而是把 Agent 的长期状态拆开来看。研究把个人 Agent 的持久状态拆成三个维度Capability、Identity、Knowledge也就是能力、身份、知识。结果显示一旦其中某个维度被污染攻击成功率会明显上升。这个结论很重要。它说明 Agent 的安全问题已经不是单轮对话里的输入输出问题而是扩展到了记忆、身份、技能和权限的整套持久状态。换句话说AI 系统的攻击面正在从“当前会话”扩展到“长期状态 工具链 权限边界 自动执行”。这也是为什么未来的测试设计不能只做模型输出验证而必须补上状态污染、跨会话触发、权限滥用和高风险操作回归。3. Skill 变多不代表 Agent 在真实环境里更稳最近另一类很值得测试人关注的研究是 Agent 在真实 skill 环境中的表现。很多产品演示里Agent 看起来都很顺能自动选工具、能连续调用、能完成复杂任务。但一旦把它放进真实环境问题就会开始出现。工具数量变多、能力说明不完整、上下文噪声增加、多个技能之间边界模糊都会让 Agent 的实际表现明显下滑。这背后反映出来的不是模型“突然变差”而是工程环境比演示环境复杂得多。模型在理想环境里能完成任务不代表它在真实环境里也能稳定选对 skill、理解对说明、调用对顺序、处理对异常。这对测试工作的启发非常直接。以后测 Agent不能只跑 happy path也不能只验证“工具能不能调起来”。更关键的是看它在技能说明不清晰、工具很多、上下文干扰较大、执行链路较长的情况下能不能稳定选对能力、用对工具、处理对异常、回到正确目标。Agent 的不稳定很多时候不是功能失效而是路径选错。这就要求测试开发在设计验证方案时把关注点从“单点功能是否可用”进一步推进到“复杂工具环境里的决策是否可靠”。4. 长任务 Agent 开始进入工程交付GLM-5.1 这类模型更值得关注的地方不只是一次普通更新而是它把“长任务”明确写进了产品能力描述。过去我们说“AI 写代码”更多还是单轮生成、局部补全、函数级修复。现在模型开始被要求围绕一个目标持续工作更长时间完成规划、执行、测试、修复、再交付的完整过程。这说明模型的角色正在变化从生成器逐步变成有限职责下的执行体。这对工程团队意味着什么意味着未来越来越多 Agent不是帮你回答一个问题而是替你跑完一个过程。它可能会自己拆任务、自己调用工具、自己写入状态、自己反复迭代最后再把结果交付出来。这也意味着测试团队接下来要面对新的质量问题长任务执行过程中会不会目标漂移 中途多次调用工具后状态是不是还一致 连续执行几个小时后结果是否还能复现 自动修复看起来完成了是否真的通过了验证 失败后有没有足够清晰的日志、轨迹和回放信息。这些问题本质上都不是传统功能测试能完全覆盖的它们更接近系统测试、链路测试和运行时验证。5. 端侧部署起来以后测试环境也要跟着重做端侧推理框架这条线同样值得测试团队重点关注。以前大量 AI 能力都放在云端接口后面测试重点主要是接口一致性、响应速度、结果正确性和服务稳定性。端侧运行之后情况就完全不一样了。模型会真正落到设备上运行设备型号、芯片类型、GPU 或 NPU 加速路径、内存压力、温度、功耗、离线状态都会成为影响结果的变量。这意味着测试环境会快速变复杂。过去很多服务端问题可以通过统一回滚、统一配置解决。端侧之后同一套能力可能在不同设备上表现完全不同。一个机型上稳定换一个机型可能就出现卡顿、发热、速度下降甚至推理失败。以前很多通过 mock 绕开的场景到了端侧以后都必须在真实设备上验证。所以端侧 AI 的测试不会只是“在手机上点一遍功能”这么简单而会越来越接近兼容性测试、性能测试、系统测试的融合。要关注的不只是结果是否正确还包括推理耗时、资源占用、稳定性、离线行为以及端云协同时的一致性。对于测试团队来说端侧能力的推进意味着验证对象已经从“服务接口”扩展到了“设备环境”。6. 测试岗位接下来要补的能力把最近连续出现的这些信息放在一起看测试岗位接下来真正需要补的不只是“会不会测一个 AI 应用”而是能不能用系统视角理解 Agent。第一要有状态视角。 要知道持久记忆、身份配置、技能文件、工具上下文为什么会变成新的风险入口。第二要有链路视角。 要能把模型、工具、权限、沙箱、外部系统和结果验证串成一条完整执行链而不是只盯着某个接口或某段输出。第三要有环境视角。 要理解云端与端侧、单轮与长任务、单工具与多工具、多环境与多设备之间的差异。第四要有运行时视角。 要关注任务执行过程中目标是否漂移、状态是否污染、权限是否越界、日志是否完整、过程是否可回放。更具体一点说未来测试团队会越来越需要补下面几类能力Agent 安全评估状态污染、权限滥用、危险操作防护、结果回滚。长任务验证目标漂移、资源泄漏、执行稳定性、链路可回放。工具链与 skill 验证检索命中、说明质量、组合调用、失败恢复。端侧与多环境验证机型差异、硬件加速、离线行为、端云一致性。谁先把这几块补起来谁就更有机会跟上下一阶段的 AI 工程落地。结尾最近几天连续出现的这些信息真正值得测试人关注的不是谁的模型又上了什么榜而是 AI 系统已经越来越像一套完整的软件系统它会长期运行会累积状态会调用工具会影响真实环境也会暴露传统软件里没有的新风险。测试边界之所以在变化不是因为测试不重要了恰恰相反是因为系统本身已经升级了。 当系统从“模型调用”走向“自主执行”质量保障就必须从“功能验证”回到“系统验证”。