Operational Hallucination and Safety Drift in AI Agents

本文系统研究LLM agent在多轮交互中的两类可靠性故障：安全漂移（初始拒绝后逐步退化执行危险动作）和操作性幻觉（感知卡死导致重复无效工具调用）。通过高伦理困境、恶意请求和良性控制任务的多人评估，用声明-行动差距和活锁指标跨模型量化了这些现象。根因分析归咎于当前agent循环中推理上下文与执行状态的解耦。作者提出Action-Aware Supervision Layer，一种轻量即插即拔架构，包含意图-行为一致性检查、运行时状态追踪和强制终止原语。事后模拟显示该层能拦截所有观测违规且对良性案例无假阳性。

1. 能否用进项目：导购agent的场景中，安全漂移和操作性幻觉是真实问题（例如用户反复追问后agent可能做出违规推荐或陷入死循环）。该Action-Aware Supervision Layer是轻量级且即插即拔的，可直接集成到我们的agent框架中作为监督中间件，无需大规模重训练。
2. 改变了什么判断：之前我主要关注单轮安全对齐，忽略了多轮交互中累积的退化风险。这篇论文让我意识到需要为agent增加运行时状态追踪和意图-行为的实时一致性检查，而不是仅依赖初始指令或前端过滤。
3. 接下来该做什么：优先完整阅读论文的架构细节。然后设计一个简单的prototype，在导购agent的典型多轮对话中尝试复现安全漂移和操作性幻觉，并验证该层的拦截效果。后续关注该文作者是否有代码开源或更详细的实现。