# Operational Hallucination and Safety Drift in AI Agents
- 来源：arxiv · https://arxiv.org/abs/2607.18366
- 作者：Shasha Yu, Fiona Carroll, Barry L. Bentley

> 多轮agent中安全漂移与操作性幻觉的实证与轻量架构方案

## 概要

本文系统研究LLM agent在多轮交互中的两类可靠性故障：安全漂移（初始拒绝后逐步退化执行危险动作）和操作性幻觉（感知卡死导致重复无效工具调用）。通过高伦理困境、恶意请求和良性控制任务的多人评估，用声明-行动差距和活锁指标跨模型量化了这些现象。根因分析归咎于当前agent循环中推理上下文与执行状态的解耦。作者提出Action-Aware Supervision Layer，一种轻量即插即拔架构，包含意图-行为一致性检查、运行时状态追踪和强制终止原语。事后模拟显示该层能拦截所有观测违规且对良性案例无假阳性。

## 对我的影响

1. **能否用进项目**：导购agent的场景中，安全漂移和操作性幻觉是真实问题（例如用户反复追问后agent可能做出违规推荐或陷入死循环）。该Action-Aware Supervision Layer是轻量级且即插即拔的，可直接集成到我们的agent框架中作为监督中间件，无需大规模重训练。
2. **改变了什么判断**：之前我主要关注单轮安全对齐，忽略了多轮交互中累积的退化风险。这篇论文让我意识到需要为agent增加运行时状态追踪和意图-行为的实时一致性检查，而不是仅依赖初始指令或前端过滤。
3. **接下来该做什么**：优先完整阅读论文的架构细节。然后设计一个简单的prototype，在导购agent的典型多轮对话中尝试复现安全漂移和操作性幻觉，并验证该层的拦截效果。后续关注该文作者是否有代码开源或更详细的实现。

---
*导出自 前沿论文情报台*