# StateAct: Program State, before Pixels, for Long-Horizon Computer-Use Agents
- 来源：huggingface · https://huggingface.co/papers/2607.22798
- 作者：Yan Yang, Xiangru Jian, Ziyang Luo, Zirui Zhao, Yutong Dai, Ziji Shi, Hanshu Yan, Jun Hao Liew, Silvio Savarese, Junnan Li

> 代码优先的GUI agent，通过状态接地提升成功率，降低90%成本。

## 概要

StateAct提出一个多agent框架，主agent通过代码直接操作程序状态，仅在少数子目标（1.1%步骤）使用GUI截图。独立finish gate验证结果结构性失败。在OSWorld 2.0上，Claude Opus 4.8的二进制成功率从20.6%提升至26.9%，部分成功率从54.8%提升至61.6%，成本降低约9倍。代码only变体部分成功率仅45.9%，低于截图baseline。实验表明，状态接地将瓶颈从感知转向推理。

## 对我的影响

1. **可以用到导购/agent产品**：我们的agent需要操作电商后台或浏览器，StateAct的代码优先策略可大幅减少昂贵的大模型截图调用，降低成本。2. **改变技术选型判断**：原本倾向于纯截图+坐标点击方案，现在应考虑结合DOM/API直接操作，仅在必要时用GUI。3. **接下来**：读全文了解具体多agent协调和状态验证机制，尝试在导购场景中复现类似架构（如操作购物车、订单管理）。

---
*导出自 前沿论文情报台*