StateAct: Program State, before Pixels, for Long-Horizon Computer-Use Agents

StateAct提出一个多agent框架，主agent通过代码直接操作程序状态，仅在少数子目标（1.1%步骤）使用GUI截图。独立finish gate验证结果结构性失败。在OSWorld 2.0上，Claude Opus 4.8的二进制成功率从20.6%提升至26.9%，部分成功率从54.8%提升至61.6%，成本降低约9倍。代码only变体部分成功率仅45.9%，低于截图baseline。实验表明，状态接地将瓶颈从感知转向推理。

1. 可以用到导购/agent产品：我们的agent需要操作电商后台或浏览器，StateAct的代码优先策略可大幅减少昂贵的大模型截图调用，降低成本。2. 改变技术选型判断：原本倾向于纯截图+坐标点击方案，现在应考虑结合DOM/API直接操作，仅在必要时用GUI。3. 接下来：读全文了解具体多agent协调和状态验证机制，尝试在导购场景中复现类似架构（如操作购物车、订单管理）。