Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments

GauntletBench是一个面向agent的web基准测试，聚焦时空感知、图形理解、3D推理三个未充分探索的能力，涵盖视频编辑器、工作流构建器、3D建模、飞行分析、电路设计五个专业应用，共100个视觉密集型任务。当前最强agent（如GPT-4V类）成功率仅19.1%，而非专家人类>80%，揭示当前agent在复杂专业场景的巨大差距。

1. 对导购agent产品的启示：当前LLM agent在处理图表/时间线/3D商品等视觉任务时能力远不够，导购中涉及商品结构图（如家具装配）、时间序列（如价格趋势）时需谨慎，应优先选纯文本或结构化数据交互。
2. 技术选型调整：之前可能高估了多模态模型在复杂界面上的推理能力，实际落地需加入规则约束或使用专门的OCR+布局分析模型做前置处理。
3. 下一步行动：仔细阅读论文附录中的任务样例，评估哪些子任务（如工作流构建）可复用到内部测试，以量化现有导购agent的瓶颈，并考虑是否要构建类似的专业领域评估集。