# Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments
- 来源：huggingface · https://huggingface.co/papers/2606.14397
- 作者：Mykola Vysotskyi, Runqi Lin, Grzegorz Biziel, Michal Zakrzewski, Sebastian Montagna, Damian Rynczak, Shreyansh Padarha, Kumail Alhamoud, Zihao Fu, William Lugoloobi, Kai Rawal, Hanna Yershova, Xander Davies, Taras Rumezhak, Guohao Li, Fazl Barez, Baoyuan Wu, Arkadiusz Drohomirecki, Yarin Gal, Chris Russell, Christopher Summerfield, Adam Mahdi, Volodymyr Karpiv, Philip Torr, Adel Bibi

> 新基准GauntletBench：评测agent在视频编辑/3D建模等专业场景的真实能力

## 概要

GauntletBench是一个面向agent的web基准测试，聚焦时空感知、图形理解、3D推理三个未充分探索的能力，涵盖视频编辑器、工作流构建器、3D建模、飞行分析、电路设计五个专业应用，共100个视觉密集型任务。当前最强agent（如GPT-4V类）成功率仅19.1%，而非专家人类>80%，揭示当前agent在复杂专业场景的巨大差距。

## 对我的影响

1. **对导购agent产品的启示**：当前LLM agent在处理图表/时间线/3D商品等视觉任务时能力远不够，导购中涉及商品结构图（如家具装配）、时间序列（如价格趋势）时需谨慎，应优先选纯文本或结构化数据交互。
2. **技术选型调整**：之前可能高估了多模态模型在复杂界面上的推理能力，实际落地需加入规则约束或使用专门的OCR+布局分析模型做前置处理。
3. **下一步行动**：仔细阅读论文附录中的任务样例，评估哪些子任务（如工作流构建）可复用到内部测试，以量化现有导购agent的瓶颈，并考虑是否要构建类似的专业领域评估集。

---
*导出自 前沿论文情报台*