ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents

ClawArena-Team 是一个专门评测 LLM 作为“管理者”能力的基准，包含 41 个多轮、多模态、多目录场景。主要 agent 被限制只能通过文本和部分工作区控制固定子 agent 池，从而隔离出管理能力。实验发现：没有模型在工作区权限授予上达到 50% 精确率，成本与质量解耦（成本差 100 倍、分数差不到 4 倍），且管理行为差异极大。

1. 可验证导购 agent 的管理设计：我的导购产品中主 agent 需调用多个子模块（搜索、推荐、比价），该基准的权限控制和路由指标直接相关，可用来测试我们自己的管理逻辑。
2. 改变判断：管理瓶颈不在推理而在权限：之前我更关注模型推理能力，但该论文指出权限授予是最大短板，这提示我在系统设计中需要更精细的 least-privilege 策略。
3. 接下来：读全文获取评估脚本，看能否迁移到我们的内部评测中，特别是 permission 分数计算方法，并跟踪作者是否会发布代码和数据。