MerchantBench: Benchmarking LLM Agents for Long-Term Coherence in E-Commerce Operations

MerchantBench 是一个面向电商卖家侧的长周期经营模拟基准，基于 98,843 条真实商品记录，模拟 365 天订单级运营，提供 26 个工具接口。任务涵盖商品采购、定价、现金流管理，并混合了即时反馈（供应商事件）与延迟反馈（订单结果），要求智能体追踪订单生命周期并修正早期决策。对 8 个 LLM 在两种 agent 框架下进行了 48 次长期运行评估，最佳 LLM 配置仅达到人类平均最终净资产的 27.3%，凸显了当前模型在长期连贯性和复杂决策上的显著差距。

• 该基准的延迟反馈与长期依赖机制，与我的导购 agent 产品在实际运营中需处理的多步决策（如库存、定价）极为相似，可作为评估 agent 长期稳定性的参考工具，但直接迁移成本较高，需裁剪后使用。
• 当前 LLM 在长期任务上的低分表现，提醒我在 agent 设计中不应过度依赖单一模型的推理能力，而应引入记忆、反思或外部状态管理来弥补长期一致性不足，这改变了我对纯 prompt 驱动方案的信心。
• 接下来重点阅读其工具设计、反馈机制和评估指标，看能否提炼出针对导购场景的简化版评测思路，并关注后续是否有跨领域扩展版本。