HUGGINGFACE
Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent
35B MoE agent通过扩展推理轨迹达到万亿参数模型性能
概要 / Summary
该论文提出 Agents-A1,一个 35B 参数的 Mixture-of-Experts agentic 模型,通过扩展 agent horizon(平均轨迹长度 45K tokens)达到万亿参数级别性能。关键方法包括:三阶段训练(全领域 SFT → 领域教师模型 → 多教师领域路由策略蒸馏)。在 SEAL、IFBench、HiPhO 等长程任务基准上超越或持平 Kimi-K2.6、DeepSeek-V4-pro 等万亿参数模型。
对你的影响 / Impact
- 导购 agent 落地: 该工作验证了通过长轨迹训练小模型可达到大模型效果,直接支持我用 35B 级模型运行导购 agent,降低推理成本。计划在场景中测试轨迹长度对任务完成率的影响。
- 技术选型改变: 之前倾向优先部署大参数模型,现在意识到可通过扩轨迹和蒸馏达到相同效果,更关注自己的 agent 系统能否收集长轨迹数据。接下来需构建导购域的长轨迹 pipeline。
- 情报平台集成: 论文的 multi-teacher 蒸馏策略可指导我设计多领域知识管理方案,用于平台自动为不同论文生成摘要。
归档评分 92 · 当日排名 #2