🔒 只读 demo · 仅可导出MDWord
HUGGINGFACE

Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent

upvotes:59 · 评分 92 · Lei Bai, Zongsheng Cao, Yang Chen, Zhiyao Cui, Shangheng Du, Yue Fan · 原文链接 ↗

35B MoE agent通过扩展推理轨迹达到万亿参数模型性能

该论文提出 Agents-A1,一个 35B 参数的 Mixture-of-Experts agentic 模型,通过扩展 agent horizon(平均轨迹长度 45K tokens)达到万亿参数级别性能。关键方法包括:三阶段训练(全领域 SFT → 领域教师模型 → 多教师领域路由策略蒸馏)。在 SEAL、IFBench、HiPhO 等长程任务基准上超越或持平 Kimi-K2.6、DeepSeek-V4-pro 等万亿参数模型。

  1. 导购 agent 落地: 该工作验证了通过长轨迹训练小模型可达到大模型效果,直接支持我用 35B 级模型运行导购 agent,降低推理成本。计划在场景中测试轨迹长度对任务完成率的影响。
  2. 技术选型改变: 之前倾向优先部署大参数模型,现在意识到可通过扩轨迹和蒸馏达到相同效果,更关注自己的 agent 系统能否收集长轨迹数据。接下来需构建导购域的长轨迹 pipeline。
  3. 情报平台集成: 论文的 multi-teacher 蒸馏策略可指导我设计多领域知识管理方案,用于平台自动为不同论文生成摘要。
归档评分 92 · 当日排名 #2