Diagnosing and Calibrating Tool-Call Boundary Drift in Multi-Teacher On-Policy Distillation

本文指出多教师在线策略蒸馏（on-policy distillation）中，工具调用教师和直接回答教师并行训练时，模型会倾向过度调用工具（over-calling）。作者发现这种行为偏差无法从聚合损失中观测，而是源于特定token（如）上的行为杠杆不平衡。他们提出Soft Clamp方法，在token层级动态压缩极端JS散度，使APIGen-MT上的over-calling率从13.7%降至9.0%，且决策准确率不变；在BFCL多轮诊断中降低了工具调用循环和重复调用。

1. 直接用于导购/agent产品：在训练一个能自主决定何时调用搜索/计算等工具的agent时，会遇到类似的over-calling问题。Soft Clamp可以作为一个校准层，在蒸馏或微调时抑制模型不必要的工具调用，提升效率并减少延迟。\n2. 改变技术选型判断：之前我主要关注聚合损失或准确率来评估蒸馏效果，现在意识到需要监测token级别的偏离，尤其是结构化标记（如工具调用标记）。这会让我在训练agent时加入更细粒度的诊断指标，而不仅看整体指标。\n3. 接下来行动：在个人论文情报系统中，我会记录该方法的实现细节，以便在下一个agent训练迭代中尝试。同时，我会关注后续是否有更通用的边界漂移检测和校准方案。