Controlling Tool Use with Heading-Specific Activation Steering

该研究在多个开源模型上，从Heading-anchors位置提取激活向量，能双向控制模型是否调用工具，且在不需工具的领域抑制效果最佳。但几何分析显示，工具调用步骤的表示并非线性，而是扩散双峰分布，不同工具类型内部表征重叠度低，表明工具是上下文相关的非参数概念，与参数化概念不同。

1. 对导购/Agent产品的影响：该发现提供了一种不修改模型权重、通过推理时干预来减少不必要的工具调用的方法。可用于防止Agent在简单问答中不必要地调用搜索或数据库，提升响应速度和成本效率。
2. 改变了判断：之前以为工具调用的内部表征是线性可分的，但论文表明其几何结构混乱，意味着简单的线性干预可能不稳定。我在技术选型时需考虑更鲁棒的干预策略。
3. 接下来应做：读全文验证在开源模型（如Llama、Mistral）上的具体效果，尝试在我们的Agent产品中实现类似的激活定向干预，并持续关注后续研究以解决几何不规则与因果有效性之间的矛盾。