Constraint Tax in Open-Weight LLMs: An Empirical Study of Tool Calling Suppression Under Structured Output Constraints

本论文实证研究了在同时启用Tool Calling和JSON Schema约束时，多个开源LLM（如Llama、Qwen）出现工具调用抑制（Tool Suppression）现象。通过控制实验，作者发现此现象在独立评估时不出现，仅在联合约束下复现。分析表明，JSON Schema约束被编译成基于语法的token掩码，使得工具调用token在解码时不可达。作者提出约束优先级反转（CPI）假设，并提出了透明的两阶段执行策略，在保持结构化输出的同时恢复工具调用。

直接影响我的Agent产品：我的导购agent需同时处理结构输出（如JSON格式回复）和工具调用（如查询商品API）。该论文发现的问题若未被解决，将导致agent在需要同时满足格式和工具调用时静默失败，严重影响可靠性。

改变判断：此前我默认工具调用和结构化输出可共存，未单独验证联合场景。论文揭示了实现层面的冲突，提醒我必须在设计阶段将两者作为依赖组合测试，而非独立评估。

下一步行动：1) 立即在我的Agent产品中复现该工具抑制现象，尤其是使用当前选型的模型（如Llama-3）。2) 评估并集成作者提出的两阶段执行策略，即在第一轮单独执行工具调用，第二轮约束输出格式。3) 关注后续社区对该问题的进一步分析和修复方案。