What Drives Interactive Improvement from Feedback?

本文通过一种受控的学生-老师协议，在多个数学、编程和推理基准上测试了多轮交互中的反馈效果。研究发现，自我生成的反馈与无引导的自优化相比几乎没有额外增益，而外部强老师能带来明显的反馈特异性提升。结果显示，多轮改进往往来自重采样或格式修正等，而非有效的反馈利用；学生利用反馈的能力比老师身份更关键。作者建议评估反馈型agent时应与重复尝试基线对比。

• 导购/agent产品：提醒我在设计多轮交互agent时，不能默认增加反馈就能提升效果，必须设置重复尝试基线来分离反馈的真实贡献。
• 技术选型：影响了我对"self-feedback循环"有效性的判断——与其让agent自我反思，不如直接允许多次重试（或引入更强外部反馈）。
• 接下来：我将把本文的评估协议引入我的导购agent测试流程，并考虑在我的情报平台中集成该受控评估框架，用于衡量agent的反馈利用能力。