Second Thought: Reasoning in Parallel as LLM Agents Act and Observe

Second Thought提出在ReAct范式中，利用Agent等待环境观测的间隔并行进行辅助推理，通过分支解码并合并回主线程，将额外推理移出顺序解码路径。在三个Agent基准和三个推理LLM上，平均轮次均下降，主线程解码最多减少43%，Pass@1在多数情况下无显著变化，在计算量匹配的对比中，性能更优且顺序解码更少。

1. 可直接用于导购Agent：在等待工具调用或环境反馈时并行生成多个候选思考，减少主线程解码长度，提升响应速度，尤其适合多轮交互场景。
2. 改变了关于推理时延优化的判断：此前多依赖模型蒸馏或剪枝，而此方法证明零训练、即插即用的并行推理同样有效，可作为轻量级加速方案。
3. 建议在现有Agent框架中集成Second Thought，对比当前ReAct实现的端到端时延和成功率，尤其关注对复杂任务轮次的影响。