工具调用越练越差：TACA改按推理到调用的过渡分配信用，六个推理基准平均高4.61个百分点
核心概要
多轮工具调用的强化学习训练中，推理准确率会在初期上升后跌回非智能体基线以下，TACA把原因定位到工具调用令牌拿到的整体信用为负，并改为在推理转向工具调用这一步上做监督。它在Qwen2.5-1.5B与3B上相对MT-GRPO把六个推理基准的平均准确率分别提高4.61和3.61个百分点，同时训练中的工具执行成功率保持在86.28%。
深度剖析
多轮工具调用强化学习里，模型调用工具的能力和推理成绩会在训练中一起下滑，问题出在工具调用令牌分到的信用上。 此前的MT-GRPO把一条轨迹的最终奖励摊到每个生成轮次，工具调用令牌和推理令牌共享同一个优势值，训练退化因此缺少针对工具交互的解释。 在DAPO-Math上训练Qwen2.5-3B-Instruct时，验证准确率在初期提升后跌到非智能体参考的35%以下，第500步为26.64%，而工具使用率基本稳定、执行成功率从69.41%降到48.41%。
TACA把监督对准从推理切换到工具调用这一步，同时调整调用令牌的优势并复用此前采样到的调用。 MT-GRPO只按最终答案给信用，一次成功的调用可能因为后续推理出错而被惩罚，TACA用优势投影、决策对比和监督回放三项改动补上这一缺口。 优势投影在每个提示组内对工具调用令牌做最小均匀平移，使该组工具令牌的平均优势非负；决策对比比较同一提示下用工具与直接作答两类轨迹的奖励；监督回放把正确轨迹中的调用连同原始上下文存入缓冲区，每次更新最多取32对做似然训练。
在四个模型上，TACA的平均准确率都高于MT-GRPO，且训练过程中工具调用没有消失。 MT-GRPO在Qwen2.5-1.5B、3B、7B和Llama-3.2-1B上的六基准平均准确率分别为28.63%、39.90%、42.59%和13.61%。 TACA对应为33.24%、43.51%、45.97%和15.17%；在Qwen2.5-1.5B上，TACO单元测试均分从41.98升到53.70，WebShop成功率从56.8%升到67.2%。
启示与展望
实验覆盖数学推理、TACO编码和WebShop交互决策，模型为Qwen2.5-1.5B、3B、7B与Llama-3.2-1B，训练在MATH上进行，轨迹最多六轮、每轮最多2048个响应令牌、代码执行超时3秒。读者对象是训练工具调用语言模型的强化学习研究者与工程师。
作者指出，更大模型、长程软件工程、多智能体协作以及不同训练随机种子下的波动都尚未评估；决策对比依赖足够的采样支持，监督回放依赖已记录调用的质量，完整正则化目标的收敛性也留待理论工作。