机器人示范之外还能继续学：RoboFFT复用加噪损失做强化学习后训练，真机抓取茄子20次全成

生成式机器人策略在示范预训练之后，可以继续用任务成功或失败的反馈更新，而不必依赖精确的动作概率。 示范覆盖不到执行时的物体位置偏移、抓取角度不准或某一步未完成，机器人会进入训练数据中少见的状态；PPO式更新需要同一动作在新旧策略下的概率比，而扩散与流策略通过采样得到动作，最终动作的精确概率通常难以直接计算。 在Robomimic的Lift、Can、Square和Transport任务上覆盖状态输入与图像输入、流策略与扩散策略，较难的长程任务尤其是图像输入设置下性能提升较稳定。

更新信号来自模型预训练时已有的前向加噪过程：对已执行的动作加噪，比较新旧模型下的匹配损失。 已有方法沿多步去噪过程构造优化信号，但会增加计算和显存开销；RoboFFT改用前向加噪的匹配损失差构造近似策略概率比，再结合动作的优势估计做PPO风格裁剪更新。 得到的是用于优化的代理比值而非精确动作概率比，因此对噪声多次采样并用温度参数调节比值尺度；对通常确定性采样的流策略，在采集交互数据时加入可控噪声以尝试不同动作。

训练开销明显低于同类后训练方法，且策略变化集中在影响任务完成的关键决策步骤。 训练耗时对比中，RoboFFT的流策略版本相对ReinFlow平均加速1.53倍，扩散策略版本在四个状态输入任务上相对DPPO平均加速38.0倍，统计的是策略和价值网络训练时间，不含环境数据采集。 Square任务一次成功执行的图示分析中，相同轨迹状态下后训练策略在抓取、搬运和对齐等关键阶段动作质量指标提高、采样动作多样性降低，动作质量来自辅助价值模型评估而非真机逐动作成功率。

真机流程采用离线到在线：先遥操作示范预训练流策略，再结合机器人轨迹做离线强化学习与模仿学习，最后在线交互更新，任务反馈由人工判断成功或失败。 真实机器人交互慢、数据采集成本高，因此不能只靠在线试错；相同数据预算下仅汇集数据继续行为克隆为14/20，说明性能提升不能仅用增加数据解释。 插销插入、抓取茄子、倾倒和柜内取物四项任务各测试20次，抓取茄子任务上RoboFFT离线后训练18/20、在线后训练20/20。

验证范围是Robomimic的Lift、Can、Square、Transport仿真任务、视觉语言动作模型π₀流式动作头在LIBERO-Object与LIBERO-Spatial上的后训练，以及插销插入、抓取茄子、倾倒、柜内取物四项各20次的真机任务；真机任务反馈由人工判断成功或失败。

得到的是用于优化的代理比值而非精确动作概率比；动作质量指标来自辅助价值模型评估，不是每个动作在真机上的直接成功率；探索噪声过小难以形成有效探索、过大同样影响成功率，中等强度在该任务上更平衡；采样次数从1次增至2次有助于更快收敛、继续增加收益有限，这是该任务和策略设置下的观察，不能推断所有生成式策略都只需少量采样。