跳到主要内容
返回时间线
arXiv来源发表:

自主系统不再只看任务是否完成:AST把信息获取过程变成实时仪表,摩擦信号在完成前区分空转与探索

核心概要

自主系统通常只监测运动状态和任务是否完成,信息获取过程本身没有实时监测,系统可能持续运转却始终不解决未完成的需求。Acquisition-State Telemetry(AST)把原始观测映射到任务需求的完成坐标,再由一个固定因果监测器输出两条连续信号:未解决需求上的预期进展,以及重复证据带来极小信息增益时的信息摩擦。同一套未调参配置在八个领域上运行,摩擦通道能在任务完成前区分无产出的停滞与有目的的探索,并在完成后保持低值;在带提前终止约束的闭环强化学习实验中,对摩擦施加惩罚的策略维持了较高的任务完成率。

Source-provided article image: Model-Free Runtime Measurement of Task-Relevant Information
arXiv

深度剖析

自主系统现在多了一条可实时读取的指标:信息获取过程是否在推进任务需求,而不只是系统是否还在运转。 此前的监测对象是物理运动、环境状态和任务是否完成这类二元结果,信息获取本身在运行时不接受检查,因此系统可以在持续活动的同时不解决任何未完成需求。 同一套未调整的监测器配置在八个领域上运行,覆盖搜救对话、空间网格探索、能力解锁、连续机器人操作和概率意图估计,摩擦通道在任务完成前区分了无产出停滞与有目的探索,并在任务完成后的活动中保持低值。

两条信号分别回答“还差多少”和“重复是否白费”:一条估计未解决需求上的预期进展,另一条在重复证据几乎不带来新信息时升高。 监测器不依赖物理动力学模型,而是把声明的任务需求当作固定参照系,领域接口负责把原始观测换算成各需求的累计完成度与可比较的归一化表示。 摩擦通道用历史证据表示的正交补衡量重复程度,再按实际获得的增益加权、按需求剩余未完成比例缩放;在受控的搜救访谈中,高效提问把8个类别全部解决且平均摩擦为0.02,两种重复情形都停在约一半完成度,平均摩擦分别为0.26和0.28。

把摩擦写进奖励后,智能体在交互预算被提前截断时仍能完成大部分任务需求。 只把遥测放进观测、或对重复动作施加与摩擦同量级的运行成本惩罚,都不足以摆脱反复提问的循环。 在搜救语料上训练的PPO策略中,提前终止条件下未加惩罚的基线只解决2.37个类别、完全解决率7%,匹配运行成本的对照解决3.53个类别、完全解决率20%,而惩罚摩擦的AST-Pen解决7.07个类别、完全解决率87%,Full-AST解决6.93个类别、完全解决率83%,两者停滞负担均为零。

启示与展望

演示范围是八个异构领域上的单一固定监测器配置,包括受控搜救访谈、MultiWOZ、Map Task、AnnoMI、MiniGrid、Crafter、MetaWorld 和 BOIR 意图估计,以及搜救语料上的闭环 PPO 实验;监测器假定任务需求是有限且已声明的,并在一个监测回合内保持定义一致。

累计完成度假设已核实的信息在显式回合重置前保持有效,因此瞬时观测、随时间变化的事实或主动误导需要把状态契约扩展到单调更新之外;遥测的绝对幅度取决于宿主系统提供的完成度映射与表示空间,把评分者从专家换成五个语言模型集成后,各情形的摩擦排序保持相近,但绝对数值发生变化。