智能体规划航天任务有了统一考场:五个系统35个用例,几何与星座设计仍是短板
核心概要
AstroAgentBench把航天任务规划变成可执行、可外部核验的智能体评测:七个任务族共116个用例,主评测取每族5个、共35个留出用例,智能体须提交排程、观测或星座设计文件,由独立校验器检查格式、时序、几何、资源与任务价值。五个智能体系统中,Codex CLI + GPT-5.4与Kimi CLI + Kimi K2.6在全部35个用例上通过有效性检查,最强系统在若干任务族接近或超过求解器参考分数,但在区域覆盖与立体成像等几何、产品级和设计密集型任务上仍明显落后。
深度剖析
航天任务规划现在有了一个统一的可执行评测:智能体不再只描述策略,而要交出排程、观测计划或星座设计文件,由外部校验器判定是否可行并给出任务价值分数。 此前的LLM-for-Space工作分别覆盖编队规划、卫星调度、操作支持与在轨自主,但各自使用不同的任务契约、控制设置、仿真器与成功标准,难以横向比较。 基准覆盖调度、观测规划、星座设计与中继支持四个领域的七个任务族,共116个生成或归一化用例;主评测使用每族5个、共35个留出用例,五个智能体系统在同一两小时预算、同一套科学、天体动力学与运筹库下运行。
评测把“能不能交出一份可行计划”和“这份计划值多少任务价值”分成两层来测,因此通过格式检查不等于任务完成。 仅凭有效性太弱:一份计划可以满足模式要求,却没有观测到有价值目标、没有服务任何需求或覆盖面积很小。 校验器先检查提交、模式、时间、几何与资源,再按各族原生指标计算价值并映射到统一的越高越好分数;无效或缺失提交记零分。在AEOSSP的一个测试用例上,Claude Code + Claude Opus 4.6的可行排程完成1947个任务中的1415个、回收总任务权重的68.54%,综合周转时间与能耗后得分为70.87,该系统五用例均值为58.45。
强弱差距落在具体任务族上:最强智能体行在SPOT-5、中继星座、重访星座与SatNet上高于对应求解器参考行,在AEOSSP上略低,在区域覆盖与立体成像上差距最大。 求解器参考行是按用例选取最好与次好参考后族内平均的质量锚点,而非经证明的最优解。 最强智能体行在SPOT-5、中继星座、重访星座与SatNet上分别高出参考行1.00、3.12、5.52和7.86分,在AEOSSP上低3.04分;区域覆盖与立体成像的最好求解器基线均值为86.44和96.05,最强智能体行均值为73.15和68.91。
高分运行的做法是在运行中自建针对个案的求解器,并用校验器反馈校准它,同时保留已验证的当前最优解。 失败则分两层:一层是没有把物理模型、耦合约束、计分目标和所需提交物整合进任务表述,另一层是任务表述正确但搜索弱、代码脆、校验器调用太晚或在优化中目标漂移。 在175次主实验运行中,12.6%以无效提交结束,9.1%提交了有效但零分的产物,22.3%在读取根工作区契约之前就写下了持久产物;工作区支持的效果是有条件的,程序注入与记忆累积只在补上缺失的表述、校准或搜索支持时才有帮助。
启示与展望
评测对象是完整智能体系统,即配置好的模型、运行框架与工作区三者一起,同一模型配不同框架、工具、记忆或反馈通道会被当作不同系统;主评测为七个任务族各5个留出用例、共35个,五个系统在同一两小时墙钟预算、8核与32GB内存下运行,提交物在运行结束后由外部校验器评分,期间不做人工修复。
作者指出主要经验限制是规模:每族5个用例、共35个、五个系统,扩大用例、系统、随机种子与难度设置需要更多长时交互运行,API成本是主要约束;求解器参考行是质量锚点而非经证明的最优解,因此智能体接近或超过参考行比较的是已实现的参考集合,而非全局最优;消融只覆盖两种工作区支持,不涵盖所有框架设计、反馈通道、提示结构、搜索工具与记忆策略;基准只报告一个采样难度区间,未给出随任务规模变化的曲线。
