ARC-AGI-3 卡在“看不懂格子”：Sarbloh 把几何关系交给主机算，隐藏集得分从 0.27 升到 16.53
核心概要
ARC-AGI-3 要求智能体在无指令的交互环境中用尽量少的动作通关，而把画面当作整数矩阵直接喂给推理模型会让它反复撞墙。Sarbloh 在主机端用无学习参数的代码算出可达性、包围、中点系连和二面体对称等几何事实，把角色判断留成带一次动作验证的猜测，并让智能体在 Python 内核里用 await play() 提交多步路径。在官方隐藏集上，它的得分从 0.27 的初始基线升到 16.53；原文把这一提升表述为相对首个 Milestone 冠军的 13.7 效率改进，而同一份表格给该冠军的分数是 1.21。
深度剖析
ARC-AGI-3 上的动作浪费主要来自对画面的误读，而不是规划能力不足：同一个前沿推理模型面对序列化成整数的棋盘时，在 ls20 开局关卡耗掉 200 到 300 个动作仍未通关。 把同一棋盘渲染成图像后，所需探索动作降到 12 到 24 个；再加上地形、状态栏和颜色对应的结构分解，降到 12 个；允许模型把搜索写成可执行的 Python 脚本后，6 个动作即通关，而人类基线约为 10 个动作。 这组对照在 ls20 开局关卡上只改输入表示、保持提示模板与环境转移不变，用同一个模型做单次诊断试验；超过九成的效率增益来自重构感知表示，而非延长推理链。
智能体只在 Python 内核里行动，用 await play(path, predict=f) 一次提交最多 100 步的路径，并附带自己写的世界模型作为预测。 早期版本把跑代码和提交动作分成两个工具，模型在一个工具里建模、到另一个工具里走一步、再回来重建状态，一个计划要花很多轮模型调用；合并后这一步把隐藏集得分从 5.14 提到 5.65。 预测与实际画面不符时 play() 只记录首个偏差坐标并继续执行，路径仅在关卡或游戏结束、连续同向动作撞墙且画面不变、或重访守卫发现重复棋盘时停止。
感知引擎每帧输出三种共享同一套物体身份的信息：带跨帧身份跟踪的物体表、区分实测与猜测的结构化简报、以及标注了可供性的空间地图。 早期只打印格点、调色板和连通分量的纯文本编码器在 28 分制感知评分中只得 3 分，却每帧消耗约 3500 个 token；加入带验证动作的角色猜测后升到 20 分，再融合代码精确计算的关系后升到 25 分。 融合简报每帧约 370 个 token，比基线少 89.4%；在 23 个留出官方游戏上，截图到网格的重建达到 100% 单元格准确率，而单帧角色猜测只在 14 个键盘游戏中的 6 个认对智能体。
启示与展望
演示范围是 ARC-AGI-3 的官方离线赛道：单个 NVIDIA RTX PRO 6000 GPU、无网络、整套评测九小时时限，以及 25 个公开游戏和未公开的隐藏集。读者对象是研究交互式智能体与感知表示的工程师；公开集上 143/183 关、8.2 小时的那次运行关闭了简报和地图，描述的是动作接口、服务循环与调度器，而非感知引擎。
作者指出，当前感知引擎逐帧独立评估角色假设，没有在多步回合中维护统一的贝叶斯信念分布；复杂感知转换上的前期失败仍是得分损失的主要来源；结果依赖通用开放权重模型，未做任务特定的策略微调。开启简报的 Run B 与关闭简报的 Run A 除简报外还有多项差异且每组只有一次运行，作者只把动作比从中位数 0.77 降到 0.68 记为与感知一致，而非测得的效应。原文对隐藏集提升的表述也不一致：正文称 16.53 相对首个 Milestone 冠军是 13.7 的效率改进，而同一份表格给该冠军的分数是 1.21。