表征不必靠规模对齐：正视图让1.09亿参数文本编码器在PRH基准上超过720亿参数语言模型
核心概要
研究把“不同模态模型会收敛到同一世界表征”的柏拉图表征假说，在JEPA（联合嵌入预测架构）上变成可证明的定理：只要各模态的正样本对描述同一世界状态，分别训练的编码器就只差一个旋转。据此区分“正视图”与“坏视图”，在相同文本与编码器下正视图对齐最好；一个1.09亿参数的文本JEPA在PRH基准上达到.184，高于所评估的全部语言模型（最高720亿参数，.154）。
深度剖析
不同模态分别训练的编码器何时会学到同一表征，现在有了一个可证明的充分条件：它们必须对“哪些世界状态互为同一场景”取得一致。 此前柏拉图表征假说只是观察，最接近的证明只覆盖用SGD训练的嵌入式深度线性网络，对实践中使用的自监督目标没有证明，也没有预测假说何时成立的方法。 在有限世界、单射渲染、总体最优且极小元在旋转下唯一的理想化设定下，任意数量的JEPA各自训练后只差一个旋转；正样本对不一致时，错位程度由两组正样本对所诱导核的差异给出上界，300个随机有限世界上误差均低于该上界，最大为界的18%。
决定对齐的是正样本对的性质，而不是模型规模：把同一场景的两次观测配成正样本对，编码器把维度留给世界；把一次观测的两种损坏配成正样本对，编码器把维度留给本模态的干扰因素。 此前扩大模型与数据是提升跨模态对齐的主要手段。 在Flickr30k上使用相同文本与编码器，正视图JEPA的互10近邻为.062，坏视图JEPA为.047，下一词预测为.042；场景可解释比例分别为.804、.655和.608，与理论给出的误差下界顺序一致。
下一词预测被证明是坏视图JEPA：它的正样本对是同一文档内的前缀与续写，抗坍缩项是softmax的对数配分函数。 这为语言模型只部分、且主要靠规模才与视觉对齐提供了一种解释。 在同一语料上，正视图JEPA用2160万训练样本达到下一词预测用9亿样本才达到的对齐水平，样本少42倍；在相同样本数下，3300万参数编码器为.108对.071。
对齐可以当作工具使用：只拟合一个旋转就能把冻结的图像编码器接到纯文本训练的生成器上，甚至完全不使用配对数据。 此前的文本端图像描述器依赖联合训练的编码器，需要数亿图文对。 在COCO上CIDEr达到.838；在Schnaus等人的无配对协议下，1.09亿参数文本JEPA的零样本ImageNet-100 top-5为64.4%，比同条件重跑的Qwen3-8B高16.8个百分点。
启示与展望
定理是有限世界、单射渲染、边际匹配与总体最优下的陈述，唯一性只对二阶抗坍缩目标证明，未覆盖LeJEPA的完整分布约束；实验使用LeJEPA，图像侧多数仍以裁剪为正样本。正视图需要知道哪些文本描述同一场景：Flickr与COCO按图像分组人类描述，Recap-DataComp中每图三条文本有两条由图像描述器生成。
作者指出真实模态是有损的，有限样本训练依赖网络归纳偏置；缩放律在32亿样本处对正视图高估，且没有重复数据的项；指数识别不佳，只是单一配方的经验总结。940M规模下WIT对SIGReg权重敏感，四个种子平均为.168，仍高于所评估的语言模型。