Memorizon 让世界模型在固定序列长度下训练任意长跨度:重访一致性在八个记忆指标中领先五个
Memorizon 提出一种训练配方:每个被评分的 chunk 按相机共视性各自检索 top-k 潜变量,其并集构成容量有界的共享记忆库,使训练样本可覆盖任意长跨度而注意力序列长度保持不变;在滑动窗口基线上重访一致性全面提升,跨度长到覆盖首次访问后进一步提升,代价是图像质量下降。
Memorizon 提出一种训练配方:每个被评分的 chunk 按相机共视性各自检索 top-k 潜变量,其并集构成容量有界的共享记忆库,使训练样本可覆盖任意长跨度而注意力序列长度保持不变;在滑动窗口基线上重访一致性全面提升,跨度长到覆盖首次访问后进一步提升,代价是图像质量下降。
已读完全部报道