Liquid AI 发布 LFM3 系列，把文本、视觉、音频、全模态和决策模型统一到一套约2B参数的共享骨干上，基座与后训练权重以开放权重形式在 Hugging Face 和其 API 上线。新骨干由门控短卷积、滑动窗口注意力和全局注意力混合而成，预训练使用22T token，末段3.5T token 的中训练把上下文扩展到256K。按参数计，LFM3-1.7B 在边缘设备短提示上追平 LFM2-1.2B，在8K token 上下文下约快25%。
该工作提出一个受双过程理论启发的混合框架：用TransFuser++神经网络在常规场景生成类人轨迹，用基于知识图谱推理的风险场驱动元认知组件判断是否切换到模型预测控制规划器，并在CARLA中针对车辆（含救护车）闯红灯的分布外场景测试，结果显示车对车碰撞由160次仿真中的48次降至5次，降幅89%。
这篇综述以“模型内部上下文记忆”为统一分析单位，提出记忆表示、记忆更新、访问、读出与整合五个维度，梳理Softmax注意力、稀疏注意力、线性注意力、状态空间模型与混合架构五条研究线，并用截至2026年9月22日的59条发布级记录（覆盖14个主要模型谱系）和11个高性能开源权重端点的冻结对比，说明注意力设计在走向多样化而非收敛，混合与跨层复用正在把网络深度变成组织上下文记忆的一个维度。
已读完全部报道