跳到主要内容
检索

# Kimi Delta Attention

3 篇关联报道

订阅更新
  1. Fireworks AI

    Kimi K3 以开放权重上线 Fireworks:前端代码榜 1679 分超过 Fable 5,训练走共享 GPU 池

    开放权重模型 Kimi K3 在 Fireworks 上线首日即可用于推理与训练,发布方称其以远低于闭源模型的成本提供前沿级能力。在前端代码竞技场 Frontend Code Arena 上,K3 以 1679 分超过 Fable 5,成为首个排到所有闭源模型之前的开放模型;在 Artificial Analysis 智能指数上以 57 分位列全球第三。Fireworks 同时推出仅限美国境内的推理端点与默认零数据保留,并开放共享 GPU 池的无服务器训练私测。

  2. arXiv

    LOCI 用相机几何条件化的线性记忆加历史 KV,在 MIND 记忆基准上把重访 PSNR 提到 14.36 dB,并以恒定 23.6 GiB 流式生成 300 秒视频

    LOCI 提出一种混合空间记忆架构:在 30 个 transformer 块中的 15 个保留历史观测的键值缓存,另外 15 个只关注当前块并辅以一个由投影相机几何条件化读写的循环线性注意力记忆,循环读出会流入后续缓存块并为它们的查询提供累积场景上下文;在公开 MIND 记忆基准和留存的录制轨迹上,它比代表性世界模型和同配方全 softmax 模型更忠实地复现重访内容,全历史下等长度峰值内存降低约 30%,在有界观测库下以恒定内存流式生成长视频。

  3. arXiv

    把KDA的门改成可正可负后,单层CKDA能跟踪有限群并外推周期波形,1.3B模型下游精度与KDA持平

    该工作提出Complex KDA(CKDA):在Kimi Delta Attention基础上同时放开门控符号(gate entries in {−1,+1})与delta-rule系数范围(β∈[0,2]),使单次对角加秩一转移即可实现二维旋转;作者证明每个正交对角加秩一矩阵都恰是一个CKDA转移,单层CKDA可跟踪同构于O(2)子群的有限群、多层结果比同类对角加秩一线性RNN少用一层,并在群词问题、周期音频续写与语言建模上给出实验。

已读完全部报道