跳到主要内容
检索

# Decision Titan

1 篇关联报道

订阅更新
  1. arXiv

    Decision Titan 将测试时训练层接入 Decision Transformer,在 X-Maze 中学会比上下文窗口长 20 倍的长程依赖

    该工作把测试时训练(TTT)层加入 Decision Transformer,构成 Decision Titan,并在用于检验序列记忆的 X-Maze 环境中分析其性能与记忆机制:模型能学到比上下文窗口长 20 倍的长程依赖,可泛化到训练数据 1.7 倍的长度,但时间泛化取决于所用的时间嵌入,而长程依赖的学习能力取决于相关信息如何被编码。

已读完全部报道