跳到主要内容

# 树张量网络

2 篇关联报道

arXiv 2026年11月8日
决策图不再数子函数：改用割矩阵的秩，ATDD在任意vtree上给出唯一规范形
树决策图（TDD）按每个vtree割上不同子函数的个数计宽，这种计数看不见子函数之间的线性相关。把计数换成割矩阵的秩，得到代数树决策图（ATDD），其宽度即因子秩，且对每个函数和每个vtree只有唯一表示。ATDD比TDD指数级更简洁，比结构化确定性DNNF准多项式更简洁，同时保留多项式时间的模型计数、加权模型计数与等价检查。
树决策图（TDD）按每个vtree割上不同子函数的个数计宽，这种计数看不见子函数之间的线性相关。把计数换成割矩阵的秩，得到代数树决策图（ATDD），其宽度即因子秩，且对每个函数和每个vtree只有唯一表示。ATDD比TDD指数级更简洁，比结构化确定性DNNF准多项式更简洁，同时保留多项式时间的模型计数、加权模型计数与等价检查。
Alexis de Colnet（第一作者）
代数树决策图树张量网络知识编译因子秩树决策图
arXiv 2026年10月8日
AWT 用激活统计对角预条件，在 Llama、Ministral、Qwen 上把张量网络压缩的困惑度差距缩小 12–60%
作者提出激活感知权重张量化（AWT）：一种免训练、与求解器无关的校准期预条件方法，在标准 TT/TTN 分解前用激活导出的对角缩放对权重矩阵做等价重参数化，部署时仅需输入端逐元素缩放。在 Llama 3.1 8B、Ministral 8B、Qwen2.5 7B 上，AWT 在 2–6 倍压缩下一致优于原始张量化：单算子替换缩小 12–35% 的 WikiText 困惑度差距，Llama 多算子后缀替换缩小 27–60%，并迁移到 HellaSwag 与 ARC-Challenge。
作者提出激活感知权重张量化（AWT）：一种免训练、与求解器无关的校准期预条件方法，在标准 TT/TTN 分解前用激活导出的对角缩放对权重矩阵做等价重参数化，部署时仅需输入端逐元素缩放。在 Llama 3.1 8B、Ministral 8B、Qwen2.5 7B 上，AWT 在 2–6 倍压缩下一致优于原始张量化：单算子替换缩小 12–35% 的 WikiText 困惑度差距，Llama 多算子后缀替换缩小 27–60%，并迁移到 HellaSwag 与 ARC-Challenge。
Sapienza University of Rome
Alessandro Beatini（第一作者）
激活感知权重张量化张量网络压缩树张量网络模型压缩大语言模型

已读完全部报道