跳到主要内容

Khalifa University of Science and Technology

2 篇关联报道

arXiv 2026年10月2日
KaliBench 用 8504 条查询–命令对测出：LLM 选对工具容易，写对参数才是瓶颈
研究者构建了 KaliBench——一个面向 Kali Linux 无 schema 自然语言到命令行（NL–to–CLI）的细粒度基准，含 8504 条经 LLM 校验、沙箱执行与人工复核的查询–命令对，覆盖 1642 个工具、23 个能力维度与五个安全阶段；在无限制、受限、提示三种设置下评测 24 个开源模型配置，发现工具选择在受限设置下平均从 72.0% 升至 95.2%，而可选参数 F1 仅小幅提升，提示设置才把可选参数 F1 从 45.1% 提到 87.8%、精确正确率从 22.3% 提到 73.1%，说明参数构造是主要瓶颈；用该基准的免运行时可验证奖励做 SFT 与 RLVR，使 8B 模型平均总分提升 7.5 个百分点。
研究者构建了 KaliBench——一个面向 Kali Linux 无 schema 自然语言到命令行（NL–to–CLI）的细粒度基准，含 8504 条经 LLM 校验、沙箱执行与人工复核的查询–命令对，覆盖 1642 个工具、23 个能力维度与五个安全阶段；在无限制、受限、提示三种设置下评测 24 个开源模型配置，发现工具选择在受限设置下平均从 72.0% 升至 95.2%，而可选参数 F1 仅小幅提升，提示设置才把可选参数 F1 从 45.1% 提到 87.8%、精确正确率从 22.3% 提到 73.1%，说明参数构造是主要瓶颈；用该基准的免运行时可验证奖励做 SFT 与 RLVR，使 8B 模型平均总分提升 7.5 个百分点。
The University of Western Australia Khalifa University of Science and Technology
Pengfei Li（第一作者）
KaliBench基准自然语言到CLI命令转换可验证奖励强化学习监督微调
IEEE Journal on Selected Areas in Communications 2026年10月1日
FedFit 用双向量库参数化与量化把联邦 LoRA 微调的通信量压缩至多 100 倍，困惑度与标准联邦 LoRA 相当
FedFit 针对联邦微调大语言模型时通信开销大、以及 LoRA 在联邦场景下「乘积之和（SoP）准确但通信贵」与「和之乘积（PoS）省通信但聚合不准」的两难，提出由两个紧凑且不相交的全局向量库重建高维适配矩阵的参数化方式，配合在解耦单库更新与经残差谱聚合校正的联合更新之间交替的优化调度，并叠加分块量化与客户端误差反馈，在 Qwen2.5 模型上取得与标准联邦 LoRA 相当的困惑度，同时压缩比最高提升 100 倍，并给出理论收敛保证。
FedFit 针对联邦微调大语言模型时通信开销大、以及 LoRA 在联邦场景下「乘积之和（SoP）准确但通信贵」与「和之乘积（PoS）省通信但聚合不准」的两难，提出由两个紧凑且不相交的全局向量库重建高维适配矩阵的参数化方式，配合在解耦单库更新与经残差谱聚合校正的联合更新之间交替的优化调度，并叠加分块量化与客户端误差反馈，在 Qwen2.5 模型上取得与标准联邦 LoRA 相当的困惑度，同时压缩比最高提升 100 倍，并给出理论收敛保证。
Central South University Centre National de la Recherche Scientifique Université de Lorraine Khalifa University of Science and Technology
Hang Zou（第一作者）
联邦LoRA微调训练后量化

已读完全部报道