KaliBench 用 8504 条查询–命令对测出：LLM 选对工具容易，写对参数才是瓶颈
研究者构建了 KaliBench——一个面向 Kali Linux 无 schema 自然语言到命令行（NL–to–CLI）的细粒度基准，含 8504 条经 LLM 校验、沙箱执行与人工复核的查询–命令对，覆盖 1642 个工具、23 个能力维度与五个安全阶段；在无限制、受限、提示三种设置下评测 24 个开源模型配置，发现工具选择在受限设置下平均从 72.0% 升至 95.2%，而可选参数 F1 仅小幅提升，提示设置才把可选参数 F1 从 45.1% 提到 87.8%、精确正确率从 22.3% 提到 73.1%，说明参数构造是主要瓶颈；用该基准的免运行时可验证奖励做 SFT 与 RLVR，使 8B 模型平均总分提升 7.5 个百分点。