arXiv 2026年10月5日作者提出 ReFract——一个含 150 条专家验证条目的基准，用文本世界模型模拟工业维护与设备故障排查环境，要求智能体对同一查询依据用户角色采取不同行动；结果显示最先进 LLM 最多解出 69% 的任务，且超过 50% 的轨迹包含违反角色权限的操作尝试。作者提出 ReFract——一个含 150 条专家验证条目的基准，用文本世界模型模拟工业维护与设备故障排查环境，要求智能体对同一查询依据用户角色采取不同行动；结果显示最先进 LLM 最多解出 69% 的任务，且超过 50% 的轨迹包含违反角色权限的操作尝试。ReFract 基准：同一提问因用户角色不同而需不同行动，顶尖 LLM 最多解出 69% 且过半轨迹出现越权操作作者提出 ReFract——一个含 150 条专家验证条目的基准，用文本世界模型模拟工业维护与设备故障排查环境，要求智能体对同一查询依据用户角色采取不同行动；结果显示最先进 LLM 最多解出 69% 的任务，且超过 50% 的轨迹包含违反角色权限的操作尝试。作者提出 ReFract——一个含 150 条专家验证条目的基准，用文本世界模型模拟工业维护与设备故障排查环境，要求智能体对同一查询依据用户角色采取不同行动；结果显示最先进 LLM 最多解出 69% 的任务，且超过 50% 的轨迹包含违反角色权限的操作尝试。