跳到主要内容
检索

# 意图漂移

2 篇关联报道

订阅更新
  1. arXiv

    智能体安全改看“部署目的”:四类判定宏F1从45%升到79%,越界请求F1从8%升到76%

    现有智能体防护主要识别提示注入、有害输出或可疑行为,却难以判断一次操作是否仍符合该智能体被部署的用途。Intent-Aware Security 把组织、角色与开发者意图抽取成每个智能体专属的 Intent Profile,作为安全判定的参照对象,并据此实现执行前检测、执行后检测、输入对齐与系统提示加固四种防护。在 887 条样本、35 个智能体配置的基准上,基于 Intent Profile 的执行前检测把四类宏 F1 从原始上下文的 45% 提升到 79%,越界类 F1 从 8% 提升到 76%。

  2. arXiv

    IntentFlux 把“用户改主意”变成可测失败模式:627 例校准中任务分从 0.476 降到 0.384,StateForge 在 General-Test 上把均分从 0.367 提到 0.467

    该工作提出 IntentFlux 基准,把可验证任务改写成带受控意图变更(Variant 替换、Decoy 撤回)的多轮对话并保留原评分器,在 627 例校准中观察到均分随被取代与撤回信息增多从 0.476 降至 0.384,八个模型在演化对话下的全对率均低于单轮直给;作者进一步提出 StateForge,在生成前显式维护活跃需求状态,使 General-Test 均分从 0.367 提升到 0.467,并显示即使注入真值最终状态仍无法回到单轮水平。

已读完全部报道