跳到主要内容
返回时间线
arXiv来源发表:

pm4aa 从 Commitizen 八年仓库事件日志中挖掘出八个角色并生成五个可执行 AI 智能体,冒烟测试路由正确但用户对自主性边界评分最低

核心概要

该工作提出 pm4aa 流水线,用 PyStack't 从 GitHub 仓库抽取对象中心事件日志、用 Conventional Commits 正则把提交映射为 SE 任务、用优先级规则把 589 个用户划分为八个角色,再对每个角色做对象中心、命令式(BPMN)与声明式(DECLARE)过程挖掘并由 LLM 生成过程描述,最终经 IBM BOB 合成 LangGraph 多智能体应用;在 Commitizen 项目(2017 年 11 月至 2025 年 11 月,21,488 个事件、4,813 个对象)上得到五个角色智能体,三次冒烟测试均正确路由,十人用户研究显示知识模式、操作清晰度、人类参与中位数为 4,问责为 3,自主性仅为 2。

Source-provided article image: Using Process Mining to Generate AI Agents from Software Engineering Process Records
Fig. 1

transforms SE repository data into operational, role-specific AI agents. Fig. 1.1 provides an overview of the steps of the pm4aa pipeline, which we elaborate below. A repository containing the full pipeline implementation and the accom- panying application is available at: https://github.com/liorlimonad/pmaa.

· 第 5 页

深度剖析

提出 pm4aa 流水线,把软件仓库事件日志当作业务流程日志,用对象中心过程挖掘刻画每个角色的任务范围与交互对象,用声明式挖掘(DeclareMiner,最小支持度 0.5、约束基数上限 2)提取行为约束作为智能体执行的护栏,再用 LLM 生成过程描述并合成可执行智能体。 既有 LLM 多智能体 SE 框架(如 ChatDev、MetaGPT)依赖固定的规范角色(程序员、评审者、测试者),不随项目实际工作流调整;BPM 领域的 Agent System Mining 虽从日志挖掘角色结构,但定位是回溯与仿真。pm4aa 的差别在于把挖掘结果直接转成可部署的 LangGraph 智能体,而非仅生成合成轨迹或数字孪生。 论文给出完整六步流水线描述、公开实现仓库地址,并在真实开源项目上端到端跑通;但声明式约束仅在 bot 与 issue_reporter 两个角色上具有信息量,因为其余角色在扁平化后只执行单一活动类型。

在 Commitizen 案例中,流水线从 2,765 个提交里识别出 1,721 个(62.2%)符合 Conventional Commits 格式的提交并生成任务对象,把 589 个用户按优先级规则划分为八个角色,其中 issue_reporter 425 人/16,037 事件、maintainer 8 人/2,149 事件、bot 6 人/3,394 事件,事件分布高度倾斜。 展示了无需人工标注即可从提交消息的 type(scope): description 前缀自动派生 SE 任务类型与十类语义分类,从而把非结构化的仓库历史变成可挖掘的角色行为数据。 数据来自单一项目约八年历史,共 21,488 个事件、6,534 个对象(提交、任务、议题、用户四类);作者明确指出低事件量角色的生成规格应视为更具探索性,且角色划分阈值(如 maintainer 需至少 20 次提交且覆盖至少三类任务)是概念验证的务实启发式,未经统计优化。

最终实现并未把每个挖掘出的角色都变成智能体,而是合并为五个:issue_reporter_agent、bot_workflow_agent、implementation_agent、quality_agent、technical_writer_agent,其中 implementation_agent 合并了 feature developer、contributor、maintainer 与 DevOps engineer 四种角色的行为。 说明从日志挖掘到可执行系统之间存在一次有意的设计取舍:挖掘角色反映组织现实,而可执行应用需要的是语义相近、操作上有用的角色,二者不必一一对应。 论文明确说明该合并是刻意的,理由是这些挖掘角色呈现相似的实现语义;三次冒烟测试分别把文档类、实现类、崩溃类议题正确路由到 technical_writer_agent、implementation_agent、bot_agent,作者强调这只是健全性检查,不构成通用运行时有效性的证据。

十人探索性用户研究显示,过程挖掘生成的规格在知识模式(中位数 4)、操作清晰度(4)、人类参与(4)上评价较高,问责为 3,自主性最低仅为 2;角色层面 feature_developer 对齐最好(知识模式 4.5、问责 3.5),technical_writer 自主性仅 1.5。 把 HCI 的人机对齐维度(知识模式、自主性、操作性、问责、人类参与)用于评估过程挖掘生成的智能体规格,并给出角色间的差异画像,而不只是报告流水线能否跑通。 样本为同一所大学的十名硕士生、助教与博士生,属便利抽样,评估对象是书面规格而非运行中的智能体;作者自述这限制因果推断,且参与者并非在生产环境部署人机混合团队的从业工程师。

启示与展望

该工作面向已有可观测开发历史的项目,作者明确说明不适用于没有历史轨迹的全新项目,此类项目只能把生成的智能体当作模板,待积累项目自身轨迹后再适配。适用对象是希望从仓库事件日志派生项目专属智能体规格与实现的 SE 团队与研究者,前提是提交消息遵循 Conventional Commits 这类结构化约定,且日志足够干净。评估设定为单一开源项目 Commitizen 加书面规格评审,因此结论适用于“规格是否可读、可理解、可分工”这一层面,而非生产环境中的运行时行为。

规格看起来边界清晰,是否等于运行时行为对齐,论文本身把这一点列为待解问题,因为用户研究评估的是书面规格而非运行中的智能体。自主性维度中位数仅 2,说明人类难以判断智能体何时可自主行动、何时需等待批准,这一分歧在 technical_writer(1.5)与 quality_engineer(2)上尤其明显,如何把自主性边界写进规格仍是开放问题。开放文本还提示 feature_developer 与 quality_engineer 之间可能因验证标准模糊而陷入循环,以及智能体高频产出可能把人类开发者变成审查瓶颈。单一角色硬划分使 maintainer(8 人、2,149 事件)吸收了本可丰富技术写作、质量工程与功能开发子日志的行为,重叠角色归属被列为未来工作。此外,SE 事件日志记录的是提交、议题更新这类粗粒度活动,而编码智能体在写代码、跑测试这类更细粒度上运作,二者粒度差异是否影响规格可用性,文本未给出结论。

来源