跳到主要内容
返回时间线
researchsquare.com来源发表:

法庭辩论交给三个智能体:先例检索让刑事案上诉人论证的语义相似度升到0.8921

核心概要

法庭判决预测长期只看案件事实,而真实庭审中法官、上诉人、被上诉人的往复辩论同样塑造结论。ArguGenCourt 让三个各自独立的 GPT-4o 智能体分饰法官、上诉人与被上诉人,按轮次对话生成论证,并把从事实最相近的先例文书中检索出的庭审发言作为少样本示例。在刑事案上诉人一侧,局部先例检索的多智能体配置 Legal-sim 为 0.8921,同一检索下的事实对话为 0.8288;生成的论证再用于判决预测,准确率为 0.55,高于零样本的 0.48。

Source-provided article image: ArguGenCourt: Courtroom Argument Generation using Judicial Multi-agent Large Language Models
Fig. 1 · researchsquare.com · 第 3 页

深度剖析

庭审论证的生成不再只从案件事实出发,而是由法官、上诉人、被上诉人三个独立大模型智能体按角色轮流发言,产出两段对话:法官与上诉人、法官与被上诉人。 此前的判决预测研究主要围绕案件事实做推理,或用单一智能体模型,这与真实庭审中三方论证交锋的形态不同。 实验使用美国最高法院 2000 至 2019 年的公开文书,从中抽取刑事、民事、宪法三类各 150 份共 450 份,其中 100 份作训练、其余作测试,论证生成由 GPT-4o 与 Llama-3.1-70b 承担,最终报告 GPT-4o 的结果。

给智能体的少样本示例不是随机挑的,而是先为每份测试文书找到事实最相近的训练文书,再从中挑出与本案事实最接近的庭审发言放进提示。 对照方法是只给案件事实的事实对话,以及为每类案件全局选一份训练文书的先例相似度最大化策略。 在刑事案上诉人一侧的多智能体配置下,局部先例检索的 BERTScore 为 0.5682,先例相似度最大化为 0.5267,事实对话为 0.5123;同一多智能体配置下,局部先例检索的 Legal-sim 为 0.8921、BLEURT 为 0.4782,事实对话为 0.8288 与 0.4381。

生成的论证被送进判决预测任务,检验它是否携带可用的法律推理,而不只是字面相似。 零样本只给案件事实,二样本给两条随机训练样例,思维链让模型先写推理步骤再给结论。 在 450 份文书上,局部先例检索的判决预测准确率为 0.55,思维链为 0.53,二样本为 0.50,零样本为 0.48;类别 F1 上局部先例检索为 0.52 与 0.58,零样本为 0.45 与 0.50。

启示与展望

演示范围限于美国最高法院 2000 至 2019 年的公开文书,抽取刑事、民事、宪法三类共 450 份,论证生成最终报告的是 GPT-4o 的结果;作者提出后续将扩展到更广的法律领域、引入更丰富的法律知识与先例,并探索人在回路评估。

作者指出,词面相似度指标 ROUGE-L 与 METEOR 的得分通常低于 0.2,说明生成论证与真实发言在措辞上差异明显;语义指标得分更高,被解释为语义对齐而非逐字复现。专家评分采用 0 至 4 分制并以加权 Cohen kappa 衡量一致性,分歧超过两分的案例经共识讨论裁定。结果部分对单智能体与多智能体孰优的表述前后不一致,一处称单智能体在所有指标上优于多智能体,另一处称多智能体配置持续提升表现,因此本报道不把两者的优劣当作已定结论。