中文语法评分不再只改病句:证据图让每条扣分都带规则证书,五级评分MAE降到0.42
核心概要
面向国际中文教育的语法评估被改写为“带证明的约束推断”:检索到的语法规则、错误片段、最小修改与等级评分由同一张潜在证据图耦合,每条影响评分的判断都要附规则级支持证书。在MuCGEC等公开语料上,PC2G的错误检测F0.5为71.4,高于所列最强检索基线CRAG-style的67.6;五级评分MAE从0.57降到0.42,证据忠实度为91.8%。这些等级对照的是由参考修改推导的银标签评分标准,而非独立教师评分。
深度剖析
中文语法自动评估不再只判断句子是否病句,而要同时指出被考查的语法构式、区分可接受变体与真正违规、给出与评分标准一致的等级,并用可核查的教学证据解释扣分。 公开的中文语法纠错语料通常只标注错误片段和改正句,不包含课程相关的掌握等级,句子修复与可辩护的教学判断之间因此存在缺口。 MuCGEC、FCGEC、NaSGEC与CGED-2020均被列为不含教师等级标注的公开语料,五级评分只能以参考修改和固定构式权重构造银标签评分标准来对照。
PC2G把检索、错误诊断、最小修改和等级评分放进同一个结构化决策,而不是让几个独立模块各自生成文本再拼接。 常规“先检索再生成”的架构只保证检索到相关规则,并不保证这些规则真的为某一条诊断或评分决定提供依据。 在所列实验配置中,PC2G的错误检测F0.5为71.4、纠正F0.5为57.8,CRAG-style检索基线分别为67.6和53.0;五级评分MAE为0.42对0.57,QWK为0.87对0.80,证据忠实度为91.8%对82.1%。
系统为每条诊断主张构造一条“规则—片段—修改”的支持路径,评分在评分标准与证据约束下求解,反馈只从被接受的证书生成。 证据删除、冲突规则替换和学习者作答改写被用作训练信号,用来区分真正支撑等级的证据与仅仅看起来相似的检索材料。 去掉带类型的证明图后,检测F0.5从71.4降到68.3,证明有效比例从91.8%降到78.0%;去掉例外边后证明有效比例降到83.1%。
在检索中混入无关规则时,带证明约束的评分仍能维持较高的错误检测水平。 常规检索增强方法在无关文档增多时容易出现长上下文稀释和噪声干扰。 在插入50%无关检索规则的条件下,PC2G的检测F0.5为66.3,vanilla RAG为50.9;在80%自动评分覆盖率下,PC2G的银标签MAE为0.29。
启示与展望
报告覆盖的是MuCGEC与CGED-2020学习者语料,以及作为母语者域迁移分析的FCGEC与NaSGEC,等级结果对应由参考修改推导的银标签评分标准。适合关注检索增强生成、语言评估与教育测量的研究人员和工程师阅读。
报告中的指标是点估计,未提供原始输出、精确模型检查点、多种子分布或配对不确定性区间,因此这些比较是描述性的,不构成统计显著性结论。等级结果针对规则推导的银标签评分标准,而非独立教师评分或学习者层面的掌握程度;反事实算子依赖经校验的意义保持假设,证明有效性也取决于语法知识库的质量与时效。
