大模型先试错、小模型再上岗:8B模型与生产记录一致率0.913,反超教师模型
核心概要
面向家庭护理排班的智能体不再直接用小模型硬扛。零样本小模型在窄任务上失败,而每改一次行为就重训又太慢,于是先在GPT-5.4-nano上用提示词迭代出稳定行为,再把11.6k条真实生产决策经LoRA微调进Qwen3-8B。该模型与记录决策的一致率为0.913,高于教师模型重跑自身提示词时的72.7%自一致率。
深度剖析
小模型承担智能体窄任务时,行为可以先在大模型上定型,再整体迁移到小模型,而不必每次改动都重训小模型。 此前零样本小模型在具体生产任务上直接失败,五个现成小模型达不到大模型的质量,基础版Qwen3-8B有23%的调用格式错误。 在家庭护理排班的逐人是否外联决策上,微调后的Qwen3-8B与留出生产决策的一致率为0.913(95%置信区间0.89–0.93),而教师模型重跑自己的记录提示词只有72.7%自一致(95%置信区间0.65–0.79)。
训练数据来自生产系统真实记录,而不是合成的模仿样本。 常见的蒸馏做法用教师模型生成的合成轨迹训练学生模型,训练分布与线上服务分布并不相同。 每条生产决策被持久记录,抽取器用与线上相同的提示词构造器和序列化器逐字节重放,得到与部署时一致的对话上下文,再配上记录的工具调用作为目标;语料为549个生产批次、11,621条训练样本和1,604条验证样本,覆盖17个机构。
在盲评中,专业排班员在模型与生产决策分歧的案例上更常站在微调后的小模型一边。 仅对照教师模型的记录标签时,学生模型的误批准率看起来持平,看不出方向性差异。 192例盲评包含全部77例学生与教师分歧,以及分层抽样的同意拒绝49例和同意批准66例;在77例分歧上人工支持微调8B共48次、支持生产决策29次(62%对38%,95%置信区间0.51–0.72)。
启示与展望
结果针对家庭护理机构排班中的一个子任务:对每个护理员与班次的组合做是或否的外联决策,单次外联最多可并发1,000个决策。评估对象是Qwen3-4B与Qwen3-8B经LoRA微调后的版本,教师为高推理强度运行的GPT-5.4-nano。所有数字均为离线重放,微调模型在写作时尚未承接生产流量;作者提出下一步是在生产环境做在线A/B测试,考察提示词缓存动态、流量构成和下游排班员行为对成本、正确性与延迟的影响。
作者说明所有结果来自离线重放,真实质量检验需要线上A/B测试。人工真值标签来自单一专业排班员,统计未建模同一机构或同一批次案例之间的相关性。结果只覆盖一个子任务、一个领域和一个教师模型,方法能否推广到更广泛的工程任务仍需进一步工作。此外,4B模型有12%的格式错误率,作者据此判断能力下限大致落在4B与8B之间。
