跳到主要内容

# 多标签分类

2 篇关联报道

aclanthology.org 2026年10月31日
自回归训练不再只按从左到右预测：Max(MI(S;t))按互信息重排目标，算术平均准确率94.96%
自回归语言模型通常按固定的从左到右顺序做下一词预测，Max(MI(S;t))改为在训练前按目标词与输入及已选目标的互信息排序，把信息量大的目标提前。在GPT式模型上，它在算术任务的平均准确率为94.96%，高于下一词预测的74.84%和逆序的86.29%，接近穷举24种顺序得到的97.33%上界；在WikiText-2上把平均困惑度从13.58降到10.77。方法只改训练目标的组织方式，模型结构与自回归解码不变。
自回归语言模型通常按固定的从左到右顺序做下一词预测，Max(MI(S;t))改为在训练前按目标词与输入及已选目标的互信息排序，把信息量大的目标提前。在GPT式模型上，它在算术任务的平均准确率为94.96%，高于下一词预测的74.84%和逆序的86.29%，接近穷举24种顺序得到的97.33%上界；在WikiText-2上把平均困惑度从13.58降到10.77。方法只改训练目标的组织方式，模型结构与自回归解码不变。
National Taiwan University
Max(MI(S;t)) 互信息目标排序下一词元预测多标签分类文本生成大语言模型
arXiv 2026年9月25日
Fact-Flow 用 LLM 自动生成多标签事实引导，使 MLLM 医学报告在结核与眼科数据上事实准确性提升
该工作提出 Fact-Flow 框架，将视觉事实识别与报告生成解耦：先用 LLM 自动从训练报告中抽取并合并临床发现标签体系（结核 7 个标签、眼科 42 个标签），再训练多标签分类器预测发现，最后把预测标签序列化为提示引导 MLLM 生成报告；在结核胸片数据集上 MedGemma + Fact-Flow 取得 RadFact F1 0.3055（对比 MedGemma 单独 0.2266），在眼科数据集上 Qwen2.5-VL + Fact-Flow 在多数 NLG 指标上最优。
该工作提出 Fact-Flow 框架，将视觉事实识别与报告生成解耦：先用 LLM 自动从训练报告中抽取并合并临床发现标签体系（结核 7 个标签、眼科 42 个标签），再训练多标签分类器预测发现，最后把预测标签序列化为提示引导 MLLM 生成报告；在结核胸片数据集上 MedGemma + Fact-Flow 取得 RadFact F1 0.3055（对比 MedGemma 单独 0.2266），在眼科数据集上 Qwen2.5-VL + Fact-Flow 在多数 NLG 指标上最优。
Zhejiang University Zhejiang University of Technology Second Affiliated Hospital of Zhejiang University
Cunyuan Yang（第一作者）Haishuai Wang（通讯作者）Qianqian Shen（通讯作者）
Fact-Flow 事实引导框架医学报告生成 LLM自举多标签数据集构建多标签分类多模态大语言模型

已读完全部报道