用一对小型专用模型在推理时调整大模型 logits,可在不重训前沿模型的前提下移除金融预测中的前视偏差
该工作针对大语言模型因在长时间序列数据上训练而在金融预测任务中产生前视偏差、且从头重训前沿模型以设定知识截止点代价过高的问题,提出一种快速、有效且低成本的替代方案:在推理阶段用一对较小的专用模型——一个在应被遗忘的信息上微调、另一个在应被保留的信息上微调——来调整大型基础模型的 logits 以引导生成,并报告该方法能有效移除逐字知识与语义知识、纠正偏差,且优于此前的方法。
该工作针对大语言模型因在长时间序列数据上训练而在金融预测任务中产生前视偏差、且从头重训前沿模型以设定知识截止点代价过高的问题,提出一种快速、有效且低成本的替代方案:在推理阶段用一对较小的专用模型——一个在应被遗忘的信息上微调、另一个在应被保留的信息上微调——来调整大型基础模型的 logits 以引导生成,并报告该方法能有效移除逐字知识与语义知识、纠正偏差,且优于此前的方法。
已读完全部报道