多来源数据不再只防最坏混合：把对抗权重拉回参考分布，低秩表示跨时间更稳
核心概要
多来源学习里，未来部署人群的来源构成往往未知，而按最坏来源混合做优化容易过度保守。PILLAR 在低秩矩阵估计中把对抗来源权重朝用户给定的参考分布正则化，用双因子梯度下降加镜像上升求解这一非凸-凹问题，并给出线性收敛与把低秩估计误差和对抗重加权代价分开的误差界。模拟与电子健康记录自杀未遂风险研究中，最差来源与跨时间迁移的预测精度都有提升。
深度剖析
多来源低秩估计现在可以在学习共享低秩表示的同时，对来源权重做有先验约束的对抗重加权，而不是只对全部来源混合取最坏情况。 此前的组分布鲁棒优化在来源混合的整个单纯形上取最坏情况，低秩估计则多建立在合并或来源平均的目标上，两者没有合到一起。 在异质多任务回归模拟中，PILLAR 在每个来源上的最差来源奖励都高于逐任务岭回归、SVD 截断、均匀加权的低秩梯度下降、行稀疏多任务回归、核范数方法和 maximin 等基准。
做法是把低秩矩阵写成两个小因子的乘积，再让来源权重在单纯形上做镜像上升，同时用正则项把权重拉向参考混合。 低秩部分用 Burer-Monteiro 分解和平衡惩罚，权重部分用镜像上升保持单纯形几何，两者交替更新，构成双因子梯度下降-镜像上升算法。 在人口风险层面，算法从共同初始化出发、在四组相差八倍的恒定步长下都呈几何收缩；在有限样本中，每来源样本量从 100 增到 800、来源数从 3 增到 12 时，误差曲线与误差界预测的斜率一致。
误差界把低秩估计误差与对抗重加权的额外代价分开，来源数只通过对数项进入。 已有的组分布鲁棒分析多针对凸参数空间或低维参数模型，来源数常以多项式或线性方式出现。 在电子健康记录自杀未遂风险研究中，以日历时期为来源、年龄段为任务，PILLAR 在 2005–2008、2009–2012、2013–2016 训练、2017–2018、2019–2020、2021–2022 测试的迁移设置下取得最高平均迁移 AUC 0.784，最好基准为 0.763。
启示与展望
报告面向需要处理多来源异质数据、关心部署人群来源构成不确定的研究人员与工程师。方法适用于损失可微、参数具有低秩结构、来源可枚举的多来源学习问题，模拟覆盖多任务回归，实证覆盖以日历时期为来源、年龄段为任务的电子健康记录自杀未遂风险预测。理论结果在正则化强度满足给定下界、步长落在给定窗口、样本量足够大且初始化落在局部邻域时成立。
理论要求正则化强度不低于某个下界，作者说明这是单势函数证明带来的充分条件而非估计量的固有约束，并报告在包括无正则化在内的整个网格上算法都稳定收敛。误差界中来源数只通过对数项进入，但这一锐度依赖对抗权重保持足够分散；当权重集中到少数高损失来源时，有效样本量随之饱和。先验引导正则化的收益在参考分布可靠时最大，先验偏离较大时较弱正则化更稳妥。稳健性目前定义在对已观测来源分布的重加权上，对真正新环境的稳健性来自模拟与迁移实验的观察，尚待理论刻画。