高维渐近理论给出仅凭汇总统计量判断私有外部数据集是否值得购买的选择准则
相关研究与后续进展
核心概要
该工作把数据集选择建模为含多个异质来源与加权岭回归的高维回归问题，仅用汇总统计量并给出标签级或特征与标签联合的ρ-零集中差分隐私保证，其核心技术结果是测试误差的确定性等价，刻画样本量、协方差结构、模型偏移、正则化与隐私噪声之间的相互作用，从而可在不访问数据本身、仅依赖总体层面量的条件下优化权重与岭正则化超参数并判断私有外部数据集是否有用，并在合成与真实数据集上给出实验支持。
Figure 1: Dependence of target excess risk on covariance shift, model shift and privacy noise in a synthetic linear regression experiment with two clients. We take x1 ∼N(0, Σ1) and x2 ∼N(0, Σ2), with Σ1 and Σ2 of the form [K(ρ)]ij = ρ|i−j|. We set Σ1 = K(ρ1) with ρ1 = 0.1 and Σ2 = a2K(ρ2), so that Tr(Σ2Σ−1
arXiv · 第 7 页深度剖析
论文给出测试误差的确定性等价，把样本量、协方差结构、模型偏移、正则化与隐私噪声的相互作用纳入同一表达式。 摘要将这一确定性等价表述为本文的主要技术贡献，并说明它使超参数优化与数据集取舍可以在总体层面量上完成。 证据来自摘要中对理论结果的陈述，以及作者在合成与真实数据集上的实验支持；摘要未给出具体误差数值或实验规模。
方法只依赖公开可得的汇总统计量，而非个体级数据，即可做出是否采用外部数据的判断。 摘要把“仅用汇总统计量”列为应对决策只能依赖聚合统计量这一挑战的方式，并称可在不访问数据本身的情况下决定私有外部数据集是否有用。 依据为摘要中对方法设定的描述；摘要未列出所用统计量的具体形式或估计误差界。
隐私保证以ρ-零集中差分隐私给出，覆盖仅标签与特征和标签联合两种情形。 摘要明确区分了两种隐私作用范围，并指出隐私噪声可能抵消更大样本量带来的收益，这一权衡被纳入理论刻画。 证据为摘要中的隐私定义陈述；摘要未给出具体ρ取值或噪声注入机制的细节。
该理论被定位为私有迁移学习的可处理基础，并配有合成与真实数据实验。 摘要将数据集选择问题与私有迁移学习框架相连，说明其目标是为购买外部数据或参与协作学习的决策提供理论依据。 证据为摘要中关于实验支持与理论定位的表述；摘要未报告数据集名称、样本量或对比基线。
启示与展望
该结果面向需要在隐私约束下决定是否引入外部数据的研究者与工程实践者，适用场景是可用公开汇总统计量描述多个异质来源、并以加权岭回归为估计器的高维回归设定；在此设定下，理论可用于选择权重与岭正则化超参数，并判断私有外部数据集是否值得采用。摘要所述隐私保证覆盖仅标签与特征和标签联合两种范围，因此其适用范围随隐私作用对象不同而不同。
摘要未给出确定性等价的具体形式、隐私参数取值、实验所用数据集与样本规模，也未报告与替代选择准则的对比；负迁移与隐私噪声之间的定量权衡在摘要层面仍属开放问题。此外，本次读取范围仅为摘要，正文中的图表与实验细节未纳入，因此上述判断以摘要陈述为限。