高维渐近理论给出仅凭汇总统计量判断私有外部数据集是否值得购买的选择准则
该工作把数据集选择建模为含多个异质来源与加权岭回归的高维回归问题,仅用汇总统计量并给出标签级或特征与标签联合的ρ-零集中差分隐私保证,其核心技术结果是测试误差的确定性等价,刻画样本量、协方差结构、模型偏移、正则化与隐私噪声之间的相互作用,从而可在不访问数据本身、仅依赖总体层面量的条件下优化权重与岭正则化超参数并判断私有外部数据集是否有用,并在合成与真实数据集上给出实验支持。
该工作把数据集选择建模为含多个异质来源与加权岭回归的高维回归问题,仅用汇总统计量并给出标签级或特征与标签联合的ρ-零集中差分隐私保证,其核心技术结果是测试误差的确定性等价,刻画样本量、协方差结构、模型偏移、正则化与隐私噪声之间的相互作用,从而可在不访问数据本身、仅依赖总体层面量的条件下优化权重与岭正则化超参数并判断私有外部数据集是否有用,并在合成与真实数据集上给出实验支持。
该工作把原本用于权重-激活量化的 WUSH 变换迁移到分组查询注意力的 KV 缓存上,用校准数据为每个 KV 头分别构造键变换与值变换(值变换折进权重、键变换置于 RoPE 之后),在 QuEST 量化器下证明该变换在灵敏度均衡的变换类中近最优,并在 SGLang 中以 OSCAR 式百分位裁剪仿射量化做端到端评测:2-bit 下 Qwen3-8B 的 WikiText-2 困惑度为 10.51(OSCAR 13.74),8B 的 AIME 2025、MATH-500、GPQA Diamond、LiveCodeBench v6 四项均高于 OSCAR。
已读完全部报道