用Fisher-Rao几何重新界定防止模型坍塌所需的人类数据比例
该工作把生成模型的迭代训练建模为概率单纯形上的闭环随机过程,改用Fisher-Rao度量而非欧氏度量分析其动力学,推导出随维度增大仍不失效的收缩与不变性界,并给出保证收敛到Fisher-Rao球的人类与合成数据比例阈值,结论是有效所需的人类数据比例高于此前欧氏分析所暗示的水平。
该工作把生成模型的迭代训练建模为概率单纯形上的闭环随机过程,改用Fisher-Rao度量而非欧氏度量分析其动力学,推导出随维度增大仍不失效的收缩与不变性界,并给出保证收敛到Fisher-Rao球的人类与合成数据比例阈值,结论是有效所需的人类数据比例高于此前欧氏分析所暗示的水平。
已读完全部报道