Project Greenhouse 用 8 张 H100 从零预训练 3B 模型，微调出在 TREC DL 与 BEIR 上超过同规模开源权重基线、仅次于 GPT-6.1 Sol 的逐点重排器
Project Greenhouse 提出把大模型训练建模为有向属性超图，并据此定义“完全开放且自主可控”的模型；作为首个里程碑，作者仅用公开数据集，先在 ClimbMix 上从零预训练一个 3.29B 参数的因果语言模型，再用 RLHN-250K 与局部对比估计（LCE）做监督微调，得到逐点重排器 Gaggle（base reranker）。该模型在 TREC DL 2019–2023 与七个 BEIR 集合上的平均 nDCG@10 超过所有对比的微调逐点与列表式重排器，TREC DL 上仅 GPT-6.1 Sol 更高。