芯粒设计空间不再靠黑箱猜:LLM 只给方向,贝叶斯优化负责数值搜索
核心概要
把大语言模型生成的参数调整方向作为软先验交给贝叶斯优化,2.5D/3D CPU-GPU 芯粒设计空间探索的超体积在 3D 数据集上从 0.8210 升到 0.8356,2.5D 数据集不重训也升到 0.8051。
深度剖析
芯粒设计空间探索多了一条把微架构经验写进搜索过程的路:大语言模型不再直接预测哪个配置最好,而是每一步给出参数该升、该降还是保持的方向性策略,由贝叶斯优化在这个方向内做数值搜索。 此前的做法要么把系统当黑箱、只靠统计相关性搜索,要么以固定规则或偏置初始化的方式引入专家知识,在周期级仿真昂贵、样本很少时效率受限。 在 3D 芯粒数据集上,超体积从 LLM-DSE 的 0.8210 提高到 0.8356,来源表格把这一变化标注为 13.3%;在未参与微调的 2.5D 数据集上从 0.7809 提高到 0.8051,来源标注为 9.3%。
方向性策略由一套结构化推理流程产生:先定位当前锚点设计的主要瓶颈,再预测相关参数增减的效果,最后根据上一轮新评估设计和超体积变化反思并修正方向。 直接让大语言模型预测最优配置并不可靠,因为芯粒设计空间涉及复杂的数值权衡,模型面对不熟悉的芯粒设计时可能给出有偏建议。 策略以组相对策略优化微调 Qwen2.5-7B-Instruct,奖励由推理格式、答案格式与有效性、探索增益三部分组成,权重分别为 0.2、0.2、0.6,在八块 NVIDIA A800 上一次性离线训练约 20 小时。
策略以软先验的形式进入采集函数:在策略指向的子空间内抬高候选点的采集值,但不替换贝叶斯优化基于不确定性的候选选择。 标准期望超体积改进只按数值模型排序候选,不区分哪些区域更值得优先评估。 实验在 11 个参数、共 18,432 种配置的设计空间上进行,每次设计评估约需 10 分钟仿真,生成整个数据集消耗 6,144 CPU 核心小时;3D 数据集随机采样 2,000 个配置,构建 6,000 条提示,去重过滤后分为 4,800 条训练和 1,200 条验证样本。
启示与展望
报道覆盖的是 2.5D 与 3D CPU-GPU 异构芯粒的架构级设计空间探索,目标为功耗、每指令周期数和互连延迟,并施加架构级热可行性约束。热模型用于早期架构筛选,而非签核级热验证。适合做芯粒架构探索与多目标优化工具的研究人员和工程师阅读。
热评估采用轻量稳态模型,只用于早期筛选。2.5D 任务未参与微调,其表现来自迁移评估。策略引导以软先验形式加入,采集值提升幅度按经验尺度设定。来源表格把 3D 超体积从 0.8210 到 0.8356 的变化标注为 13.3%,这一标注与两个数值本身并不一致,报道保留该标注并同时给出原始数值。
