芯片表征智能体不再只看工具调用:改用最终Liberty文件打分,综合分从约55%升到约95%
核心概要
西门子Fuse团队用NVIDIA NeMo Gym为Solido Characterization Suite智能体搭起以最终Liberty文件为准的评测闭环,把标准单元表征任务的综合验证分从约55%提升到约95%,同时把智能体轮次从155降到53、输出token从约81K降到29K。此前这类多阶段流程只能看单个工具调用是否成功,早期设置错误会悄悄传到下游;现在用覆盖、有效性、相对验证、完整性和容差内比例组成的复合奖励,对整条轨迹的最终产物打分,再据此改写技能与MCP工具描述。
深度剖析
芯片设计智能体的可靠性评测从检查单个工具调用是否成功,改为检查整条多阶段流程产出的最终工程文件。 此前多阶段表征流程中,早期设置错误会静默传播到下游各步,而中间检查看不到这些错误。 对最终Liberty文件的验证暴露出中间检查漏掉的缺失单元、缺失工作条件、错误的slew阈值以及超出容差的时序或功耗值。
评测闭环把每次尝试放进干净状态,用同一套任务、工具、状态和验证器跑基线并记录思考轨迹、输入输出消息和工具动作。 团队据此检查轨迹、失败的工具调用和验证器诊断,找出含糊指令、无效动作和错误的工具选择。 复合奖励由覆盖、有效性、相对验证、完整性四个门控与容差内数值比例相乘得到,任一门控失败则奖励为零。
在开源GF180MCU PDK上,团队用229个标准单元、36个PVT角、Solido AFS做SPICE仿真的数据集来跑基准。 每次运行只取两个单元乘36个PVT角,因为这个子集已足够调优智能体工作流。 每次运行约1.5到2小时,用Claude Opus 4.8在Claude Code中作为固定模型与智能体框架,共跑了约25次rollout。
经过多轮评测,团队改写智能体的表征技能和MCP工具描述,简化重叠的文件与shell接口,并用显式JSON schema定义工具输入。 这些改动让表征工具更容易被智能体正确调用,减少了工具选择错误。 评测rollout的平均复合验证分从约55%升到95%,轮次从155降到53(约减少66%),输出token从约81K降到29K(约减少64%)。
启示与展望
这套评测针对标准单元表征:在开源GF180MCU PDK上生成Liberty文件,用Solido AFS做SPICE仿真,数据集含229个标准单元和36个PVT角,调优时每次运行只取两个单元乘36个PVT角。读者是芯片设计团队和EDA开发者,他们可以按文中步骤先跑一次初始评测,再选一个代表性任务定义有效最终产物、构建领域验证器、检查rollout失败、改写技能与工具描述并在一致条件下重跑。
调优用的每次运行只覆盖两个单元乘36个PVT角,文中说明这个较小自己足够调优智能体工作流;复合分约55%到约95%是在这些评测rollout上的均值,轮次和输出token的下降也来自同一批评测。
