跳到主要内容
返回时间线
Advanced Science来源发表:

高斯采样搬进伊辛机硬件:Falcon签名核心动态功耗降到约四分之一,扩散出图质量不变

核心概要

高斯采样不再靠数字电路算出来,而是由概率伊辛机的物理随机性直接产生;在匹配采样精度下,FPGA采样核心的动态功耗和逻辑用量分别约为Falcon高斯核心的1/4.0和1/4.4,扩散管线出图质量保持不变。

Source-provided article image: Hardware-Native Gaussian Sampling With Probabilistic Ising Machines for Modern Communication Paradigms.
PubMed

深度剖析

高斯采样从数字算术合成改为概率硬件的物理过程直接产生,方差和采样密度由两个独立参数分别调节。 此前Falcon类签名和扩散推理都靠数字逻辑做算术变换、伪随机数生成和拒绝采样来合成离散高斯样本。 在匹配采样精度、N+M=32时,FPGA采样器动态功耗约80 mW,隔离出的Falcon高斯核心约316 mW,完整Z采样器约641 mW,对应约4倍和约8倍降幅。

采样器把高斯生成拆成乘加、非线性激活和概率更新三个可独立优化的硬件原语。 数字实现用查找表算tanh、用Xoshiro128++伪随机数生成器提供随机性,两者带来存储流量和逻辑开销。 全数字FPGA版在32位整数精度下用450个逻辑片和72 kb BlockRAM,FPGA/MTJ版在27位精度下用323个逻辑片和18 kb BlockRAM,两者都不占用DSP块。

在开源扩散管线中替换噪声源后,生成图像的指标与软件采样器基线相当。 此前边缘扩散推理的噪声注入依赖软件高斯采样器,重复去噪步骤使部署成本偏高。 在Open-Sora上固定提示词“Trevi Fountain”生成99张图像,N=3、M=0配置的指标落在软件基线的波动范围内;Flickr评测随机选取约500个提示词、每个生成10张图像。

启示与展望

报道覆盖的是采样阶段本身:FPGA与FPGA/MTJ两种高斯采样器,以及它们在Falcon类签名和Open-Sora扩散解码中的对照。比较对象是隔离出的Falcon高斯核心和完整Z采样器,不构成完整的签名生成加速器。28 nm CMOS下约8 mW的功耗是按Falcon采样器的FPGA到ASIC功耗比缩放得到的投影值,不是流片测量。适合关注后量子密码硬件和边缘生成推理的读者。

MTJ实现在高概率区与目标分布吻合,但极端尾部存在小幅偏差,作者将其归因于器件间差异,并认为可通过校准和更严格的工作条件控制来减小。MTJ核心本身约0.02 mW,比数字伪随机数生成块低约两个数量级,但系统级能耗仍由外围电路和外部乘加运算主导,DAC与ADC每路约10 mW。功耗数值来自Vivado功耗分析,未使用实际翻转活动文件,属于接近最坏情况的保守上界。