# 可证明推理

用户调用大模型时，无法确认回复是否来自开发者声称的那个模型，路由服务换用更便宜的模型或攻击者篡改token流都难以从输出本身察觉。Anthropic开源的FlashProve用零知识简洁论证（zkSNARK，一种短证明，验证者无需模型权重即可快速确认某次计算确实执行过）为推理过程出具证明。在4比特量化的Llama 4 Maverick（400B参数混合专家模型）上，单张H100每秒生成约110个token的证明，每1024个token请求的证明约19 MB，证明耗时约为vLLM自身推理GPU时间的70至95倍。

用户调用大模型时，无法确认回复是否来自开发者声称的那个模型，路由服务换用更便宜的模型或攻击者篡改token流都难以从输出本身察觉。Anthropic开源的FlashProve用零知识简洁论证（zkSNARK，一种短证明，验证者无需模型权重即可快速确认某次计算确实执行过）为推理过程出具证明。在4比特量化的Llama 4 Maverick（400B参数混合专家模型）上，单张H100每秒生成约110个token的证明，每1024个token请求的证明约19 MB，证明耗时约为vLLM自身推理GPU时间的70至95倍。