跳到主要内容
返回时间线
arXiv来源发表:

审计临床预测网络不必看权重:GPT-6 Astra 接入计算工具后,在 38,401 权重网络上全部找回植入关系

核心概要

临床预测模型常以文件形式交付、训练数据不随之公开,审计者需要判断它究竟算出了什么。研究者在模拟的蛛网膜下腔出血队列上训练 105 至 38,401 权重的 tanh 网络,并植入已知关系或标签偏差,让 GPT-6 Astra 在无工具、白盒计算工具和仅给预测的黑盒工具三种条件下作答。无工具时 Astra 在 353 权重网络上找回植入关系,到 3,457 权重便不可靠;接入只做计算的工具后,它在全部 29 次含植入关系的运行中找回关系,15 次零网络运行未报假警,黑盒与白盒表现相当。

AI-generated editorial illustration: Computation, not weight access: large language models as auditors of clinical prediction networks

深度剖析

审计这类临床预测网络时,起决定作用的是能否做计算以及任务如何被提问,而不是能否看到权重。 此前的公开演示把直接读原始权重与写代码运行混在同一项能力里,两种条件没有被分开。 在 18 次黑盒运行中,计算工具只暴露网络的预测而不暴露权重,Astra 的强度比为 0.97–1.10,与白盒运行逐格相当。

做法是把网络权重或预测函数装进一个只做数值计算的环境,让模型自己写代码去探测网络。 无工具时权重以 JSON 形式放进提示,模型只能靠阅读数字推断函数。 该工具是本地运行的 run_python,预载 NumPy 与网络,拒绝导入和文件操作,每次调用限时 60 秒;接入后 29 次含植入关系的运行全部找回,强度比 0.85–1.10,替代模型 R² 为 0.88–0.98。

默认的一句式系统指令会让模型以“不可识别”为由拒绝审计和修复任务,而一段明确的系统指令可以消除这些拒绝。 在默认指令下,12 次审计与修复运行中有 11 次被拒绝。 提示词完全不变、只换成明确指令后,14 次审计与修复运行无一拒绝,且在零网络和无偏网络上未触发假警。

启示与展望

结论建立在模拟队列训练的小型 tanh 多层感知机上,植入关系与标签偏差均为简单已知形式;审计对象是成人动脉瘤性蛛网膜下腔出血的一个月内死亡预测。

作者指出结果未必迁移到真实临床数据训练的模型、梯度提升树等其他架构,或形式未知的问题;模型主要来自一个家族并经同一套运行框架调用,若干格子只有一到三次运行;脚本审计的搜索空间是按已知植入子群形式设计的,对脚本有利。