跳到主要内容
返回时间线
bioRxiv来源发表:

蛋白质语言模型引导不再取全局均值:PULSE按相似背景配对,毒性预测分数提升最大

核心概要

蛋白质语言模型可以在不改权重的情况下被引导生成特定性质的序列,但既有激活引导把性质阳性与阴性蛋白的全局均值之差当作引导方向,忽略了这一方向会随序列背景变化。PULSE改为先按表示相似度把阳性与阴性蛋白配对,再聚合相似度加权、单位归一化的配对差来构造引导向量。在溶解度、免疫原性和毒性三个优化目标上,PULSE的最终预测性质分数与优化成功率都高于全局质心引导,其中毒性分数提升最大、免疫原性成功率提升最大。

Source-provided article image: Paired-unit activation steering for context-aware protein design
Fig. 1 · bioRxiv · 第 4 页

深度剖析

蛋白质序列的可控优化多了一条不依赖全局平均的引导路径:引导方向可以按序列背景分别构造,而不是所有目标共用一条从群体均值差得到的方向。 此前的ASPO把性质阳性蛋白与阴性蛋白的平均表示相减得到一条全局引导向量,这条向量不保留个体之间的对应关系,因而可能掩盖不同序列背景下性质方向的差异。 在溶解度、免疫原性和毒性三个目标上,PULSE的最终预测性质分数均高于ASPO,配对差分别为0.00715、0.01724和0.05417,经Holm校正后三项配对检验均显著;优化成功率同样三项均更高,毒性分数提升最大,免疫原性成功率提升最大。

做法是先找背景相近的正负蛋白对,再把这些对的表示差变成引导方向。 配对在指定层上用余弦相似度衡量,并用匈牙利算法求出使总相似度最大的互不重叠配对,配对数取正负样本数的较小者;配对只算一次,之后每一层都复用同一组配对。 每一对的正负表示差先做单位归一化,再按配对相似度的softmax权重聚合,温度取0.10;得到的向量被缩放到与ASPO引导向量相同的范数,因此两种方法只在方向构造上不同,位点选择与解码流程保持一致。

优化过程是否可靠,要看每一步实际发生的表示位移是否落在相似背景的性质改进方向上,而不只看静态引导向量本身。 静态诊断给出的结论与优化表现不一致:PULSE在三个性质上的平均角度偏差都大于ASPO,局部静态向量支持率在两者之间没有显著差异。 以轨迹下四分位汇总的局部方向支持(LDS)在三个性质上均为PULSE更高,配对95%置信区间不含零,毒性上均值从57.75%升到72.15%;在10个独立参考池上重复评估,PULSE仍保持更高均值。

启示与展望

结论建立在ESMC-600M骨干与外部性质预测器给出的分数上,而非湿实验测量;评估覆盖溶解度、免疫原性和毒性三个目标,测试目标序列分别为100、100和50条,优化统一为4步、每步2个突变位点、确定性解码。LDS需要一份独立的带标签参考池,其邻域在起始蛋白处固定。

局部方向对齐与优化成功之间的关联并未被确立为因果关系;评估只覆盖单一模型骨干和基于预测器的结果,更广的模型与优化预算比较以及湿实验验证仍是后续工作。