低秩适配只学一个矩阵:SingLoRA在LLaMA-7B上以六成参数预算超过LoRA与LoRA+
低秩适配(LoRA)把权重更新拆成两个小矩阵相乘,但两者范数在训练中常相差悬殊,造成梯度流不平衡和训练不稳定。SingLoRA把更新改写为单个低秩矩阵乘自身转置,从构造上消除矩阵间尺度冲突,并把可训练参数减少约一半。在MNLI上微调LLaMA-7B时,SingLoRA取得91.3%准确率,高于LoRA的89.1%和LoRA+的90.2%,而只用了它们60%的参数预算。
低秩适配(LoRA)把权重更新拆成两个小矩阵相乘,但两者范数在训练中常相差悬殊,造成梯度流不平衡和训练不稳定。SingLoRA把更新改写为单个低秩矩阵乘自身转置,从构造上消除矩阵间尺度冲突,并把可训练参数减少约一半。在MNLI上微调LLaMA-7B时,SingLoRA取得91.3%准确率,高于LoRA的89.1%和LoRA+的90.2%,而只用了它们60%的参数预算。
CloneTrast把配对单细胞RNA与TCR测序中的克隆身份当作训练标签,让模型只从基因表达学习T细胞的克隆功能状态,推理时不再需要TCR数据。训练使用26个数据集、14种癌症、逾150万个T细胞,另以11个数据集、逾100万个T细胞作外部测试,其中两种癌症类型未在训练中出现。在训练集与测试集上,患者克隆纯度均显著优于常规表达嵌入,并识别出一个富含肿瘤-血液共享TCR的NK样生态位,该生态位在多个研究中与免疫治疗无应答相关。
该工作提出 Stability-Aware Generalization Objective(SAGO)框架,把大语言模型的泛化定义为同一输入在语义等价变体下行为的逐样本稳定性,并在生成一致性、内部激活、置信度与响应镜像四个行为轴上,对十一个开源与闭源模型、六个数据集进行评测,发现所有模型至少在某一轴上超出显著性阈值,各轴捕捉相互独立的失败模式,且跨数据集的变化足以反转模型排名。
研究者构建了MIST(误导性图像压力测试),包含200个英文句子,每句含一个可作字面或比喻解读的短语,并分别配以与句意一致的图像、与句意相反的图像或不配图像;在13个视觉语言模型评审员上,配一致图像改变20.5%的标签、配误导图像改变19.4%,而仅删除“忽略图像”指令、图像保留只改变11.6%,且两张图像之间出现分歧的标签中只有37%朝图像所示含义移动,与人类标注者的一致率在无图、一致图、误导图三种情况下基本不变。
这篇意见综述指出,当前外科领域的学术晋升体系过度偏重论文数量与科研经费等可量化指标,而相对忽视临床技能的体现,形成所谓“资质认证悖论”;人工智能工具通过简化研究任务进一步放大了这种以发表为中心的文化,使学术职级可能与手术室中的实际能力脱节,并使经费较少以及投入临床照护与教育的教师处于不利地位;作者主张外科界应重新定义学术成功,采用更整体的框架,在科研产出之外正式认可并奖励临床照护、教育与指导方面的卓越表现。
该研究开发并验证了开源临床模拟评估框架DiagnosticXchange,让AI系统在模拟医院中通过开具检查、申请影像和操作来诊断病例,并将每个动作映射到CPT编码以量化成本、时间、工作相对价值单位和侵入性;用8个大语言模型在19个专科的216个同行评审病例上完成1728次会话,结果显示三个系统准确率几乎相同(93.5%–94.0%)却在成本上差异显著(P<.001,最高与最低相差1.75倍)、医生监督需求相差2.1倍,最高效系统在5000美元内解决86%病例而最耗资源系统需10000美元才能达到同等准确率,无监督聚类识别出3种推理策略且行为特征比系统身份更能预测资源消耗(AIC 4683对50
该工作把社会法则从确定性的目标驱动设定扩展到随机的、奖励驱动的多智能体环境,提出以α-鲁棒性衡量每个智能体在遵守社会法则时能保留的保证效用比例,并给出一种通过求解一系列马尔可夫决策过程(MDP)来验证鲁棒性的方法,在若干网格玩具环境上的实验显示:当动作成功概率为1时,平行车道、对向车道以及带顺时针社会法则的交叉场景可达到α=1的鲁棒性,而强制慢速等社会法则并不总能提升保证效用。
已读完全部报道