开源权重模型的安全对齐高度稀疏，剪掉少量安全关键神经元或消融单个拒绝方向就能让模型输出有害内容。ABS-Align在偏好微调过程中逐步剪除这些已识别的安全关键神经元，迫使拒绝行为由网络其他部分重新建立，微调结束后再恢复被剪神经元。在Gemma-2-2B-IT、Llama-3-8B-Instruct、Llama-3.2-3B-Instruct和Qwen-3-4B四个模型上，该方法对TwinBreak、NeuroStrike、拒绝方向消融及十种SORRY-Bench黑盒攻击的成功率普遍下降，部分攻击降幅约90%，同时TruthfulQA提升而通用能力变化很小。
多步反应机理预测此前多停留在单步基元反应，难以外推到未见反应空间。GRMP把专家模板补全的化学机理知识图与语言模型结合，用图卷积网络生成候选路径构造偏好数据做直接偏好优化，推理时再检索图中关系证据修正路径。在ChemMechQA与oMe-Gold上，GRMP的整条路径准确率分别为48.1%和57.9%，为所比较方法中最高。
Preferred Networks公开了金融领域专用的8B规模语言模型PLaMo 3.0 Fin，以PLaMo 3 NICT 8B Base为起点，依次做金融语料继续预训练、监督微调与直接偏好优化，并支持日语推理过程和外部工具调用。日本金融知识基准japanese-lm-fin-harness的平均分从基座模型的48.0升到55.8，在PFN自有环境下高于Gemma 4 E4B与gpt-oss-20b，低于Qwen3.5-9B和Ministral 3 14B。
Preferred Networks 在 Hugging Face 公开了翻译专用模型 PLaMo 3 Translate 的 0.8B、2B、8B、31B 四档权重，并提供 FP8、W4A16、NVFP4、GGUF、MLX 等量化与本地推理格式。其最小 0.8B 模型在日英与日语↔多语翻译上，超过参数量大 30 倍以上的现有翻译专用模型；英语↔多语方向则由 2B 模型超过现有全部翻译专用模型。训练以两阶段监督微调加 DPO 为主，小模型再经 31B 教师蒸馏。
偏好数据里存在被标反、打平或含噪的比较，直接偏好优化（DPO）把它们全部当作正确标签来拟合，质量随翻转比例上升而下降。RW-DPO为每条比较引入一个未知的可靠性权重，让权重线性进入似然，并在极小极大凹惩罚下与策略联合估计，使模型认同的比较保持权重为一、只调整被它反驳的比较。在Qwen2.5-1.5B的DPO微调中，注入10%到30%随机翻转标签时，其胜率不随翻转率上升而下降，并超过用干净标签训练的DPO，与近期最强方法持平。
现有指令层级训练集只覆盖约束与约束、约束与目标的冲突，缺少两个目标彼此冲突的类型。把任务拆成目标与约束后，用两条互相处理对方消息的文本处理指令构造出9,544对目标对目标偏好样本，并以直接偏好优化微调Qwen3.5-9B与Gemma4-12B-it。在训练中未出现的四套指令层级基准上，两模型平均抗冲突率分别提高34.3点和19.4点，八项基准上的平均效用变化很小。
电商广告图优化从整张重做改为按属性细粒度编辑：先筛出28个与点击率显著相关的视觉属性，再按真实点击偏好调整修改建议，一周线上约两千万次曝光下整体点击率提升6.86%。
该工作把面向视觉语言模型的多模态直接偏好优化（mDPO）迁移到音频域，用反转、随机噪声、时频掩蔽等声学扰动构造“完好音频对扰动音频”的偏好对，在Qwen2-Audio-7B-Instruct上训练，使DCASE 2025音频问答整体准确率由56.0%升至70.0%，AH Existence由55.6%升至83.0%。
该工作提出 LexReward，一个由法律专家参与构建、把法律回答质量拆解为 Style（词汇与句法）、Element（主体、事实、法条、裁判）与 Chain（推理顺序、完整性、正确性、非冗余）三个维度的分类体系，并据此设计规则或 LLM 评判的评分细则，用其构建偏好数据训练中文法律奖励模型 LexRM；实验显示评分细则能区分不同质量回答，DPO 在三个维度上均提升生成表现，LexRM 在测试时扩展中优于随机选择，用于 GRPO 时各维度均有增益并优于基于结果规则的奖励。
该研究在SODA式两阶段偏好蒸馏流程中固定提示、优选回答、SeqKD初始化、DPO目标与训练预算，只改变拒答来源，发现7B至72B的Qwen2.5学生在代码生成与数学推理上，用参数更少、推理算力更低的冻结Base模型生成拒答，比用学生自身拒答训练出的学生更强，并进一步用线性化特征模型给出有限时域效用界，提出混合来源、提示重分配与词元置换、按参考策略似然重选三类干预。