# 小语言模型

面向临床决策支持的小语言模型在微调后往往答得比问题所需长得多，而现有长度控制依赖偏好数据、奖励模型或专有教师模型。PECA在QLoRA监督微调目标中加入一个可微的简洁项：当生成超过token预算后提高结束符概率，无需偏好数据、辅助模型，单张消费级GPU即可训练。在1.7B参数的Qwen3-1.7B-Instruct上，PECA把平均回答长度从256.0个token降到69.7个token，即减少72.8%，同时把MedMCQA选择题诊断准确率从40.8%提高到44.0%。

面向临床决策支持的小语言模型在微调后往往答得比问题所需长得多，而现有长度控制依赖偏好数据、奖励模型或专有教师模型。PECA在QLoRA监督微调目标中加入一个可微的简洁项：当生成超过token预算后提高结束符概率，无需偏好数据、辅助模型，单张消费级GPU即可训练。在1.7B参数的Qwen3-1.7B-Instruct上，PECA把平均回答长度从256.0个token降到69.7个token，即减少72.8%，同时把MedMCQA选择题诊断准确率从40.8%提高到44.0%。

一个9B小语言模型在单张GPU上本地完成病例级与家系级变异解读，在327例已解决的单例视觉损伤病例中找回93%的专家报告致病变异，其中82%被判为致病或可能致病。

一个9B小语言模型在单张GPU上本地完成病例级与家系级变异解读，在327例已解决的单例视觉损伤病例中找回93%的专家报告致病变异，其中82%被判为致病或可能致病。

面向家庭护理排班的智能体不再直接用小模型硬扛。零样本小模型在窄任务上失败，而每改一次行为就重训又太慢，于是先在GPT-5.4-nano上用提示词迭代出稳定行为，再把11.6k条真实生产决策经LoRA微调进Qwen3-8B。该模型与记录决策的一致率为0.913，高于教师模型重跑自身提示词时的72.7%自一致率。

面向家庭护理排班的智能体不再直接用小模型硬扛。零样本小模型在窄任务上失败，而每改一次行为就重训又太慢，于是先在GPT-5.4-nano上用提示词迭代出稳定行为，再把11.6k条真实生产决策经LoRA微调进Qwen3-8B。该模型与记录决策的一致率为0.913，高于教师模型重跑自身提示词时的72.7%自一致率。

网络入侵检测里，小语言模型直接读数值流量记录往往分不清类别。SERA-IDS 让一个 8B 模型只分析被误判的流量，把每次混淆写成含行为描述、特征条件、类别混淆信息、工具置信度和来源的结构化规则，经置信度门控后存入经验库。测试时经验库冻结，检索至多五条类别多样的规则并逐条核对条件，Llama 3.1、Phi-4:14B、Qwen2.5:7B 在 NF-BoT-IoT 与 NF-ToN-IoT 上的宏F1由 1.94%–11.66% 升至 69.50%–87.66%，全程不微调、不用付费托管推理。

网络入侵检测里，小语言模型直接读数值流量记录往往分不清类别。SERA-IDS 让一个 8B 模型只分析被误判的流量，把每次混淆写成含行为描述、特征条件、类别混淆信息、工具置信度和来源的结构化规则，经置信度门控后存入经验库。测试时经验库冻结，检索至多五条类别多样的规则并逐条核对条件，Llama 3.1、Phi-4:14B、Qwen2.5:7B 在 NF-BoT-IoT 与 NF-ToN-IoT 上的宏F1由 1.94%–11.66% 升至 69.50%–87.66%，全程不微调、不用付费托管推理。

作者通过削弱跳跃连接使小型 transformer 发生深度诱导的秩崩塌，再对崩塌网络施加两种仅在梯度是否消失上不同的秩损失项；两种损失项都未能修复崩塌，尽管有界力约为任务梯度的十分之一，原因是任务梯度不再到达决定注意力去向的 query 与 key 权重，而恢复跳跃连接这一不改变任何权重的运行时操作立即重开了该通路，秩随之恢复但仅在远高于崩塌尺度处，且损失始终高于健康网络。

作者通过削弱跳跃连接使小型 transformer 发生深度诱导的秩崩塌，再对崩塌网络施加两种仅在梯度是否消失上不同的秩损失项；两种损失项都未能修复崩塌，尽管有界力约为任务梯度的十分之一，原因是任务梯度不再到达决定注意力去向的 query 与 key 权重，而恢复跳跃连接这一不改变任何权重的运行时操作立即重开了该通路，秩随之恢复但仅在远高于崩塌尺度处，且损失始终高于健康网络。

该研究探讨小型语言模型（SLM）能否充当任务—工具相关性分类器，对智能体每一次选定的工具独立评估其与所分配任务的相关性并输出相关性信号供下游执行使用，同时构建了一个任务所需工具跨越不同模型上下文协议（MCP）服务器的多工具数据集，并采用提示优化、监督微调与基于 GRPO 的强化学习对 SLM 进行优化与专门化。

该研究探讨小型语言模型（SLM）能否充当任务—工具相关性分类器，对智能体每一次选定的工具独立评估其与所分配任务的相关性并输出相关性信号供下游执行使用，同时构建了一个任务所需工具跨越不同模型上下文协议（MCP）服务器的多工具数据集，并采用提示优化、监督微调与基于 GRPO 的强化学习对 SLM 进行优化与专门化。

该研究在机构防火墙内部署3.8B参数的开放权重小语言模型Phi4-mini（经Ollama运行），结合确定性正则表达式后处理，从加泰罗尼亚SIDIAP数据库的15,498份加泰罗尼亚语/西班牙语双语MEAP初级保健叙事中提取发热、亚硝酸盐、白细胞、腰痛、腹痛和血尿六项未编码尿路感染临床特征，在60份真实病历的双盲临床医生金标准验证中达到93.8%准确率、96.6%特异度和83.6%敏感度，在720份对抗性合成文本压力测试中达到87.2%准确率、99.5%特异度和99.2%阳性预测值，全程无患者数据离开机构服务器。

该研究在机构防火墙内部署3.8B参数的开放权重小语言模型Phi4-mini（经Ollama运行），结合确定性正则表达式后处理，从加泰罗尼亚SIDIAP数据库的15,498份加泰罗尼亚语/西班牙语双语MEAP初级保健叙事中提取发热、亚硝酸盐、白细胞、腰痛、腹痛和血尿六项未编码尿路感染临床特征，在60份真实病历的双盲临床医生金标准验证中达到93.8%准确率、96.6%特异度和83.6%敏感度，在720份对抗性合成文本压力测试中达到87.2%准确率、99.5%特异度和99.2%阳性预测值，全程无患者数据离开机构服务器。