跳到主要内容
检索

# 监督微调

43 篇关联报道

订阅更新
  1. arXiv

    FlatSeek把平坦输出的寻找交给语言模型:文献基准命中74个系统,合成基准171个

    微分平坦系统的规划与控制依赖一个平坦输出,但一般非线性系统没有通用办法把它写出来。FlatSeek把平坦性定义中的重构关系反过来用:先给定输出与重构映射,再微分闭合出相容动力学,从而批量得到带证书的系统—输出配对,并用LoRA微调Qwen3.5-2B提出候选,由符号验证器判定。在文献与合成基准上,FlatSeek分别命中74个和171个系统,最强传统符号方法为58个和127个。

  2. Preferred Networks

    PFN公开金融特化小模型PLaMo 3.0 Fin:开放权重,单张GPU即可在闭域环境运行

    Preferred Networks 以与 NICT 共同研究得到的预训练模型 PLaMo 3 NICT 为基础,用日本金融领域数据追加学习,公开了金融特化小规模语言模型 PLaMo 3.0 Fin 的开放权重。该模型面向金融机构实务,具备先推理再作答的 Reasoning 功能并以日语输出推理过程,还能调用网页搜索、计算和内部数据库等外部工具。小型化使其在云端闭域或本地环境中从单张 GPU 起即可运行,并以 AI 智能体核心模型的形态用于问询分类、单据信息抽取和告警分析等业务。

  3. arXiv

    机器人拆解不再只靠示范:PACER把自主回放与人工纠正变成训练权重,主板取件成功率87/100

    电子废弃物拆解中,视觉-语言-动作(VLA)策略的示范数据稀缺,仅靠监督微调难以覆盖部署时遇到的状态偏移。PACER把机器人自主回放、操作员纠正和补充干净示范统一成带过程角色的动作块行,按朝目标推进的程度和轨迹来源给每行赋权,仍沿用原有的监督动作损失。在UR5e主板拆解五个部件的留出硬件测试中,选出的策略完成87/100次接近与交接试验,均匀加权的后监督微调为54/100,固定几何加权为79/100。

  4. Preferred Networks

    PLaMo 3 Translate 公开四档权重:0.8B 小模型在日英与日语多语翻译上超过30倍大的专用模型

    Preferred Networks 在 Hugging Face 公开了翻译专用模型 PLaMo 3 Translate 的 0.8B、2B、8B、31B 四档权重,并提供 FP8、W4A16、NVFP4、GGUF、MLX 等量化与本地推理格式。其最小 0.8B 模型在日英与日语↔多语翻译上,超过参数量大 30 倍以上的现有翻译专用模型;英语↔多语方向则由 2B 模型超过现有全部翻译专用模型。训练以两阶段监督微调加 DPO 为主,小模型再经 31B 教师蒸馏。

  5. arXiv

    同一个8B模型不再套固定推理模板:AlgoPilot先选范式再写形式化,平均准确率从38.4%升到72.9%

    AlgoPilot把语言模型的解题过程拆成三步:先判断该用自然语言推理、代码执行、约束求解、符号规划还是数学优化,再按所选范式生成结构化的问题形式化,最后交给执行模型求解。以Qwen3-8B为执行模型时,同一模型在13个基准、66个领域上的平均准确率从直接提示的38.4%升到72.9%,比表现最好的大模型提示基线GLM-5高11.7个百分点;换用Gemma-4-E4B-it作执行模型时,平均成功率从直接提示的39.0%升到60.5%。

  6. arXiv

    真实网站自动变成可重置的智能体训练场:244个站点、12984个任务,盲审12胜2平0负

    WebAnything把真实网址自动重建为可执行、可重置的本地网站环境,不再需要逐站人工搭建。在5个与WebHarbor匹配的站点、14个历史页面上,它的像素相似度、SSIM和文本F1三项聚合指标都更高,盲审为12胜2平0负;用其5856条交互轨迹微调Qwen3.5-9B后,REAL成功率提高9.9个百分点。

  7. arXiv

    开源后训练配方让模型对低职位发帖人更苛刻,七个商用模型未见此偏向

    同一批随机化发帖人资料的核查任务上,开源 Tülu-3 后训练配方让 OLMo-2 32B 与 Tülu-3 70B 对低职位发帖人的说法更常判为不实,效应不到一个百分点但统计可靠,且能通过训练漂移检验并在独立声明集上复现;Meta、阿里巴巴和 Mistral 的配方没有产生这一偏向。在 OLMo-2 32B 中,模型并未更注意职位,而是把低职位从推向“真”改为推向“假”,这一翻转由单一残差流方向承载,发生在监督微调阶段。七个已部署商用模型都没有表现出对低职位发帖人的额外怀疑。

  8. arXiv

    图像真假之外还有一问:EviScene让智能体查证画面情境,证据充分率52.26%

    图像事实性评估不再只问画面是否由AI生成,EviScene让多模态智能体边查边改问题,在1527张测试图上把平衡准确率提到79.05%,证据充分率52.26%。

  9. Hugging Face - Blog

    Trainium不再要按编译器思路写代码:PyTorch原生后端让89%热门文本生成架构直接跑

    AWS Trainium 上的 Hugging Face 模型运行方式换了底座:新的 PyTorch 原生后端 TorchNeuron 把 Neuron 芯片暴露为普通设备,支持即时执行、torch.compile 与原生分布式接口,不再依赖基于 PyTorch XLA 的 optimum-neuron。按 Hugging Face 给出的对照,最常用的 100 个文本生成模型架构中开箱支持比例从 Optimum Neuron v0.4.5 的 46% 升到 89%。该后端自 2026 年 10 月 20 日起进入公开测试。

  10. arXiv

    通过测试的智能体轨迹并非等价:结构打分筛出前1024条,SWE-Bench Verified通过率27.6%

    编码智能体的监督微调不再只看最终补丁是否通过测试:按轨迹结构打分挑出的前1024条轨迹,让同一模型在SWE-Bench Verified上的pass@1从随机子集的24.8%升到27.6%。