跳到主要内容
检索

Shenzhen Research Institute of Big Data

4 篇关联报道

订阅更新
  1. arXiv

    心智推断答对不等于协作成功:把信念接进可验证任务后,Claude 全对却只有67.9%计划最优

    心智理论评测常以故事问答判断模型能否推断他人信念,但答对未必意味着能在任务中用上这些判断。研究把家庭协作与日历排程两类可验证任务扩展为信息不对称场景,并拆出世界、信息获取、信念、决策与执行五层独立接口。在匹配的排程案例上,Claude 完整恢复全部智能体信念,却只在67.9%的案例给出主观最优计划;在家庭协作中,向 Qwen-27B 提供信念使任务成功率从55.0%升到75.0%。

  2. aclanthology.org

    中医诊断不再只靠文字:ShizhenGPT把舌象、脉象、气味和声音接进同一个32B模型

    中医大模型此前多在不足1GB文本上训练,且只处理文字,而中医诊断本身依赖望、闻、问、切多种感官。ShizhenGPT用100GB以上文本(3256本中医书籍与网络语料)和200GB以上多模态数据(120万张标注图像、200多小时音频及脉搏、气味、心电信号)做两阶段预训练与指令微调,把图像、声音和生理信号接入同一个模型。在2024至2025年五套中医考试上,ShizhenGPT-32B平均78.1分,低于DeepSeek-R1-671B的84.0分;在7204道题的中医视觉基准上,它以63.6分超过Gemini-3-Pro的61.4分。

  3. arXiv

    DRQ 在固定量化网格上最小化最坏情况重建损失,使六种 PTQ 方法量化的 LLM 困惑度与下游准确率同时改善且不增加推理开销

    作者发现权重仅量化 PTQ 中校准数据上更低的重建损失并不保证更好的模型表现,甚至可能在同一校准数据上变差;他们据此提出 DRQ,在受限的输入激活分布集合上最小化最坏情况重建损失,仅更新量化权重的整数编码而保持位宽、分组、缩放与零点不变,在六种 PTQ 方法以及稠密与 MoE 模型上同时降低困惑度并提升平均任务准确率,且不增加推理开销。

  4. arXiv

    OnePO 让基座模型免 SFT 直接强化学习适配医学领域,HuatuoGPT-3-27B 在 HealthBench Professional 达 71.4

    该工作提出 One-stage Policy Optimization(OnePO),把教师输出当作阶段性引导而非长期训练目标:用概率下限与梯度重标定强化对低概率教师 token 的学习,并在当前策略奖励超过教师输出时将其退役;仅用 20K 医学样本,OnePO 在 HealthBench(Total)达 67.2,优于同教师下的 SFT+RL 与纯 RL,并据此训练出开源 HuatuoGPT-3 系列,27B 变体在 HealthBench Professional 达 71.4。

已读完全部报道