中医诊断不再只靠文字：ShizhenGPT把舌象、脉象、气味和声音接进同一个32B模型
核心概要
中医大模型此前多在不足1GB文本上训练，且只处理文字，而中医诊断本身依赖望、闻、问、切多种感官。ShizhenGPT用100GB以上文本（3256本中医书籍与网络语料）和200GB以上多模态数据（120万张标注图像、200多小时音频及脉搏、气味、心电信号）做两阶段预训练与指令微调，把图像、声音和生理信号接入同一个模型。在2024至2025年五套中医考试上，ShizhenGPT-32B平均78.1分，低于DeepSeek-R1-671B的84.0分；在7204道题的中医视觉基准上，它以63.6分超过Gemini-3-Pro的61.4分。
深度剖析
中医方向的模型开始把舌象、掌纹、药材质地、咳嗽声和脉搏波形当作输入，而不只是读文字问答。 此前的开源中医模型训练文本不足1GB，且只支持文本；通用模型对视觉和声音只有部分支持。 在7204道多选题构成的中医视觉基准上，ShizhenGPT-32B平均63.6分，高于Gemini-3-Pro的61.4分和GPT-5的58.2分，7B版本为60.1分。
模型把不同传感器信号统一成同一种波形表示，再交给语言模型作答。 非音频信号先经线性插值转成波形，与语音走同一条编码路径。 所有波形重采样到16kHz并转成128通道梅尔频谱，用25毫秒窗、10毫秒步长，经步长为2的池化后由一层MLP投影进语言模型；脉搏信号因此得到每token 40毫秒的时间分辨率。
在考试类文本任务上，32B模型接近更大的专有模型，但仍落后于最大的推理模型。 同规模开源模型中它得分最高，与671B的DeepSeek-R1仍有差距。 五套2024至2025年中医考试平均分：ShizhenGPT-32B为78.1，DeepSeek-R1-671B为84.0，Doubao-1.5-Pro-32k为80.6；7B版本为72.9，比同骨干的Qwen2.5-7B-Instruct高9.4分。
启示与展望
已展示的范围是五套2024至2025年中医考试、7204道题的中医视觉基准、90个真实病例的专家 pairwise 比较，以及脉搏、气味、咳嗽、心音和心电等单模态信号分类；作者明确说明模型仅供科学研究，不得用于临床或行业场景。
作者列出的限制包括高质量气味与脉搏信号数据稀缺、缺少真实临床场景测试、触觉等模态尚未覆盖，以及合成监督虽经抽样核查但仍非中医师逐条验证；信号消融只说明一个模型能同时保留各项能力，并未证明患者层面的跨模态融合。