# GPT-5.4

该研究首次通过用户研究检验LLM-as-a-judge在对话式音乐推荐（CRS）回复评估中的可靠性：从TalkPlayData-Challenge采样20个多轮会话，用四个指令微调LLM生成候选回复，由20位音乐领域专家在Personalization Quality与Explanation Quality两个维度上给出n=400条评分，经10,000次bootstrap相关分析发现LLM评审与人类判断呈中等正相关（最高Gemini-3.1Pro在个性化维度r=0.55），并优于所有参考基线指标。

该研究首次通过用户研究检验LLM-as-a-judge在对话式音乐推荐（CRS）回复评估中的可靠性：从TalkPlayData-Challenge采样20个多轮会话，用四个指令微调LLM生成候选回复，由20位音乐领域专家在Personalization Quality与Explanation Quality两个维度上给出n=400条评分，经10,000次bootstrap相关分析发现LLM评审与人类判断呈中等正相关（最高Gemini-3.1Pro在个性化维度r=0.55），并优于所有参考基线指标。

该研究针对德语临床短表达到 SNOMED CT 的医学概念归一化任务，比较了直接使用 GPT-5.4 的纯大语言模型方案与结合 medBERT.de 双编码器嵌入检索和 RAG 式 LLM 重排的混合方案，结果显示纯 LLM 基线 Recall@1 为 0.235、Recall@3 为 0.297、Recall@5 为 0.303，而嵌入检索方案达到 Recall@1 0.681、Recall@3 0.783、Recall@5 0.812，加入 RAG 重排后 Recall@1 进一步提升至 0.771，Recall@3 和 Recall@5 分别为 0.809 和 0.812。

该研究针对德语临床短表达到 SNOMED CT 的医学概念归一化任务，比较了直接使用 GPT-5.4 的纯大语言模型方案与结合 medBERT.de 双编码器嵌入检索和 RAG 式 LLM 重排的混合方案，结果显示纯 LLM 基线 Recall@1 为 0.235、Recall@3 为 0.297、Recall@5 为 0.303，而嵌入检索方案达到 Recall@1 0.681、Recall@3 0.783、Recall@5 0.812，加入 RAG 重排后 Recall@1 进一步提升至 0.771，Recall@3 和 Recall@5 分别为 0.809 和 0.812。