PFN公开金融专用小模型PLaMo 3.0 Fin:8B参数,日本金融知识基准从48.0升到55.8
核心概要
Preferred Networks公开了金融领域专用的8B规模语言模型PLaMo 3.0 Fin,以PLaMo 3 NICT 8B Base为起点,依次做金融语料继续预训练、监督微调与直接偏好优化,并支持日语推理过程和外部工具调用。日本金融知识基准japanese-lm-fin-harness的平均分从基座模型的48.0升到55.8,在PFN自有环境下高于Gemma 4 E4B与gpt-oss-20b,低于Qwen3.5-9B和Ministral 3 14B。
深度剖析
金融业务需要快速处理大量文本,而全部交给大模型会带来API与算力费用、处理速度问题,客户与交易数据还可能要求闭域云或本地部署;PLaMo 3.0 Fin以8B规模面向这类场景发布,权重在Hugging Face上以PLaMo社区许可证开放。 基座模型PLaMo 3 NICT 8B Base来自PFN与信息通信研究机构(NICT)的共同研究,本身不含金融领域的继续训练。 在japanese-lm-fin-harness的五个任务上,基座模型平均48.0,继续预训练后50.1,监督微调后56.0,直接偏好优化后为55.8。
模型先输出日语推理过程再给出回答,并能调用Web搜索、计算、数据库查询等外部工具,使公式与数值的来源可以被使用者核对。 训练流程是在基座模型上依次施加金融语料继续预训练、监督微调与直接偏好优化,其中监督微调同时学习指令跟随、日语推理过程和工具调用。 演示环境提供约90个工具,但模型最初只拿到search_tools,由它检索出所需工具后再调用;监督微调阶段用Gemma 4 31B生成虚构工具与逐步的工具检索、调用、回答数据。
启示与展望
已展示的范围是日本金融领域的知识题、金融题材多轮对话和PFN构建的日语金融工具利用基准;工具利用基准的评测基座与数据未公开,比较模型数值取自同一环境下的测量。作者建议在工具候选较少的设置下使用,或像演示那样先检索再缩小一次传入的工具集合。
工具候选很多时,模型可能迟迟定不下用哪个工具,推理拖长直至上下文上限而无法作答,工具利用基准540个样本中有5至10个如此;8B规模的知识有限,未知事项仍可能给出貌似合理的错误回答,作者建议在事实与数值重要的用途中先用工具取回依据并由人确认。
