0.8B参数也能当随身助手:BotPsy在六项工具调用基准中五项超过2.5倍大的Qwen3.5-2B-Think
核心概要
Tether AI Research发布BotPsy,一个基于Qwen3.5-0.8B、面向函数调用与智能体工作流的0.8B参数模型,可在设备端运行。它经监督微调、多教师在线蒸馏和两轮强化学习训练,在BFCL v4上从基座的23.4升到44.0,在τ-bench上从23.2升到51.5,并在六项工具调用与智能体基准中的五项超过参数量为其2.5倍的Qwen3.5-2B-Think,仅在Claw-Eval上落后(46.5对48.9)。模型仍会出错,定位为低到中等难度任务,不适用于高风险场景。
深度剖析
一个不到十亿参数的模型被专门训练成会调用工具的随身助手,在设备本地完成搜索、日程、邮件、设备控制等任务,而不必把请求送到云端大模型。 此前的路线依赖前沿云端大模型,运营成本高且会波动,第三方提供方还可能随时修改、拒绝或下线访问;而许多日常任务并不需要前沿级智能。 在六项工具调用与智能体基准上,BotPsy-0.8B平均45.0,基座Qwen3.5-0.8B-Think为24.7,参数量2.5倍的Qwen3.5-2B-Think为38.8,1.2B级的LFM2.5-1.2B-Think为25.3、MiniCPM5-1B-Think为22.7。
训练分四段接力:先学示范,再向更大的专门教师模型学,最后用可验证的规则奖励做两轮强化学习。 监督微调能提升工具调用,但会把通用知识和指令遵循压到基座以下,后续阶段要把这两项找回来。 监督微调、多教师在线蒸馏与两轮强化学习依次进行,每段都以上一段的最佳检查点为起点;蒸馏阶段用三个各自经强化学习训练的Qwen3.5-4B教师,按提示路由,以逐词元反向KL散度作为信号。
工具调用能力提升的同时,通用知识与指令遵循没有付出代价,反而高于基座。 基座Qwen3.5-0.8B-Think的IFEval为59.7、IFBench为22.0、GPQA Diamond为33.2、MMLU-Pro为41.6。 BotPsy对应为IFEval 90.8、IFBench 55.9、GPQA Diamond 38.1、MMLU-Pro 48.9,在这四项上均高于所测的1.2B及以下其他模型;但Qwen3.5-2B-Think的知识分数仍明显更高(59.9与65.5)。
启示与展望
评测覆盖六项工具调用与智能体基准、两项知识基准、三项指令遵循基准、多轮对话与按应用分组的场景,所有模型均在思考模式下评测,使用外部 API 的基准于2026年11月3日运行;模型主要用英语训练和测试,定位为低到中等难度的研究、教育用途。
开放域检索仍是弱项,BrowseComp-Plus上4.5虽为五模型最高但绝对值很低,复杂信息检索场景仅15分;BFCL的网页搜索(14.0)与记忆(16.3)落后于Qwen3.5-2B-Think;指令遵循随轮次累积而下降,印地语24.5与俄语57.6明显低于其他语言;τ³-bench银行子集所有模型均低于5分。
