跳到主要内容
返回时间线
arXiv来源发表:

云端写程序、端侧小模型答问:AppWorld 成功率最高提升 14.9 个百分点,用户数据不出设备

核心概要

云端模型先写好程序、把运行时才出现的用户数据问题交给端侧小模型回答,这种分工在 AppWorld 上让纯代码智能体的成功率在全部六种骨干模型与测试划分组合中都有提升,最高提升 14.9 个百分点,同时用户数据留在设备上。

Source-provided article image: Should SLMs be in the Driver's Seat? A Study of Local Models as Interpreters in Cloud-Written Agent Programs
arXiv

深度剖析

智能体执行用户任务时,可以把“写程序”和“读用户数据”拆给两台机器:云端大模型只负责写程序,端侧小模型只负责回答程序运行中冒出来的有限问题。 此前两条路各有代价:云端大模型驱动的智能体最准,但要读用户的私有数据;小到能跑在边缘设备上的模型能让数据留在本地,结果却差得多。 在 AppWorld 上,这种分工让纯代码智能体的成功率在全部六种骨干模型与测试划分组合中都有提升,最高提升 14.9 个百分点,并补回了与云端 ReAct 循环之间差距的相当一部分。

程序在还没看到任何数据时就写好了,所以一旦某一步需要理解只在运行时才出现的内容,纯代码方案就会失败。 中间架构的做法是让云端写好的程序把针对用户数据的有限问题,通过一次普通函数调用交给本地小模型回答。 评估在 AppWorld 上进行,覆盖六种骨干模型与测试划分的组合,用户数据始终留在设备上。

启示与展望

报道依据的是摘要级材料,覆盖范围限于 AppWorld 上的评估,涉及六种骨干模型与测试划分组合,以及纯代码智能体与云端 ReAct 循环的对比。适合关注智能体架构与端侧部署的研究人员和工程师阅读。

提升幅度以“最高 14.9 个百分点”表述,六种组合中其余组合的具体数值未在材料中给出;与云端 ReAct 循环的差距只是被补回“相当一部分”,并未完全消除。