跳到主要内容
返回时间线
arXiv来源发表:

边缘AI开发不再由人写死流程:智能体自己选下一步,准确率最高升26%、资源降28%

核心概要

边缘AI应用开发长期依赖开发者手工编排固定智能体流程,难以应对异构数据模态与多样任务管线。SE2把开发拆成检索、推理、编码、测试四种原子操作,由协调智能体依据当前上下文自主选择下一步,并通过移动端运行时反馈与强化微调持续进化。在IoTBench基准和三个多模态边缘AI应用上,其合成程序相比八个先进基线最高提升26%准确率、降低28%资源消耗。

Source-provided article image: A Self-Exploring and Self-Evolving Paradigm for Adaptive Edge AI Development
arXiv

深度剖析

边缘AI应用的智能体开发从“人预先写死工作流”转为“智能体按上下文自己决定下一步做什么”。 此前的AutoIOT、AutoEmbed、IoTPilot等系统采用预定义流程,依次执行知识检索、任务分解、代码生成与调试,大模型只充当按固定指令流写代码的生成器。 在XRF55数据集的人体活动识别任务上重复100次并随机移除部分模态后,这些固定流程方法合成的程序只有32%能成功执行,仅8%达到与手工程序相当的性能。

系统把开发过程拆成检索、推理、编码、测试四种原子操作,由协调智能体维护全局视图并调度四个专职智能体。 单一智能体承担全部操作会累积过长上下文,导致重复执行同一动作而无法终止;分层协调者—执行者结构把认知任务分块,降低长上下文推理复杂度。 在Jetson Nano上合成多模态人体活动识别程序的100次试验中,单智能体方案只有8次成功,与未经改造的现有智能体相当。

目标设备上的运行时语义被合成为探针程序采集,作为可执行反馈回传给智能体,用于调整代码与决策。 即使给出详细设备规格,大模型仍缺少真实移动设备的运行时反馈,生成的代码常忽略CPU架构、环境兼容性与内存分配等约束。 在人体活动识别消融中,去掉完整反馈后成功率下降66%,生成可执行代码所需时间翻倍;用通用监控工具psutil替代探针时,合成时间增加约1.5倍。

协调者与原子智能体通过集成式互评强化微调持续更新,程序员另由自反思评分器按代码质量、性能与算法贴合度打分。 直接依赖原始大模型做决策无法跟上不断出现的边缘AI知识与任务,而检索库的及时维护又需要大量领域专家投入。 在IoTBench扩充后的200个编码任务上(20%用于调优、80%用于测试),SE2平均代码相似度比基线高11%,pass@1高17%,代码质量平均高1.6分。

启示与展望

演示范围是IoTBench扩充基准与人体活动识别、视觉语言理解、自动驾驶目标检测三个多模态边缘AI应用,部署设备包括Raspberry Pi、Jetson Nano和一台16GB显存的边缘笔记本;用户研究为10名专家与10名非专家。

单智能体可行性试验的成功率只有8/100,说明自适应工作流本身并不保证成功;作者也指出大模型在多步推理中仍可能产生幻觉,并依赖Reflexion类反思机制缓解,同时承认更大规模、更多样的用户队列才能更全面评估整体与长期表现。