跳到主要内容
返回时间线
arXiv来源发表:

神经网络调参不再整脚本重写:三个LLM角色只改指定模块,MNIST准确率从80%升到93%

核心概要

多智能体大语言模型框架把神经网络调参限定在指定功能模块上,网络整体结构保持不变。此前这类关键组件多由人工选择,且已有智能体系统通常优化整个机器学习脚本或从文本描述搭建网络。框架由分析师、编码员和记录员三个角色组成,配合沙箱执行环境与实验日志,在五个任务上均优于基线:MNIST分类准确率提高13个百分点,Digits提高6个百分点,广义非线性薛定谔方程单孤子问题的相对误差降低约2491倍,守恒误差在选定运行中降低约325倍,Kuramoto–Sivashinsky问题的质量漂移降低14倍。

Source-provided article image: A Multi-Agent LLM System for Automated Tuning of Specialized Neural Network Models
Figure 1 · arXiv

深度剖析

同一套多智能体框架可以只改动神经网络中预先指定的功能模块,而不重建整个网络,从而把调参过程从人工选择变成可复现的自动搜索。 此前这类关键组件(输入输出表示、解码方式、损失项配比)通常由专家针对每个问题手工选择,没有通用选择规则;已有智能体系统要么优化整个机器学习脚本,要么从文本描述构建网络。 框架在五个任务上运行,覆盖脉冲神经网络分类与物理信息神经网络求解两类不同信息表示,每个任务都与同一运行内的恒等映射基线比较。

框架把假设生成、代码实现和实验记录拆成三个大语言模型角色,并用沙箱和外部日志闭合迭代循环。 分析师根据任务提示和当前实验日志提出一个假设并写成固定结构的技术规格,编码员把规格翻译成满足软件契约的Python代码,记录员把规格、代码和评估结果整理成结构化JSON记录。 生成的模块先经短功能测试再评估,运行错误返回编码员修正,最多10次尝试;成功记录的指标写入日志,作为下一轮分析师的输入。

在MNIST解码器搜索中,详细提示把弱分析模型的准确率从基线水平提升到接近强模型,但覆盖图这一组件对弱模型是必需的。 简单提示下,Perplexity Sonar和Qwen3-30B-A3B-Instruct-2507在十次完整运行中各250个解码器都没有超过79.88%的基线;详细提示下Sonar十次全部超过90%,最高92.70%,Qwen最高89.16%但未过90%。 每个配置运行10次完整搜索,配对比较使用同一训练好的脉冲网络实例和相同输出脉冲数据,双侧精确Wilcoxon符号秩检验在Holm校正后六项检验均显著。

启示与展望

框架面向的是架构和训练流程已固定、只允许改动指定功能模块的调参场景,使用者需提供任务提示、软件契约、目标指标和基线。已验证范围包括MNIST与scikit-learn digits上的脉冲网络解码器,以及广义非线性薛定谔方程和Kuramoto–Sivashinsky方程的边值问题。作者提出的后续方向包括提高物理信息神经网络问题复杂度(如双孤子相互作用)、联合调优多个模块,以及构建考虑神经形态系统约束的模型。

单孤子问题存在解析解,智能体可以把已知孤子结构嵌入表示与重建,因此该问题的误差下降不能等同于在无解析解问题上的搜索能力。孤子加高斯扰动问题的最昂贵配置只报告单种子结果,十次重训只覆盖守恒误差而不含联合判据。Kuramoto–Sivashinsky问题只评估了Claude Opus 4.6一个分析模型,未做模型间比较。搜索空间限于固定模块目录,实验日志为按时间排列的JSON记录,不维护假设依赖图。两个分析模型通过商业API访问,其可用性与定价可能变化。