RTX Spark 周五开卖:74B 智能体模型压进 24GB 显存,本地也能跑
核心概要
NVIDIA 宣布 RTX Spark 笔记本 10 月 16 日上市,配套的 Nemotron 3.5 Bolt 74B 以 2 比特量化装进 24GB 显存,让本地智能体在单机上运行。
NVIDIA 宣布 RTX Spark 笔记本 10 月 16 日上市,配套的 Nemotron 3.5 Bolt 74B 以 2 比特量化装进 24GB 显存,让本地智能体在单机上运行。
PC 上的本地智能体有了统一的起步入口,用户第一次开机就会看到 Getting Started 界面,用来选择并安装智能体应用。 此前本地大模型下载量已高于去年全年五倍,但智能体仍要用户自行拼装模型、推理引擎与安全设置。 NVIDIA 与微软在发布前联合生态伙伴推出软件更新,GitHub Copilot、Hermes、OpenClaw、Perplexity、Pi 和 WorkBuddy 会推荐适配 RTX Spark 的本地模型与配置,并在几次点击内完成设置。
本地智能体与云端模型之间的取舍由路由器自动完成,用户可以在少用云端的同时接近纯云端的效果。 过去用户要么全用本地模型牺牲前沿能力,要么全用云端模型承担调用成本。 NVIDIA Switchyard 是一个开源模型路由库,让智能体在本地与云端大语言模型之间分配查询;Hermes 将在 10 月晚些时候加入 Switchyard,Perplexity Computer 和 GitHub Copilot 已集成各自的路由方案。
面向本地智能体的 74B 参数模型被压缩到 24GB 显存,同时保留质量。 同内存占用的模型此前要么是稠密模型、速度较慢,要么是混合专家模型、智能程度较低。 Nemotron 3.5 Bolt 74B-A9B 24GB 是 74B 参数、9B 激活参数的混合专家模型,用 2 比特量化和量化感知训练压缩,10 月 15 日发布,可通过 llama.cpp、vLLM、Ollama、Unsloth 和 LM Studio 运行,训练数据、权重和配方全部开源。
报道范围是 NVIDIA 与微软及生态伙伴在 RTX Spark 上市前公布的软件更新,面向在 PC 上运行本地智能体的开发者与创作者。发布方给出的下一步是 10 月 16 日笔记本上市,以及 10 月 15 日 Nemotron 3.5 Bolt 74B 模型发布。
发布方称 Nemotron 3.5 Bolt 74B 比多数流行稠密模型更快、比同内存占用的混合专家模型更聪明,但未给出独立测试条件。Adobe 应用最高 2 倍性能提升、DLSS 5 模型 2 倍加速与最高 1.4 倍帧率提升均为厂商给出的对比,实际效果取决于具体应用与硬件。