跳到主要内容
返回时间线
Hugging Face - Blog来源发表:

苹果平台上的本地模型有了统一入口:换一行 import,同一段会话代码就能跑系统模型与开源权重

核心概要

AnyLanguageModel 发布 1.0,把苹果 Foundation Models 框架的接口做成可替换层,应用只需把 import 从 FoundationModels 换成 AnyLanguageModel,同一段会话代码即可调用系统模型、经 llama.cpp、MLX 和 Core ML 运行的开源权重模型,以及多家托管服务。此前开发者想用本地模型,往往要自己处理多种推理提供方带来的额外复杂度。一年间该库补齐了各提供方一致的工具调用与引导式生成,并新增图像输入和 Linux 运行支持。

Source-provided article image: AnyLanguageModel 1.0: One Year of Local Models on Apple Platforms
Hugging Face

深度剖析

应用选择模型的方式从绑定单一提供方,变成在苹果 Foundation Models 接口下自由替换模型来源。 此前开发者对本地模型感兴趣却不确定如何起步,也不愿承担同时支持多个推理提供方的额外复杂度。 改动落在 import 语句上:把 FoundationModels 换成 AnyLanguageModel 后,同一段会话代码可分别对接系统模型、llama.cpp、MLX、Core ML 上的开源权重模型以及托管提供方。

本地与托管两类模型现在共享同一套能力,包括工具调用、引导式生成和图像输入。 这些能力过去并非在所有提供方上一致可用。 工具调用与引导式生成覆盖每个提供方,引导式生成支持嵌套的 @Generable 类型及其数组;图像可随提示一起附加,系统模型在 iOS、macOS 和 visionOS 27 上同样支持。

托管侧接入范围扩大,推理内容也进入会话记录,切换提供方时无法重放的推理块会被自动省略。 此前托管模型的支持面较窄,跨提供方切换时推理内容没有统一的处理方式。 支持范围包括 OpenAI 的 Chat Completions 与 Responses、Open Responses、Anthropic Messages(含自适应思考与 effort 选项)、Gemini、Ollama、OS 27 上的 Private Cloud Compute,以及经自定义 base URL 接入的 Hugging Face Inference Providers 等兼容端点。

启示与展望

报道覆盖的是 AnyLanguageModel 1.0 及其配套 swift-huggingface 1.0、swift-xet 1.0 的发布内容,读者对象是苹果平台上的应用开发者。文中给出的模型体积与硬件门槛属于示例:Gemma 4 E2B 在 Q4_0 下约 3.4 GB,LFM2.5 2.6B 在 Q4_K_M 下约 1.7 GB,两者可放在 iPhone 上;Qwen3.8 27B 的 MLX 版本约 16 GB,需要 32 GB 内存以上的 Mac。发布方表示下一步将带来“做决策的模型”和“听的模型”。

发布方未给出各提供方上工具调用与引导式生成的一致性的量化对比,能力描述以功能清单形式呈现。托管模型经 Inference Providers 使用时,超出设备能力的模型依赖外部端点,文中以 GLM-5.3 在 BF16 下约 1.5 TB 为例说明这一分界。API 密钥改为由闭包提供,以便获取短期令牌,但何时让用户自带密钥、何时经代理转发,文中指向 README 说明。