HarnessAgent 把图像输入接进全部适配器:同一套消息格式,十个编码智能体都能看图
核心概要
AI SDK 的 HarnessAgent 层现在在所有 harness 适配器上接受图像输入,调用方可以在标准 AI SDK 消息格式中把图像与文本并列传入,内容数组里混合文本部分和文件部分。图像由各 harness 底层视觉模型处理,覆盖 Claude Code、Cline、Codex、Cursor、Deep Agents、fx、GitHub Copilot、Grok Build、OpenCode 与 Pi 十个适配器。此前这一层只接受文本输入,图像能力不在统一接口之内。
深度剖析
HarnessAgent 这一层现在能接收图像,调用方不必为每个编码智能体单独拼接图像通道。 此前 HarnessAgent 只接受文本输入,图像输入不在这一层的统一接口之内。 图像输入在全部可用适配器上受支持,包括 Claude Code、Cline、Codex、Cursor、Deep Agents、fx、GitHub Copilot、Grok Build、OpenCode 和 Pi。
图像以标准 AI SDK 消息格式传入,与文本并列放在同一个内容数组里。 调用方使用内容数组,把文本部分和文件部分混在一起,文件部分携带图像媒体类型与图像数据。 示例用 Codex harness 发起一次生成请求,消息内容包含一段文本和一张以 image/png 媒体类型读入的图片,要求用一句话描述该图像。
启示与展望
已展示的范围是 HarnessAgent 层在 Claude Code、Cline、Codex、Cursor、Deep Agents、fx、GitHub Copilot、Grok Build、OpenCode 和 Pi 这些适配器上接受图像输入,示例使用 Codex harness 与 Vercel 网络沙箱会话。
图像由各 harness 底层视觉模型处理,因此识别效果取决于所选 harness 的模型,而非 HarnessAgent 层本身;材料未给出跨适配器的图像任务对比。
