hatamoto.dev来源发表:
AI爬虫不再隐形：Hatamoto把抓取记在服务器上，30天识别出16种智能体
核心概要
Hatamoto发布一套自带AI爬虫统计的内容管理系统，以单个Go二进制与Postgres运行，无需PHP、Node或插件。Google Analytics看不到不执行JavaScript的AI爬虫，Hatamoto改在服务器端记录每次抓取，并按运营商公布的IP段与反向DNS核对真伪。其官网近30天数据显示，19种已知智能体中16种有抓取记录，同时标出3301次冒充ClaudeBot、GPTBot等的伪造抓取。
深度剖析
内容管理系统开始把AI爬虫的访问当作可测量对象，而不只统计人类访客。 常规分析脚本依赖JavaScript，而AI爬虫不执行JavaScript，因此脚本统计里看不到它们。 Hatamoto官网近30天的两个统计界面显示，19种已知智能体中有16种产生抓取，共46191次AI抓取。
统计在服务器端完成，每次抓取都核对来源身份，并按抓取目的分组。 核对依据是各运营商公布的IP段与反向DNS，覆盖九家运营商。 使用伪造用户代理的机器人被标记并排除在总数之外，同一统计期内标出3301次冒充ClaudeBot、GPTBot等的伪造抓取。
抓取记录与具体页面绑定，编辑器中可看到正在编辑的文章被哪些智能体抓取过及首次时间。 同一份数据还给出11546次返回给AI爬虫的错误响应并列出失败路径，以及863个尚未被任何AI抓取的已发布页面。 这些数字来自同一线上站点近30天的统计界面。
启示与展望
已展示的范围是一个线上Hatamoto站点近30天的服务器端抓取统计，面向需要了解AI爬虫如何访问自家页面的内容站点运营者与开发者。
真伪判定依赖运营商公布的IP段与反向DNS，材料只说明覆盖九家运营商；所给数字均来自单一站点近30天，未给出其他站点或更长周期的结果。