AIEO-Readiness 爬虫

AIEO-Readiness 检查 AI 爬虫和智能体能否访问并读懂一个网站。只有当登录的 AIEO.ee 用户对自己项目的域名发起 AI 可读性检查时才会运行，没有任何定时运行。

如何识别

每个请求都带有下面的 User-Agent。在 robots.txt 中请匹配产品标识 AIEO-Readiness。

AIEO-Readiness/1.0 (+https://aieo.ee/bot)

一次检查会请求什么

1. 先请求 robots.txt。如果无法访问（服务器错误或超时），不会再请求任何内容。
2. 首页，一次按 HTML 请求，一次请求 Markdown 版本（Accept: text/markdown）。
3. robots.txt 中声明的 sitemap（仅限同一主机），没有声明时请求 /sitemap.xml。
4. /llms.txt 和 /llms-full.txt。
5. 智能体发现文件：/.well-known/ai-plugin.json、/openapi.json、/.well-known/api-catalog、/.well-known/oauth-protected-resource、/.well-known/oauth-authorization-server、/.well-known/ai-catalog.json、/.well-known/ard.json、/.well-known/ucp 和 /auth.md。
6. 仅当网站有声明时：同一主机上的 Markdown 副本、SKILL.md 和 MCP 服务卡片。
7. 两次 DNS TXT 查询（_agent.<主机> 和 _index._agents.<主机>）。
8. 网站 llms.txt 中列出的最多 3 个链接，每个只请求一次，用来确认能否打开。这些链接可能在其他主机上，请求前会先检查对方的 robots.txt。

行为规则

• 遵守 robots.txt：有 AIEO-Readiness 组时按该组，否则按 * 组。被禁止的路径不会请求。
• 只发 GET 请求，只用 80 和 443 端口。不带 Cookie，不登录，不提交表单，不执行 JavaScript。
• 每次检查最多 80 个请求（含重定向），总时长不超过 90 秒。
• 所有用户合计，每 10 分钟对被检查网站最多 60 个请求，对其他任一主机最多 30 个。10 分钟内重复检查同一网站会直接复用上次结果。
• 拒绝访问私有网络和内网地址。

如何屏蔽

在 robots.txt 中加入下面的规则。发起检查的用户会看到你的网站禁止了该爬虫。

User-agent: AIEO-Readiness
Disallow: /

对这个爬虫有疑问或遇到问题，请联系本部署的运营者。