2026 年值得关注的所有 AI 爬虫
AI 爬虫抓不到你的页面，你就不可能被引用——内容再好也没用。这是我们审计里最常见的 GEO 硬伤，罪魁祸首通常是某人开了 CDN 的"拦截 AI 机器人"预设然后忘了。
按公司分的爬虫清单
先分清三种角色：训练爬虫为未来的模型收集数据；搜索索引爬虫构建检索索引；用户代抓是用户提问时的实时抓取。做 GEO，三种一般都要放行。
| User-Agent | 公司 | 角色 | 对 GEO 的意义 |
|---|---|---|---|
GPTBot | OpenAI | 训练 | 决定未来 GPT 模型对你品牌的记忆 |
OAI-SearchBot | OpenAI | 搜索索引 | 驱动 ChatGPT 搜索结果与链接引用 |
ChatGPT-User | OpenAI | 用户代抓 | ChatGPT 为回答实时访问你的页面 |
ClaudeBot | Anthropic | 训练 | Claude 模型对你网站的知识 |
Claude-User | Anthropic | 用户代抓 | Claude 联网搜索时的实时抓取 |
anthropic-ai | Anthropic | 旧版/训练 | 日志里仍会出现的老 UA，保险起见放行 |
PerplexityBot | Perplexity | 搜索索引 | Perplexity 自建索引，答案重度引用于此 |
Perplexity-User | Perplexity | 用户代抓 | Perplexity 回答过程中的实时检索 |
Google-Extended | 训练（Gemini） | 只控制 Gemini 训练用途，不影响 Google 搜索排名 | |
GoogleOther | 研发抓取 | Google 各产品杂项抓取，含 AI 实验 | |
Googlebot | 搜索索引 | AI Overviews 基于普通搜索索引——常规 SEO 通道就是你的 GEO 通道 | |
Bingbot | Microsoft | 搜索索引 | Copilot 的答案骑在 Bing 索引上 |
Applebot-Extended | Apple | 训练 | Apple Intelligence 训练许可 |
Amazonbot | Amazon | 训练/索引 | Alexa 与 Amazon AI 答案 |
meta-externalagent | Meta | 训练/索引 | Llama 模型与 Meta AI 答案 |
cohere-ai | Cohere | 训练 | 基于 Cohere 的企业 RAG 部署 |
Bytespider | 字节跳动 | 训练 | 豆包等中文 AI；在意中文市场就别挡它 |
DuckAssistBot | DuckDuckGo | 搜索/答案 | DuckAssist AI 答案 |
robots.txt：全部放行的写法
复制即用（也可在免费工具里一键复制）：
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: Amazonbot
Allow: /
User-agent: meta-externalagent
Allow: /
User-agent: Bytespider
Allow: /三个静默把你挡死的坑
- CDN 机器人防护。Cloudflare 们都有一键"拦截 AI 抓取"的开关。robots.txt 写着 Allow，防火墙返回 403，你永远不会察觉。要查 WAF 规则，不能只看 robots.txt。
- 纯 JS 渲染的内容。大多数 AI 爬虫不执行 JavaScript。如果你的产品页在 React 水合前是个空 div，AI 看到的就是空 div。想被引用的内容必须服务端渲染。
- 用日志验证，别靠感觉。grep 你的访问日志找上面这些 UA。看到
GPTBot抓了你的价格页，才是"AI 读得到你"的铁证。UpGeo 的爬虫追踪就是把这件事自动化。
有该屏蔽的时候吗
靠内容变现的媒体可以合理地挡训练爬虫、留搜索和代抓爬虫（Google-Extended 就是为此存在的——挡它不影响搜索排名）。但如果你的目标是"买家问 AI 时被推荐"，屏蔽就是自断经脉：你亲手把自己从答案里删掉了。
不确定 AI 到底能不能抓到你？
UpGeo 审计会检查爬虫可达性、JS 渲染与服务器日志；增长方案持续追踪每一次 AI 爬虫来访。
检查我的 AI 可达性