免费 llms.txt 生成器

1 · 描述你的网站

网站 / 品牌名 一句话简介 ——你是做什么的,一句话 补充介绍 ——给 AI 模型的 2-4 句背景(可选) 核心页面 ——每行一条:标题 | 网址 | 备注(备注可省) 次要页面 ——同样格式(可选)

上传到网站根目录,确保 https://你的域名/llms.txt 可访问。想覆盖更深内容,可以再发一份完整版 llms-full.txt——攻略里有写法。

2 · 放行 AI 爬虫

如果 robots.txt 挡住了 AI 爬虫(很多 CDN 预设都会),内容再好也不会被引用。把这段追加到你的 robots.txt 末尾,放行所有主流 AI 爬虫——每个爬虫是干嘛的见完整清单。

# --- AI crawlers: welcome (added by upgeo.ai) ---
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: GoogleOther
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: cohere-ai
Allow: /

User-agent: meta-externalagent
Allow: /

User-agent: Bytespider
Allow: /
# --- end AI crawlers ---

追加到现有 robots.txt 末尾即可;保留原来的 User-agent: * 段落,普通搜索引擎的规则不受影响。

3 · 想把整条流水线交给我们?

llms.txt 和爬虫放行只是第一步。UpGeo 还会部署结构化数据、每日自动产出可引用内容、即时提交 Google/Bing/百度收录,并追踪哪些 AI 爬虫在读你。