# 尘渊文化 robots.txt - SEO与AI优化配置
# 更新时间: 2025-02-02

# =====================================================
# 通用爬虫配置
# =====================================================
User-agent: *
Allow: /
Crawl-delay: 1

# 站点地图
Sitemap: https://www.cycu.top/sitemap.xml

# =====================================================
# AI/LLM爬虫特殊配置
# =====================================================
User-agent: ChatGPT-User
Allow: /llm.txt
Allow: /ai-index.json
Allow: /ai-crawler.html
Allow: /ai-feed.xml
Allow: /index.html
Allow: /ai-learn.html
Allow: /knowledge.html
Allow: /lab.html
Allow: /frontier.html

User-agent: GPTBot
Allow: /llm.txt
Allow: /ai-index.json
Allow: /ai-crawler.html
Allow: /ai-feed.xml
Allow: /index.html
Allow: /ai-learn.html
Allow: /knowledge.html
Allow: /lab.html
Allow: /frontier.html

User-agent: Claude-Web
Allow: /llm.txt
Allow: /ai-index.json
Allow: /ai-crawler.html
Allow: /ai-feed.xml

User-agent: ClaudeBot
Allow: /llm.txt
Allow: /ai-index.json
Allow: /ai-crawler.html
Allow: /ai-feed.xml

User-agent: PerplexityBot
Allow: /llm.txt
Allow: /ai-index.json
Allow: /ai-crawler.html
Allow: /ai-feed.xml

User-agent: anthropic-ai
Allow: /llm.txt
Allow: /ai-index.json
Allow: /ai-crawler.html
Allow: /ai-feed.xml

# =====================================================
# 搜索引擎爬虫优化
# =====================================================
User-agent: Googlebot
Allow: /
Crawl-delay: 0.5

User-agent: Bingbot
Allow: /
Crawl-delay: 1

User-agent: Baiduspider
Allow: /
Crawl-delay: 1

# =====================================================
# 禁止访问的目录
# =====================================================
User-agent: *
Disallow: /.git/
Disallow: /.github/
Disallow: /node_modules/
Disallow: /tmp/
Disallow: /temp/
Disallow: /*.json$
Disallow: /*.xml$

# 但允许AI相关文件
Allow: /ai-index.json
Allow: /manifest.json
Allow: /sitemap.xml
Allow: /ai-feed.xml

# =====================================================
# AI资源推荐路径
# =====================================================
# 主要AI友好内容:
# - https://www.cycu.top/llm.txt (纯文本知识库)
# - https://www.cycu.top/ai-index.json (结构化数据)
# - https://www.cycu.top/ai-crawler.html (AI爬虫专用页面)
# - https://www.cycu.top/ai-feed.xml (RSS/Atom Feed)
# - https://www.cycu.top/sitemap.xml (完整站点地图)