🤖
robots.txt生成
生成robots.txt规则
如何使用robots.txt生成
- 按提示添加规则：对哪个蜘蛛（或全部 *）允许／禁止哪些路径
- 填网站地图（sitemap）地址
- 可设置爬取延迟（Crawl-delay）
- 生成 robots.txt 内容并放到网站根目录
robots.txt生成功能说明
- 可视化生成规范的 robots.txt 规则
- 支持多 User-agent、Allow／Disallow、Sitemap
- 附写法说明
注意事项
- robots.txt 只是君子协定，恶意爬虫可以无视，敏感目录别只靠它保护
- 规则按前缀匹配，写错路径可能误屏蔽整站，上线后用站长工具检测
- 想让某 URL 完全不收录，更可靠的是 noindex 或加鉴权