Robots.txt Generator
Robots.txt file generator
预设模板
基本设置
添加 User-agent 规则块
Robots.txt 生成器使用说明
主要功能
- 多 User-agent - 为不同搜索引擎爬虫设置不同规则
- 预设模板 - 一键应用常见 robots.txt 配置
- 批量添加 - 快速导入多条规则
- 语法校验 - 自动检测路径格式等常见问题
- 一键导出 - 复制内容或下载 robots.txt 文件
常见指令说明
- User-agent - 指定规则适用的爬虫名称
- Allow - 允许爬虫访问的路径
- Disallow - 禁止爬虫访问的路径
- Sitemap - 指定站点地图的位置
- Crawl-delay - 爬虫请求间隔（秒）