可视化构建符合标准的 robots.txt 文件,实时语法高亮预览。
使用 * 匹配所有爬虫,或输入特定爬虫名称。
*
爬取延迟,单位为秒。
禁止爬虫访问的路径,每行一个。
允许爬虫访问的路径,覆盖对应的禁止规则。
告诉爬虫站点地图的位置。