🎁 买Hostinger主机,免费获得此源码 | zfuye.org
Robots.txt 在线生成

Robots.txt 配置

可视化构建符合标准的 robots.txt 文件,实时语法高亮预览。

SEO 优化 完全禁止 完全开放 仅允许谷歌 自定义
爬虫规则 必填

使用 * 匹配所有爬虫,或输入特定爬虫名称。

爬取延迟,单位为秒。

禁止路径 (Disallow)

禁止爬虫访问的路径,每行一个。

允许路径 (Allow)

允许爬虫访问的路径,覆盖对应的禁止规则。

站点地图 (Sitemap)

告诉爬虫站点地图的位置。

预览

# robots.txt 配置预览 User-agent: * Disallow: /admin/ Disallow: /private/ Allow: /public/ Sitemap: https://example.com/sitemap.xml
生成的内容遵循 robots.txt 标准协议。 就绪