测试robots.txt

  • A+
所属分类:网站建设

  写好robots.txt后,最好进行一下测试,以免robots.txt禁止了一些不必要的页面。google已经给我们提供了现成的工具:抓取工具的权限和像 Googlebot 一样抓取。要想使用这两个工具,你先要在google网站管理员工具中添加相关网站的地址,并完成网站验证。由于我在几次测试中使用Googlebot 一样抓取工具时显示结果并不是很准确,所以我推荐使用前者:抓取工具的权限

  进入网站配置--抓取工具的权限,进入页面后在页面上方的框中填入你的robots.txt内容,例如我的填入如下内容:

在网址栏中填入你要测试的网址:

  完成以上设置后,点击测试,就能很快把以上测试网址能不能被搜索引擎收录的结果显示出来。

  google网站管理员工具:https://www.google.com/webmasters/tools/home?hl=zh-cn

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:1   其中:访客  1   博主  0

    • avatar 快乐黑马 0

      学习了
      百度权限要限制一下了