如何撰写robots.txt

  • A+
所属分类:网站建设

  搜索引擎每次访问你的站点时会最先访问网站根目录下的robots.txt文件来获取信息,看看那些目录可以访问,那些目录禁止访问。并且一个好的robots.txt可以提高网站在搜索引擎中的排名。对与wordpress来说,最好把wordpress固定连接方式修改一下,因为?p的格式对搜索引擎并不友好。查看wordpress修改固定链接方法

   下面是我的wordpress站点使用的robots.txt文件

User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /feed/
Disallow: /category/*/*
Disallow: /page/*
Disallow: /comments/feed
Disallow: */trackback
Disallow: /*?*
Disallow: /*?

Sitemap: http://www.duoluodeyu.com/sitemap.xml

   通过以上robots.txt控制,可以禁止搜索引擎收录后台管理页面、插件、和主题页面。同时也可以禁止搜索引擎收录类似与/category/it/page/5和page/4之类的页面,是搜索引擎收录结果清晰,使每一位访客搜索到的结果尽量是文章内容页。

  以上代码主要针对我的站点来说的,如果你想写一个更符合你的站点的robots.txt请参考一下robots.txt撰写资料:

  URL规则:

  另外,为了避免以外,在你添加新的或者修改robots.txt后最好使用google网站管理员工具https://www.google.com/webmasters/tools/home?hl=zh-cn中网站设置-抓取工具的权限 工具来测试自己的robots.txt是否有效,是否合适。具体查看:测试robots.txt

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: