搜索引擎每次访问你的站点时会最先访问网站根目录下的robots.txt文件来获取信息，看看那些目录可以访问，那些目录禁止访问。并且一个好的robots.txt可以提高网站在搜索引擎中的排名。对与wordpress来说，最好把wordpress固定连接方式修改一下，因为？p的格式对搜索引擎并不友好。查看wordpress修改固定链接方法文章源自堕落的鱼-https://www.duoluodeyu.com/389.html
下面是我的wordpress站点使用的robots.txt文件文章源自堕落的鱼-https://www.duoluodeyu.com/389.html
文章源自堕落的鱼-https://www.duoluodeyu.com/389.html
User-agent: * Disallow: /wp-admin Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-includes Disallow: /feed/ Disallow: /category/*/* Disallow: /page/* Disallow: /comments/feed Disallow: */trackback Disallow: /*?* Disallow: /*? Sitemap: http://www.duoluodeyu.com/sitemap.xml
通过以上robots.txt控制，可以禁止搜索引擎收录后台管理页面、插件、和主题页面。同时也可以禁止搜索引擎收录类似与/category/it/page/5和page/4之类的页面，是搜索引擎收录结果清晰，使每一位访客搜索到的结果尽量是文章内容页。文章源自堕落的鱼-https://www.duoluodeyu.com/389.html
以上代码主要针对我的站点来说的，如果你想写一个更符合你的站点的robots.txt请参考一下robots.txt撰写资料：文章源自堕落的鱼-https://www.duoluodeyu.com/389.html
URL规则：文章源自堕落的鱼-https://www.duoluodeyu.com/389.html
文章源自堕落的鱼-https://www.duoluodeyu.com/389.html
另外，为了避免以外，在你添加新的或者修改robots.txt后最好使用google网站管理员工具https://www.google.com/webmasters/tools/home?hl=zh-cn中网站设置-抓取工具的权限 工具来测试自己的robots.txt是否有效，是否合适。具体查看：测试robots.txt文章源自堕落的鱼-https://www.duoluodeyu.com/389.html
