国内几个常用搜索引擎robot（蜘蛛）名字：文章源自堕落的鱼-https://www.duoluodeyu.com/325.html
| 搜索引擎 | robots名字 |
| googlebot | |
| 必应 | msnbot |
| 百度 | baiduspider |
| 搜搜 | sosospider |
| 搜狗 | sogou spider |
| 雅虎 | slurp |
| 有道 | YoudaoBot |
其它一些专用搜索引擎的robot名字和作用文章源自堕落的鱼-https://www.duoluodeyu.com/325.html
Googlebot-Mobile
Google对于移动设备，如手机网页的索引蜘蛛
Googlebot-Image
Google专门用来抓取图片的蜘蛛
Mediapartners-Google
这是Google专门为放置了Google Adsense广告联盟代码的网站使用的专用蜘蛛，只有网站放置了Google Adsense代码的情况下，Google才会使用这个蜘蛛。这个蜘蛛的作用是专门抓取Adsense广告内容
Adsbot-Google
这是Google专门为Google Adwords客户设计的蜘蛛，如果你使用了Google的Adwords服务，那么这个蜘蛛就会派出这个蜘蛛来衡量放置了你广告的网站的质量。文章源自堕落的鱼-https://www.duoluodeyu.com/325.html
