记录搜索引擎蜘蛛爬行信息

2010年2月20日09:28:59 1 459

  对于wordpress来说,记录搜索引擎爬行记录的插件应该有很多。但是我们也知道,插件过多势必会影响页面加载速度,所以我给大家提供一段代码,来记录搜索引擎的爬行信息,这段代码很早以前就有人在网上放出来了。

  监视搜索引擎蜘蛛爬行记录的代码:

<?php

function get_naps_bot()
{
  $useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
 
  if (strpos($useragent, 'googlebot') !== false){
    return 'Googlebot';
  }
 
  if (strpos($useragent, 'msnbot') !== false){
    return 'MSNbot';
  }
 
  if (strpos($useragent, 'slurp') !== false){
    return 'Yahoobot';
  }
 
  if (strpos($useragent, 'baiduspider') !== false){
    return 'Baiduspider';
  }
    
  if (strpos($useragent, 'sosospider') !== false){
    return 'sosospider';
  }
 
  if (strpos($useragent, 'sogou spider') !== false){
    return 'sogou spider';
  }
 
  if (strpos($useragent, 'YoudaoBot') !== false){
    return 'YoudaoBot';
  }

  return false;
}
function nowtime(){
  $date=date("Y-m-d.G:i:s");

  return $date;
}

$searchbot = get_naps_bot();

if ($searchbot) {
  $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
  $url=$_SERVER['HTTP_REFERER'];
  $file="robotslogs.txt";
  $time=nowtime();
  $data=fopen($file,"a");
  fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n");
  fclose($data);
}
?>

  这段代码主要利用各大搜索引擎蜘蛛爬行程序都有自己的标识符,google的标识符为:googlebot,百度的标识符为:baiduspider,它们可以通过查询_SERVER变量中的HTTP_USER_AGENT参数来获取,再结合HTTP_REFERER记录下的URL的来源,最后用nowtime()函数来获取当前系统时间,最后将是那个面得到的参数写入robotslogs.txt文档中。

  新建一个php文件(名字自定),例如spider.php。最后上传到wordpress当前正在使用主题的目录中,最后在主题的foot.php中调用spider.php文件。

<?php include('spider.php') ?>

通过一段时间的运行,你就可以通过http://www.youdomain.com/robotslogs.txt来查看搜索引擎蜘蛛的访问记录了。

avatar
WordPress默认屏蔽谷歌FLoC追踪技术 网站建设

WordPress默认屏蔽谷歌FLoC追踪技术

WordPress 今天发布公告,认为谷歌的新 FLoC 追踪技术存在安全隐患,并计划在 WordPress 网站上默认进行屏蔽。FLoC 全称叫做广告追踪技术群组联合学习,利用机器学习分析 Chro...
WordPress主题和插件添将支持自动更新功能 业界动态

WordPress主题和插件添将支持自动更新功能

WordPress 作为最流行的博客平台,有着丰富的扩展和主题生态系统。然而主题和扩展也经常成为 WordPress 网站的安全隐患,原因是网站管理人员在安装扩展或主题之后就不再更新。当扩展或主题发现...
WordPress 5.3.1版本发布 业界动态

WordPress 5.3.1版本发布

来自WordPress官方的消息,WordPress 5.3.1版本发布,这是一个安全更新版本,也是一个常规更新维护版本。 WordPress 5.3.1一共修复46个漏洞或者漏洞相关安全问题。 官方...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

评论:1   其中:访客  0   博主  0
    • avatar Hello Beautiful 0

      记录不了访问页面就不爽了。。