纯代码实现WordPress记录搜索引擎蜘蛛爬行记录
以下代码由PHP站长网 52php.cn收集自互联网现在PHP站长网小编把它分享给大家,仅供参考 在新站或网站收录有问题时,可能需要持续关注搜索引擎蜘蛛的抓取情况。对于网站的内容是否能够及时的收录,都是我们站长每天都在关注的东西,毕竟每天产出的东西有限,所更加的关注自己写的内容是否能够讨的百度蜘蛛的欢心,好及时收录自己的网页,毕竟早一天收录,这样获得流量的可能性就会更多一点,那样的话,以后变现的成本也会变得更低。 有时候当我们不知道蜘蛛什么时候来过我们的网站的时候,只能够通过一遍又一遍的向百度提交自己网站最近产生的新鲜内容。但是又害怕这样会让百度的蜘蛛讨厌我们的网站,总之那种感觉啊,不是太好。 每次打开服务器端访问日志查看非常麻烦,特别是当日志文件比较大时更是不便。最好的办法就是在线直接打开看蜘蛛爬行记录。为此,我们可以免插件使用纯 PHP 代码来实现这个功能,以下是具体实现代码。 // 记录蜘蛛访问记录 function get_naps_bot(){ $useragent = strtolower($_SERVER['HTTP_USER_AGENT']); if (strpos($useragent,'googlebot') !== false){ return 'Googlebot'; } if (strpos($useragent,'bingbot') !== false){ return 'Bingbot'; } if (strpos($useragent,'slurp') !== false){ return 'Yahoobot'; } if (strpos($useragent,'baiduspider') !== false){ return 'Baiduspider'; } if (strpos($useragent,'sogou web spider') !== false){ return 'Sogouspider'; } if (strpos($useragent,'haosouspider') !== false){ return 'HaosouSpider'; } if (strpos($useragent,'yodaobot') !== false){ return 'YodaoBot'; } return false; } function nowtime(){ date_default_timezone_set('Asia/Shanghai'); $date=date("Y-m-d G:i:s"); return $date; } $searchbot = get_naps_bot(); if ($searchbot) { $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); $url=$_SERVER['HTTP_REFERER']; $addr=$_SERVER['REMOTE_ADDR']; $file="robotslogs.txt"; //根目录下记录蜘蛛访问的文件 $time=nowtime(); $data=fopen($file,"a"); $PR="$_SERVER[REQUEST_URI]"; fwrite($data,"[$time] - $addr - $PR - $searchbot $tlc_thispage rn"); fclose($data); } 将以上代码插入 funtion.php 文件,并在网站根目录下创建一个名为 robotslogs.txt 的文件即可,文件名可自定义。注意需为 robotslogs.txt 设置可写权限,最好是 777 权限,755 权限某些主机配置下可能存在无法写入的情况。以上代码能记录搜索蜘蛛的基本抓取信息,完成以后,一般 24 小时候,就可以看到你“robotslogs.txt”当中已经满是数据的了。 以上内容由PHP站长网【52php.cn】收集整理供大家参考研究如果以上内容对您有帮助,欢迎收藏、点赞、推荐、分享。 (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |