如何准确判断请求是搜索引擎爬虫(蜘蛛)发出的请求
网站经常会被各种爬虫光顾,有的是搜索引擎爬虫,有的不是,通常情况下这些爬虫都有UserAgent,而我们知道UserAgent是可以伪装的,UserAgent的本质是Http请求头中的一个选项设置,通过编程的方式可以给请求设置任意的UserAgent。 所以通过UserAgent判断请求的发起者是否是搜索引擎爬虫(蜘蛛)的方式是不靠谱的,更靠谱的方法是通过请求者的ip对应的host主机名是否是搜索引擎自己家的host的方式来判断。 要获得ip的host,在windows下可以通过nslookup命令,在linux下可以通过host命令来获得,例如: 这里我在windows下执行了nslookup ip 的命令,从上图可以看到这个ip的主机名是crawl-66-249-64-119.googlebot.com。 这说明这个ip是一个google爬虫,google爬虫的域名都是 xxx.googlebot.com. 我们也可以通过python程序的方式来获得ip的host信息,代码如下: import socket def getHost(ip): try: result=socket.gethostbyaddr(ip) if result: return result[0],None except socket.herror,e: return None,e.message 上述代码使用了socket模块的gethostbyaddr的方法获得ip地址的主机名。 常用蜘蛛的域名都和搜索引擎官网的域名相关,例如: 百度的蜘蛛通常是baidu.com或者baidu.jp的子域名 google爬虫通常是googlebot.com的子域名 微软bing搜索引擎爬虫是search.msn.com的子域名 搜狗蜘蛛是crawl.sogou.com的子域名 基于以上原理,我写了一个工具页面提供判断ip是否是真实搜索引擎的工具页面,该页面上提供了网页判断的工具和常见的google和bing的搜索引擎爬虫的ip地址。 附带常见搜索引擎蜘蛛的IP段:
ps:https协议网页能够被搜索引擎收录吗 百度现在只能收录少部分的https,大部分的https网页无法收录。 不过我查询了google资料,Google能够比较好地收录https协议的网站。 所以如果你的网站是中文的,而且比较关注搜索引擎自然排名流量这块,建议尽量不要将所有内容都放到https中去加密去。 可考虑的方式是: 1、对于需要加密传递的数据,使用https,比如用户登录以及用户登录后的信息; 2、对于普通的新闻、图片,建议使用http协议来传输; 3、网站首页建议使用http协议的形式。 (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |