加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 创业 > C语言 > 正文

如何准确判断Baiduspider的真假?

发布时间:2020-12-15 03:10:51 所属栏目:C语言 来源:网络整理
导读:关于百度蜘蛛(Baiduspider)的真伪问题,网以前就发表过《如何判断百度蜘蛛(Baiduspider)是否为假冒,真伪判断》一文。非常巧的是,昨日下午在百度站长俱乐部,百度官方工作人员LEE再次重审了这一话题,以下为原文: 目前中文互联网上有少量spider冒充Baidu

关于百度蜘蛛(Baiduspider)的真伪问题,网以前就发表过《如何判断百度蜘蛛(Baiduspider)是否为假冒,真伪判断》一文。非常巧的是,昨日下午在百度站长俱乐部,百度官方工作人员LEE再次重审了这一话题,以下为原文:

目前中文互联网上有少量spider冒充Baiduspider抓取网页,周六madcon会上,发现很多同学不知道如何判断Baiduspider的真假,再次说明一下:

中文互联网上,Baiduspider ip的hostname以 *.baidu.com的格式命名,非 *.baidu.com即为冒充,建议您使用DNS反查方式来确定抓取来源的ip是否属于百度。

例如,在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer
baiduspider-123-125-66-120.crawl.baidu.com.

在windows平台下,可以用nslookup命令反解ip来判断是否来自Baiduspider的抓取。

点击“开始”-“运行”-“cmd”-“输入nslookup IP地址”-“回车”
C:Documents and Settingswangtao>nslookup 123.125.66.120

Name:     baiduspider-123-125-66-120.crawl.baidu.com
Address:   123.125.66.120

详请参考:
http://www.baidu.com/search/spider_chinese.html

PS:Baiduspider绝对不会以匿名的方式抓取网页。

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读