python解决网站爬虫限制的简单示例

发布时间：2020-12-17 17:47:14 所属栏目：Python 来源：网络整理

导读：感兴趣python解决网站爬虫限制的简单示例的小伙伴，下面一起跟随编程之家 jb51.cc的小编来看看吧。br 有些网站限制了网络请求的来源，来阻止爬虫。一般是通过user-agent属性来区分。通过 print r.request.headers 来查看user-agent属性。 requests库写的代码

感兴趣python解决网站爬虫限制的简单示例的小伙伴，下面一起跟随编程之家 52php.cn的小编来看看吧。<br>
有些网站限制了网络请求的来源，来阻止爬虫。一般是通过’user-agent’属性来区分。
通过
print r.request.headers
来查看user-agent属性。
requests库写的代码默认user-agent是’python-requests/x.xx.x’(x表示版本号)。如果访问不成功，可尝试修改’user-agent’属性。

方法如下：
1. 先构建一个字典
ua={"user-agent":"Mozilla/5.0"}
其中”Mozilla/5.0”是浏览器的普遍标识。

2. 在get方法里面加一个参数
r=requests.get(url,headers=ua)
这时就可以模仿浏览器访问了。
完整代码：

import requests
url="http://www.177347.com"
ua={"user-agent":"Mozilla/5.0"}
r=requests.get(url)
print r.request.headers
r=requests.get(url,headers=ua)
print r.request.headers

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!