大量的处理爬虫的时候,IP地址容易被封掉,这个时候可以使用代理IP来帮助完成接下来的任务了
使用Requests模块来完成请求,代码如下:
import urllib.request import requests
url = "http://pv.sohu.com/cityjson?ie=utf-8" print("原有IP: " + requests.get(url).text)
# 构建一个代理IP的格式(固定) ip = "47.94.230.42" port = "9999" new_data = { "http": ip + ":" + port } # proxies=IP requests模块构建请求 print("代理后的IP: " + requests.get(url,proxies=new_data).text) # 切换回自己的IP是 当前代理IP失效后向代理IP提供商获取新IP的时候需要使用自己的ip print("切换回自己的IP: " + requests.get(url,proxies={"http": ""}).text) (编辑:李大同)
【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!
|