【python爬虫】加密代理IP的使用与设置一套session请求头

# 请求ip代理连接，更新redis的代理ip
def proxy_redis():
    sr = redis.Redis(connection_pool=Pool)
    proxys_text = requests.get("你请求代理IP的地址").text
    更新redis
    ret = sr.set('proxy_list',proxys_text)


 检测ip代理是否有用 有用返回True,无用返回False
 check_proxy(proxy_list):
    print(检测的ip池是try:
        for proxy in proxy_list:
            ret = requests.get(https://www.baidu.com/",proxies={https": http://账号:密码@{}.format(proxy)}).text
        IP可用)
        return True
    except Exception as e:
         False

 返回请求代理池
 get_proxy_list():
    while True:
        sr = redis.Redis(connection_pool=Pool)
        ip_list = sr.get(")                    redies拿到数据
        proxy_list = ip_list.split(rn")             数据结构格式化   列表
        ret = check_proxy(proxy_list)                     检测代理是否有效果
        if ret == True:
            请求代理池: proxy_list
            break
        else:
            proxy_redis()
            redis池更新成功")

　　　　# 1：
        session = requests.Session()   设置一组session请求
        session.proxies = {
            http.format(proxy), head()
        session.headers.update(headers)   更新请求头 请求头自定义
        session.post(https://www.amazon.com/gp/delivery/ajax/address-change.html 设置cookeis
        ret = session.get(https://www.amazon.com/dp/B0047CJZLMheaders).text
        IUSC.append(session)
    
         1

         2
        session = requests.Session()  http://sellerbdata:lv6nv17v@{} head()
        session.headers.update(headers)
        session.post( 设置邮编
        IUSC.append(session)
         2