Scrapy：使用Selenium webdriver登录,将cookie传输到蜘蛛对象？

发布时间：2020-12-20 13:26:47 所属栏目：Python 来源：网络整理

导读：我只是想知道是否有任何合理的方法将认证cookie从webdriver.Firefox()实例传递给蜘蛛本身？执行一些webdriver的东西然后去抓“照常营业”会很有帮助.有效的东西： def __init__(self): BaseSpider.__init__(self) self.selenium = webdriver.Firefox()def __

我只是想知道是否有任何合理的方法将认证cookie从webdriver.Firefox()实例传递给蜘蛛本身？执行一些webdriver的东西然后去抓“照常营业”会很有帮助.有效的东西：

def __init__(self):
    BaseSpider.__init__(self)
    self.selenium = webdriver.Firefox()

def __del__(self):
    self.selenium.quit()
    print self.verificationErrors

def parse(self,response):

    # Initialize the webdriver,get login page
    sel = self.selenium
    sel.get(response.url)
    sleep(3)

    ##### Transfer (sel) cookies to (self) and crawl normally??? #####
    ...
    ...

解决方法

将饼干从Selenium转移到Scrapy蜘蛛

报废文件

from selenium import webdriver
driver=webdriver.Firefox()  
data=driver.get_cookies()
# write to temp file        
with open('cookie.json','w') as outputfile:
    json.dump(data,outputfile)
    driver.close()
    outputfile.close()

….

蜘蛛

import os
if os.stat("cookie.json").st_size > 2:
    with open('./cookie.json','r') as inputfile:
        self.cookie = json.load(inputfile)
    inputfile.close()

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!