python – Scrapy&captcha

第1步 – 获取验证码网址(并保留表单的响应以供日后使用)

def parse_page_with_captcha(response):
    captcha_url = response.xpath(...)
    data_for_later = {'captcha_form': response} # store the response for later use
    return Request(captcha_url,callback=self.parse_captcha_download,meta=data_for_later)

第2步 – 现在scrapy将下载图像,我们必须在scrapy回调中正确处理它

def parse_captcha_download(response):
    captcha_target_filename = 'filename.png'
    # save the image for processing
    i = Image.open(StringIO(response.body))
    i.save(captcha_target_filename)

    # process the captcha (OCR,or sending it to a decaptcha service,etc ...)
    captcha_text = solve_captcha(captcha_target_filename)

    # and now we have all the data we need for building the form request
    captcha_form = response.meta['captcha_form']

    return scrapy.FormRequest.from_response(captcha_form,'security': captcha_text,'send_message': 'Send%20Message'
                               },callback=self.afterForm)

重要细节

Captcha受保护的表单需要某种方式将验证码图像与查看和回答此验证码的特定用户/客户端相关联.这通常使用基于cookie的会话或隐藏在验证码表单中的特殊参数/图像标记来完成.

刮刀代码必须小心,不要破坏此链接,否则它将回答一些验证码,但不是它必须的验证码.

为什么不使用Verz1Lka发布的两个例子呢？

urllib.urlretrieve方法完全在scrapy之外工作.虽然这通常是一个坏主意(这不会使用scrapys调度等的好处),但主要问题是：此请求将完全在目标站点用于跟踪哪些会话cookie,url参数等之外工作验证码被发送到特定的浏览器.

另一方面,使用图像管道的方法在Scrapy规则中很好地播放,但是这些图像下载计划在稍后进行,因此在需要时将无法获得验证码下载.