Python爬虫工程师必学——App数据抓取实战

 def process_spider_output(self,response,result,spider):
    for r in result:  
        if isinstance(r,Request):    #对结果进行分析，如果是url，继续下一步，否则跳过
            key = self._get_key(r)    #通过_get_key函数生成key
            if key in self.db:        #查看key是否在数据库中
                logger.info("Ignoring already visited: %s" % r)   #如果在数据库，就抛弃
                if self.stats:
                    self.stats.inc_value(‘deltafetch/skipped‘,spider=spider)
                continue
        elif isinstance(r,(BaseItem,dict)):   #对结果分析，如果是dict or item ，继续下一步
            key = self._get_key(response.request)   
            self.db[key] = str(time.time())     #对url进行持久化操作
            if self.stats:
                self.stats.inc_value(‘deltafetch/stored‘,spider=spider)
        yield r
 def _get_key(self,request):
        #key值的生成，要么是request.meta传过来，要么使用指纹算法生成
        key = request.meta.get(‘deltafetch_key‘) or request_fingerprint(request)
 
        return to_bytes(key)