加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程开发 > Python > 正文

在Python Celery中,如何在连续的工作调用中持久保存对象?

发布时间:2020-12-16 23:09:49 所属栏目:Python 来源:网络整理
导读:我正在使用Celery来自动化一些屏幕抓取.我正在使用Selenium打开Chrome webdriver,操作页面,保存一些数据,然后转到队列中的下一页.问题在于它为队列中的每个任务构建和分解Web驱动程序,这非常耗时且占用大量资源. 如何在通话中保留对象?我已经阅读了有关Cele
我正在使用Celery来自动化一些屏幕抓取.我正在使用Selenium打开Chrome webdriver,操作页面,保存一些数据,然后转到队列中的下一页.问题在于它为队列中的每个任务构建和分解Web驱动程序,这非常耗时且占用大量资源.

如何在通话中保留对象?我已经阅读了有关Celery中连接池的一些内容,但我不清楚这是如何工作的 – 我在哪里构建webdriver – 在任务文件或主排队文件中?如果是后者,工人们如何知道使用哪个webdriver?

例:

scrape.py:

for page in list:  
  scrape.delay(str(row['product_id']),str(row['pg_code']))

tasks.py:

def scrape:
  # do some stuff

解决方法

由于每个worker将任务实例化为单例,因此您可以将Web驱动程序缓存在任务对象中.文档特别提出了这种方法.

http://docs.celeryproject.org/en/latest/userguide/tasks.html#instantiation

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读