python – Dryscrape / webkit_server内存泄漏

发布时间：2020-12-20 12:10:14 所属栏目：Python 来源：网络整理

导读：我正在使用dryscrape / webkit_server来抓取启用 javascript的网站. 每次调用session.visit()时,进程webkit_server的内存使用量似乎都会增加.它发生在我身上使用以下脚本： import dryscrapefor url in urls: session = dryscrape.Session() session.set_tim

我正在使用dryscrape / webkit_server来抓取启用 javascript的网站.

每次调用session.visit()时,进程webkit_server的内存使用量似乎都会增加.它发生在我身上使用以下脚本：

import dryscrape

for url in urls: 
    session = dryscrape.Session()
    session.set_timeout(10)
    session.set_attribute('auto_load_images',False)
    session.visit(url)
    response = session.body()

我正在迭代约. 300 urls和70-80 urls之后webkit_server占用大约3GB的内存.然而,对我来说这不是真正的内存问题,但似乎dryscrape / webkit_server在每次迭代时都变得越来越慢.在上述70-80次迭代之后,dryscrape速度很慢,导致超时错误(设置超时= 10秒),我需要中止python脚本.重新启动webkit_server(例如,每30次迭代后)可能会有所帮助并且会清空内存,但是我不确定“内存泄漏”是否真的导致干刮越来越慢.

有谁知道如何重启webkit_server所以我可以测试一下？

我没有为这个问题找到一个可接受的解决方法,但是我也不想切换到另一个解决方案(selenium / phantomjs,ghost.py),因为我简单地喜欢dryscrape. Dryscrape正在努力工作.如果一个人没有在一个会话中迭代过多的网址.

这里也讨论了这个问题

https://github.com/niklasb/dryscrape/issues/41

和这里

Webkit_server (called from python’s dryscrape) uses more and more memory with each page visited. How do I reduce the memory used?

解决方法

内存泄漏我遇到了同样的问题.通过在每次页面查看后重置会话来解决它！

简化的工作流程看起来像这样.

设置服务器：

dryscrape.start_xvfb()
sess = dryscrape.Session()

然后遍历Url并在每个url之后重置会话

for url in urls:
    sess.set_header('user-agent','Mozilla/5.0 (Windows NT 6.4; WOW64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/41.0.2225.0 Safari/537.36')
    sess.set_attribute('auto_load_images',False)
    sess.set_timeout(30)
    sess.visit(url)
    response = sess.body()
    sess.reset()

更新

我仍然遇到内存泄漏问题,更好的答案是@nico提供的问题.

我最终放弃了dryscrape,现在一直在使用Selenium和PhantomJS.仍有内存泄漏,但它们是可管理的.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!