python – 是否有可能等到`.persist()`在dask中完成缓存？

发布时间：2020-12-16 22:41:55 所属栏目：Python 来源：网络整理

导读：由于.persist()在后台缓存数据,我想知道是否可以等到它完成缓存然后执行以下操作.此外,还有一种方法可以为缓存过程设置进度条吗？非常感谢你最佳答案是的,您正在寻找的功能恰当地命名为等待和进步. from dask.distributed import wait,progress progress函

由于.persist()在后台缓存数据,我想知道是否可以等到它完成缓存然后执行以下操作.此外,还有一种方法可以为缓存过程设置进度条吗？非常感谢你

最佳答案

是的,您正在寻找的功能恰当地命名为等待和进步.

from dask.distributed import wait,progress

progress函数接受任何dask事物并呈现进度条

>>> progress(x)
[XXXXXXX................]  5.2 seconds

如果您在IPython笔记本中,那么进度也是非阻塞的并使用IPython小部件.如果您使用的是IPython控制台或直接的Python可执行文件,则进度会阻塞,并且在计算完成之前不会返回.

如果您不想要进度条,或者如果您在Jupyter笔记本中,那么您可能需要单独使用wait函数,该函数将阻塞直到计算完成.

wait(x)

http://distributed.readthedocs.io/en/latest/api.html#distributed.client.wait
http://distributed.readthedocs.io/en/latest/api.html#distributed.diagnostics.progress

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!